申请/专利权人：浙江大学

申请日：2019-05-05

公开（公告）日：2021-05-07

公开（公告）号：CN110189263B

主分类号：G06T5/00(20060101)

分类号：G06T5/00(20060101);G02B27/01(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.05.07#授权;2019.09.24#实质审查的生效;2019.08.30#公开

摘要：本发明公开了一种基于多角度采样的大视场头戴显示设备HMD畸变校正方法，包括：首先校正摄像头自身畸变，然后在HMD的显示屏上绘制标记点阵图。将摄像头放置于头戴显示设备出瞳位置，旋转摄像头多次拍摄得到覆盖全画幅的局部畸变图像，将其余各个角度拍得的局部畸变图像变换至与HMD像面平行的摄像头成像平面内，进而拼接得到HMD的全画幅畸变图像。通过对全画幅畸变图像进行分区域贝塞尔拟合，获取HMD屏幕像素点与全画幅畸变图像像素点的映射表，最后依据该映射表对原始图像进行预畸变，实现HMD的畸变矫正。本发明解决了大视场情况下摄像头单次采集无法获取全画幅畸变图像的问题，适用于非轴对称光学系统的畸变校正。

主权项：1.一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，该方法包括以下步骤：1校正摄像头自身的畸变；2在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏边角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为u,v，其中u,v∈[0,1]；3在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：3.1调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面边角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为x0,y0；3.2通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为xi,yi，其中i＝1,2,3...代表不同角度拍得的图像；4采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像边角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为x,y；5将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标u,v和对应的Cam坐标系下标记点坐标x,y的贝塞尔映射关系Bj：x,y＝Bj{u,v}6由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。

全文数据：一种基于多角度采样的大视场头戴显示设备畸变校正方法技术领域本发明涉及头戴显示设备畸变校正领域，特别涉及一种通过多角度采样拼接实现大视场头戴显示设备全画幅畸变矫正的方法。背景技术随着计算机图形学与显示技术的飞速发展，沉浸式头戴显示技术日渐成熟。沉浸式头戴显示设备利用光学系统将近眼处显示屏上的图像放大为远处的虚像，这样的光学系统往往引入比较明显的光学畸变，即用户通过头戴显示设备看到的虚像是存在明显变形的。在头戴显示设备的设计中，由于实际成本及设备体积的限制，单纯通过优化光学系统难以实现光学畸变的校正。此时通过对显示图像进行预畸变以抵消光学系统畸变的方法成为一个理想的选择。传统头戴显示校正基于光学系统轴向对称的特点，采用径向-切向畸变模型对光学系统的畸变进行描述。然而，为了简化求解的复杂度，通常省略模型中的高阶项，进而导致更大的误差。此外，当相机无法一次性捕获整幅图像或光学系统畸变不具有轴对称性时，径向-切向畸变模型不再适用。因此，需要寻找一种校正方法，首先能够解决摄像头单次采样无法获取全画幅畸变图像的问题，其次能够适用于非轴对称光学系统的畸变矫正，最后还需要考虑到装配误差引入的畸变。发明内容本发明的目的在于设计一种能够实现大视场头戴显示设备畸变矫正的方法，解决摄像头单次采样无法获取全画幅畸变图像的问题，且适用于非轴对称光学系统。本发明的具体技术方案如下：一种基于多角度采样的大视场头戴显示设备畸变校正方法，该方法包括以下步骤：1校正摄像头自身的畸变；2在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏边角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为u,v，其中u,v∈[0,1]；3在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：3.1调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面边角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为x0,y0；3.2通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为xi,yi，其中i＝1,2,3...代表不同角度拍得的图像；4采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像边角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为x,y；5将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标u,v和对应的Cam坐标系下标记点坐标x,y的贝塞尔映射关系Bj：x,y＝Bj{u,v}6由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。进一步地，所述大视场头戴显示设备包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括至少一组透镜，每组透镜对应一块显示屏。进一步地，所述步骤3中，搭建校正装置采集多个角度的局部畸变图像，所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台提供摄像头绕x轴的旋转，摄像头的中心与第一旋转台的旋转中心重合；第二旋转台提供HMD绕y轴的旋转，HMD的出瞳与其旋转中心重合；装配时保证摄像头中心与HMD出瞳重合；所述计算机驱动HMD显示图像，同时驱动摄像头捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。与现有技术相比，本发明的有益效果为：1.解决了摄像头单次采集无法获取全画幅畸变图像的问题；2.解决了非轴对称光学系统畸变校正中，径向-切向参数模型不再适用的问题；3.校正HMD光学系统畸变的同时，对由装配误差引入的畸变也实现了校正。附图说明图1为本发明实施例校正的头戴显示设备结构示意图；图2为本发明实施例采用的校正装置示意图；图3为本发明实施例中Scr坐标系子区域分割示意图；图4为本发明实施例的流程示意图。具体实施方式下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。如图1所示为本实施例校正的头戴显示装置结构示意图，但不限于该结构。该头戴显示装置包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括两组透镜，每组透镜对应一块OLED显示屏。如图2所示为本实施例采用的校正装置示意图，但不限于该结构。该校正装置包括第一旋转台1、第二旋转台2、一台计算机和一个捕获HMD4畸变图像用的CCD摄像头3；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台1提供摄像头3绕x轴的旋转，摄像头3的中心与第一旋转台1的旋转中心重合；第二旋转台2提供HMD4绕y轴的旋转，HMD的出瞳5与其旋转中心重合；装配时保证摄像头3中心与HMD的出瞳5重合；所述计算机驱动HMD4显示图像，同时驱动摄像头3捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。本实施例中，对四组透镜分别采用本发明方法进行校正，以下仅以其中一组透镜的校正过程进行说明，具体包括以下步骤：1采用matlab工具箱校正摄像头自身的畸变；2在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏左上角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为u,v，其中u,v∈[0,1]；3在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：3.1调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面左上角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为x0,y0；3.2通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为xi,yi，其中i＝1,2,3...代表不同角度拍得的图像；4采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像左上角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为x,y；根据两次拍摄结果中，四组不共线点的对应关系求解单应性变换矩阵H；两个平面间的单应性变换定义为：若有四对匹配点，就可以产生8个关于单应性变换矩阵H元素的线性方程组，从而H可解。5将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标u,v和对应的Cam坐标系下标记点坐标x,y的贝塞尔映射关系Bj：x,y＝Bj{u,v}m×n阶贝塞尔曲面定义如下：其中biji＝0,1,…,m；j＝0,1,…,n称为曲面的控制顶点；通过将采集到的标记点坐标u,v和x,y带入上式即可求得贝塞尔曲面的控制点，进而确定贝塞尔曲面，得到映射关系B。如图3所示，将Scr坐标系按阵列划分为4个子区域为例，相邻子区域具有重叠区域，该重叠区域至少包含三行或三列点阵。6由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。如图4是本实施例最终校正的整体流程：1利用OpenGL编程，由三维场景生成左右眼视图；2依赖前述得到的四份映射表，分别对左右眼视图进行预畸变；3最终将预畸变的图像显示在四块相应的OLED显示屏上，人眼看到的即为非失真图像。上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

权利要求：1.一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，该方法包括以下步骤：1校正摄像头自身的畸变；2在头戴显示设备HMD的显示屏上绘制标记点阵图，以显示屏边角为原点建立Scr坐标系，利用显示屏的分辨率参数将横纵坐标均归一化至[0,1]的范围内，记Scr坐标系内标记点坐标为u,v，其中u,v∈[0,1]；3在HMD的出瞳位置，通过摄像头采集多个角度的局部畸变图像，包括以下子步骤：3.1调整摄像头像面与HMD的显示屏像面平行，且摄像头光轴与HMD的光轴重合，拍摄HMD中央视场的畸变图像，以摄像头像面边角为原点建立Cam0坐标系，记Cam0坐标系内标记点坐标为x0,y0；3.2通过转动摄像头俯仰角和HMD的侧摆角，得到其余视场的畸变图像，对于每个畸变图像i建立Cami坐标系，记Cami坐标系内标记点坐标为xi,yi，其中i＝1,2,3...代表不同角度拍得的图像；4采用单应性变换，将Cami坐标系对应的畸变图像变换至Cam0坐标系所在平面内，将Cam0坐标系平面内的所有畸变图像进行拼接，获得全画幅的HMD畸变图像，以该图像边角为原点建立Cam坐标系，记Cam坐标系内标记点坐标为x,y；5将Scr坐标系按阵列划分为若干子区域，相邻的子区域有重叠，将Cam坐标系按相同方式进行子区域划分；采用贝塞尔曲面拟合的方法，计算各个子区域j中Scr坐标系下标记点坐标u,v和对应的Cam坐标系下标记点坐标x,y的贝塞尔映射关系Bj：x,y＝Bj{u,v}6由映射关系Bj生成相应子区域的Scr坐标系到Cam坐标系的映射表Mapj，将所有Mapj组成全画幅的映射表Map，利用Map对原始图像进行预畸变，实现HMD的畸变校正。2.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，所述大视场头戴显示设备包括两个单目系统；每个单目系统包括依次设置在人眼前方的透镜组以及放置在所述透镜组之后的显示屏；所述透镜组包括至少一组透镜，每组透镜对应一块显示屏。3.根据权利要求1所述的一种基于多角度采样的大视场头戴显示设备畸变校正方法，其特征在于，所述步骤3中，搭建校正装置采集多个角度的局部畸变图像，所述校正装置包括两个旋转台、一台计算机和一个捕获HMD畸变图像用的摄像头；按照右手法则建立Y轴正向竖直向上的参考系，则第一旋转台提供摄像头绕x轴的旋转，摄像头的中心与第一旋转台的旋转中心重合；第二旋转台提供HMD绕y轴的旋转，HMD的出瞳与其旋转中心重合；装配时保证摄像头中心与HMD出瞳重合；所述计算机驱动HMD显示图像，同时驱动摄像头捕获畸变图像；结合两个旋转台的旋转，多次拍摄，得到覆盖全画幅的HMD畸变图像。

百度查询： 浙江大学 一种基于多角度采样的大视场头戴显示设备畸变校正方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD