2. 北京市混合现实与新型显示工程技术研究中心, 北京 100081
2. Beijing Engineering Research Center for Mixed Reality and Advanced Display, Beijing 100081, China
随着投影机硬件性能的提升与计算机图形图像技术的不断发展,投影技术被应用到越来越多的领域中.通过投影技术来改变物体表面的显示效果是近年来增强现实领域的一个热门研究课题.基于投影系统的光照补偿技术可以消除投影表面的交叉反射、散射等现象对投影效果造成的影响,让增强现实技术应用到更多的场合中,用户可以更随意地与日常生活中的实际物体进行交互.
国内外学者对基于投影机-摄像机结构的光照补偿技术进行了大量的研究.杨萍等[1]提出了一种采用彩色数字相机在给定的照明及观测条件下对光谱反射率进行测量的方法.通过奇异值分解将光谱反射率近似为若干基向量的线性组合,结合相机的输出数据训练人工神经网络,再将其与基向量结合,由相机输出物体表面的光谱反射率.该算法的提出使得光谱反射率的恢复更加简单,不需要使用昂贵的光学仪器进行相关测量.汤一平等[2]提出了基于双色反射模型的结构光颜色识别技术,通过对摄像机、投影机的色度标定以及对物体表面反射率的估计来识别投影机出射光的颜色.这些算法都基于严格的颜色测量方法,采用标准色板对器件进行标定,计算精确但却对系统要求严格且需要人工干预.文献[3, 4, 5, 6]提出了基于颜色混合矩阵的快速光照补偿算法,通过少量的颜色标定图案来求取投影机-摄像机系统中的颜色混合矩阵,在此基础上对目标图像进行补偿,系统高度自动化,无需人工干预即可高速求取系统参数并进行实时补偿.Wetzstein和Bimber[7]提出了一种基于光线传输矩阵的光照补偿算法,通过分析每个投影机像素对场景光照的贡献来对目标图像进行补偿,此方法将环境中的交叉反射、镜面反射等因素考虑在内,使得补偿系统可以应用于更多场合.以上2种采用单台投影机的系统在分辨率、亮度、投影角度等方面受到限制,采用多通道投影技术可以有效解决这些问题.国内外学者对应用于无纹理表面上的多通道投影技术有较长时间的研究[8, 9],应用于纹理表面则需要一些额外的处理.刘一然和杨旭波[10]提出了一种采用多投影的光度补偿系统,将多通道投影与光照补偿技术结合到一起,提高了系统分辨率.但其边缘融合算法没有充分考虑到投影机的非线性响应问题.Aliaga等[11]提出了另外一种使用多通道投影系统对复杂表面进行光照补偿的算法,算法基于光线传输矩阵,通过带有平滑约束的最优化算法来计算每个投影像素的输入,该算法在提高补偿精度的同时提高了系统的亮度范围.但是,庞大的计算量使得系统无法实时对目标图像进行补偿.
本文提出了一种基于多通道投影系统的纹理表面实时绘制技术.通过分析投影机-摄像机系统中的颜色混合特性,以及投影机对投影表面的能量贡献比例来计算每个投影像素的补偿输入.系统还加入了实时绘制技术,通过在平板交互设备上进行绘制,可以实现对物体表面图案的实时修改.并分析了系统模型以及相关参数的求解方法.
1 系统颜色模型 1.1 单通道投影系统的颜色模型
在投影机-摄像机系统中,某个投影表面点反射的光能量可以描述为
可以将上式整理为
1.2 多通道投影系统的颜色模型
对于多通道投影系统,式(4)将扩展为
为了保证投影机能量的平滑过渡,算法对计算出的权重蒙版进行平滑处理,避免补偿效果中出现亮度的突变.
由此,每个投影像素的输入可以用下式求出:
相关参数的求取方法将在第2节中介绍.
2 系统参数的恢复
为了对目标图像进行补偿,必须计算出环境光线的强弱、每台投影机的颜色混合矩阵以及每个投影像素的亮度权重.在此之前,还必须求取出投影机与摄像机间的几何映射关系.
2.1 几何模型的求取
系统使用格雷码结构光来获取物体表面三维模型以及投影机模型[12, 13],同时求出投影机-摄像机的几何映射关系.为了排除环境光线及内部交叉反射的影响,每幅结构光分别投影正反两幅图案,每组图案相减的结果作为一层编码数据.此外,系统引入了RANSAC算子来提高算法的准确性.由此建立的系统三维模型可以用于式(7)来计算投影像素的权重.
2.2 摄像机、投影机亮度响应的线性化
在第1节的讨论中,投影机与摄像机的亮度响应被假设为线性,这个假设不符合实际的应用情形.系统需要求取投影机与摄像机的亮度响应曲线,通过建立对应于每个通道的查找表来将这些器件的响应线性化.
通过Debevec和Malik[14]提出的HDR成像算法可以求取摄像机的亮度响应曲线.获取到亮度响应函数之后,摄像机可以用于计算场景中的相对亮度,以此测量并拟合出投影机每个通道的亮度响应曲线.
2.3 颜色参数的求取
对于式(4),通过投影一定数量的标定图案即可求出F和V.首先求解环境光照F.当投影机各通道输入值均为0时,摄像机捕获到的图像亮度就是环境光照F,如下式所示：
之后,再投影一幅输入值为(PR,0,0)的图像:
将两式相减并展开可得
使用同样的方法投影另外2幅只含有绿色与蓝色值的图像,可以得出完整的V矩阵.
3 实时绘制系统
在建立几何与颜色映射关系之后,用户可以通过交互式的平板显示设备(如IPAD等)对投影表面进行实时绘制.
系统流程图如图 1所示.系统分为交互端、渲染端两部分.渲染端首先根据几何映射信息生成绘制背景,再将此背景传输给交互端.交互端可以进行背景的选取及绘制操作.在绘制过程中,用户可以设置线条粗细和线条颜色,还可以放大某部分区域进行细节上的绘制.用户在交互端绘制时,用户的动作信息及画笔信息将被传输给渲染端,渲染端根据这些信息更新目标图像,并实时生成补偿图像传输给投影机用于显示.
 |
| 图 1 系统流程图Fig. 1 Flow chart of system |
系统提供了摄像机与投影机等多个视角的图像作为绘制背景,用户可以根据实际应用情形选取更适合的视角.摄像机视角图像直接通过摄像机捕获.投影机视角的图像通过已经获取的几何映射关系来求取[15].
摄像机与投影机视角生成的图像如图 2所示.用户可以根据实际需要选取合适的角度进行绘制.
 |
| 图 2 摄像机与投影机视角生成的图像Fig. 2 Images generated by camera and projector views |
为了保证系统运行的实时性,绘制过程中,交互端与渲染端传输的是用户的动作及画笔信息,渲染端在接收到这些绘制信息后实时更新系统的目标图像.
在渲染端,系统首先判断交互端使用的绘制背景,对于使用摄像机视角或者其他投影机视角进行绘制的图像,需要先通过几何映射关系将目标图像映射到当前投影机的视角；然后再根据每台投影机所占目标图像的权重计算对应于每台投影机的目标图像；最后根据反射率及颜色混合信息计算每台投影机的补偿图像.渲染流程图如图 3所示.
 |
| 图 3 渲染流程图Fig. 3 Flow chart of rendering |
系统采用2台投影机(三洋XU1050C)进行投影,通过Apple IPAD进行实时绘制.用于投影的物体为一个带有彩色方格图案的杯子.采用佳能450D相机来捕获图像以计算各项参数.
获取几何模型与颜色模型需要耗费大约10 min的时间.系统采用Shader语言设计图形渲染流水线,离线阶段求取出的相关参数全部被保存在显卡内存中,通过一维或者二维寻址的方式实时计算出目标图像.在一个系统配置为Intel 3G*4,GeForce GTX 570,1 280 M memory的计算机上,可以实时地(30帧/s)使用2台画面分辨率为1 024×768的投影机系统进行补偿.
图 4所示为450D相机的亮度响应曲线,其中横坐标表示相机光学传感器接收到的相对能量值[14],图 5所示为投影机的亮度响应曲线.
 |
| 图 4 450D相机的亮度响应曲线Fig. 4 Intensity response curves of 450D camera |
 |
| 图 5 投影机的亮度响应曲线Fig. 5 Intensity response curves of projector |
图 6所示为系统的补偿结果.其中图 6(a)为通过IPAD从相机角度进行绘制的动物图案.图 6(b)为实际的投影效果.鉴于投影表面并非理想的朗伯表面,从不同角度观察时效果会有偏差.系统的相关参数是在相机视角下测量的,所以摄像机位置是系统的最佳观察位置.
 |
| 图 6 系统的补偿结果Fig. 6 Compensation results of system |
相比于传统的光照补偿系统,本文提出的系统采用多台投影机进行补偿.采用多通道投影系统可以在某些情况下更为准确地对目标图像进行补偿,补偿效果对比通过图 7可以看出.其中图 7(a)为目标图像,图 7(b)、图 7(d)为分别使用Fujii与本文算法进行补偿的效果,图 7(c)、图 7(e)分别为这2种效果与目标图像的差值图像,图 7(f)为2幅差值图像的直方图对比,其中浅灰色区域表示图 7(c)中的直方图,黑色区域表示图 7(e)的直方图.
 |
| 图 7 补偿效果对比Fig. 7 Comparison of compensation effects |
通过对比可以看出,对于反射率较小的投影表面,使用1台投影机进行补偿时,由于受到投影机亮度的限制,某些部分无法达到目标亮度,也就是通过补偿计算出的投影机输入已经超出投影机的最大值(255),而使用2台投影机进行补偿时,这部分亮度可以被补偿.从图 7中也可以看出,入射角较大的部分无法很好地被补偿,这是因为随着入射角的增大,投影表面能反射回相机的能量随之减少,不足以将图像补偿到目标图像的亮度值.
4.2 亮度范围
图 8所示为系统亮度范围对比,图 8(b)为对图 8(a)在蓝色通道的亮度范围内进行的分析(只分析黑色框线范围内的图像),其中x，y表示图像坐标,z为归一化亮度,表示目标亮度值与图中最高亮度值的比例.上层的浅色曲面为使用2台投影机时能补偿到的最大蓝色值,下层深色曲面为使用一台投影机时能补偿到的最大蓝色值.可以看出,使用多通道投影可以有效提高系统的亮度范围,从而对更多反射率不同的表面进行补偿.
 |
| 图 8 系统亮度范围对比Fig. 8 Comparison of system intensity range |
系统作为实时绘制系统,通过网络连接的绘制段与渲染端间的同步至关重要,由于投影机的响应及网络数据传递等因素,轻微的延迟无法避免,表 1所示为系统中的延迟分析.
投影延迟是系统用的投影机相对于液晶显示器的延迟,将1台电脑同时连接1台液晶显示器与1个投影机,让二者显示相同的时间,拍摄20组图像,记录时间差.绘制延迟通过在IPAD端显示时间,录制图像并查找2个显示端的时间差来记录.系统的平均延迟在一帧左右的时间,人眼很难察觉其差异.
5 结 论
本文提出了一种基于多通道投影系统的纹理表面实时绘制技术.通过对实验结果的分析,得出如下结论:
1) 系统可以在带有纹理、形状不规则表面上投影出目标图案,并可以根据用户的意愿进行实时修改.
2) 相对于单台投影系统,有效提高了系统亮度范围,可以对更多反射率不理想的表面进行补偿.
3) 合理的渲染及网络连接方式保证了系统的实时运行.
未来的工作将着眼于如何针对移动投影系统进行快速的反射率计算,使得这种表面绘制技术可以推广到更多的应用中.
| [1] | 杨萍,廖宁放, 宋宏.基于彩色数字相机的光谱反射率重建方法研究[J].光谱学与光谱分析,2009,29(5):1176-1180. Yang P,Liao N F,Song H.Study of approaches to spectral reflectance reconstruction based on digital camera[J].Spectroscopy and Spectral Analysis,2009,29(5):1176-1180(in Chinese). |
| Cited By in Cnki (8) | |
| [2] | 汤一平, 宗明理,吴丽娟.基于双色反射模型的彩色结构光颜色识别的研究[J].计算机学报,2013,36(9):1908-1916. Tang Y P,Zong M L,Wu L J.Research on identification of color structured light based on dichromatic reflection model[J].Chinese Journal of Computers,2013,36(9):1908-1916(in Chinese). |
| Cited By in Cnki (1) | Click to display the text | |
| [3] | Fujii K, Grossberg M D,Nayar S K.A projector-camera system with real-time photometric adaptation for dynamic environments[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Washington,D C:IEEE Computer Society Press,2005,1:814-821. |
| Click to display the text | |
| [4] | Nayar S K, Peri H,Grossberg M D,et al.A projection system with radiometric compensation for screen imperfections[C]//Proceedings of the IEEE International Workshop on Projector-Camera System.Washington,D C:IEEE Computer Society Press,2003. |
| Click to display the text | |
| [5] | Lee M,Park H, Park J.Fast radiometric compensation accomplished by eliminating color mixing between projector and camera[J].IEEE Transactions on Consumer Electronics,2008,54(3):987-991. |
| Click to display the text | |
| [6] | Chen X L, Yang X B,Xiao S J,et al.Color mixing property of a projector-camera system[C]//Proceedings of the 5th ACM/IEEE International Workshop on Projector Camera Systems.New York:ACM Press,2008. |
| Click to display the text | |
| [7] | Wetzstein G, Bimber O.Radiometric compensation through inverse light transport[C]//Proceedings of Pacific Conference on Computer Graphics and Applications.Washington,D C:IEEE Computer Society Press,2007:391-399. |
| Click to display the text | |
| [8] | 王修晖,华炜, 林海,等.面向多投影显示墙的画面校正技术[J].软件学报,2007,18(11):2955-2964. Wang X H,Hua W,Lin H,et al.Screen calibration techniques for multi-projector tiled display wall[J].Journal of Software,2007,18(11):2955-2964(in Chinese). |
| Cited By in Cnki (30) | |
| [9] | 周艳霞,秦开怀, 罗建利.多投影仪自由立体显示的GPU几何及亮度校正技术[J].计算机辅助设计与图形学学报,2011,23(4):561-570. Zhou Y X,Qin K H,Luo J L.GPU-based geometric and photometric corrections for multi-projector autostereoscopic display[J].Journal of Computer-Aided Design & Computer Graphics,2011,23(4):561-570(in Chinese). |
| Cited By in Cnki (3) | |
| [10] | 刘一然,杨旭波. 基于相机的多投影光度补偿系统[J].中国图象图形学报,2011,16(3):342-349. Liu Y R,Yang X B.Camera-based multi-projector radiometric compensation system[J].Journal of Image and Graphics,2011,16(3):342-349(in Chinese). |
| Cited By in Cnki (2) | Click to display the text | |
| [11] | Aliaga D G, Yu H Y,Law A,et al.Fast high-resolution appearance editing using superimposed projections[J].ACM Transactions on Graphics,2012,31(2):13. |
| Click to display the text | |
| [12] | 肖朝,杨红雨, 梁海军,等.多投影显示系统结构光几何校正算法[J].计算机辅助设计与图形学学报,2013,25(6):802-808. Xiao C,Yang H Y,Liang H J,et al.Geometric calibration for multi-projector display system based on structured light[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(6):802-808(in Chinese). |
| Cited By in Cnki (3) | Click to display the text | |
| [13] | 王俊,朱利. 基于图像匹配-点云融合的建筑物立面三维重建[J].计算机学报,2012,35(10):2072-2079. Wang J,Zhu L.3D building facade reconstruction based on image matching-point cloud fusing[J].Chinese Journal of Computers,2012,35(10):2072-2079(in Chinese). |
| Cited By in Cnki (14) | |
| [14] | Debevec P E, Malik J.Recovering high dynamic range radiance maps from photographs[C]//Proceedings of ACM Siggraph.New York:ACM Press,1997:369-378. |
| Click to display the text | |
| [15] | Sen P,Chen B, Garg G,et al.Dual photography[J].ACM Transactions on Graphics,2005,24(3):745-755. |
| Click to display the text |