视频监控系统是安全防范系统的重要组成部分，广泛地应用于人们的日常生活，而虚拟三维系统是计算机科学及其相关学科领域发展的重要成果，其应用也非常广泛。将视频影像融入到虚拟三维系统中以增强虚拟三维场景的真实感，一方面既能够发挥视频影像来源广泛、信息获取方式灵活和实时传输方便的优点，另一方面又能够给虚拟三维系统增加时间维度，将实时、动态的客观世界信息展现在静态的虚拟三维场景中。同时，视频信息融入到虚拟三维场景中还能够克服视频影像分散、无组织的缺点以及虚拟三维场景无动态信息的局限性，从而形成优势互补，从整体上提高二者的应用价值。本文主要是针对当前视频影像增强虚拟三维场景过程中的注册与渲染这两个核心问题展开了相关的研究工作，主要研究内容、研究方法和成果如下：

(1) 分别分析了视频影像增强虚拟三维场景过程中的注册和渲染这两个核心问题的方法原理，基于视频影像成像模型与虚拟三维场景成像模型的一致性，构建了视频相机内外方位元素与三维渲染引擎相关函数之间的对应关系，可以将后续计算获得的内外方位元素转换为三维渲染函数的相关参数，从而将视频影像准确地注册到虚拟三维场景中；研究分析了视频影像三维渲染的一般性和特殊性，并基于DirectShow流媒体技术设计了视频影像过滤器，能够从不同来源的视频数据中获取实时的纹理图片，并可以利用GPU加速渲染的方法来提高系统的整体效率。

(2) 在研究分析视频监控场景的控制条件和先验知识的基础上，探索视频影像对虚拟三维场景进行注册的方法路线，确定了视频影像内外方位元素分步求解的方法途径，主要包括利用成本较低、操作方便的一维标定法和综合多种特征的后方交会法分别求解视频影像内外方位元素。

(3) 深入地分析了相机一维标定法的误差来源，并在此基础上提出了一种改进的单像一维标定法和一种基于像对基础矩阵的多像一维标定法，两种方法均能够获得较高精度的标定结果，能够在一定程度上克服一维标定物构造简易、几何约束较差的局限性，适用于视频监控场景中的相机内标定。

(4) 基于广义点摄影测量理论提出了一种综合多种特征的后方交会法，该方法能够将水平线、垂直线、线段和水平圆作为控制条件联合常规的控制点构建统一的平差模型从而求解相机的外方位元素，能够在一定程度上摆脱传统后方交会法对控制点的强烈依赖，使基于共线方程的后方交会法具有更广的适用范围，适用于先验知识缺乏、控制点难以布设的视频监控场景。

(5) 针对视频影像在虚拟三维场景中渲染所涉及的数据量与实时性这两个瓶颈问题，着重研究视频影像合理的组织、访问与调度方法来提高视频影像的渲染效率，主要包括：基于多线程技术提出了一种视频数据读取的任务分配和消息通信方法，能够解决虚拟三维系统用户操作与视频数据读取之间的响应冲突；根据近大远小的原则，提出了一种视频影像实时分辨率的计算方法；基于四叉树原理设计了一种视频影像的空间索引；最后，综合上述方法和技术，设计了一种视频数据的缓冲与调度机制，以实现视频影像在虚拟三维场景中的高效渲染。另外，还针对视频相机视角与虚拟三维场景视角不一致的问题，变相地使用了Shadow Map算法来检测其可见性。