扩展功能
文章信息
- 陈浩, 徐孝国, 王刚, 刘庆元
- CHEN Hao, XU Xiao-guo, WANG Gang, LIU Qing-yuan
- 基于计算机视觉的车牌图像采集质量研究模型
- A Model for Studying License Plate Image Acquisition Quality Based on Computer Vision
- 公路交通科技, 2018, 35(3): 109-116
- Journal of Highway and Transportation Research and Denelopment, 2018, 35(3): 109-116
- 10.3969/j.issn.1002-0268.2018.03.015
-
文章历史
- 收稿日期: 2017-06-12
车牌自动识别系统(License Plate Recognition System,LPR)是智能交通系统(Intelligent Transportation Systems,ITS)中的1个非常重要的组成元素,也是智能交通系统中的1种关键技术[1]。LPR主要分为图像采集子系统、车牌定位和字符切割子系统、车牌字符识别子系统和数据库管理子系统4个模块[2]。文献[3]指出图像采集质量的影响因素主要包括摄像机的选取、摄像机标定、汽车车速、车辆之间的距离、天气状况等,并对其影响因素进行了分析和讨论。摄像机标定作为计算机视觉技术的重要组成部分之一,研究目的主要是为了确定摄像机所在的实际位置,计算其属性参数并建立成像模型,从而确定物体的空间坐标及其图像坐标的对应关系。目前算法基本上可以分为2种类型:传统标定法和自标定法。传统摄像机标定法[4-7]是指用1个结构已知、精度很高的标定块作为空间参照物,通过空间点和图像点之间的对应关系来建立摄像机模型参数的约束,然后通过优化算法求取这些参数。摄像机的自标定技术[8-11]利用从图像序列中得到的约束关系来计算摄像机模型的参数,在线地、实时地校准摄像机模型参数。文献[12]提出了1种在摄像机内参数已知的情况下,通过地面上已知的4个及以上共面点求解出摄像机安装高度和安装倾角的标定方法。以上研究的内容在于研究如何通过图像获取准确的数学模型,准确快速地实现空间物体在图像中的表达,未对车牌识别摄像机的选取及标定方面进行研究。文献[3]研究内容在车牌图像采集工作的摄像机选取和标定方面进行了简单的介绍,其适用于分辨率为700电视线的摄像机,仅对清晰度的要求及摄像头视角选取方面进行了理论分析,不适用于目前使用较为广泛的高清网络摄像机,且未给出车牌采集图像的清晰度与摄像机内外参数具体关系。针对以上存在的问题,本研究以汽车车速合适并无相互遮挡、光线良好、图像无畸变等条件假设前提,提出了基于计算机视觉的车牌图像采集质量研究模型,采用小孔成像的原理,建立摄像机模型,研究车牌横向像素点数目与摄像机内外参数之间的具体关系,为摄像机的选取及设置等提供一定的理论支持,为车牌定位及识别[13-15]等后续工作提供基础。
1 摄像机成像空间模型[10]利用小孔成像的原理,建立摄像机成像空间模型定量描述成像过程。空间模型分为图像坐标系、摄像机坐标系及世界坐标系。
1.1 图像坐标系每幅图像在摄像机内部以M×N个像素点(pixel,图像点的亮度)的形式存储,建立图像直角坐标系u-v,每一个像素坐标(u, v)表示该像素在图像中的列数和行数。同时,建立图像坐标系x-y,表示像素在图像中的物理位置。以图像中O1(为摄像机光轴和像平面的交点,位于图像的中心处)为原点,x轴、y轴分别与u轴、v轴平行,如图 1所示。
![]() |
图 1 图像坐标系 Fig. 1 Image coordinate system |
|
取O1在u-v坐标系中的坐标为(u0, v0),每个像素在x轴和y轴方向上的物理尺寸为dx,dy,则图像中任意一个像素在两个坐标系下的关系为:
![]() |
(1) |
以小孔成像模型建立摄像机坐标系,描述三维空间物体到像平面的投影关系,如图 2所示。
![]() |
图 2 摄像机坐标系与世界坐标系 Fig. 2 Camera coordinate system and world coordinate system |
|
在摄像机直角坐标系O-XCYCZC中,空间点经过摄像机光心O点投影到像平面。其中,XC轴和YC轴与图像坐标系的x轴和y轴分别平行;ZC轴为摄像机的光轴,垂直于像平面;光轴与像平面的交点为O1。任一点P经过摄像机光心O点投影到像平面点p,如图 2所示,光心O和P点的连线OP与图像平面的交点p,利用齐次坐标与矩阵表示上述透视投影关系:
![]() |
(2) |
式中,f为摄像机焦距,(x, y)为p点的图像坐标,(XC, YC, ZC)为空间点P在摄像机坐标系下的坐标,μ为常数因子。
通过式(1)和式(2)整理得:
![]() |
(3) |
式中,
在环境中,为描述摄像机及空间物体的位置关系,建立世界坐标系OW-XWYWZW,如图 2所示。摄像机坐标系和世界坐标系之间的关系由旋转矩阵R与平移向量t来描述。空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为(XW, YW, ZW, 1)T与(XC, YC, ZC, 1)T,则关系如下:
![]() |
(4) |
式中,PW=(XW, YW, ZW)T;R为旋转矩阵,3×3正交单位矩阵;t为三维平移向量;0T=(0, 0, 0);N为4×4矩阵。
世界坐标系P点坐标与图像坐标系p坐标(u, v)的关系通过式(3)和式(4)整理得:
![]() |
(5) |
高速公路收费站和区域车辆管理等领域应用的摄像机多采用路侧安装方式,则借助如前所述建立的理论坐标系,如图 3所示。以车道摄像机(视为一点,忽略摄像机的结构)为原点建立世界坐标系OW-XWYWZW与摄像机坐标系OC-XCYCZC,世界坐标系与摄像机坐标系原点重合(三维平移向量t=0)。图中h为摄像机距离O2沿YW的距离,l为摄像机距离O2沿ZW的距离,d为摄像机距离O2沿XW的距离。其中,O2为摄像机光轴ZC与车牌被抓拍时所在平面(平行于平面OWXWYW)的交点。
![]() |
图 3 路侧安装方式坐标系 Fig. 3 Coordinate system of road-side installation |
|
2.2 图像坐标系与世界坐标系之间的关系[16]
世界坐标系绕YW顺时针旋转β角度,再绕XW顺时针旋转α角度,旋转矩阵转置为RT为:
![]() |
(6) |
式中,TY为世界坐标系统YW旋转矩阵;TX为世界坐标系统XW旋转矩阵。
式(3)和式(6)代入式(5)可得:
![]() |
(7) |
式中M为摄像机投影矩阵。
![]() |
(8) |
本节内容以车牌横向像素点数目与摄像机内外参数之间的关系为例进行研究。假定车牌识别摄像机在抓拍车牌时,车牌处光线良好,车牌在图像坐标系中的成像未出现严重扭曲,且车牌横向方向在世界坐标系中平行于XW轴,垂直于YWOWZW平面。取车牌横向方向上两点X1和X2,两点连线平行于XW轴,则YW1=YW2,ZW1=ZW2,XW2=XW1+ΔXW,整理得:
![]() |
(9) |
摄像机与车牌之间保持一定的距离,当选取两点
![]() |
(10) |
![]() |
(11) |
其中,根据空间关系得:
![]() |
(12) |
![]() |
(13) |
![]() |
(14) |
![]() |
(15) |
![]() |
(16) |
令摄像机分辨率的水平像素为PL,垂直像素为PH;靶面水平尺寸为W,垂直尺寸为H。每个像素在x轴和y轴方向上的物理尺寸为:
![]() |
(17) |
![]() |
(18) |
公路卡口和城市交通等领域应用的车牌识别摄像机多采用路正上方的安装方式,借助如前所述建立的理论坐标系,如图 4所示。
![]() |
图 4 路正上方安装方式坐标系 Fig. 4 Coordinate system of above-road installation |
|
以摄像机为原点建立世界坐标系OW-XWYWZW与摄像机坐标系OC-XCYCZC,世界坐标系与摄像机坐标系原点重合。图中h表示摄像机距离O2沿YW的距离,l表示摄像机距离O2沿ZW的距离。其中,O2为摄像机光轴与车牌被抓拍时所在平面(平行于平面OWXWYW)的交点。
3.2 图像坐标系与世界坐标系之间的关系[16]世界坐标系绕XW顺时针旋转α角度,旋转矩阵为RT为:
![]() |
(19) |
式(19)和式(3)代入式(5)可得:
![]() |
(20) |
其中,
取车牌横向方向上两点X1和X2,两点连线平行于XW轴,则YW1=YW2,ZW1=ZW2,XW2=XW1+ΔXW。由m21=m31=0,故μ2=μ1,令其为μ。可得:
![]() |
(21) |
其中,根据空间关系得,
![]() |
(22) |
网络高清摄像机内参数PL,PH,W,H由图像传感器规格决定,靶面尺寸主要有1/3″,1/2″,2/3″和1″几种,如表 1所示[17],分辨率主要有1 280×960,1 920×1 080,2 048×1 536共3种。根据中华人民共和国机动车牌号外廓尺寸规定,本研究取ΔXW为常用车牌长度440 mm[18]。针对应用较为广泛的靶面尺寸为1/3″,分辨率为1 280×960,1 920×1 080,2 048×1 536和靶面尺寸为1/2″,分辨率为1 920×1 080摄像机进行研究。
靶面尺寸 | W | H |
1/3″ | 4.8 | 3.6 |
1/2″ | 6.4 | 4.8 |
2/3″ | 8.8 | 6.6 |
1″ | 12.7 | 9.6 |
4.1 车牌识别设备路侧安装方式仿真及结果分析
以高速公路收费车道应用为例,对车牌横向方向像素点数目与摄像机内外参数之间的关系进行仿真分析。高清车牌识别摄像机放置于收费亭沿岛尾方向适当位置处,则h和d数值相对固定,分别取为1 000 mm和1 500 mm。由于摄像机放置于路侧,车牌在摄像机所呈图像为倾斜图像(车牌横向像素点数目有Δv分量),车牌横向方向像素点数目Δu与Δv相差较大,主要体现在Δu上,可在后期图像处理过程中进行矫正。为准确识别车牌信息,车牌像素点数目必须满足100~150 pixel[19],本研究选择Δu的阈值为150 pixel。针对不同型号的摄像机,为满足车牌信息识别像素点数目要求,车牌像素点数目Δu与焦距f及l的关系,如图 5~图 8所示。
![]() |
图 5 1/3″, 1 280×960摄像机中Δu与f,l的关系 Fig. 5 Relationship of Δu with f and l in 1/3″, 1 280×960 camera |
|
![]() |
图 6 1/3″, 1 920×1 080摄像机中Δu与f,l的关系 Fig. 6 Relationship of Δu with f and l in 1/3″, 1 920×1 080 camera |
|
![]() |
图 7 1/3″, 2 048×1 536摄像机中Δu与f,l的关系 Fig. 7 Relationship of Δu with f and l in 1/3″, 2 048×1 536 camera |
|
![]() |
图 8 1/2″, 1 920×1 080摄像机中Δu与f,l的关系 Fig. 8 Relationship of Δu with f and l in 1/2″, 1 920×1 080 camera |
|
图 5~图 8深色表示车牌横向在摄像机中呈现的像素点数目Δu与f, l的三维关系曲面,浅色表示150 pixel的阈值平面,阈值平面之上曲面表示满足车牌识别的像素点数目要求。假设车牌被抓拍时l取值为6 000 mm,车牌像素点数目为150 pixel,在各图中取点。图 5~图 7可以看出,随着分辨率的增加,对摄像机焦距f的要求逐渐降低:为满足车牌像素点数目高于150 pixel,靶面尺寸为1/3″,分辨率为1 280×960的摄像机,焦距需为7.7 mm及以上;分辨率为1 920×1 080的摄像机,焦距需为5 mm及以上;分辨率为2 048×1 536的摄像机,焦距需为4.6 mm及以上。图 6和图 8可以看出,随着靶面尺寸的增加,对焦距f的要求随之增加:为满足车牌像素点数目高于150 pixel,分辨率为1 920×1 080,1/3″靶面尺寸的摄像机,焦距需为5 mm及以上;1/2″靶面尺寸的摄像机,焦距需为6.6 mm及以上。
4.2 车牌识别设备路正上方安装方式仿真及结果分析根据公路卡口和城市交通等领域的高清车牌识别摄像机设置状况,摄像机外部参数h相对固定,取为5 500 mm。图 9~图 12深色表示车牌横向在摄像机中呈现的像素点数目Δu与f, l的三维关系曲面,浅色表示150 pixel的阈值平面。
![]() |
图 9 1/3″, 1 280×960摄像机中Δu与f,l的关系 Fig. 9 Relationship of Δu with f and l in 1/3″, 1 280×960 camera |
|
![]() |
图 10 1/3″, 1 920×1 080摄像机中Δu与f,l的关系 Fig. 10 Relationship of Δu with f and l in 1/3″, 1 920×1 080 camera |
|
![]() |
图 11 1/3″, 2 048×1 536摄像机中Δu与f,l的关系 Fig. 11 Relationship of Δu with f and l in 1/3″, 2 048×1 536 camera |
|
![]() |
图 12 1/2″, 1 920×1 080摄像机中Δu与f,l的关系 Fig. 12 Relationship of Δu with f and l in 1/2″, 1 920×1 080 camera |
|
假设车牌被抓拍时l取值为17 000 mm,车牌像素点数目为150 pixel,在各图中取点。图 9~图 11可以看出,随着分辨率的增加,对摄像机焦距f的要求逐渐降低:为满足车牌像素点数目高于150 pixel,靶面尺寸为1/3″,分辨率为1 280×960的摄像机,焦距需为23.1 mm及以上;分辨率为1 920×1 080的摄像机,焦距需为15.6 mm及以上;分辨率为2 048×1 536的摄像机,焦距需为14.6 mm及以上。图 10和图 12对比可以看出,随着靶面尺寸的增加,对焦距f的要求随之增加:为满足车牌像素点数目高于150 pixel,分辨率为1 920×1 080,1/3″的摄像机,焦距为15.6 mm及以上;1/2″的摄像机,焦距为20.8 mm及以上。
5 结论本研究以车牌抓拍时,光线良好等条件为假设前提,利用小孔成像原理,建立图像坐标系、摄像机坐标系及世界坐标系,实现三维空间物体到像平面的投影关系。以高速公路收费车道(摄像机路侧安装方式)和公路卡口(摄像机路正上方安装方式)等为例,建立车牌横向像素点数目与摄像机内参数(像素、图像传感器尺寸、焦距等)、外参数(摄像机与车牌相对空间位置等参数)之间的关系,并针对不同型号的摄像机进行仿真并分析。研究表明:为满足车牌信息识别像素点数目150 pixel的要求,随着分辨率的增加,对摄像机焦距的要求逐渐降低;随着摄像机靶面尺寸的增加,对焦距的要求随之增加。以上研究内容为摄像机的选取及设置等提供了一定的理论依据。对于非线性模型、误差及对该方法的验证内容,有待今后进行详细研究。
[1] |
CHANG S L, CHEN L S, CHUNG Y C, et al. Automatic License Plate Recognition[J]. IEEE Transactions on Intelligent Transportation Systems, 2004, 5(1): 42-53. |
[2] |
刘庆祥, 徐正全. 一种车牌自动识别系统的设计方案[J]. 武汉理工大学学报:交通科学与工程版, 2003, 27(4): 552-554. LIU Qing-xiang, XU Zheng-quan. A Design Scheme of Automatic Car Plate Recognition System[J]. Journal of Wuhan University of Technology:Transportation Science & Engineering Edition, 2003, 27(4): 552-554. |
[3] |
刘庆祥, 蒋天发. 智能车牌识别系统中图像获取技术的研究[J]. 武汉理工大学学报:交通科学与工程版, 2003, 27(1): 127-129. LIU Qing-xiang, JIANG Tian-fa. Technque of Obtaining Image in the Intelligent Vehicle Plate Recognization System[J]. Journal of Wuhan University of Technology:Transportation Science & Engineering Edition, 2003, 27(1): 127-129. |
[4] |
MARTINS H A, BIRK J R, KELLEY R B. Camera Models Based on Data from Two Calibration Planes[J]. Computer Graphics and Image Processing, 1981, 17(2): 173-180. |
[5] |
陈超, 董芳, 马丽娜, 等. 基于MATLAB的摄像机的标定与实现[J]. 洛阳理工学院学报:自然科学版, 2015, 25(3): 71-75. CHEN Chao, DONG Fang, MA Li-na, et al. Calibration and Implementation of MATLAB Based Camera[J]. Journal of Luoyang Institute of Science and Technology:Natural Science Edition, 2015, 25(3): 71-75. |
[6] |
崔红霞, 刘畅, 林宗坚, 等. 基于畸变模型优化的网络摄像机标定[J]. 计算机应用研究, 2016, 33(9): 2848-2850. CUI Hong-xia, LIU Chang, LIN Zong-jian, et al. Web-camera Calibration with Optimum Distortion Model[J]. Application Research of Computers, 2016, 33(9): 2848-2850. |
[7] |
熊邦书, 黄武涛, 李新民. 基于改进遗传算法的摄像机标定参数优化方法[J]. 半导体光电, 2016, 37(1): 110-114. XIONG Bang-shu, HUANG Wu-tao, LI Xin-min. Optimization Method for Camera Calibration Parameters Based on Improved Genetic Algorithm[J]. Semiconductor Optoelectronics, 2016, 37(1): 110-114. |
[8] |
ZHANG Zheng-you. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. |
[9] |
黄伟光, 董安国. 基于粒子群算法的摄像机自标定[J]. 计算机应用与软件, 2015, 32(5): 216-219. HUANG Wei-guang, DONG An-guo. Camera Self-calibration Based on Particle Swarm Optimisation[J]. Computer Applications and Software, 2015, 32(5): 216-219. |
[10] |
马颂德, 张正友. 计算机视觉:计算理论与算法基础[M]. 北京: 科学出版社, 1998. MA Song-de, ZHANG Zheng-you. Computer Vision:Basis of Calculation Theory and Algorithm[M]. Beijing: Science Press, 1998. |
[11] |
严红平, 汪凌峰, 潘春洪. 高速公路动态环境下的摄像机自标定[J]. 计算机辅助设计与图形学学报, 2013, 25(7): 1036-1044. YAN Hong-ping, WANG Ling-feng, PAN Chun-hong. Automatic Self-calibration of Expressway Surveillance Camera under Dynamic Conditions[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(7): 1036-1044. |
[12] |
朱秋煜, 朱鸣, 赵保珠. 获取摄像机安装高度及倾角的简易标定方法[J]. 电视技术, 2016, 40(12): 143-147. ZHU Qiu-yu, ZHU Ming, ZHAO Bao-zhu. Method of Obtaining Installation Height and Angle in Camera Calibration[J]. Video Engineering, 2016, 40(12): 143-147. |
[13] |
吴进军, 杜树新. 基于彩色二值化的车牌定位方法[J]. 公路交通科技, 2006, 23(4): 135-138. WU Jin-jun, DU Shu-xin. Vehicle License Plate Locating Based on Binary Color Image[J]. Journal of Highway and Transportation Research and Development, 2006, 23(4): 135-138. |
[14] |
朱春满, 房斌, 尚赵伟, 等. 复杂背景下的多车牌定位技术研究[J]. 公路交通科技, 2010, 27(7): 147-153. ZHU Chun-man, FANG Bin, SHANG Zhao-wei, et al. Multiple Vehicle License Plate Location Techniques in Complex Background[J]. Journal of Highway and Transportation Research and Development, 2010, 27(7): 147-153. |
[15] |
潘勇, 赵佳乐, 徐志刚, 等. 基于纹理特征的低照度环境下车牌定位与识别算法[J]. 公路交通科技, 2015, 32(7): 140-148. PAN Yong, ZHAO Jia-le, XU Zhi-gang, et al. An Algorithm of License Plate Location and Recognition in Low Illuminance Environment Based on Texture Feature[J]. Journal of Highway and Transportation Research and Development, 2015, 32(7): 140-148. |
[16] |
孙家广, 杨长贵. 计算机图形学[M]. 北京: 清华大学出版社, 1995. SUN Jia-guang, YANG Chang-gui. Computer Graphics[M]. Beijing: Tsinghua University Press, 1995. |
[17] |
潘国辉. 安防天下2智能高清视频监控精解与最佳实践[M]. 北京: 清华大学出版社, 2014. PAN Guo-hui. Security World 2 Intelligent HD Video Monitoring Solution and Best Practices[M]. Beijing: Tsinghua University Press, 2014. |
[18] |
GA 36-2014, 中华人民共和国机动车号牌[S] GA 36-2014, License Plates of Motor Vehicles of the People's Republic of China[S]. |
[19] |
林宇. 车牌识别在智能交通中的应用与发展趋势[J]. 中国安防, 2012(11): 63-65. LIN Yu. Application and Development Tendency of License Plate Recognition in Intelligent Transport[J]. China Security & Protection, 2012(11): 63-65. |