Visual measurement of unmanned ship attitude based on custom elliptical in a low-light environment
-
摘要: 针对低光照条件下图像对比度低和噪声增多导致单目视觉姿态测量不准确的问题，提出基于快速椭圆检测的无人船姿态估计方法。首先，通过自适应颜色阈值分割技术与颜色和对比度增强技术相结合来提升边缘信息的获取精确度。其次，设计八邻域跟踪与弧弦比方法去除低光照图像噪声引起的伪弧，并结合改进的圆弧特征映射技术进一步区分伪弧段，以减少参数拟合的计算负担。最后，利用椭圆平面法向量和矩形法向量的平行性消除椭圆姿态角计算的二义性，以提高算法在低光照环境下的鲁棒性。实验表明，提出的无人船姿态估计算法具有更快的检测速度，同时保持更高的估计精度。Abstract: This study proposes an attitude estimation method for unmanned ships using fast ellipse detection to address inaccurate monocular visual attitude measurement caused by low image contrast and increased noise under low-light conditions. First, it employs an adaptive color threshold segmentation algorithm with color and contrast enhancement to optimize edge detection. Second, eight-neighborhood tracking combined with the arc aspect ratio method is designed to eliminate the pseudo-arc caused by noise in low-illumination images. The improved arc feature mapping technology is also used to further distinguish the real elliptical arc segment from the pseudo-arc segment generated by noise, which significantly reduces the computational burden of parameter fitting. Finally, a geometric constraint strategy is established to eradicate the ambiguity of elliptic attitude angle calculation using the parallelism of the elliptic plane normal vector and the rectangular normal vector, which improves the robustness of the algorithm in low-light environments. Experiments indicate that the proposed algorithm offers faster detection speed and higher accuracy for unmanned ship attitude estimation.
-
在计算机视觉中，无人船的识别和定位方法是一个重要课题。无人机能够在复杂环境中(如恶劣天气、低光照条件)执行姿态测量任务，弥补地面系统的不足，提高系统的适应性和鲁棒性[1]。在复杂环境中视觉导航可以实现完全自主和无源，具有代价小、信息量大等优势[2-5]。在基于视觉的无人机降落过程中，选取合适的先验标志可以为摄像头对无人船的姿态估计提供充分的信息[6-7]。生活中的曲线和类圆形都是非常常见的标志，因此对椭圆标志物的特征提取具有广泛而重要的应用前景[8-10]。由于椭圆检测精度和时间消耗对许多应用至关重要，因此大量的研究一直致力于提高它们的性能。
经典的边缘检测算法通常基于微分检测。对于复杂的图像，林婷婷等[11]提出的2×2算子在边缘检测方面的表现不佳，而 Taher等[12]的3×3算子可以得到更好的检测结果。文献[13]采用大津法——最大类间方差法(OTSU)和蝗虫算法完成最优分割阈值求解，在一定程度上提升了算法运行速度。文献[14]采用改进自适应差分演化算法来获取二维 OTSU的最优分割阈值，但在低光照背景下提取的阈值存在图像分割效果差的问题。椭圆检测主要有3类：基于最小二乘法、基于霍夫变换和基于弧段提取的椭圆检测方法[15]。其中Chernov等[16]揭示了传统算法不稳定行为的原因，并提出了不完全散射数据的圆弧最小二乘拟合方法。Ballard[17]在减小参数空间尺寸时采用了边缘梯度的方法。然而当图像中有大量不完整曲线时，标准霍夫变换会在参数空间产生大量的冗余计算。Pătrăucean等[18]提出的ELSDc(ellipse and line segment detector, with continuous formulation)将线检测器检测到的小线段连接成弧。Fornaciari等[19]利用圆弧的凹凸度和几何位置将圆弧划分为4个象限组合，避免在同一组合内拟合椭圆。文献[20]结合了基于ht和基于弧的方法的优点来检测工业图像中的椭圆。但没有考虑在复杂环境中优化椭圆参数拟合的实时性和准确性[21]。文献[22]根据左右两相机获取的法向量正确解间的夹角小于某一阈值，获得圆的正确姿态信息，然而该方法并不适用于不当阈值选取的情况。
针对上述问题，提出基于定制椭圆检测方法对无人机姿态进行视觉测量。首先，通过颜色增强和对比度增强来优化低光照下图像的亮度差异问题；接着，针对低光照下图像噪声降低椭圆边缘信息的准确性，采用八邻域跟踪法结合本文设计的弧弦比方法去除短弧和直线弧，并改进特征映射来验证生成所有的弧段组是否属于真实椭圆[15]；最后，利用具有几何性质的矩形约束策略减少低光照环境对椭圆姿态计算的影响，并消除椭圆姿态的虚假解[21]。
1. 问题描述
在海面低光照环境下，无人机获取无人船姿态信息对单目视觉系统有较高的要求，而传统的单目视觉算法在低光照环境下易出现图像质量下降，传感器测距信息不准确等问题[22-27]，从而导致目标姿态估计性能出现明显的缺陷与不足。
1.1 研究动机
本文主要研究基于椭圆检测的无人船姿态测量方法在低光照场景中的应用。椭圆作为单目视觉测量目标姿态的标识时具有一定优势，但在低光照环境下进行检测时仍存在以下问题[13-22]：
1) 在低光照环境下，由于全局灰度直方图的峰值不明显，使得基于最小二乘的OTSU算法难以识别出合适的阈值。此外，低对比度还会造成直方图无法提供足够的细节来准确区分目标与背景，图像的关键特征无法被有效识别，导致无法准确分割出感兴趣的区域。
2)随着低光照环境下无人船标识中的直线的噪声水平的增加，会导致八邻域跟踪法错误识别和提取大量的直弧及短弧，增加了椭圆参数拟合的计算量。因此，为减少错误提取和提升检测效率，提高低光照下八邻域跟踪算法的鲁棒性至关重要。
3) 在低光照环境下，由于弧段边缘特征不明显，霍夫变换难以准确检测和提取椭圆弧段，同时图像噪声的增加也容易导致误分类，尤其是在处理大量弧段时，错误的分类会导致组合数量急剧增加，从而大幅增加计算负担并降低分类的准确性。
4) 传统的圆姿态估计方法如多重圆环法向量约束或激光测距数据等依赖清晰的图像和稳定的传感器输出。然而，低光照环境不仅降低了图像质量，还会干扰激光测距仪等传感器的性能，使得这些方法在实际场景中的适用性受限。
1.2 解决方案
针对研究动机提出的4个问题，本文分别提出了对应的解决方案，图1表示整个算法的流程。
图 1 本文算法流程Fig. 1 Algorithm flow
下载:
全尺寸图片
1) 为适应低光照环境，本文引入了一种新的自适应颜色阈值分割技术。该方法通过图像的灰度累积分布函数自动调整分割阈值[28-29]，并结合颜色及对比度增强，可以有效提取无人船椭圆弧段的梯度信息和边缘点坐标。
2) 针对低光照环境下八邻域跟踪法提取弧段时会生成大量伪弧段的问题[30-31]，本文提出一种八邻域跟踪法结合弓弦比方法的弧段提取策略。该策略能在弧段通过边缘信息初步连接后，有效地排除非目标弧段，确保了更高质量的弧段提取。
3) 针对低光照环境下弧段分组受图像噪声的影响，本文将特征映射模组嵌入到弧段分组过程中。通过将高阶曲线上的点映射至低阶曲线并验证共线性，旨在简化复杂的计算过程和减少由低光照引发的弧段误检问题。
4) 针对光线不足导致传感器测量圆姿态不准确的问题[32]，本文采用了一种基于矩形约束的姿态二义性消除方法。利用矩形平面法向量与过圆心法向量的平行性作为几何约束，消除圆姿态解的二义性，无需先验知识且不过度依赖传感器精度，提高了算法在低光照环境下的鲁棒性。
2. 基于椭圆特征的无人船姿态估计
2.1 基于自适应颜色阈值分割的边缘检测
在低光照条件下，基于最小二乘法的OTSU方法通过图像的全局灰度直方图来确定最优阈值时，无法获得足够的信息来有效分割目标区域[14]。因此，提出一种基于自适应颜色阈值分割的边缘检测方法，通过颜色和对比度增强来改善在阴天情况下目标标记的亮度差异问题。给定一幅大小为
M×N 的图像I ，直方图中所有矩形框所代表的数值之和是图像中的像素数量[28]，公式表示为K−1∑i=0h(i)=M×N 式中
h(i) 表示图像中像素值为i 的像素数。对直方图归一化：p(i)=h(i)MN 式中
p(i) ，0⩽ 表示一个随机过程的概率密度函数(probability density function, PDF)。确保所有灰度级上的PDF之和为一，即满足\sum\limits_{i = 0}^{K - 1} {p(i)} = 1 随后由PDF计算累积分布函数(cumulative distribution function, CDF)[28]：
\begin{gathered} P\left( i \right) = \frac{{H\left( i \right)}}{{H\left( {K - 1} \right)}} = \frac{{H\left( i \right)}}{{MN}} = \\ \sum\limits_{j = 0}^i {\frac{{h\left( j \right)}}{{MN}}} = \sum\limits_{j = 0}^i {p(j)} ,{\mkern 1mu} 0 \leqslant i < K \\ \end{gathered} 这里，CDF用于在自适应阈值的确定过程中判定图像中特定的灰度区域。基于CDF的自适应颜色阈值能将图像中符合条件的灰度值映射为对应的像素值。为了适应本文特定的颜色阈值分割任务，通过比较红绿色通道的比值来选取较高者进行规范化处理，以便加强图像中的黄绿色调并降低光照变化的影响[33]。
{\text{RB}}(x) = {\text{max}}\left( {\frac{R}{{R + G + B}},\frac{G}{{R + G + B}}} \right) 式中：R代表红色像素数，G代表绿色像素数，B代表蓝色像素数。计算椭圆标志区域灰度分布的概率密度函数
p(k) 和累积分布函数F(m) [28]：p(k) = \frac{{\displaystyle\sum\limits_{k = 0}^{m - 1} {h(k)} }}{{M \times N}} F(m) = \sum\limits_{k = {k_{\min }}}^m {p(k)} 根据实验分析，自适应阈值的确定条件可以用无人船椭圆标志区域的灰度累计分布函数。若存在
m = {m_1} ，图像的自适应阈值{m_1} 为灰度累计分布函数对应的灰度值，满足：F\left( {{m_1} - 1} \right) < \beta , F\left( {{m_1}} \right) \geqslant \beta ，最后进行归一化处理，代替原来图像中各点像素值。为了在低照度环境中增强椭圆标识的对比度，本文首先采取颜色增强策略来提升图像的红色和黄色区域。红色和黄色椭圆的颜色增强公式[34]分别为
f_{\mathrm{R}}(x)=\max\left(0,\frac{\mathrm{min}\left(x_R-x_G,x_R-x_B\right)}{s}\right) f_{\mathrm{Y}}(x)=\max\left(0,\frac{\mathrm{min}\left(x_R-x_B,x_G-x_B\right)}{s}\right) 式中
x = \left\{ {{x_R},{x_G},{x_B}} \right\} 代表像素点，s = {x_R} + {x_G} + {x_B} 。接着，采用对比度增强通过权重化的局部差异平方和进一步增强图像中对比度低的区域，有效提升在低光照环境下获取图像边缘信息的准确度，计算公式为[28]c = \sum\limits_\delta {\delta {{(i,j)}^2}{P_\delta }(i,j)} 式中：
\delta (i,j) = |i - j| 表示相邻像素间的灰度差，{P_\delta }(i,j) 是相邻像素间灰度差为\delta 的分布概率。最后，通过文献[29]中的Sobel算子和双阈值技术分别计算图像的梯度强度，方向和边缘点坐标，获取准确的弧段边缘信息。2.2 基于弧弦比的弧段提取方法
一般情况下，设图像在正常光照下的噪声水平为
\sigma_0 ，在低光照下的噪声水平为\sigma ，其中\sigma > \sigma_0 。低光照环境下噪声水平的增加会导致八邻域跟踪法将更多的噪声点误识为边缘点，从而形成包含无效弧段的圆弧集合，增加了后续处理的计算量[30]。因此，研究并建立一种基于弧弦比的伪弧去除方法。在低光照影响下，图像边缘点总数N 包含误检的噪声点数N_{\text {noise }} ，实际有效的边缘点数N_{\text {effective}} 应为N-N_{\text {noise}} ，其中N_{\text {noise}} 与\sigma 成正比。从而，调整后的弧长D 表示为[31]D = N - {N_{{\text{noise}}}} = N - k \cdot \sigma 式中
k 是与具体图像质量和噪声模型相关的系数。如图2所示，L({x_1},{y_1}) 、R({x_2},{y_2}) 分别为弧\alpha 的左右端点，\alpha 对应的弦为C ，因此定义弧弦比为L/\left| C \right| ，其中弦C 的值为[31]
图 2 椭圆弧段Fig. 2 Ellipse arc segments下载:
全尺寸图片
|C|=\sqrt{\left(x_2-x_1\right)^2+\left(y_2-y_1\right)^2} 因此，比值
r 为r = \frac{D}{{\left| C \right|}} 在低光照条件下，由于
D 较低，r 的值通常较小，这反映出弧段中包含较多噪声。设置阈值{T_\sigma } 以区分由于噪声增加引起的伪弧和真实椭圆弧段，如果r < {T_\sigma } , 则弧\alpha 被认为是伪弧。2.3 基于特征映射的弧段分组方法
针对低光照环境下基于霍夫变换的圆弧分组中弧段误检数增多而容易变得效率低下，提出一种具有几何性质的特征映射策略[15]。
首先，在每个弧段上选择3个关键点(两端点和中点)，这些点代表弧段的主要特征，并且对图像噪声的敏感度较低。接着，将这些点映射到理论三角形上。如图3[31]所示，三角形
\Delta {P_1}{P_2}{P_3} 的每条边与椭圆相交于两点，共6个点\left\{ {Q_i^{\left( j \right)}} \right\}_{i = 1,2,3}^{j = 1,2} ，通过计算它们的映射点\left\{ {{R_i}} \right\}_{i = 1}^3 是否共线来估计这6个点是否在同一椭圆上。在考虑低光照图像噪声的情况下，每个实际映射点可以表示为理论映射点{R_i} 的坐标加上误差向量\boldsymbol{\mathit{\epsilon}}_i ，则每个点的实际位置{R'_i} 可以表示为
图 3 特征映射图例Fig. 3 Feature map legend下载:
全尺寸图片
{{R}_{i}^{\prime }}={R}_{i}+{\epsilon}_{i} 式中
{\epsilon}_{i} 是由噪声引起的误差向量，与低光照下图像噪声水平\sigma 相关。为了在共线性检测中容忍由低光照图像噪声引入的误差，设置一个与噪声水平相关的阈值\delta ，用于判断某一组点是否属于同一椭圆。当共线性计算值小于或等于\delta ，则认为它们属于同一椭圆。本文拟采用验证2个圆弧的方法来构建n = 2 的特征映射，每次可以验证2个圆弧。特征映射算法流程如算法1所示。算法1 两弧分组算法
输入 弧段集合Sarc，共线性确定阈值
\delta 。输出 弧段组合集合S。
1) 对于Sarc中的每个i执行；
2) 对于Sarc中的每个j，且j≠i执行；
3) 如果 CM (i, j) > Th；
4) 将{i, j}添加到弧线组合集合S中；
5) 返回S；
6) 设置函数CM (i, j)；
7) 取2个端点和弧线中点
\left\{ {Q_i^{\left( j \right)}} \right\}_{i = 1,2,3}^{j = 1,2} 组成的{i, j}；8) 通过特征映射获得映射点
\left\{ {{S_x}} \right\}_{x = 1}^3 ；9) 计算
\left\{ {{S_x}} \right\} 的共线性V；10) 返回V；
2.4 基于矩形约束的圆姿态角估计方法
在2.3节中获得弧段组之后，便可以拟合椭圆参数，其中椭圆方程定义为
{x^2} + Axy + B{y^2} + Cx + Dy + E = 0{\mkern 1mu} 式中
(x,y) 是图像坐标系下的坐标。可以利用椭圆计算公式来求解椭圆参数[32]：\left\{ \begin{gathered} {x_0} = \frac{{2BC - AD}}{{{A^2} - 4B}} \\ {y_0} = \frac{{2D - AC}}{{{A^2} - 4B}} \\ \theta = {\text{ta}}{{\text{n}}^{ - 1}}\sqrt {\frac{{{a^2} - {b^2}B}}{{{a^2}B - {b^2}}}} \\ \end{gathered} \right. \left\{ \begin{gathered} a = \sqrt {\frac{{2\left( {ACD - B{C^2} - {D^2} + 4BE - {A^2}E} \right)}}{{\left( {{A^2} - 4B} \right)\left( {B + 1 - \sqrt {{A^2} + {{(1 - B)}^2}} } \right)}}} \\ b = \sqrt {\frac{{2\left( {ACD - B{C^2} - {D^2} + 4BE - {A^2}E} \right)}}{{\left( {{A^2} - 4B} \right)\left( {B + 1 + \sqrt {{A^2} + {{(1 - B)}^2}} } \right)}}} \\ \end{gathered} \right. 式中：
(\theta ,{x_0},{y_0}) 是椭圆的倾斜角和圆心位置参数，倾斜角描述了椭圆长轴与水平x轴的角度，(a,b) 是长短轴参数。当相机获取成像平面上的椭圆投影时，此投影会对应2个空间圆，因此会出现2组圆心坐标以及过圆心法向量，导致计算椭圆姿态角时出现二义性问题。由于标准椭圆锥沿z轴对称，法线和圆心位置主要是在X-Z平面内变化，因此标准空间中的圆心位置以及过圆心法向量在y轴方向上的分量为0。则有\begin{array}{c}\left[{\begin{array}{lll}{{x}}_{0}^{\prime } & {{y}}_{0}^{\prime } & {{\textit{z}}}_{0}^{\prime } \end{array}}\right]= \\ \left[\pm R\sqrt{\dfrac{\left|{\lambda }_{3}\right|\left(\left|{\lambda }_{1}\right|-\left|{\lambda }_{2}\right|\right)}{\left|{\lambda }_{1}\right|\left(\left|{\lambda }_{1}\right|+\left|{\lambda }_{3}\right|\right)}}\quad 0 \quad R\sqrt{\dfrac{\left|{\lambda }_{1}\right|\left(\left|{\lambda }_{2}\right|+\left|{\lambda }_{3}\right|\right)}{\left|{\lambda }_{3}\right|\left(\left|{\lambda }_{1}\right|+\left|{\lambda }_{3}\right|\right)}}\right]\end{array} 式中：R为已知的圆半径，
{\lambda _1} 、{\lambda _2} 、{\lambda _3} 是椭圆锥的系数。在低光照海面环境下，传统二义性消除法没有足够的先验知识来识别和跟踪圆环特征，同样光线强度不足会导致传感器反射信号弱，使得测距数据不准确。因此，提出具有几何性质的矩形约束策略来消除椭圆姿态解的二义性，这种方法主要依赖于几何约束而非传感器数据的绝对精度[21]，具体流程如图4所示。
图 4 矩形约束流程Fig. 4 Rectangular constraint flow下载:
全尺寸图片
如图5所示，
{L_i} (i = 1,2,3,4 )是矩形在世界坐标系下的4条边。设矩形在相机成像平面的投影为{S_i} ，{L_i} 的投影为{l_i} ，其投影方程为{a_i}x + {b_i}y + {c_i} = 0 。当焦距为f 时，可得相机光心{O_c} 与{l_i} 上的任意一点连线的方向向量{{\boldsymbol{n}}_i} = ({x_i},{y_i},f) 。根据数学知识可知{{\boldsymbol{v}}_i} = ( - {b_i},{a_i},0) 可表示投影直线在相机坐标系下的方向向量[21]。参考文献[21]对矩形平面法向量\boldsymbol{N} 进行计算，计算步骤为
图 5 矩形法向量求解Fig. 5 Rectangular normal vector solved下载:
全尺寸图片
{{\boldsymbol{N}}_i} = {{\boldsymbol{n}}_i} \times {{\boldsymbol{v}}_i} {{\boldsymbol{V}}_1} = {{\boldsymbol{N}}_1} \times {{\boldsymbol{N}}_3} {{\boldsymbol{V}}_2} = {{\boldsymbol{N}}_2} \times {{\boldsymbol{V}}_1} {\boldsymbol{N}} = {{\boldsymbol{V}}_1} \times {{\boldsymbol{V}}_2} 式中：
{{\boldsymbol{N}}_i} 为矩形投影平面{{\boldsymbol{S}}_i} 的法向量，{{\boldsymbol{V}}_1} 和{V_2} 分别为边{L_1} 和{L_2} 在相机坐标系下的方向向量。对比矩形平面与圆标识平面的法向量，利用它们在相机坐标系下法向量的平行关系，消除虚假解。设无人船椭圆标识在相机坐标系下的真实法向量为{\boldsymbol{n}} ，可通过下式消除虚假解[21]：{\boldsymbol{n}}\approx k{\boldsymbol{N}}\text{，}k\ne 0 式中
k 代表2个法向量间的比例因子。当确定了真实法向量为{\boldsymbol{n}} = \left[ {\begin{array}{*{20}{l}} {{n_x}}&{{n_y}}&{{n_{\textit{z}}}} \end{array}} \right] ，依据现有的三角数学推算可解出偏航角\alpha 和俯仰角\beta ，计算公式分别为[21]\left\{ \begin{gathered} \alpha = {\text{arctan}}\,\,\frac{{{n_y}}}{{{n_x}}} \\ \beta = {\text{arctan}}\,\,\frac{{{n_{\textit{z}}}}}{{\sqrt {n_x^2 + n_y^2} }} \\ \end{gathered} \right. 式中：
\alpha 范围为\left[0,2{\text{π}}\right] ；\beta 范围是\left[ { - {\text{π}}/2,{\text{π}}/2} \right] 。3. 实验分析
为了验证本文方法的可行性，对相关的实验场景进行了搭建，如图6所示。该实验场景包括标定板、标识物、QCS-
1000 无人船、大疆无人机、CCD相机，相机的分辨率为3 840像素×2 160像素。实验前需调试无人机与无人船的运行状态和飞行高度，要求无人机相机视野内包括圆形和共面矩形。实验采用的数据集是本文场景下通过无人机采集椭圆标识的视频，然后制作的图片数据集。
图 6 无人机与无人船实验场景Fig. 6 Experimental scene of drones and unmanned ships下载:
全尺寸图片
3.1 阈值分割算法对比实验
实验图像是基于以上实验场景所采集的图片，图片像素数是881×783。使用本文算法和基于最小二乘法拟合的OTSU快速图像分割方法[14]的检测方法进行对比实验。实验结果分别如图7～9所示。
图 7 颜色增强前后对比Fig. 7 Color enhances before and after contrast下载:
全尺寸图片
图 8 阈值分割对比Fig. 8 Comparison of threshold segmentation下载:
全尺寸图片
图 9 边缘检测对比Fig. 9 Comparison of edge detection下载:
全尺寸图片
图7(a)是采用无人机采集的无人船椭圆标识图片，图7(b)是进行颜色增强之后的图片，可以很明显地看出椭圆的对比度提高了很多。图8(a)是本文算法阈值分割实验图，图8(b)是OTSU阈值分割实验图，其中右图椭圆边缘阈值分割接近重叠，并且图中H字母有缺失，图8(a)椭圆标识可以高度还原其椭圆形状以及内外椭圆的间隙，并且H字母没有缺失。图9(b)是基于OTSU的边缘检测方法检测到的椭圆标识，2个椭圆之间的间隙几乎消失。图9(a)本文算法检测结果椭圆边缘很清晰，椭圆内部只存在少量的噪声信息。由表1可以看出本文的椭圆边缘检测算法相对来说实时性更好。
表 1 不同算法下边缘检测时间Table 1 Edge detection time under different algorithmss 方法 时间 Canny检测 0.32 基于OTSU检测 0.38 本文方法 0.31 中国交通标志数据集(traffic sign recognition database, TSRD)中含有6 164张交通标识图片，涵盖了各种光照条件下的交通标志图像，其中低光照椭圆标识的标志约有1 000张[35]。因此本文在数据集上进行有效性实验验证，实验结果如表2所示。
从表2中可以看出，相比于其他检测算法，本文方法在公共数据集上的表现比较优异。根据实验结果可以看出本文算法在低光照条件下椭圆标志检测的准确率、召回率和漏检率上均为最优。从而验证了本文算法具有一定的通用性和有效性。
3.2 八邻域跟踪去伪弧算法对比实验
本文使用基于八邻域跟踪算法的弧段提取算法和本文基于伪弧去除的弧段提取方法进行对比实验。实验结果如图10所示。
图 10 实验对比Fig. 10 Comparison of experiments下载:
全尺寸图片
图10中的对比实验采用的是最小二乘法拟合OTSU的检测方法的结果来进行弧段提取实验，然后通过八邻域跟踪算法构造弧段，接着通过Fomacian的方法来进行去伪弧实验[19]。在对比Fomacian方法时，只将弧段去伪部分改为Fomacian的方法，其余部分仍用本文方法。通过本文的去伪弧方法对图10中的2幅边缘图像分别进行弧段提取以及去伪弧实验。如图10，本文方法进行弧段去伪后，有效去除直线弧，而Fomacian的方法效果相对较差。且本文提出的方法剔除后得到的弧段数量很少，有效减少之后椭圆参数拟合的时间。
表3中去除直线弧数是弧段去伪方法对输入图像去除的直弧和伪弧的数量；剩余弧段数为输入图像经过弧段去伪后剩余的弧段的数量；弧段总数为输入图像经八邻域跟踪算法提取的弧段的总数量。本文提出伪弧去除方法来增强弧段组合的效率。
表 3 弧段去伪方法对比Table 3 Comparison of arc de-pseudo-aliasing methods评价指标 Fomacian 本文算法 去除直弧数 210 228 剩余弧段数 66 48 弧段总数 276 276 时间/ms 78.2 65.7 3.3 目标姿态估计算法可行性实验
通过前面步骤对图像处理后，本节将对结果进行椭圆参数拟合以及基于椭圆检测的无人船姿态估计实验。因此通过上个实验的结果来进行椭圆参数拟合，通过时间的对比来验证本算法的实时性。
图11是用本文的算法进行椭圆参数拟合实验。图11(a)是对经过本文去伪弧算法之后图片进行椭圆参数拟合，图11(b)是对未经过本文去伪弧方法的图片进行椭圆参数拟合实验，可以明显看出2张图都可以很好地拟合需要的目标椭圆。根据表4椭圆参数拟合时间对比实验，可以看出经过本文去伪弧算法处理过的图像椭圆参数拟合的运行时间很明显比未采用本文算法处理过的时间短。
图 11 椭圆检测对比实验Fig. 11 Ellipse detection comparison experiment下载:
全尺寸图片
表 4 椭圆参数拟合时间对比实验Table 4 Comparative experiment on elliptic parameter fitting time指标 未经过处理 本文算法 运行时间/s 0.670 0.039 图12是对图9的2个实验图进行矩形特征选择。首先，通过特征选择筛选矩形边缘，随后通过直线拟合求解平面法向量。然后，对图10的2个实验图进行椭圆参数拟合，并求出目标圆的圆心坐标以及过圆心法向量。最后，通过2.4节中的姿态角求解公式求出正确的姿态角。如表5所示，
{{\boldsymbol{n}}_1} 和{{\boldsymbol{n}}_2} 分别是圆特征所在平面的2个法向量，\boldsymbol{N} 代表矩形所确定的平面法向量。根据圆特征的真实法向量和矩形平面法向量\boldsymbol{N} 之间的关系，可以确定唯一的椭圆标识过圆心法向量，并且求出唯一姿态角，验证了本文算法的可行性。
图 12 矩形感兴趣区域Fig. 12 Rectangle region of interest下载:
全尺寸图片
表 5 姿态角估计实验Table 5 Attitude angle estimation experiment估计参数 区域A 区域B 法向量 \boldsymbol{n}_1 (5.80,−2.08,3.26) (1.92,−0.43,0.81) 法向量 \boldsymbol{n}_2 (−5.78,2.39,−3.25) (−1.89,0.45,−0.77) 矩形法向量 \boldsymbol{N} (1.52,−0.54,−0.85) (2.41,−0.56,1.05) 姿态角/(°) (19.7,27.9,0) (12.6,22.4,0) 4. 结束语
本文提出了一种基于椭圆检测的目标姿态估计方法，证明了其理论的可行性。同时建立了一种基于自适应颜色阈值分割的边缘检测方法，通过颜色增强来解决低光照下的目标椭圆检测不准确的问题。然后通过本文设计的弓弦比的伪弧去除方法，来提取有效的椭圆弧段，再通过特征映射模块进一步地减少椭圆参数拟合时间。最后，利用矩形约束来消除圆的姿态解中的虚假解。实验表明，本文所提出的方法比基于最小二乘法的OTSU的检测方法实时性更好，弧段提取的精度更高。
-
图 1 本文算法流程
Fig. 1 Algorithm flow
下载:
全尺寸图片
图 2 椭圆弧段
Fig. 2 Ellipse arc segments
下载:
全尺寸图片
图 3 特征映射图例
Fig. 3 Feature map legend
下载:
全尺寸图片
图 4 矩形约束流程
Fig. 4 Rectangular constraint flow
下载:
全尺寸图片
图 5 矩形法向量求解
Fig. 5 Rectangular normal vector solved
下载:
全尺寸图片
图 6 无人机与无人船实验场景
Fig. 6 Experimental scene of drones and unmanned ships
下载:
全尺寸图片
图 7 颜色增强前后对比
Fig. 7 Color enhances before and after contrast
下载:
全尺寸图片
图 8 阈值分割对比
Fig. 8 Comparison of threshold segmentation
下载:
全尺寸图片
图 9 边缘检测对比
Fig. 9 Comparison of edge detection
下载:
全尺寸图片
图 10 实验对比
Fig. 10 Comparison of experiments
下载:
全尺寸图片
图 11 椭圆检测对比实验
Fig. 11 Ellipse detection comparison experiment
下载:
全尺寸图片
图 12 矩形感兴趣区域
Fig. 12 Rectangle region of interest
下载:
全尺寸图片
表 1 不同算法下边缘检测时间
Table 1 Edge detection time under different algorithms
s 方法 时间 Canny检测 0.32 基于OTSU检测 0.38 本文方法 0.31 表 2 TSRD椭圆标志检测结果
Table 2 Detection results of TSRD elliptical markers
% 表 3 弧段去伪方法对比
Table 3 Comparison of arc de-pseudo-aliasing methods
评价指标 Fomacian 本文算法 去除直弧数 210 228 剩余弧段数 66 48 弧段总数 276 276 时间/ms 78.2 65.7 表 4 椭圆参数拟合时间对比实验
Table 4 Comparative experiment on elliptic parameter fitting time
指标 未经过处理 本文算法 运行时间/s 0.670 0.039 表 5 姿态角估计实验
Table 5 Attitude angle estimation experiment
估计参数 区域A 区域B 法向量 \boldsymbol{n}_1 (5.80,−2.08,3.26) (1.92,−0.43,0.81) 法向量 \boldsymbol{n}_2 (−5.78,2.39,−3.25) (−1.89,0.45,−0.77) 矩形法向量 \boldsymbol{N} (1.52,−0.54,−0.85) (2.41,−0.56,1.05) 姿态角/(°) (19.7,27.9,0) (12.6,22.4,0) -
[1] 袁泽慧, 陈国栋, 李世中. 四旋翼在移动平台视觉导引自主降落研究综述[J]. 兵器装备工程学报, 2023, 44(4): 60−67. doi: 10.11809/bqzbgcxb2023.04.010 YUAN Zehui, CHEN Guodong, LI Shizhong. Review on quadrotor vision-guided autonomous landing on amoving platform[J]. Journal of ordnance equipment engineering, 2023, 44(4): 60−67. doi: 10.11809/bqzbgcxb2023.04.010 [2] 徐小斌, 段海滨, 曾志刚. 仿猛禽视觉多分辨率的海上无人艇协同跟踪[J]. 智能系统学报, 2023, 18(4): 867−877. doi: 10.11992/tis.202211001 XU Xiaobin, DUAN Haibin, ZENG Zhigang. Cooperative tracking of unmanned surface vessels at sea inspired by a multi-resolution mechanism of raptor vision[J]. CAAI transactions on intelligent systems, 2023, 18(4): 867−877. doi: 10.11992/tis.202211001 [3] WANG Qianqian, ZHANG Jiachen, YU Jiangfan, et al. Untethered small-scale machines for microrobotic manipulation: from individual and multiple to collective machines[J]. ACS nano, 2023, 17(14): 13081−13109. doi: 10.1021/acsnano.3c05328 [4] 齐艳霞, 庄羽, 李岳伦, 等. 无人机视觉导航相对位置解算及二义性优化方法[J]. 导航与控制, 2023, 22(2): 68−75. doi: 10.3969/j.issn.1674-5558.2023.02.010 QI Yanxia, ZHUANG Yu, LI Yuelun, et al. Relative position calculation and ambiguity optimizationmethod for UAV visual navigation[J]. Navigation and control, 2023, 22(2): 68−75. doi: 10.3969/j.issn.1674-5558.2023.02.010 [5] JIANG Z, JOVAN F, MORADI P, et al. A multirobot system for autonomous deployment and recovery of a blade crawler for operations and maintenance of offshore wind turbine blades[J]. Journal of field robotics, 2023, 40(1): 73−93. doi: 10.1002/rob.22117 [6] XU Yahao, LI Jingtai, WU Bi, et al. Cooperative landing on mobile platform for multiple unmanned aerial vehicles via reinforcement learning[J]. Journal of aerospace engineering, 2024, 37(1): 04023095. doi: 10.1061/JAEEEZ.ASENG-5053 [7] SHAKIRZYANOV R M, SHLEYMOVICH M P, NOVIKOVA S V. Method for unmanned vehicles automatic positioning based on signal radially symmetric markers recognition of underwater targets[J]. Automation and remote control, 2023, 84(7): 734−752. [8] LIU Qi, TANG Xiyu, HUO Ju. Attitude measurement of ultraclose-range spacecraft based on improved YOLOv5s and adaptive Hough circle extraction[J]. Applied optics, 2024, 63(5): 1364−1376. doi: 10.1364/AO.509549 [9] LIN C C, TUMMALA R L. Mobile robot navigation using artificial landmarks[J]. Journal of robotic systems, 1997, 14(2): 93−106. doi: 10.1002/(SICI)1097-4563(199702)14:2<93::AID-ROB4>3.0.CO;2-O [10] CHEN Haifeng, ZHUANG Jinlei, LIU Bingyou, et al. Camera calibration method based on circular array calibration board[J]. Systems science & control engineering, 2023, 11(1): 223356. [11] 林婷婷, 韩亚丽, 樊森. 结合形态学的Roberts边缘检测方法研究[J]. 建筑工程技术与设计, 2017(32): 2428−2428. LIN Tingting, HAN Yali, FAN Sen. Architectural engineering technology and design, 2017(32): 2428−2428. [12] TAHER S M, GHANIM M, DER C S. Applied improved canny edge detection for diagnosis medical images of human brain tumors[J]. Al-mustansiriyah journal of science, 2023, 34(4): 66−74. doi: 10.23851/mjs.v34i4.1392 [13] 崔文静, 李帅, 彭天文, 等. 改进蜜獾算法优化OTSU的图像分割研究[J]. 计算机测量与控制, 2023, 31(9): 260−266. CUI Wenjing, LI Shuai, PENG Tianwen, et al. Image segmentation on improved HBA to optimize OTSU[J]. Computer measurement & control, 2023, 31(9): 260−266. [14] 董慧芬, 严力, 孙浩远. 基于单目视觉的机械臂灯具清洗定位系统[J]. 电子测量与仪器学报, 2022, 36(2): 114−121. DONG Huifen, YAN Li, SUN Haoyuan. Manipulator positioning system of lamps cleaning based on monocular vision[J]. Journal of electronic measurement and instrument, 2022, 36(2): 114−121. [15] JIA Qi, FAN Xin, YANG Yang, et al. Characteristic mapping for ellipse detection acceleration[J]. IEEE transactions on image processing, 2023, 32: 2568−2579. doi: 10.1109/TIP.2023.3268563 [16] CHERNOV N, LESORT C. Least squares fitting of circles[J]. Journal of mathematical imaging and vision, 2005, 23(3): 239−252. doi: 10.1007/s10851-005-0482-8 [17] BALLARD D H. Generalizing the Hough transform to detect arbitrary shapes[J]. Pattern recognition, 1981, 13(2): 111−122. doi: 10.1016/0031-3203(81)90009-1 [18] PĂTRĂUCEAN V, GURDJOS P, GROMPONE VON GIOI R. Joint a contrario ellipse and line detection[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(4): 788−802. doi: 10.1109/TPAMI.2016.2558150 [19] FORNACIARI M, PRATI A, CUCCHIARA R. A fast and effective ellipse detector for embedded vision applications[J]. Pattern recognition, 2014, 47(11): 3693−3708. doi: 10.1016/j.patcog.2014.05.012 [20] MENG Cai, LI Zhaoxi, BAI Xiangzhi, et al. Arc adjacency matrix-based fast ellipse detection[J]. IEEE transactions on image processing, 2020. [21] 陈至坤, 胡连军, 王一, 等. 单圆姿态识别二义性的矩形约束消除[J]. 激光与光电子学进展, 2017, 54(10): 351−356. CHEN Zhikun, HU Lianjun, WANG Yi, et al. Solution of duality in pose estimation of a single circle using rectangle constrain[J]. Laser & optoelectronics progress, 2017, 54(10): 351−356. [22] XU Wenfu, XUE Qiang, LIU Houde, et al. A pose measurement method of a non-cooperative GEO spacecraft based on stereo vision[C]//2012 12th International Conference on Control Automation Robotics & Vision. Guangzhou: IEEE, 2012: 966−971. [23] LONG Chenrong, HU Qinglei. Monocular-vision-based relative pose estimation of noncooperative spacecraft using multicircular features[J]. IEEE/ASME transactions on mechatronics, 2022, 27(6): 5403−5414. doi: 10.1109/TMECH.2022.3181681 [24] WANG Zepeng, CHEN Derong, GONG Jiulu. Pose error analysis method based on a single circular feature[J]. Pattern recognition, 2022, 129: 108726. doi: 10.1016/j.patcog.2022.108726 [25] ASWAD M F, RUSMIN P H, FATIMAH R N. Marker-based detection and pose estimation of custom pallet using camera and laser rangefinder[C]//2023 International Seminar on Intelligent Technology and Its Applications. Surabaya: IEEE, 2023: 186−191. [26] STUCKEY H, ESCAMILLA L, GARCIA CARRILLO L R, et al. Real-time optical localization and tracking of UAV using ellipse detection[J]. IEEE embedded systems letters, 2024, 16(1): 1−4. doi: 10.1109/LES.2023.3234871 [27] 钟春来, 杨洋, 曹立佳, 等. 基于视觉的无人机自主着陆研究综述[J]. 航空兵器, 2023, 30(5): 104−114. doi: 10.12132/ISSN.1673-5048.2023.0045 ZHONG Chunlai, YANG Yang, CAO Lijia, et al. A review of vision-based autonomous UAV landing research[J]. Aero weaponry, 2023, 30(5): 104−114. doi: 10.12132/ISSN.1673-5048.2023.0045 [28] 康馨匀. 面向智能网联汽车的雨天交通标志检测与识别系统研究[D]. 长春: 吉林大学, 2020. KANG Xinyun. Research on detection and recognition system of rainy traffic signs for intelligent networked vehicles[D]. Changchun: Jilin University, 2020. [29] 朱齐丹, 李小铜, 郑天昊. 舰载机位姿实时视觉测量算法研究[J]. 智能系统学报, 2021, 16(6): 1045−1055. doi: 10.11992/tis.202103014 ZHU Qidan, LI Xiaotong, ZHENG Tianhao. Research on real-time vision measurement algorithm of shipborne aircraft pose[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1045−1055. doi: 10.11992/tis.202103014 [30] 徐超, 平雪良. 基于改进随机Hough变换的直线检测算法[J]. 激光与光电子学进展, 2019, 56(5): 051001. XU Chao, PING Xueliang. Line detection algorithm based on improved random Hough transformation[J]. Laser & optoelectronics progress, 2019, 56(5): 051001. [31] 王志敏. 基于弧段提取的椭圆检测算法研究[D]. 上海: 东华大学, 2021. WANG Zhimin. Research on ellipse detection algorithm based on arc segment extraction[D]. Shanghai: Donghua University, 2021. [32] 朱森荣, 刘杰徽. 基于最小二乘法椭圆拟合的改进型快速算法[J]. 舰船电子工程, 2022, 42(1): 33−35. doi: 10.3969/j.issn.1672-9730.2022.01.008 ZHU Senrong, LIU Jiehui. Improved fast algorithm for elliptic fitting based on least square method[J]. Ship electronic engineering, 2022, 42(1): 33−35. doi: 10.3969/j.issn.1672-9730.2022.01.008 [33] LUO Hengliang, YANG Yi, TONG Bei, et al. Traffic sign recognition using a multi-task convolutional neural network[J]. IEEE transactions on intelligent transportation systems, 2018, 19(4): 1100−1111. doi: 10.1109/TITS.2017.2714691 [34] 王斌. 自然环境下道路交通标志的检测与识别[D]. 济南: 山东大学, 2017. WANG Bin. Detection and recognition of road traffic signs in natural environment[D]. Jinan: Shandong University, 2017. [35] Beijing Jiaotong University. Traffic sign recogntion database[EB/OL]. (2024−3−11)[2025−01−10]. https://nlpr.ia.ac.cn/pal/trafficdata/recognition.html.
