High-precision and fast three-dimensional reconstruction of underwater images driven by the shape-from-shading algorithm
-
摘要: 明暗恢复形状(shape from shading，SFS)算法是三维重建中不可缺少的关键技术。该方法通过单幅图像中物体的灰度的亮度信息，求出每个点的相对高度和表面法向量，现有的SFS线性化算法利用泰勒级数进行展开忽略了高阶部分的影响，导致三维重建的图像不够精确等问题。为解决三维重建精度问题，本文提出一种基于SFS算法改进的高精度快速水下图像三维重建方法，在提高三维重建精度的前提下，解决了对本轮数据利用率不够、迭代速度慢等问题。将其应用在真实图像和虚拟图像上进行实验评估以及三维重建的量化分析，验证了相比于经典 SFS 线性化算法和SFS最小化算法，本文提出的SFS算法改进的高精度快速水下图像三维重建方法，取得了令人满意的信噪比和图像信息熵值。Abstract: Shape from shading (SFS) represents an indispensable key technique in three-dimensional (3D) reconstruction. It leverages the luminance information of the gray scale of the object in a single image to determine the relative height and the surface normal vector of each point, and the existing linearization algorithms of SFS leverage a Taylor series approach for the expansion, thereby ignoring the influence of the higher-order part, which causes issues, such as the inaccuracy of the reconstructed image in 3D. Thus, to solve the accuracy problem of 3D reconstruction, a high-precision, fast 3D reconstruction method for underwater images is proposed based on the enhancement driven by the SFS algorithm. This method solves the existing issues regarding insufficient data utilization and low iteration speed, thereby improving the accuracy of 3D reconstruction. Regarding the application to real and virtual images for the experimental evaluation and quantitative analysis of 3D reconstruction, the proposed SFS algorithm-enhanced high-precision and fast 3D reconstruction method for underwater images delivers satisfactory signal-to-noise ratios and entropy values regarding image information compared with classical SFS-linearization and SFS-minimization algorithms.
-
在 21 世纪新时代，海洋在我国发展中占据着日益重要的战略地位[1]，我国面积庞大的海洋疆域下存在许多海洋生物、矿产等珍贵资源[2]。21世纪后，我国制订了一系列海洋发展战略，随着战略的推行，我国的海洋经济总量也大幅提高[3]。
通过图像获取外界事物的信息是我们目前最直观的获取信息方式之一[4]，但是陆地成像在海洋环境中受到诸多限制，而声学技术能较好地在海洋环境下进行探测[5]。近年来，声呐系统的快速发展为海洋探测提供了越来越大的作用[6]。目前声呐系统主要包括多波束声呐、单波束声呐和侧扫声呐系统[7]。在常见的声呐系统中，侧扫声呐具有分辨率高、效率高等优点。 但是侧扫声呐因为工作原理的限制，无法直接获得海底地形深度信息[8]，因此有必要对侧扫声呐的二维图像进行三维重建研究[9]。
明暗恢复形状(shape from shading, SFS)方法是图像三维重建中最常见的方法之一[10]，该方法利用单幅图像中物体的灰度的亮度信息[11]，根据亮度生成原理，求出每个点在3D空间中的相对高度和表面法向量，本过程可以看作成像的反向过程[12]。另外，光波与声波的传播具有许多共同点[13]，因此适用于光学领域的 SFS算法也适用于侧扫声呐的海底地形三维重建[14]。SFS算法可大致分为4类：最小化法、演化法、局部分析法以及线性化法[15]。其中，Horn [16]最早提出最小化法，该方法通过加入光滑约束条件，把反射方程转化成了能量函数，并取能量最小。但最小化法通常需要一些先验知识或假设条件，例如光照方向和物体表面材质等，且其解的精度取决于能量函数的设计和求解算法的效率，需要更多的计算资源和时间[17]。此后，Horn等[18]又提出了演化法，他将图像划分为多个不交叉的特征线，每个特征线的初始位置都给予初始高度，通过计算迭代路径上点与点之间的高度信息传递实现图像的三维重建[19]。然而在迭代过程中，迭代误差累积严重影响三维重建结果的精度[20]。局部分析法首先对海底表面形状进行假设，利用局部形状参数构建线性偏微分方程组来实现海底地形三维重建[21]。如果物体表面的局部形状与假设的形状特征不符，则重构结果会受到影响[22]。而线性化法认为三维重建由朗伯反射模型中低阶项起主要作用，将反射方程通过泰勒级数展开，原来非线性的方程可以转换成线性方程求解[23]。对于侧扫声呐图像而言，由于海底表面地形通常变化不大，所以泰勒展开后的高阶误差可以忽略[24]。
综上，考虑到海底地形起伏变化缓慢且反射模型受低阶项影响大，需要实时性高的算法，因此，线性化法最适合侧扫声呐图像的三维重建。现有SFS线性化算法虽利用泰勒级数展开，但在高阶影响较大时精度不足。本文分析了SFS算法基础理论，推导了侧扫声呐图像的海底地形反射方程。基于经典SFS线性化算法，提出了一种改进的高精度快速线性化算法，并通过真实和虚拟图像实验评估，从外观、相关系数、信噪比、信息熵及算法速度多个方面进行了对比分析。
1. SFS算法基础
1.1 经典SFS线性化法
线性化方法通过泰勒展开将反射方程线性化，这样非线性问题就可以按照线性问题来解决。在该方法中，反射图函数中的低阶项将起明显的作用。Tsai等[25]研究了关于漫反射和光滑表面条件下的反射模型即朗伯反射图，在假设梯度为离散条件下，将反射模型中的高度值离散地表示出来，最后通过迭代求解出物体表面每一点的高度值，基于此提出了SFS经典线性化算法。
光源的方向向量为
$ {{\boldsymbol{n}}_{\rm s}} = ({p_{\rm s}},{q_{\rm s}}, - 1) $ ，物体表面任意一点法向量为$ {\boldsymbol{n}} = (p,q, - 1) $ ，将反射强度归一化处理后，即将图像灰度映射到[0,1]的归一化后[26]，朗伯反射图[27]写作$$ E(x,y) = R(p,q) = \frac{{1 + p{p_{\rm s}} + q{q_{\rm s}}}}{{\sqrt {1 + p_{\rm s}^2 + q_{\rm s}^2} \sqrt {1 + {p^2} + {q^2}} }} $$ (1) 式中：
$ {p_{\rm s}} $ 和$ {q_{\rm s}} $ 是光源方向矢量梯度，根据有限差分法[15,28]，对物体表面的梯度$p$ 和$q$ 分别进行离散差分近似表示为$$ \left\{ \begin{gathered} {p = \dfrac{{\partial Z}}{{\partial x}} = Z(x,y) - Z(x - 1,y)} \\ {q = \dfrac{{\partial Z}}{{\partial y}} = Z(x,y) - Z(x,y - 1)} \\ \end{gathered} \right.$$ (2) 式(1)可写作
$$ E(x,y) - \frac{{1 + p{p_{\rm s}} + q{q_{\rm s}}}}{{\sqrt {1 + p_{\rm s}^2 + q_{\rm s}^2} \sqrt {1 + {p^2} + {q^2}} }} = 0 $$ (3) 令式(3)左式为f，在已知图像强度
$E$ 的情况下，将f在点$ (x,y) $ 处进行近似泰勒展开：$$ \begin{array}{*{20}{c}} {0 = f(Z(x,y)) \approx f({Z^{n - 1}}(x,y)) + (Z(x,y)}- \\ { {Z^{n - 1}}(x,y))\dfrac{{\mathrm{d}}}{{{\mathrm{d}}Z(x,y)}}f({Z^{n - 1}}(x,y))} \end{array} $$ (4) 关于
$ Z(x,y) $ 可以用迭代公式$ Z(x,y) = {Z^n}(x,y) $ ，计算方式为$$ {Z^n}(x,y) = {Z^{n - 1}}(x,y) - \frac{{f({Z^{n - 1}}(x,y))}}{{\dfrac{{\mathrm{d}}}{{{\mathrm{d}}Z(x,y)}}f({Z^{n - 1}}(x,y))}} $$ (5) 式(5)中，分母可以转化为
$$ \begin{gathered} \frac{{{\mathrm{d}}f({Z^{n - 1}}(x,y))}}{{{\mathrm{d}}Z(x,y)}} = - 1 \times \left(\frac{{({p_{\rm s}} + {q_{\rm s}})}}{{\sqrt {{p_{\mathrm{s}}^2} + {q_{\mathrm{s}}^2}s + 1} \sqrt {{p^2} + {q^2} + 1} }}- \right. \\ \left. \frac{{(p + q)(p{p_{\rm s}} + q{q_{\rm s}} + 1)}}{{\sqrt {{p_{\mathrm{s}}^2} + {q_{\mathrm{s}}^2} + 1} \sqrt {{p^2} + {q^2} + 1} }}\right) \end{gathered} $$ (6) 在给定迭代初始值下
$ {Z^0}(x,y) $ 的情况，图像中的高度值可计算得出，初始值可设为零。Tsai将反射函数在
$ Z(x,y) $ 处一阶展开，于是求解反射方程就转化成了求解一个一阶线性偏微分方程，在给定初始值的前提下，可求得方程的解。Tsai的算法在迭代时，当前的高度与上一轮迭代的高度和该点的高度偏导数有关，迭代速度较慢，精度不高[29]。1.2 改进的高精度快速线性化算法
在Tsai的算法中，反射函数
$f$ 在$ Z(x,y) $ 处一阶展开，从式(5)和式(3)可以看出点$ {Z^n}(x,y) $ 的迭代值与上一轮的迭代值$ {Z^{n - 1}}(x,y) $ 和附近点$ {Z^{n - 1}}(x - 1,y) $ 、$ {Z^{n - 1}}(x,y - 1) $ 有关。然而，这种方法对本轮数据的利用率不够，迭代速度也较慢。基于Tsai的算法，本文提出了一种高精度的线性化算法，通过离散地表示物体表面的梯度，在目标点周围的点$ Z(x,y) $ 、$ Z(x - 1,y) $ 、$ Z(x,y - 1) $ 对反射函数$f$ 进行泰勒展开，并忽略高阶项，进行迭代求解。相比于Tsai的算法，本方法在每次迭代时都考虑了与本次迭代的$ {Z^n}(x,y) $ 周围点的关系，迭代速度和精度都得到了提高。如图1所示，以侧扫声呐拖鱼的中心建立坐标系，侧扫声呐拖鱼的中心即为坐标系的中心O，坐标系z轴方向垂直于海平面，z轴垂直于图像平面坐标系x轴与y轴，y轴与航迹线方向一致，x轴方向为扫描线方向。
图 1 海底坐标系示意Fig. 1 Schematic of the seafloor coordinate system
下载:
全尺寸图片
设声波的方向向量为
$ {{\boldsymbol{n}}_{\rm s}} = ({p_{\rm s}},{q_{\rm s}}, - 1) $ ，物体表面任意一点的法向量为$ {\boldsymbol{n}} = (p,q, - 1) $ ，将反射强度归一化处理后，即将图像灰度映射到[0,1]归一化后，可写出朗伯反射图，将式$ {p_{\rm s}} = \dfrac{{\cos \tau \sin \varphi }}{{\cos \varphi }}, {q_{\rm s}} = \dfrac{{\sin \tau \sin \varphi }}{{\cos \varphi }} $ 代入式(1)，可得$$ \begin{gathered} E(x,y) = \frac{{1 + p{p_{\rm s}} + q{q_{\rm s}}}}{{\sqrt {1 + p_{\rm s}^2 + q_{\rm s}^2} \sqrt {1 + {p^2} + {q^2}} }} = \\ \frac{{\cos \varphi + p\cos \tau \sin \varphi + q\sin \tau \sin \varphi }}{{\sqrt {1 + {p^2} + {q^2}} }} \end{gathered} $$ (7) 式中：
$\tau $ 表示声波入射方向的偏角，$\varphi $ 表示声波入射方向的倾角。根据坐标系建立条件，x轴方向为扫描线方向，则偏角为0，倾角$ \varphi = \arctan \left(\dfrac{{{x_{i,j}}}}{{{h_{i,j}}}}\right) $ 。再根据有限差分法，物体表面的梯度
$p$ 和$q$ 分别表示为$$ \left\{ \begin{gathered} {p = \frac{{\partial Z}}{{\partial x}} = Z(x,y) - Z(x - 1,y)} \\ {q = \frac{{\partial Z}}{{\partial y}} = Z(x,y) - Z(x,y - 1)} \\ \end{gathered} \right. $$ (8) 对于式(7)，将右式移到等号左边，使反射函数为
$ Z(x,y)、Z(x-1,y)、Z(x,y-1) $ 3个变量的函数，因此将反射图方程写作$$ \begin{array}{*{20}{c}} {0 = f(E(x,y),Z(x,y),Z(x - 1,y),Z(x,y - 1))} =\\ { E(x,y) - R(X(x,y) - Z(x - 1,y),Z(x,y) - Z(x,y - 1))} \end{array} $$ (9) 根据泰勒多项式展开公式，式(9)可变换为
$$ \begin{gathered} 0=f(E(x,y),Z(x,y),Z(x-1,y),Z(x,y-1))\approx \\ f(E(x,y),{Z}^{n-1}(x,y),{Z}^{n-1}(x-1,y),{Z}^{n-1}(x,y-1))+ \\ (Z(x,y)-{Z}^{n-1}(x,y))\frac{\partial }{\partial Z(x,y)}f(E(x,y), \\ {Z}^{n-1}(x,y),{Z}^{n-1}(x-1,y),{Z}^{n-1}(x,y-1))+\\ (Z (x -1,y)-{Z}^{n-1}(x -1,y))\frac{\partial }{\partial Z(x -1,y)}f(E(x,y),\\ {Z}^{n-1}(x,y)\text{，}{Z}^{n-1}(x-1,y),{Z}^{n-1}(x,y-1))+\\ (Z(x,y -1)-{Z}^{n-1}(x,y -1))\frac{\partial }{\partial Z(x,y -1)}f(E(x,y), \\ {Z}^{n-1}(x,y),{Z}^{n-1}(x-1,y),{Z}^{n-1}(x,y-1)) \end{gathered} $$ (10) 将式(10)写成矩阵的乘法：
$$ (0, \cdots ,{a_{x,y - 1}},0, \cdots ,{a_{x - 1,y}},{a_{x,y}},0, \cdots )\left( {\begin{array}{*{20}{l}} {{Z_{1,1}}} \\ \;\;\; \vdots \\ {{Z_{x,y}}} \\ \;\;\; \vdots \\ {{Z_{N,N}}} \end{array}} \right) = {b_{x,y}} $$ (11) 式中：
$$ \begin{gathered} {a_{x,y}} = \frac{\partial }{{\partial Z(x, y)}} f (E(x, y),{Z^{n - 1}} (x, y),{Z^{n - 1}}( x - 1,y ), {Z^{n - 1}}(x,y - 1 ) ) \\ {b_{x,y}} = - f(E(x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y),{Z^{n - 1}} \\ (x, {y - 1)) + {Z^{n - 1}}{{(x,y)}^{\text{*}}}\frac{\partial }{{\partial Z(x,y)}}f(E(x,y), + {Z^{n - 1}}(x,y)}, \\ {Z^{n - 1}}(x - 1,y),{Z^{n - 1}}(x,y - 1)) + {Z^{n - 1}}{(x - 1,y)^{\text{*}}} \\ \frac{\partial }{{\partial Z(x - 1,y)}}f(E(x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y), \\ {{Z^{n - 1}}(x,y - 1)) + {Z^{n - 1}}{{(x,y - 1)}^{\text{*}}}f(E\frac{\partial }{{\partial Z(x,y - 1)}} } \\ { (x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y),{Z^{n - 1}}(x,y - 1))} \end{gathered} $$ (12) 在一个
$N \times N$ 的图像中有${N^2}$ 个式(11)，于是用Jacobi方法可以解出。式(12)可简化为$$ 0 \approx F(0) + F(1) $$ (13) 式中：F (0) 为反射模型中的零阶项， F(1) 为反射模型中的一阶项，
$$ F(0) = f(E(x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y),{Z^{n - 1}}(x,y - 1)) $$ (14) $$ \begin{gathered} F(1) = (Z(x,y) - {Z^{n - 1}}(x,y))\frac{\partial }{{\partial Z(x,y)}}f(E(x,y),{Z^{n - 1}} \\ (x,y),{Z^{n - 1}}(x - 1,y),{Z^{n - 1}}(x,y - 1)) + (Z(x-1,y) - {Z^{n - 1}} \\ ( x-1,y))\frac{\partial }{{\partial Z(x-1,y)}}f(E(x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y), \\ {Z^{n - 1}}(x,y - 1)) + (Z(x,y-1) - {Z^{n - 1}}(x,y-1))\frac{\partial }{{\partial Z(x,y-1)}} \\ f(E(x,y),{Z^{n - 1}}(x,y),{Z^{n - 1}}(x - 1,y),{Z^{n - 1}}(x,y - 1)) \\ \end{gathered} $$ (15) 于是
$ {Z^{}}(x,y) $ 可以通过$ {Z^n}(x,y) $ 迭代产生，计算公式为$$ \begin{gathered} {Z^n}(x,y) = {Z^{n - 1}}(x,y) - \\ \frac{{F(0) + (Z(x-1,y) - {Z^{n - 1}}(x-1,y)){a_{x - 1,y}}}}{{{a_{x,y}}}}- \\ \frac{{(Z(x,y-1) - {Z^{n - 1}}(x,y-1)){a_{x,y - 1}}}}{{{a_{x,y}}}} \end{gathered} $$ (16) 从式(16)的迭代算法可以得知，在已知初始高度
${Z_0}$ 的情况下，物体表面高度可以通过数次迭代之后产生。以上模型不仅解决了传统SFS线性化算法的形状恢复问题，还利用了$ Z(x,y) $ 的相邻点$ Z(x-1,y)、Z(x,y-1) $ 对$ Z(x,y) $ 的影响，理论上提高了算法的准确度，下面进行实验证明。2. 实验分析
2.1 数据集和评估指标
侧扫声呐图像的预处理是后续三维重建的重要前提[30]，为验证本文提出的三维重建方法的有效性，本小节将使用 Chesapeake Technology 公司提供的 Klein3000 采集的侧扫声呐数据、 marine-geo.org 网站下载的 WizMap 侧扫声呐数据以及SBAT8101 声呐采集的数据作为输入条件。
Klein3000侧扫声呐数据是使用 Klein3000 声纳系统收集的，收集的数据提供海底和水下特征的高分辨率图像，这是水下成像和测绘的热门选择。
WizMap 侧扫声呐数据是采用WizMap声呐采集的，该图像的分辨率高，对海底沙丘地形的研究非常有价值。
SBAT8101 声呐采集的数据，该数据集对于探测和跟踪潜艇、沉船和其他船只等水下目标很有价值。
本文采取以下方式评价三维重建算法对物体三维重建的效果：
1)直观显示是评估SFS算法对物体表面的恢复效果、光滑程度和变形程度的指标，主要通过人眼观察三维重建结果进行评价。
2)相关系数、信噪比、信息熵。将 SFS 算法得出的三维物体进行正交投影，生成数字正射影像图。根据数字正射影像图与原始图像之间存在的巨大关联，可使用两图像之间的相关系数、信噪比、图像信息熵来评价算法。
相关系数表示数字正射影像图与原始图像之间的相似度，由于二者之间存在巨大关联，相关系数可表征SFS算法对原始图像信息的发掘与使用。
相关系数绝对值
$ \left| {{\text{Corr}}} \right| $ 较大时，可以认为算法的结果比较好；但是当$ \left| {{\text{Corr}}} \right| $ 过大时，可能导致海底表面地形恢复粗糙、噪声大(若算法过分依赖声呐图像的恢复值，海底地形的恢复结果将会表现较差)。$ \left| {{\text{Corr}}} \right| $ 的值一般为−1～1。当$ \left| {{\text{Corr}}} \right| $ 为0时，代表数字正射影像图的灰度值和原始侧扫声呐图像不相关；当$ \left| {{\text{Corr}}} \right| $ 太小时，代表数字正射影像图的灰度值和原始侧扫声呐图像相关度较差，算法的三维重建结果较差。信噪比表示算法对图像噪声的敏感程度，使用数字正射影像图的信噪比计算。通常情况下，图像的信噪比为信号与噪声的功率谱的比值。当信噪比值越高，代表算法受原始图像中的噪音干扰的程度越低，表面算法的三维恢复效果越好。
图像信息熵表示数字正射影像图对应的海底地形三维重建效果的平均信息量。信息熵越高，表示算法的三维重建结果中包含更多的信息量。信息熵也表明了算法对原始图像信息的利用率。
2.2 实验结果
实验仿真部分用本文提出的方法与Horn的方法[18]和Tsai等提出的方法[28]进行对比实验，以验证所提出算法的性能。
对于真实地形，本文采用已完成图像预处理的marine-geo.org网站下载的WizMap侧扫声呐图像作为输入条件，实验验证算法对海底地形的三维重建能力。
海底沙丘地形的侧扫声呐扫描图像如图2所示，以海底沙丘地形的侧扫声呐扫描图像作为输入条件，在给定初始高度的情况下，Horn方法、Tsai算法和本文算法得出的三维重建效果如图3所示。
图 2 海底沙丘地形侧扫声呐预处理后图像Fig. 2 Side-scan sonar preprocessed image of submarine dune terrain下载:
全尺寸图片
图 3 海底沙丘地形三维重建效果Fig. 3 Effect of 3D reconstruction of dune topography on the sea floor下载:
全尺寸图片
由图3可以看出，对于海底沙丘地形的三维重建，Horn方法和Tsai方法能在一定程度上恢复海底沙丘地形。原始声呐图像红色方框内为沙丘，沙丘在Horn方法中被较好地还原出来，但是Tsai方法重建效果较差，且Tsai方法恢复的海底沙丘地形凸起毛刺较多，证明Tsai方法受噪声影响较大。而本文算法对海底沙丘地形的整体恢复效果较好，对于红色方框内的沙丘地形还原清楚，且边缘位置显示清晰，没有明显失真。这是因为本文算法的迭代不仅与上一轮迭代的高度值有关，还和本轮附近点的高度值相关，从而使迭代精度更高，重建图像边缘效果良好，整体也比较光滑。
对SFS算法的海底沙丘地形的三维重建进行量化分析，海底沙丘地形三维重建效果图的平面投影灰度图的评价指标如表1所示。
表 1 海底沙丘地形的三维重建的评价指标对照Table 1 Comparison of evaluation metrics for 3D reconstruction of submarine dune topography方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 34.7769 7.4172 — Horn方法 0.5239 42.5513 5.6582 18.253 Tsai方法 0.8280 39.8130 2.6625 1.107 本文方法 0.8258 40.9996 5.9010 0.752 由表1可以看出，本文方法的相关系数是
0.8258 ，高于Horn方法的相关系数0.5280 ，和Tsai方法的相关系数接近。该值0.8258 在−1到1之间，表明本文方法的三维重建图像包含了原始图像的绝大部分信息；本文方法的信噪比略高于Tsai方法，与Horn方法接近，说明本文方法的抗噪能力高于Tsai方法；本文方法的信息熵最大，为5.9010 bit，说明本文方法的三维重建结果包含更多的信息量；本文方法运行时间为0.752 s，略小于Tsai方法的1.107 s，远小于Horn方法，本文方法更快速。综合分析，从海底沙丘地形的三维重建效果来看，本文方法相比于Tsai方法和Horn方法性能有一定的提升。为进一步验证算法对海底地形的三维重建性能，本文使用Chesapeake Technology公司Klein3000采集的侧扫声呐数据进行实验(经过图像预处理后的效果如图4)，将预处理后的图像作为算法的输入条件，Horn、Tsai和本文方法的三维重建效果图5所示。
图 4 海底沙纹侧扫声呐预处理图像Fig. 4 Side-scan sonar preprocessed images of sand patterns on the seafloor下载:
全尺寸图片
图 5 海底沙纹三维重建效果Fig. 5 3D reconstruction effect of sand pattern on the seabed下载:
全尺寸图片
由图5可以看出，对于海底沙纹的三维重建，Horn和Tsai方法能在一定程度上恢复海底沙纹。从红色方框中可以看出，沙纹在Horn方法中被较好地还原出来，但是在Tsai方法中显示较差，且Tsai方法恢复的海底沙纹噪点较多，证明Tsai方法受噪声影响较大。而本文方法将沙纹的细节清晰地显示出来，整体恢复效果较好，且边缘位置显示清晰，没有明显失真。这是因为本文算法的迭代不仅与上一轮迭代的高度值有关，还和本轮附近点的高度值相关，这使得迭代精度更高，重建图像边缘效果良好，整体也比较光滑。
对SFS算法的海底沙纹的三维重建进行量化分析，海底沙纹三维重建效果图的平面投影灰度图的评价指标如表2所示。由表2可以看出，本文方法的相关系数是
0.4233 ，高于Horn方法的相关系数0.2111 ，和Tsai方法的相关系数接近。该值0.4233 在−1到1之间，表明本文方法的三维重建图像包含了原始图像的大量信息；本文方法的信噪比略高于Tsai方法，与Horn方法接近，说明本文方法的抗噪能力高于Tsai方法；本文方法的信息熵最大，为6.1925 bit，说明本文方法的三维重建结果包含更多的信息量；本文方法运行时间为2.356 s，略小于Tsai方法的3.199 s，远小于Horn方法，本文方法更快速。综合分析，从海底沙纹的三维重建效果来看，本文方法相比于Tsai和Horn方法性能有一定的提升。表 2 海底沙纹的三维重建的评价指标对照Table 2 Comparison of evaluation metrics for 3D reconstruction of sand patterns on the seafloor方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 44.8784 5.9815 — Horn方法 0.2111 38.4412 6.0854 52.399 Tsai方法 0.4462 37.1849 6.0650 3.199 本文方法 0.4233 37.2410 6.1925 2.356 为验证算法对水下目标物体三维重建性能，本文使用SBAT8101 声呐采集的数据(经过图像预处理后的效果如图6)，将预处理后的图像作为算法的输入条件，Horn 、Tsai 和本文方法的沉船三维重建效果图7 所示。
图 6 沉船侧扫声呐预处理图像Fig. 6 Wreck side-scan sonar pre-processing image下载:
全尺寸图片
图 7 沉船三维重建效果Fig. 7 3D reconstruction effect of wreckage下载:
全尺寸图片
由图7可以看出，对沉船的三维重建，Horn、Tsai 和本文方法能在一定程度上恢复海底沉船。沉船在Tsai 方法中显示较差，Tsai 方法恢复的沉船凸起毛刺较多，证明 Tsai 方法受噪音影响较大。Horn 和本文方法对沉船细节显示效果不佳，但本文方法整体恢复效果较好且边缘位置显示清晰。
下面将对 SFS 算法的沉船的三维重建进行量化分析，沉船三维重建效果图的平面投影灰度图的评价指标如表3所示。
表 3 沉船三维重建的评价指标对照表Table 3 Comparison table of evaluation indexes for 3D reconstruction of shipwrecks方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 42.4962 6.4714 — Horn方法 0.6633 47.9545 4.4318 21.602 Tsai方法 0.8122 41.1991 3.7680 1.582 本文方法 0.8819 46.2974 5.9720 0.783 由表3可以看出，本文方法的相关系数是
0.8819 ，高于 Horn 方法的相关系数0.6633 ，和Tsai 方法的相关系数接近。该值0.8819 在−1到1之间，表明本文方法的三维重建图像包含了原始图像的绝大部分信息；本文方法的信噪比略高于Tsai方法，与Horn方法接近，说明本文方法的抗噪能力高于Tsai方法；本文方法的信息熵最大，为5.9720 bit，说明本文方法的三维重建结果包含更多的信息量；本文方法运行时间为0.783 s，略小于Tsai方法的1.582 s，远小于Horn方法，本文方法更快速。综合分析，从海底沉船的三维重建效果来看，本文方法相比于Tsai和Horn方法性能有一定的提升。为进一步验证本文方法的有效性，采用虚拟图像莫扎特头像进一步验证算法的准确性，莫扎特头像的原始图如图8所示，将莫扎特头像显示图作为输入条件，算法得出的莫扎特头像三维重建效果图9所示。由图9可以看出，Tsai方法在头像边缘以及脸部的位置显示较为模糊，这是因为Tsai方法把反射方程按照泰勒级数展开，同时认为在反射过程中起主要作用的是低阶项，所以对灰度突变的位置处理较差。再看本文方法重建图像，脸部和边缘处理较好，这是因为本文方法的迭代不仅与上一轮迭代的高度值有关，还与本轮附近点的高度值相关，从而使迭代精度更高，所以整体形状与莫扎特头像相符合，且边缘效果良好，整体也比较光滑。
图 8 莫扎特头像显示Fig. 8 Display of Mozart’s head下载:
全尺寸图片
图 9 莫扎特三维重建效果Fig. 9 Effect of Mozart’s 3D reconstruction下载:
全尺寸图片
对各方法得出的莫扎特三维重建效果图进行量化分析，平面投影灰度图的评价指标如表4所示。
表 4 莫扎特头像的三维重建结果对应评价指标对照Table 4 Comparison of evaluation indicators corresponding to the results of 3D reconstruction of Mozart’s head方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 27.1411 5.4938 — Horn方法 0.7418 24.2684 3.9928 0.935 Tsai方法 0.7904 17.4683 3.9821 0.051 本文方法 0.8325 24.9378 4.0103 0.041 从表4可以看出，相比于Tsai方法，本文方法数字正射影像图的灰度图与原始图像之间的相关系数值最大，为
0.8325 ，且在−1～1，说明重构图像包含了原始图像的绝大部分信息；在本次实验下，本文方法的信噪比略高于Tsai方法，与Horn方法接近，说明本文方法的抗噪能力高于Tsai方法；本文方法的信息熵最大，为4.0103 bit，说明本文方法的三维重建结果包含更多的信息量。综合分析，本文方法对莫扎特头像的三维重建效果相比于Tsai和 Horn 方法性能具有一定的提升。3. 结束语
为解决现有SFS算法速度慢、精度较差等问题，本文提出了SFS算法改进的高精度快速水下图像三维重建方法。该方法将目标点周围的点对反射函数泰勒展开，在Tsai算法基础上，使每次迭代结果不仅与上一轮和附近点的迭代值有关，还和本次周围点的迭代值有关，解决了数据利用不充分的问题，使迭代速度和精度都得到提高。将算法应用在海底真实图像和虚拟图像的三维重建中，并从图像外观、相关系数、信噪比、信息熵、 算法实现速度等多方面进行对比分析，验证了相比于经典 SFS 线性化算法和最小化算法，本文提出的基于SFS算法改进的高精度快速水下图像三维重建方法具有更好的表现。
-
图 1 海底坐标系示意
Fig. 1 Schematic of the seafloor coordinate system
下载:
全尺寸图片
图 2 海底沙丘地形侧扫声呐预处理后图像
Fig. 2 Side-scan sonar preprocessed image of submarine dune terrain
下载:
全尺寸图片
图 3 海底沙丘地形三维重建效果
Fig. 3 Effect of 3D reconstruction of dune topography on the sea floor
下载:
全尺寸图片
图 4 海底沙纹侧扫声呐预处理图像
Fig. 4 Side-scan sonar preprocessed images of sand patterns on the seafloor
下载:
全尺寸图片
图 5 海底沙纹三维重建效果
Fig. 5 3D reconstruction effect of sand pattern on the seabed
下载:
全尺寸图片
图 6 沉船侧扫声呐预处理图像
Fig. 6 Wreck side-scan sonar pre-processing image
下载:
全尺寸图片
图 7 沉船三维重建效果
Fig. 7 3D reconstruction effect of wreckage
下载:
全尺寸图片
图 8 莫扎特头像显示
Fig. 8 Display of Mozart’s head
下载:
全尺寸图片
图 9 莫扎特三维重建效果
Fig. 9 Effect of Mozart’s 3D reconstruction
下载:
全尺寸图片
表 1 海底沙丘地形的三维重建的评价指标对照
Table 1 Comparison of evaluation metrics for 3D reconstruction of submarine dune topography
方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 34.7769 7.4172 — Horn方法 0.5239 42.5513 5.6582 18.253 Tsai方法 0.8280 39.8130 2.6625 1.107 本文方法 0.8258 40.9996 5.9010 0.752 表 2 海底沙纹的三维重建的评价指标对照
Table 2 Comparison of evaluation metrics for 3D reconstruction of sand patterns on the seafloor
方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 44.8784 5.9815 — Horn方法 0.2111 38.4412 6.0854 52.399 Tsai方法 0.4462 37.1849 6.0650 3.199 本文方法 0.4233 37.2410 6.1925 2.356 表 3 沉船三维重建的评价指标对照表
Table 3 Comparison table of evaluation indexes for 3D reconstruction of shipwrecks
方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 42.4962 6.4714 — Horn方法 0.6633 47.9545 4.4318 21.602 Tsai方法 0.8122 41.1991 3.7680 1.582 本文方法 0.8819 46.2974 5.9720 0.783 表 4 莫扎特头像的三维重建结果对应评价指标对照
Table 4 Comparison of evaluation indicators corresponding to the results of 3D reconstruction of Mozart’s head
方法 相关系数 信噪比/dB 信息熵/bit 时间/s 输入图像 — 27.1411 5.4938 — Horn方法 0.7418 24.2684 3.9928 0.935 Tsai方法 0.7904 17.4683 3.9821 0.051 本文方法 0.8325 24.9378 4.0103 0.041 -
[1] 孙久文, 高宇杰. 中国海洋经济发展研究[J]. 区域经济评论, 2021(1): 38−47. SUN Jiuwen, GAO Yujie. Research on China’s marine economic development[J]. Regional economic review, 2021(1): 38−47. [2] 叶鹏程, 郭红梅, 潘光, 等. 海洋强国战略背景下高校海洋意识培育路径研究[J]. 科学大众(科学教育), 2021(2): 145, 120. [3] 秦琳贵, 沈体雁. 科技创新促进中国海洋经济高质量发展了吗: 基于科技创新对海洋经济绿色全要素生产率影响的实证检验[J]. 科技进步与对策, 2020, 37(9): 105−112. doi: 10.6049/kjjbydc.2019090755 QIN Lingui, SHEN Tiyan. Does technological innovation promotethe high quality development of China’s marine economy: empirical test based on effect of technological innovation on GTFP[J]. Science & technology progress and policy, 2020, 37(9): 105−112. doi: 10.6049/kjjbydc.2019090755 [4] 许瑞恒, 林欣月. 多元补偿主体、环境规制与海洋经济可持续发展[J]. 经济问题, 2020(11): 58−67. XU Ruiheng, LIN Xinyue. Multiple subjects of ecological compensation, environmental regulation and sustainable development of marine economy[J]. On economic problems, 2020(11): 58−67. [5] LIU Yifei, YE Xiufen. A gray scale correction method for side-scan sonar images considering rugged seafloor[J]. IEEE transactions on geoscience and remote sensing, 2023, 61: 4209810. [6] ZHANG Yang, LI Haisen, ZHU Jianjun, et al. Contrast study of side scan sonar image enhancement methods[C]//2021 OES China Ocean Acoustics. Harbin: IEEE, 2021: 995−999. [7] YIN Jiye, WANG Yu, LYU Jiaqi, et al. Study on underwater simultaneous localization and mapping based on different sensors[C]//2021 IEEE 10th Data Driven Control and Learning Systems Conference. Suzhou: IEEE, 2021: 728−733. [8] 何勇光. 海洋侧扫声呐探测技术的现状及发展[J]. 工程建设与设计, 2020(4): 275−276. HE Yongguang. Present situation and development of ocean side scan sonar detection technology[J]. Construction & design for engineering, 2020(4): 275−276. [9] 王晨, 陈晶晶, 王润田. 利用侧扫声呐实现船舶目标的快速识别[J]. 声学技术, 2022, 41(2): 199−204. doi: 10.3969/j.issn.1000-3630.2022.2.sxjs202202008 WANG Chen, CHEN Jingjing, WANG Runtian. Fast recognition of ship targets by using side-scan sonar[J]. Technical acoustics, 2022, 41(2): 199−204. doi: 10.3969/j.issn.1000-3630.2022.2.sxjs202202008 [10] JU Y C, BRUHN A, BREUß M. Variational perspective shape from shading[M]//Scale Space and Variational Methods in Computer Vision. Cham: Springer International Publishing, 2015: 538−550. [11] PINK T H, RAMANATHAN U. Extraction of height information from target shadow for applications in ATC[C]//IEEE 1999 International Geoscience and Remote Sensing Symposium. IGARSS’99. Hamburg: IEEE, 1999: 351−353. [12] WANG Zheyin, SHEN Liquan, WANG Zhengyong, et al. Generation-based joint luminance-chrominance learning for underwater image quality assessment[J]. IEEE transactions on circuits and systems for video technology, 2023, 33(3): 1123−1139. doi: 10.1109/TCSVT.2022.3212788 [13] HUANG Nuo, GONG Chen, FU Chunfang, et al. Preliminary investigation of air-to-water visible light communication link under strong ambient light[C]//2021 IEEE 94th Vehicular Technology Conference. Norman: IEEE, 2021: 1−5. [14] 杜召平, 陈刚, 王达. 国外声呐技术发展综述[J]. 舰船科学技术, 2019, 41(1): 145−151. doi: 10.3404/j.issn.1672-7649.2019.01.029 DU Zhaoping, CHEN Gang, WANG Da. Foreign sonar technology development research summary[J]. Ship science and technology, 2019, 41(1): 145−151. doi: 10.3404/j.issn.1672-7649.2019.01.029 [15] 董鹏辉, 柯良军. 基于图像的三维重建技术综述[J]. 无线电通信技术, 2019, 45(2): 115−119. doi: 10.3969/j.issn.1003-3114.2019.02.01 DONG Penghui, KE Liangjun. Overview of 3D reconstruction techniques based on images[J]. Radio communications technology, 2019, 45(2): 115−119. doi: 10.3969/j.issn.1003-3114.2019.02.01 [16] HORN B K P. Height and gradient from shading[J]. International journal of computer vision, 1990, 5(1): 37−75. doi: 10.1007/BF00056771 [17] 郑太雄, 黄帅, 李永福, 等. 基于视觉的三维重建关键技术研究综述[J]. 自动化学报, 2020, 46(4): 631−652. ZHENG Taixiong, HUANG Shuai, LI Yongfu, et al. Key techniques for vision based 3D reconstruction: a review[J]. Acta automatica sinica, 2020, 46(4): 631−652. [18] HORN B K P, SZELISKI R S, YUILLE A L. Impossible shaded images[J]. IEEE transactions on pattern analysis and machine intelligence, 1993, 15(2): 166−170. doi: 10.1109/34.192489 [19] ZHANG Ruo, TSAI P S, CRYER J E, et al. Shape-from-shading: a survey[J]. IEEE transactions on pattern analysis and machine intelligence, 1999, 21(8): 690−706. doi: 10.1109/34.784284 [20] WANG Shuo, WU Tonghai, WANG Kunpeng, et al. 3-D particle surface reconstruction from multiview 2-D images with structure from motion and shape from shading[J]. IEEE transactions on industrial electronics, 2021, 68(2): 1626−1635. doi: 10.1109/TIE.2020.2970681 [21] PENTLAND A P. Local shading analysis[J]. IEEE transactions on pattern analysis and machine intelligence, 1984, PAMI-6(2): 170−187. doi: 10.1109/TPAMI.1984.4767501 [22] HEO S, SONG H, KANG J, et al. High-quality single image 3D facial shape reconstruction via robust albedo estimation[C]//2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference. Tokyo: IEEE, 2021: 1428−1432. [23] 赵建虎, 尚晓东, 张红梅. 侧扫声呐图像反演海底地形的一种线性算法[J]. 哈尔滨工业大学学报, 2017, 49(5): 80−86. doi: 10.11918/j.issn.0367-6234.201508051 ZHAO Jianhu, SHANG Xiaodong, ZHANG Hongmei. Obtaining high-resolution seafloor topography from side scan sonar image using a linear algorithm[J]. Journal of Harbin Institute of Technology, 2017, 49(5): 80−86. doi: 10.11918/j.issn.0367-6234.201508051 [24] NEUPANE D, SEOK J. A review on deep learning-based approaches for automatic sonar target recognition[J]. Electronics, 2020, 9(11): 1972. doi: 10.3390/electronics9111972 [25] TSAI P S, SHAH M. Shape from shading using linear approximation[J]. Image and vision computing, 1994, 12(8): 487−498. doi: 10.1016/0262-8856(94)90002-7 [26] 邓学良, 何扬波, 周建丰. 基于光度立体的三维重建方法综述[J]. 现代计算机, 2021, 27(23): 133−143. DENG Xueliang, HE Yangbo, ZHOU Jianfeng. Review of three-dimensional reconstruction methods based on photometric stereo[J]. Modern computer, 2021, 27(23): 133−143. [27] BASRI R, JACOBS D. Lambertian reflectance and linear subspaces[C]//Proceedings Eighth IEEE International Conference on Computer Vision. Vancouver: IEEE, 2001: 383−390. [28] TSAI P S, SHAH M. A fast linear shape from shading[C]//Proceedings 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Champaign: IEEE, 1992: 734−736. [29] 刘浩林, 覃珊珊, 李鹏鸽, 等. 基于SFS方法的侧扫声呐图像三维重构[J]. 舰船科学技术, 2021, 43(15): 125−130. doi: 10.3404/j.issn.1672-7649.2021.08.024 LIU Haolin, QIN Shanshan, LI Pengge, et al. Three-dimensional reconstruction of side scan sonar imagebased on SFS method[J]. Ship science and technology, 2021, 43(15): 125−130. doi: 10.3404/j.issn.1672-7649.2021.08.024 [30] XI Zhao, ZHAO Jianhu, ZHU Weiqiang. Side-scan sonar image simulation considering imaging mechanism and marine environment for zero-shot shipwreck detection[J]. IEEE transactions on geoscience and remote sensing, 2023, 61: 4209713.
