基于定标和图像处理的数字相机串扰图像修正方法
闫晓辉1,2, 张玉衡1, 宋谦1     
1. 中国科学院国家天文台, 北京 100101;
2. 中国科学院大学, 北京 100049
摘要: 针对多通道数字相机因信号串扰导致的输出图像重叠问题, 基于自行研制的四通道CCD数字相机系统数据, 对串扰系数进行了追踪测试, 发现串扰系数与输入信号强度和系统读出速度有特定的规律。对于这类系统噪声类串扰, 提出了一种基于定标和图像处理的串扰图像修正方法。该方法通过定标建立串扰比例系数与像素数字编码(Digital Number, DN)的关系, 再由串扰通道反推被串扰通道的干扰量, 通过还原算法进行系统差修正, 最终消除串扰。测试结果表明, 经过该方法修正后的图像, 串扰程度可降至基底白噪声量级, 图像质量得到大幅改善。该方法对成像系统中因硬件工艺缺陷造成的固定图案噪声的消除有显著效果, 对系统噪声类干扰也有抑制作用, 在实际应用中可以作为一般成像系统优化图像质量的补充。
关键词: 信号串扰    数据拟合    系统差修正    数字相机    
Method for Crosstalk Image Correction of Digital Camera Based on Calibration and Image Processing
Yan Xiaohui1,2, Zhang Yuheng1, Song Qian1     
1. National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100101, China;
2. University of Chinese Academy of Sciences, Beijing 100049, China
Abstract: For the problem of output image overlap caused by signal crosstalk in multi-channel digital cameras, we tracked the crosstalk coefficient using the data from the self-developed four-channel CCD digital camera system, and found a strong correlation between the crosstalk coefficient, the input signal intensity, and the system readout speed. For such system noise crosstalk, we propose a crosstalk image correction method based on calibration and image processing. This method establishes the relationship between the crosstalk proportion coefficient and Digital Number, which can be used to infer the amount of interference in the crosstalk channel and realize the crosstalk image recovery algorithm and the systematic error correction. The test results show that after the image restoration correction, the crosstalk degree is reduced to the level of base white noise, and the image quality is greatly improved. This method has a significant effect on the fixed pattern noise caused by the hardware process defects in the imaging system, and also suppresses the noise-type interference of the system, which can be used as a supplement to the image quality optimization of the general image system in practice.
Key words: signal crosstalk    data fitting    systematic error correction    digital camera    

串扰是各类成像系统在研发中经常遇到但又不易解决的问题。对于光学数字相机而言,串扰表现为一个像素对其他像素产生的耦合影响,本质是一个信号对另一个信号耦合引发的干扰噪声。串扰的原因很多,归其形成机制,可以分为光学串扰和电学串扰两大类。串扰的大小与系统中的光学组件、探测器结构、后端放大器信号耦合和信号处理电路通道间的耦合等因素有关[1-2]

当发生串扰时,干扰通道会向邻近通道辐射信号[3]。这时,被干扰通道的信号不仅来自本通道,还包含邻近通道耦合的信号。干扰源通道既是其他通道的干扰源,同时也受到来自其他通道的干扰影响[4]。同时工作的通道数越多,通道间信号串扰造成的效果越复杂[5-6]。串扰会降低图像清晰度,影响探测器焦面阵列的分辨率性能,综合影响成像系统输出图像的质量。

目前针对串扰的研究非常多,对于不同的串扰类型和问题表象也采取了相应的控制措施。在电路设计方面,可以通过加强电源滤波、减小地电阻、不同通道采用不同器件、增大传输线间距、减少平行线长度、更改传输线介质、扩大传输带宽、在传输线间增加屏蔽线等方法,主动降低多通道信号系统的串扰[7-10]。在成像系统获取图像后,可以通过建立针对性串扰模型,借用软件算法消除串扰,如线性近似订正算法[11]

串扰的成因复杂,不同原因引起的串扰程度各不相同,有一类串扰具有类似系统噪声的特点,它的值或恒定不变,或遵循一定的变化规律,产生的原因是可知或可掌握的,具有规律性、单向性和可重复性[12]。针对这类串扰,我们开发了一套基于定标和图像数据拟合的串扰消除方法[13]。经验证,该方法可以在不改动电路硬件的前提下,将串扰程度降低至基底白噪声量级,对串扰图像有较好的修正效果。本文主要介绍串扰的修正依据和消除算法,并通过实验验证该方法的实际效果。

1 串扰的修正依据 1.1 串扰程度的判定

我们基于自行研制的专用集成电路开发了一台四通道CCD黑白数字相机[14]图 1是这台数字相机的成像原理[15]。物体经过光源照射后发生反射,反射光通过镜头投射在CCD图像传感器上产生光生电子。在曝光结束后,光生电子从CCD图像传感器中读出,经过多通道读出电路进行放大、去噪、数字化和数据拼合,最终形成数字图像[16]

图 1 多通道CCD光学相机系统 Fig. 1 Multi-channel CCD optical camera system

这台相机的读出电路为自行研制的专用集成电路,内部为4路相同的信号处理电路,用来并行处理从CCD图像传感器输出的4路模拟图像输出信号[17],如图 2。每个信号处理电路通道对应CCD图像传感器中的一个输出放大器,4条信号处理电路通道各自运行,最后通过数据拼合组成一幅数字图像。这幅数字图像由CCD的原始数据扣除基底后拼合而成,图像的特定区域可以反映对应信号处理电路的情况[18]

图 2 CCD图像传感器与多通道电路对应关系图 Fig. 2 Correspondence between CCD image sensor and multi-channel circuit

相机研制完成之后,我们对相机性能进行了长时间监测。在监测过程中我们发现,不同通道间的图像存在串扰现象,最终获得的数字图像中有不正常的影像交叠,这很可能是读出电路芯片内部因工艺缺陷导致4个通道隔离度不足造成的。为此,我们利用下述方法评估串扰程度。

任选读出电路的两个通道,记为AB。对通道A接入测试信号,对通道B输入零,即对地短路。在相同条件下同时读出AB两个通道的图像。由于通道B输入短路,在没有串扰发生的情况下,通道B呈现的图像应和基底背景一样是平坦的白噪声形态。如果通道A对通道B形成了串扰,就可以在通道B的图像中观察到一定程度的来自通道A的干扰图像。串扰越强,干扰图像的影像就越明显。

图 3是本系统通道AB的输出图像,其中图像的左侧为幅度图,右侧为灰度图例条,表示灰度的上下限范围。图 3中通道A对通道B的串扰程度在4‰左右。为了便于肉眼观察,我们调高了图 3 (b)的显示对比度。取图 3中通道A信号较强处的一行,第1 416行,读取其像元幅度值并用图像显示(如图 4,实验装置拍摄的图像尺寸为2 048×2 248像素,其中第1~1 024列为通道B,第1 025~2 048列为通道A,第2 049~2 148列为通道B基底过扫描区,第2 149~2 248列为通道A基底过扫描区),可以看到通道A (蓝色部分)对通道B产生的串扰量(红色部分)。

图 3 通道AB的输出图像。(a)通道A输出图像;(b)通道B输出图像 Fig. 3 Output image of channel A and B. (a) Output image of channel A; (b) output image of channel B
图 4 第1 416行的像素值 Fig. 4 The pixel value at line 1 416

为了方便描述,我们设通道A的输出信号为SA,系统背景噪声为NA;通道B的输出信号为SB,系统背景噪声为NB;通道A对通道B的串扰比例系数CTAB定义为

$ C T_{A \rightarrow B}=\frac{S_B-N_B}{S_A-N_A} . $ (1)

通道A中传输的图像信号会一定比例地叠加到通道B中,造成串扰噪声。根据(1) 式,通道A对通道B形成的串扰量即为CTAB(SA-NA)。对于数字图像来说,通道A每个像素点的当前值会在通道B产生一个与之对应的串扰数值。如果CTAB恒定不变,或遵循某种变化规律,就能将每个像素点对应形成的串扰量精确计算并扣除,获得去除串扰的效果。

1.2 引起串扰比例系数变化的可能因素

不同的环境因素对CTAB会产生不同的影响,需要通过多次测试,验证CTAB与具体某种因素的关系曲线是否保持恒定。我们对自行研制的系统进行了监测,分别观察CTAB与信号强度、CTAB与读出速率的关系。

1.2.1 改变通道A内输入信号的强度,观察通道A对通道B串扰比例系数CTAB的变化

在保持信号读出速率不变(即通道的工作频率不变)的情况下,改变通道A输入信号的大小,监测通道A对通道B的影响。通道A输入信号的强度改变通过控制曝光时间获得,曝光时间从1 s, 2 s, 3 s, …, 12 s依次递增。我们对通过以上方式获得的12幅图像,选取每幅图片中固定区域的均值作为计量点计算CTAB。该测试进行两组,统计结果的规律接近(如图 5),串扰比例系数CTAB随输入信号的增大(曝光时间增加)呈现微递减的关系。

图 5 通道A输入信号强度改变时,通道A对通道B串扰比例系数CTAB的变化曲线 Fig. 5 Change curve of crosstalk scale coefficient CTAB between channel A and channel B when the input signal strength of channel A changes
1.2.2 改变通道A内输入信号的读出速率,观察通道A对通道B串扰比例系数CTAB的变化

在保持输入信号大小不变的情况下,即输入信号保持相同实验室环境、光照强度和曝光时间,改变通道A的读出速率,监测通道A对通道B的影响。两通道的读出时间从1 μs, 2 μs, 3 μs, …, 10 μs依次递增变化。我们对通过以上方式获得的10幅图像,选取每幅图片中固定区域的均值作为计量点计算CTAB。该测试进行3组,统计结果的规律接近(如图 6),串扰比例系数CTAB几乎不随读出速率的增加而改变。

图 6 读出速率改变时通道A对通道B串扰比例系数CTAB的变化曲线 Fig. 6 The change curve of crosstalk scale coefficient CTAB between channel A and channel B when readout rate changes
1.3 串扰比例系数与像素数字编码的分布规律

经过实验发现,CTAB与信号输入强度及工作频率存在恒定的规律,我们可以将该规律总结,转化成与输出图像像素直接相关的关系表,即CTAB与像素数字编码的分布规律关系表。该关系表在处理图像时更易使用。

图 7是系统经过定标实验采样和最小二乘法插值拟合,获得的3种增益模式下的CTAB与像素数字编码的分布规律,其中x轴为像素数字编码数(动态范围为16 bit的数字图像,数字编码为0~65 535),y轴为通道A对通道B的串扰比例系数CTAB (算法如(1) 式)。

图 7 增益为0, 1和2三种模式下实测定标得到的CTAB随像素数字编码的分布规律 Fig. 7 Distribution law of CTAB measured with DN number of pixels under three gain modes with 0/1/2
2 消除算法

基于1.3节统计的分布规律,我们能够清楚地知道通道B的输出图像中包含多少来自通道A的串扰成分。根据这个分布规律,对被干扰通道的每个像素点依据对应串扰系数求解串扰量并进行逆向扣除,就能有效消除串扰影响。

2.1 分布规律校正

在进行算法消除之前,首先对CTAB与像素数字编码的分布规律进行校正。系统开启并运行稳定后,将相机增益、读出速度等参数调节到某一具体值后保持不变,逐一改变输入信号的强度,并获取对应强度下的图像。从所获图像中选取统一固定区域,由(1) 式计算串扰比例系数CTAB,将计算得到的比例系数通过插值法画出该参数模式下的CTAB与像素数字编码的分布曲线。然后,改变相机增益或读出速度,重复上述过程,直到得出所有增益模式下CTAB与像素数字编码的分布规律。

这一步骤是为了确保分布规律的正确性。系统在工作一段时间后,可能会因为环境的改变,轻微影响分布规律曲线。但由于操作步骤繁琐耗时,一般只针对长期使用或正在使用的拍摄模式进行校正。

2.2 串扰消除过程

在得到系统运行环境下CTAB与像素数字编码的分布规律后,即可利用该规律进行串扰消除。我们通过如图 8的串扰计算模型,定性描述串扰消除的过程。

图 8 串扰计算模型图 Fig. 8 Crosstalk calculation model diagram

图 8中,通道A的信号点F2 (数值为A2)由于通道串扰,在通道BF1点产生一个数值为A1的信号,其中A1是随A2变化的一个值。在本系统中,F1点与F2点呈镜像对称关系。我们的目的是根据CTAB与像素数字编码的分布规律得到F2点的CTAB,然后用(3) 式计算F1点的修正值(记为L1),用L1代替A1,实现串扰去噪。

串扰噪声消除的具体处理步骤如下:

(1) 取包含两个通道AB的图像,计算通道A图像中逐个像素的基底值(系统背景噪声值)并存储,以F2点为例,计算F2点系统背景噪声M20M20计算方法为在通道A的系统背景噪声区,取长宽尺寸固定的小方块BOX20,其中心点与F2为同一行,计算BOX20内所有点的平均值,记为M20

(2) 根据

$ P P_2=A_2-M_{20} $ (2)

F2像素点进行基底扣除,获得“纯像素”,即F2点的纯像素PP2

(3) 根据CTAB与像素数字编码的分布规律,找到PP2对应的CTAB值。

(4) 根据

$ L_1=A_1-P P_2 \times C T_{A \rightarrow B} $ (3)

计算F1点的串扰修正值L1,用L1代替A1,其中,PP2×CTABF2点对F1点造成的串扰量。

(5) 遍历图像中通道A内所有点Fi,先计算L1,再用L1代替A1,直至完成整幅图片消除串扰噪声的过程。

(6) 计算完成后,获得消除串扰的图像。

3 效果验证

本文介绍的消除串扰方法采用Python编码实现,主要算法流程如图 9

图 9 算法主函数计算过程图 Fig. 9 Algorithm main function calculation process diagram

在串扰算法执行之前,程序会基于定标数据,统计获得不同工作模式下的串扰分布规律,即像素数字编码与串扰比例系数的对应关系表。然后读入被处理图像,根据消除步骤处理图像数据。

由于验证实验中使用的CCD图像同一行像素具有相同的背景基底噪声,背景基底噪声数据可以共用,所以算法在设计时把基底噪声数据做了先行计算和预存,后面直接查表读取,比实时运算效率更高。

我们用上述程序,分别计算了两组包含串扰的图像,并得到了串扰噪声消除后的图像,如图 10图 11。其中图左侧为原始图像,右侧为消除串扰后的修正图像。为了便于视觉比较,图像的显示范围统一映射到5 000~10 000灰度值内。

图 10 测试用例1处理前后对比图。(a)去串扰前;(b)去串扰后 Fig. 10 Test Case 1 comparison before and after processing. (a) Before cross talk; (b) after cross talk
图 11 测试用例2处理前后对比图。(a)去串扰前;(b)去串扰后 Fig. 11 Test Case 2 comparison before and after processing. (a) Before cross talk; (b) after cross talk

我们对图 10图 11串扰消除前后的被干扰通道即通道B进行数据分析,包括通道B串扰区对应的基底区像素标准差Sb、整个通道B图像区像素标准差SB和图像串扰区最大CT值,通过对比这些参数评估串扰消除的效果。

(1) 通道B串扰区对应的基底区像素标准差Sb

$ {S_b} = \sqrt {\frac{{\sum\limits_{i = 1}^n {{{\left( {{X_i} - \bar X} \right)}^2}} }}{n}}, \bar X = \frac{{\sum\limits_{i = 1}^n {{X_i}} }}{n}, $ (4)

其中,Xi为区域内某个像素点的值;X 为区域内所有像素点的平均值;n为区域内像素点的总数。Sb可以反映通道B在相机过扫描区对应的像素值的离散程度。

(2) 整个通道B图像区像素标准差SB

SB反映整个通道B像素值的离散程度,计算方法同(4) 式。

(3) 通道B串扰区最大CT

在通道B串扰图像最亮部分取一区域,然后取该区域在通道A、通道B基底区、通道A基底区的对应区域,计算该区域的CT值,

$ CT = \frac{{{B_1} - {B_0}}}{{{A_1} - {A_0}}} = \frac{{{{\bar X}_{{B_1}}} - {{\bar X}_{{B_0}}}}}{{{{\bar X}_{{A_1}}} - {{\bar X}_{{A_0}}}}}, \bar X = \frac{{\sum\limits_{i = 1}^n {{X_i}} }}{n}, $ (5)

其中,n为区域内像素点的总数;X 为区域内像素平均值;CT的最大值可以反映通道串扰的最大影响系数。计算图 10串扰消除前后参量值,结果如表 1。取图像中串扰中间处一行,第1 000行,读取该行像素值,比较串扰消除前后该行像素值的变化。计算图 11串扰消除前后参量值,结果如表 2。取图像中串扰中间处一行,第1 250行,读取该行像素值,比较串扰消除前后该行像素值的变化。

表 1 测试用例1参量表 Table 1 Test case 1 data table
Sb SB Local maximum CT
Before 3.28 33.96 2.95 × 10-3
After 3.28 5.82 7.61 × 10-6
表 2 测试用例2参量表 Table 2 Test case 2 data table
Sb SB Local maximum CT
Before 3.74 27.86 3.65 × 10-3
After 3.74 4.55 1.19 × 10-6

从测试用例的结果可以看出,串扰显著发生在CCD图像传感器的图像区,基底过扫描区几乎不受干扰。串扰消除前,对通道B构成串扰的局部区域最大CT值在10-3量级;串扰消除后,整个通道B对应的SB降至基底过扫描区的水平,局部最大CT值压制到10-6量级。读取串扰发生区域的一行像素值(图 12图 13),可以明显观察到串扰处理后通道B串扰像素值恢复,回归到基底水平。测试结果表明,本文方法对通道串扰噪声的消除具有显著效果。

图 12 测试用例1第1 000行处理前后对比图。(a)去串扰前;(b)去串扰后 Fig. 12 Test case 1 before and after treatment in line 1 000. (a) Before cross talk; (b) after cross talk
图 13 测试用例2第1 250行处理前后对比图。(a)去串扰前;(a)去串扰后 Fig. 13 Test case 1 before and after treatment in line 1 250. (a) Before cross talk; (b) after cross talk
4 结论

针对多通道数字成像系统的串扰问题,本文提出了一种基于定标和图像处理的串扰消除方法。该方法通过建立串扰比例系数CTAB与像素数字编码的对应关系,借由串扰通道反推被串扰通道每一像素点的干扰量,再通过算法修正串扰量,达到串扰消除的目的。实验结果表明,串扰程度可降至基底白噪声量级,图像质量得到大幅改善。

本文方法针对成像系统中因硬件工艺缺陷造成的固定图案噪声有显著的消除效果,对系统噪声类干扰也有抑制作用,在实际应用中可以作为一般成像系统优化图像质量的补充。

致谢: 感谢中国科学院所级中心天文探测技术研发与测试平台IFS125HR的设备支持。

参考文献
[1] 梁宏林, 蔡毅, 姚英. 多元光导碲镉汞探测器的电串音[J]. 红外与毫米波学报, 1997, 16(1): 77–80
LIANG H L, CAI Y, YAO Y. Electrical crosstalk of multi-element photoconductive HgCdTe detectors[J]. Journal of Infrared and Millimeter Waves, 1997, 16(1): 77–80.
[2] 李大宇, 段星辉, 魏焕东. 多元红外光导探测器电子学串音研究[J]. 激光与红外, 2009, 39(9): 952–955
LI D Y, DUAN X H, WEI H D. Study on electrical crosstalk of multi-element infrared photoconductive detectors[J]. Laser & Infrared, 2009, 39(9): 952–955.
[3] 肖天雷. 数据采集系统通道间串扰的校准方法[J]. 上海计量测试, 2017, 44(6): 18–20
XIAO T L. Calibration method for channel-to-channel crosstalk in data acquisition system[J]. Shanghai Measurement and Testing, 2017, 44(6): 18–20.
[4] 薛旭成, 李洪法, 郭永飞. 高速CCD成像电路抗串扰技术[J]. 中国光学, 2011, 4(6): 611–616
XUE X C, LI H F, GUO Y F. Anti-crosstalk techniques for high-speed CCD imaging circuit[J]. Chinese Optics, 2011, 4(6): 611–616.
[5] 胡新. 基于面向对象的通信系统线缆的串扰耦合研究[D]. 北京: 北京交通大学, 2017. HU X. Research on crosstalk of cables of communication system based on object-oriented technology[D]. Beijin:Beijing Jiaotong University, 2017.
[6] 朱思衡. CMOS多通道接收机通道间耦合问题及关键模块研究[D]. 北京: 北京理工大学, 2014. ZHU S H. Research on coupling and key block of multiple channel receiver based on CMOS technology[D]. Beijing: Beijing Institute of Technology, 2014.
[7] 金革. 多通道系统中的信号串扰现象[J]. 电子测量技术, 1999(1): 1–3
JIN G. The crosstalk in multi-channel system[J]. Electronic Measurement Technology, 1999(1): 1–3.
[8] 申才立, 梁楠, 李鑫, 等. CCD连续转移下图像串扰问题的研究[J]. 航天返回与遥感, 2019, 40(5): 50–57
SHEN C L, LIANG N, LI X, et al. Research on image crosstalk in CCD sequential transfer mode[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(5): 50–57.
[9] 田中俊. 强流离子源电参数测量系统的电磁兼容设计[J]. 核电子学与探测技术, 2016, 36(11): 1085–1088
TIAN Z J. Electromagnetic compatibility design of the electrical parameter measurement system for ion source[J]. Nuclear Electronics & Detection Technology, 2016, 36(11): 1085–1088.
[10] 余小波. 高速PCB电路中单端I/O信道的串扰抑制研究[D]. 绵阳: 西南科技大学, 2022. YU X B. Research on crosstalk mitigation of single-ended I/O channel in high-speed PCB circuits[D]. Mianyang: Southwest University of Science and Technology, 2022.
[11] 肖达, 徐娜, 胡秀清, 等. FY-3D MERSI-Ⅱ信号串扰效应在轨检测及订正[J]. 光学学报, 2020, 40(10): 73–84
XIAO D, XU N, HU X Q, et al. On-orbit detection and correction of crosstalk effect of FY-3D MERSI-Ⅱ signals[J]. Acta Optica Sinica, 2020, 40(10): 73–84.
[12] 胡晓炜, 朱庆生. 机架模型下指向误差数据的筛选与分析[J]. 天文研究与技术, 2021, 18(1): 77–86
HU X W, ZHU Q S. Screening and analysis of pointing error data under frame model[J]. Astronomical Research & Technology, 2021, 18(1): 77–86.
[13] 朱世宇, 王壮, 王梦南, 等. 基于多项式模型的射电天文中的移动干扰消除[J]. 天文研究与技术, 2017, 14(3): 297–303
ZHU S Y, WANG Z, WANG M N, et al. Model-based mitigation of the moving RFI in radio astronomy[J]. Astronomical Research & Technology, 2017, 14(3): 297–303.
[14] ZHANG Y H, WEI M Z, SONG Q. Design of the electronic system for a mini single CCD camera based on ASIC[C]//Proceedings of SPIE. 2022.
[15] 刘杰, 周冰, 华文深, 等. CCD成像原理教学"四步曲"[J]. 教育教学论坛, 2013(42): 128–129
LIU J, ZHOU B, HUA W S, et al. CCD imaging principle teaching "Four Steps"[J]. Education and Teaching Forum, 2013(42): 128–129.
[16] 邹金明. 屏幕相机通信中采样与通道复用研究[D]. 成都: 电子科技大学, 2017. ZOU J M. Research on sampling and channel multiplexing in screen camera communication[D]. Chengdu: University of Electronic Science and Technology of China, 2017.
[17] 任勇峰, 王小兵, 张凯华. 模拟开关通道间串扰机理分析及解决办法[J]. 兵器装备工程学报, 2019, 40(6): 198–201
REN Y F, WANG X B, ZHANG K H. Analysis and solution of crosstalk mechanism between analog switch channels[J]. Journal of Ordnance Equipment Engineering, 2019, 40(6): 198–201.
[18] 李洪法. 一种多通道CCD图像数据传输系统的设计[J]. 科技资讯, 2014(1): 9–10
LI H F. Design of multi-channel CCD image data transmission system[J]. Science & Technology Information, 2014(1): 9–10.
由中国科学院国家天文台主办。
0

文章信息

闫晓辉, 张玉衡, 宋谦
Yan Xiaohui, Zhang Yuheng, Song Qian
基于定标和图像处理的数字相机串扰图像修正方法
Method for Crosstalk Image Correction of Digital Camera Based on Calibration and Image Processing
天文研究与技术, 2023, 20(2): 135-144.
Astronomical Research and Technology, 2023, 20(2): 135-144.
收稿日期: 2022-09-29
修订日期: 2022-10-28

工作空间