2. 齐齐哈尔大学 通信与电子工程学院, 黑龙江 齐齐哈尔 161006;
3. 辽宁工程技术大学 软件学院, 辽宁 葫芦岛 125000
2. College of Communication and Electronic Engineering, Qiqihar University, Qiqihar 161006, China;
3. College of Software, Liaoning Technical University, Huludao 125000, China
随着传感器技术及遥感的快速发展,“数字地球”概念随之提出,并迅速成为研究热点[1]。目前,很多民用应用均需在线的地理信息系统进行支撑,这说明数字地球越来越向着服务大众的方向发展[2-4]。另一方面,利用数字地球发布海量遥感影像,存在着较大的困难。这是由于传感器技术的快速发展,使得获取的遥感影像通常具有更高的空间及谱间分辨率。此外,卫星重访周期的缩短,在获取更多的多时相数据的同时,也为数据的存储和处理带来了更大的挑战。如何将遥感与地理信息系统紧密地结合,实现基于网络的多源、多尺度、多模式的遥感影像共享,以及海量遥感影像在数字地球上的平滑显示,是当前迫切需要解决的问题[5-6]。文献[7-8]对给定遥感影像进行多级下采样,并对下采样后的影像进行切片,最后用各级切片构成金字塔并存储。文献[9-11]在上述工作基础上,采用不同的压缩方法先对各级切片进行压缩,然后将压缩后的切片以金字塔的形式存储。上述基于切片的金字塔存储方法,优点是方便局部区域数据的读取,缺点是同一数据的多分辨率存储方式,会造成较大的空间浪费[12]。采用金字塔方式存储数据所需要的空间,是只保存原始数据所需空间的三分之四。增加的三分之一比例的存储空间,其实就是数据冗余。由于当前获取的遥感影像大多具有“三高”的特点,即高空间分辨率、高谱间分辨率,以及高时间分辨率,若将获取的所有遥感影像均采用金字塔方式进行存储,空间浪费情况可想而知。从另一个角度看,采用该种数据存储方式,当用户请求某一分辨率下的局部区域时,服务器先找到该分辨率下该区域下对应的切片位置,然后将相应切片的压缩码流发送至接收端。接收端收到码流后,进行解压缩并显示。而用户若需要当前区域更高分辨率的影像,则需重新发送高分辨率数据,原来传送的数据并没有利用上。随着用户提出的更高分辨率的请求,需传送的数据越来越多,这需要较长的传输时间,在用户端的表现就是影像显示的延时。
针对遥感影像在线可视化的应用需求,在分析现有遥感影像压缩及传输现状的基础上,提出了一种基于人眼视觉的遥感影像分级压缩及渐进传输系统。
1 遥感影像分级压缩及调度流程本文设计了一套遥感影像压缩及传输系统,目的是能够对遥感影像进行分级压缩,并根据用户的需求,实现遥感影像的渐进传输及实时显示。该系统包括四个主要模块:压缩中心、解压缩中心、调度中心以及显示中心。整个压缩系统框图如图 1所示。其中,压缩中心的任务是通过设计的高效压缩方法,对遥感影像进行高效离线分级压缩;解压缩中心的任务是根据用户的请求,对不同时刻收到的码流进行拼接并实时解压;调度中心的任务是根据用户发出的指令,协调其他几个中心之间的信息交互。显示中心的任务是显示解压缩后的图像,并根据当前解压缩的结果对重建影像进行能够实时更新。为了保证遥感影像的实时显示,将解压缩中心与显示中心部署在同一节点;此外,考虑到数据中心存储的是待压缩数据,为了尽快进行离线压缩,将压缩中心与数据中心部署在同一节点。遥感影像经过批量压缩后,生成的码流经过编号也存储在压缩中心;调度中心作为连接数据中心和显示中心的桥梁,部署在两者之间。除了发布指令对数据进行调度,还应完成通过接口转换数据类型的工作。为了对授权专业用户提供未压缩的原始数据,本文还安排了一个节点,通过该节点可直接对原始遥感影像进行下载。
Download:
|
|
由于遥感影像通常尺寸较大,若直接传输整幅影像的压缩码流,用户端收到全部码流后再解压,则所需的时间较长。另一方面,用户有时并不需要接收完整的码流,当接收的影像并不是自己想要的,或当前影像的质量已经满足了浏览需求,则可以停止码流的接收。因此,可以根据用户的需求,提供不同分辨率的遥感影像。可以先将原始遥感影像进行分割,并研究支持多分辨率传输的分级压缩技术,使得每个分割块都可以进行多级渐进传输。渐进传输通常用在低带宽的网络环境下,将待传输数据分为几个阶段传输[13-14]。对于渐进传输技术,一般目标是刚开始传输的影像应尽量清晰,这可以通过码流组织来实现。将重要信息的码流放在整个码流的最前面,由于先接收的码流先解码,从而实现低码率下遥感影像的高质量重建。渐进传输还应能实现码流的自动连接,即后面接收的码流是对之前接收码流的细化。在重建影像时,随着接收码流的增多,应能平滑地改善遥感影像的重建质量。此外,由于该应用是面向用户的,解压缩后的影像是供用户浏览,故在设计分级压缩算法时,若考虑到人眼视觉系统(human vision system,HVS)特性,则显示端的重建影像视觉效果理论上会更好。因此,本文设计了一套基于人眼视觉的遥感影像压缩算法,系统组织框图如图 2所示。
Download:
|
|
对于给定的遥感影像,先建立基于HVS的视觉敏感度模型,并计算对应的视觉加权掩膜。小波变换后,利用视觉加权掩膜对变换影像加权。为了使多分辨率显示更为灵活,以码块为单位对遥感影像进行编码。为了提高编码效率,设计了一种自适应扫描方法,能够在不增加额外数据量的情况下,尽可能保留影像的细节信息。由于该压缩方法生成的码流是嵌入式码流,故可以方便对码流进行截断,以实现码流的渐进传输并解码。在解码端,若是第一次接收码流,则解压缩并显示重建影像。否则,先进行码流合并,再对合并后的码流解压缩并显示重建影像。下面对分级压缩系统中的关键模块进行说明。
2.1 失真敏感度模型及视觉加权掩膜的设计根据人眼的视觉特性,建立人眼视觉中心凹与影像观测距离的映射模型[16],并据此建立人眼对小波域中各点位置的失真敏感度模型,为视觉加权提供基础。人眼视觉中心凹与观测距离的关系如图 3所示。对于视网膜来说,人眼对2°视角内的影像内容最为敏感。
Download:
|
|
基于空域的失真敏感度模型可表示为
$ {\rm{CT}}\left( {f,e} \right) = {\rm{C}}{{\rm{T}}_0}\exp \left( {af\frac{{e + {e_2}}}{{{e_2}}}} \right) $ | (1) |
式中:f表示空间频率;e表示视觉离心率;CT0表示最小对比度阈值,一般为1/64;a是常数,一般为0.106;e2是半分辨率离心率常数,通常取2.3;CT(f, e)是视觉敏感度阈值,是f和e的函数。
令CT=0,则得到截止频率fc,周期/(°),可表示为
$ {f_c} = \frac{{{e_2}\ln \left( {\frac{1}{{{\rm{C}}{{\rm{T}}_0}}}} \right)}}{{\alpha \left( {e + {e_2}} \right)}} $ | (2) |
当影像的频率超过fc时,人眼就无法区分了,这也是影像能够进行视觉无损压缩的原因。
令显示分辨率r=πNv/360,根据Nyquist定理,信号不混叠的最高频率为
$ {f_d} = r/2 = {\rm{ \mathsf{ π} }}Nv/360 $ | (3) |
根据式(2)、(3),对于给定的一个空间位置x,其截止频率为
$ {f_m}\left( x \right) = \min \left( {{f_{\rm{c}}},{f_{\rm{d}}}} \right) = \min \left( {\frac{{{e_2}\ln \left( {\frac{1}{{{\rm{C}}{{\rm{T}}_0}}}} \right)}}{{\alpha \left( {e + {e_2}} \right)}},\frac{{{\rm{ \mathsf{ π} }}Nv}}{{350}}} \right) $ | (4) |
对于空域中的每一点,基于视网膜中心凹的空域失真敏感度为
$ \begin{array}{l} {\mathit{\boldsymbol{s}}_f}\left( {v,f,x,} \right) = \\ \left\{ \begin{array}{l} \frac{{{\rm{CT}}\left( {f,0} \right)}}{{{\rm{CT}}\left( {f,e} \right)}} = \exp \left( { - 0.0461fe} \right),\;\;\;\;f \le {f_{\rm{m}}}\left( x \right)\\ 0,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;f > {f_{\rm{m}}}\left( x \right) \end{array} \right. \end{array} $ | (5) |
其中
根据该空域失真敏感度模型,可建立对应的小波域失真敏感度模型。对9/7双正交小波变换,每个子带的敏感度阈值可表示为
$ {T_{\lambda ,\theta }} = \frac{{\alpha {{10}^{k\left( {\log {{\left( {{g_\theta }{f_0}{2^\lambda }} \right)}^2}} \right)}}}}{{{A_{\lambda ,\theta }}}} $ | (6) |
式中:α、k、f0、gθ均为常数,Aλ, θ是第λ层子带的θ方向对应的幅值,具体的值可参见文献[16]。
因此,对于子带,其视觉敏感度模型可表示为
$ {S_w}\left( {\lambda ,\theta } \right) = \frac{1}{{{T_{\lambda ,\theta }}}} $ | (7) |
根据式(5)和(7),小波域中基于视网膜中心凹的失真敏感度模型可表示为
$ S\left( {v,\mathit{\boldsymbol{p}}} \right) = {\left[ {{S_w}\left( {\lambda ,\theta } \right)} \right]^{{\beta _1}}} \cdot {\left[ {{s_f}\left( {v,f,\mathit{\boldsymbol{p}}} \right)} \right]^{{\beta _2}}} $ | (8) |
式中:p表示在子带(λ, θ)中某一小波系数的位置。β1和β2分别用来控制sw和sf幅度的调整,可根据实验情况进行设定。
根据该失真敏感度模型,进行视觉加权掩膜的设计。从人眼视觉角度讲,视觉越敏感的位置,越应少压缩。换句话说,对失真敏感度大的系数,编码时应多分配比特。故在本文中直接采用失真敏感度模型作为视觉加权掩膜,对变换影像进行加权。这样,相当于对每个小波系数,按视觉重要性不同,进行了不同程度的提升。
2.2 码块的自适应扫描方法设计对进行视觉加权后的变换影像,先将其等分为若干个码块,后面的扫描和编码均是以码块为单位进行。由于要进行渐进传输,必须生成嵌入式比特流,本文通过对码块进行位平面扫描和编码来实现。
对于影像压缩而言,扫描过程和编码过程通常紧密联系。先扫描到的系数可以先编码。对遥感影像的可视化应用来讲,如果能从人眼视觉的角度出发,设计影像的扫描方法,那么重建影像的视觉质量一定会得到提高。在低比特率下,这种基于应用的扫描方法优势会更加明显。
本文提出的扫描方法如下:为使码流在整体上能够按照子带重要性进行组织,首先,根据每个加权子带能量的降序,确定子带间扫描顺序。其次,根据子带特性设计子带内的扫描方法,以尽可能保留影像的纹理信息。水平子带、垂直子带、对角子带的扫描方式分别如图 4所示。对于最低频子带,其扫描方式可通过比较水平和垂直两个方向的子带总能量来确定。通过上述子带间和子带内扫描方法,可以在几乎不增加额外数据的情况下,保留更多的方向信息,提高重建影像的视觉效果。
Download:
|
|
传统的压缩方法如JPEG 2000,其核心是率失真最优化截取码块嵌入式编码(embedded block coding with optimized truncation,EBCOT)算法。EBCOT算法的核心是将小波变换后的子带分成多个码块,对每个码块进行位平面编码和MQ算数编码。位平面编码要经过3个通道:重要性通道、细化通道和清除通道。对给定的第i个码块,设p表示当前位平面,k表示当前通道,对应的编码失真记为
$ \Delta {D_{{\rm{HVS}}}} = {S_i} \cdot \Delta D_i^{\left( {p,k} \right)} $ | (9) |
式中:Si表示对第i个码块进行的视觉加权。在本文中,用视觉失真代替MSE作为准则,进行各码块的比特分配。
2.4 码流的拆分与合并分级压缩完毕后,对总码流进行截断,并在各段码流前面分别加入头文件,该头文件指明了该层码流的长度。分辨率层和码块的关系如图 5所示。
Download:
|
|
码流拆分后,需要对各段码流编号,并存入数据库。整个离线压缩的过程,包括影像压缩、码流拆分,以及入库的过程如图 6所示。对于一幅待压缩的遥感影像,先将影像数据读入内存,然后调用“compress.dll”进行影像压缩。压缩过程中需要用到的参数分别为:影像的内存地址、影像大小、压缩比,以及影像位深。假设影像的大小为L×L,则影像压缩后,整个码流被拆分的段数为lb(L)-7。以一幅大小为2 048×2 048的遥感影像为例,先从内存中读取遥感影像,压缩后将总码流拆分为四段码流,将这些码流段按指定位置写入内存或者外部文件。从图 6中还可以看出,数据中心还提供了供专业用户下载原始遥感影像的接口,以实现原始遥感影像的后续分析或其他应用。
Download:
|
|
对客户端来说,当用户需要特定分辨率的遥感影像时,先向数据中心发送指令。数据中心检索到对应码流的位置,并将其送至显示端。在显示端,根据头文件判断该码流是对应区域的第几段码流,并确定解压缩方式,进而对显示端的影像实时更新。
可见,整个分级压缩与渐进传输系统分为压缩、合并、解压三个模块,每个模块对应一个dll文件,分别记作“compress.dll”,“merge.dll”,“decompress.dll”。所有模块操作均在内存中实现。三个模块的内部工作关系如图 7所示。
Download:
|
|
渐进传输模块的作用是提供基于Socket传输协议的接口,以实现码流传输、解压及显示之间的调度功能。所有模块的操作均是在内存中完成。渐进传输及交互式可视化模块整体流程如图 8所示。
Download:
|
|
客户端要先输入服务器IP进行连接,成功后可请求显示某幅遥感图像的特定分辨率图像。该请求经调度发送至数据中心,数据中心收到该请求后,查找相应码流位置。若码流不存在,向客户端发送无结果提示;若存在,将该码流传送至客户端。客户端接收到该码流后先判断,若该码流为图像的第一段压缩码流,则立即解压并显示;否则,将该码流与之前接收的码流合并,再进行解压,最后用重建图像对客户端的图像进行实时更新。
4 实验及结果分析为了验证提出分级压缩方法的有效性,进行了一些测试实验。图 9(a)给出了一幅测试遥感影像,大小为2 048×2 048。图 9(b)是采用提出的分级压缩算法,在压缩比为120倍时得到的重建影像。可见,从视觉上讲,重建影像与原始遥感影像的差别很小,完全能够满足用户浏览的需求,证实了提出方法的有效性。
Download:
|
|
对提出的分级压缩算法,由于数据中心采用离线压缩,故对压缩时间没有特别要求。但对于用户请求的数据,为了缓解用户的等待感觉,应尽可能提高码流合并以及解压缩的时间。对图 9(a)所示遥感影像,进行了压缩、合并、解压缩时间测试,结果如图 10所示。
Download:
|
|
可以看出,相对于压缩时间,解压缩所需时间大大减小。此外,合并模块所需的时间小到几乎可以忽略不计。证明提出方法在速度上能够满足预期要求。
对于图 9中的原始遥感影像,设定压缩比为50。压缩该幅影像所需的时间如图 11(a)所示。根据2.4节的计算方法,压缩后的总码流被截断为四段码流。将各段码流逐个传输,第一、二段码流所需的合并时间如图 11(b)所示,解压缩前两段码流所需的时间如图 11(c)所示。当第三段码流到来时,前两段码流与第三段码流合并所需的时间如图 11(d)所示,解压缩前三段码流所需的时间如图 11(e)所示。可见,对各阶段的解压缩来说,解压缩模块和合并模块所需的总时间,均远远小于压缩模块所需的时间。与传统的整个码流全部接收完才能解压的方法相比,在采用相同压缩方法的情况下,这种渐进解压方式能更快地为客户提供重建影像。以本文提出的压缩方法为例,若对生成的整个压缩码流直接解压,设压缩后整个压缩码流为前三段码流长度,则直接解压缩时间为30 ms。换句话说,在30 ms以内,用户一直处于等待状态。而采用这种渐进的解压方式,在30 ms以前,用户可以先看到由第一段码流生成的重建图像,然后快速过渡到第一、二段码流生成的重建图像,接着再过渡到由前三段码流生成的重建图像。这种渐进传输并解压的方式,能够缓解用户的等待感觉。在低带宽的网络环境下,提出的方法由于能较早地显示重建图像,故带给用户的主观体验更好。
Download:
|
|
此外,为了验证分级压缩和渐进传输的效果,根据图 1的总体框图,进行了分级压缩及渐进传输仿真系统的设计。硬件环境配置为Pentium 4处理器,2G内存,Windows 2000系统。应用的软件为Visual Studio 2010,程序采用C++语言进行编写。采用一副大小为2 048×2 048的遥感影像进行测试,客户端在不同阶段显示的界面如图 12所示。
Download:
|
|
从这些结果可以看出,用户可在客户端选择需要浏览的影像。分级压缩的码流经传输后,显示端能够实时接收码流并解压缩,解压完毕立即进行显示。当有新的码流被接收,则先合并码流,再进行解压缩,然后在显示端对重建影像进行更新。与传统的接收完整个码流才能解压的方法相比,本文方法更为灵活,且这种优势在低码率下会体现的更为明显。
5 结论1) 传统的金字塔存储方式存在数据存储量过大,且需要数据传输完毕再解压的问题,为了提高数据存储和传输的效率,开发了一套面向可视化应用的遥感影像压缩与渐进传输系统。其测试平台已经成功地与国内其他两家研究单位完成对接,能够顺利实现遥感数据的发布和共享。
2) 对于每一幅遥感影像,提出方法仅需存储其各段压缩码流,不需再建立金字塔,减少了数据的重复存储,节省了大量的存储空间。
3) 本文设计的压缩方法考虑了人眼视觉特性,能够在压缩过程中尽可能保护视觉敏感信息。同时,从小波子带特性出发设计扫描算法,在几乎不增加额外数据的基础上,保留了更多的影像纹理信息。
4) 该系统的“增量”传输方式不需重复传输已有数据,提高了数据传输效率,在解码端利用当前新接收的数据对已显示影像进行实时更新。该系统实现了遥感影像在虚拟地球平台上快速、平滑的发布。
该工作今后的研究重点是当大量用户同时发出遥感数据请求时,快速进行系统响应。响应速度与用户本身等级有关,还与数据类型有关,这将作为下一步工作继续研究。
[1] |
承继成, 郭华东, 薛永. 数字地球导论[M]. 2版. 北京: 科学出版社, 2007: 1-15. CHENG Jicheng, GUO Huadong, XUE Yong. Introduction to digital earth[M]. 2nd ed. Beijing: Science Press, 2007: 1-15. (0) |
[2] |
王宛斯. 揭秘"胡焕庸线"郭华东:用卫星遥感探讨究竟——专访中国科学院遥感与数字地球研究所原所长、中闲科学院院士、著名遥感专家郭华东[J]. 卫星与网络, 2016(6): 16-22. WANG Wansi. The "Hu Huanyong line" Guo Huadong:using satellite remote sensing remote sensing of earth-Interview with Chinese Academy of Sciences and Digital Earth Research Institute, former director of Xian Academy of Sciences, the famous expert of remote sensing Guo Huadong[J]. Satellite & network, 2016(6): 16-22. (0) |
[3] |
熊志聪, 张芳. "地理信息技术及其应用"专题测试[J]. 地理教育, 2017(3): 32-34. XIONG Zhicong, ZHANG Fang. "Geographical information technology and its application" special topics[J]. Education of geography, 2017(3): 32-34. DOI:10.3969/j.issn.1005-5207.2017.03.012 (0) |
[4] |
郑灿辉. 基于天地图的省级市场主体信息服务系统设计与实现[J]. 测绘与空间地理信息, 2017, 40(1): 151-152, 155. ZHENG Canhui. Design and implementation of provincial market subject information service system based on Tianditu platform[J]. Geomatics & spatial information technology, 2017, 40(1): 151-152, 155. DOI:10.3969/j.issn.1672-5867.2017.01.044 (0) |
[5] |
吕喜军, 陈中林, 龚建辉, 等. 海量影像管理与服务技术研究及实现[J]. 地理空间信息, 2017, 15(2): 33-35. LV Xijun, CHEN Zhonglin, GONG Jianhui, et al. Research and implementation on management and service technology of mass images[J]. Geospatial information, 2017, 15(2): 33-35. DOI:10.3969/j.issn.1672-4623.2017.02.010 (0) |
[6] |
张立福, 陈浩, 孙雪剑, 等. 多维遥感数据时空谱一体化存储结构设计[J]. 遥感学报, 2017, 21(1): 62-73. ZHANG Lifu, CHEN Hao, SUN Xuejian, et al. Designing spatial-temporal-spectral integrated storage structure of multi-dimensional remote sensing images[J]. Journal of remote sensing, 2017, 21(1): 62-73. (0) |
[7] |
YANG Chaowei, WONG D W, YANG Ruixin, et al. Performance-improving techniques in web-based GIS[J]. International journal of geographical information science, 2005, 19(3): 319-342. DOI:10.1080/13658810412331280202 (0)
|
[8] |
刘鹏, 毕建涛, 曹彦荣, 等. 遥感影像数据库引擎设计与实现[J]. 地球信息科学, 2005, 7(2): 105-110. LIU Peng, BI Jiantao, CAO Yanrong, et al. Research on remote sensing image database engine[J]. Geo-information science, 2005, 7(2): 105-110. DOI:10.3969/j.issn.1560-8999.2005.02.022 (0) |
[9] |
张军, 成礼智, 杨海滨, 等. 基于纹理的自适应提升小波变换图像压缩[J]. 计算机学报, 2010, 33(1): 184-192. ZHANG Jun, CHENG Lizhi, YANG Haibin, et al. Adaptive lifting wavelet transform and image compression via texture[J]. Chinese journal of computers, 2010, 33(1): 184-192. (0) |
[10] |
霍亮, 杨耀东, 刘小勇, 等. 瓦片金字塔模型技术的研究与实践[J]. 测绘科学, 2012, 37(6): 144-146. HUO Liang, YANG Yaodong, LIU Xiaoyong, et al. Research and practice of tiles pyramid model technology[J]. Science of surveying and mapping, 2012, 37(6): 144-146. (0) |
[11] |
李艳红, 庞小平, 李海亭. 网络环境下的遥感影像金字塔纹理压缩算法与实验[J]. 地球信息科学学报, 2012, 14(1): 109-115. LI Yanhong, PANG Xiaoping, LI Haiting. Research of remote sensing pyramid texture compression in network[J]. Journal of geo-information science, 2012, 14(1): 109-115. (0) |
[12] |
石翠萍, 张钧萍, 曲海成, 等. 网络下遥感影像实时压缩及渐进传输系统设计[J]. 哈尔滨工程大学学报, 2014, 35(11): 1434-1440. SHI Cuiping, ZHANG Junping, QU Haicheng, et al. Design on the real-time compression and progressive transmission system of remote sensing image based on the network[J]. Journal of Harbin engineering university, 2014, 35(11): 1434-1440. (0) |
[13] |
HERNÁNDEZ-CABRONERO M, BLANES I, PINHO A J, et al. Progressive lossy-to-lossless compression of dna microarray images[J]. IEEE signal processing letters, 2016, 23(5): 698-702. DOI:10.1109/LSP.2016.2547893 (0)
|
[14] |
QIAN Zhenxing, ZHANG Xinpeng, FENG Guorui. Reversible data hiding in encrypted images based on progressive recovery[J]. IEEE signal processing letters, 2016, 23(11): 1672-1676. DOI:10.1109/LSP.2016.2585580 (0)
|
[15] |
WANG Zhou, BOVIK A C. Embedded foveation image coding[J]. IEEE transactions on image processing, 2001, 10(10): 1397-1410. DOI:10.1109/83.951527 (0)
|
[16] |
WATSON A B, YANG G Y, SOLOMON J A, et al. Visibility of wavelet quantization noise[J]. IEEE transactions on image processing, 1997, 6(8): 1164-1175. DOI:10.1109/83.605413 (0)
|