文章快速检索  
  高级检索
滨海湿地物联网观测数据预处理方法
黄盖先, 田波, 周云轩, 袁庆     
华东师范大学河口海岸学国家重点实验室, 上海 200241
摘要: 连续在线滨海湿地生态物联网观测系统,因传感器技术局限及环境干扰会产生异常观测数据,影响数据使用,有效的数据预处理极为重要。以上海崇明东滩国际重要湿地生态观测数据为研究对象,将异常数据分为数值异常、波动异常与异常事件3种类型,基于回归残差概率分布异常检测算法,使用查找表和多指标时间序列模型,综合多环境要素相互关系,构建针对滨海湿地生态观测的数据预处理方法。相比传统方法,该方法在保证异常数据检测精度的同时,更好地区分了异常事件与传感器异常,减少误判。通过分析9个指标5万余条数据,以10-8~10-20的阈值分别检测出0.18%~8.12%的数值异常和波动异常,以及2次异常事件。分析数据预处理结果,传感器的观测原理、观测季节等因素会影响传感器的稳定性,人类活动是造成观测区异常事件发生的主要因素。
关键词: 滨海湿地    生态物联网    数据预处理    多指标时间序列模型    
Data Preprocessing Method of IoT Observation System in Coastal Wetland
Huang Gaixian, Tian Bo, Zhou Yunxuan, Yuan Qing     
State Key Laboratory of Estuarine and Coastal Research, East China Normal University, Shanghai 200241, China
Abstract: Effective data preprocessing is essential to an online coastal wetland ecological internet of things (IoT) observation system. Outliers always occur due to the limitations of measuring methods and harsh environmental conditions, which challenge data applications. Based on the ecological observation data of Chongming Dongtan wetland in Shanghai, the outliers were divided into three types:abnormal values, abnormal fluctuation, and abnormal events. Integrating the interactions between indicators of coastal wetlands, we proposed a preprocessing method for the outliers of the coastal wetland ecological IoT system based on the residual probabilistic outlier detection algorithm, look-up table, and multi-indicator time series model. Compared with the traditional methods, this method can not only ensure the accuracy of outlier detection, but also better distinguish abnormal events from sensor problems to reduce false positives. Through the analysis of more than 50 000 data records of nine indicators, two abnormal events and 0.18%-8.12% abnormal values and abnormal fluctuations were detected with the threshold of 10-8-10-20. Through the analysis of the preprocessed data, we find that the observation principle and observation season will affect the stability of sensors, and the human activities in the observation area are the main factors causing abnormal events.
Key words: coastal wetlands    ecological internet of things    data preprocessing    multi-indicators time series model    

0 引言

滨海湿地处于陆地与海洋的交错区,受陆地生态系统和海洋生态系统共同作用,是世界上生产力最高的生态系统之一,也是在不断发生变化的动态区域,在科学研究与社会服务中均有巨大生态价值和作用[1]。生态物联网观测系统是一种新兴的野外数据观测技术,可以实时采集大量、连续、复杂多样的数据并进行清洗与转换,实现对研究区生态状况连续、精确的观测与评估[2-3]。由于传感器自身技术限制与野外环境干扰等因素,生态物联数据不可避免会出现如传感器读数异常、空值、数据漂移等异常。这些异常数据不仅会对观测结果展示产生困难与误解,还会影响数据使用,使计算结果出现偏差,因此异常数据检测对生态观测数据预处理非常重要。与此同时,部分极端事件如风暴潮等导致环境变化也会使观测数据表现“异常”,通过预处理方法分析这些异常数据可以挖掘其背后代表的信息。

异常数据检测方法很多,其中人工检测法是一种准确度高且使用广泛的手段[4]。然而,随着多环境要素同步观测和海量数据积累,极大的工作量使这种方法应用越来越受局限。自动化检测主要分为统计和物理两种方法。统计学方法中,最常用的是通过判断观测值是否超出背景数据3倍标准差的范围(3σ准则)来判断是否存在异常[5],但是这种方法要求数据符合正态分布。Wu等[6]基于残差概率分布,结合观测数据时-空特征,提出了空气污染物异常值的检测方法。魏媛等[7]使用D-S证据理论,融合多水质观测指标的异常概率,判断水质是否出现异常。物理方法主要为基于距离或基于密度的异常值检测,如Breunig等[8]提出的局部密度法(local outlier factor, LOF)和Billor等[9]提出的BACON(blocked adaptive computationally efficient outlier nominators)算法,这些方法主要针对非时间序列数据。Hochenbaum等[10]基于S-H-ESD(seasonal hybrid extreme studentized deviate)算法,对Twitter数据实现时间序列周期自动分解,并分析其异常数据。另外,近些年随着数据挖掘技术的发展,人工神经网络、支持向量机、贝叶斯网络等智能识别算法也得到了广泛应用[11-12]

滨海湿地具有特殊的人文、地理、气候条件,其动力、界面条件复杂,受潮汐影响环境变化快,极端天气较为频繁,近年来受围垦、吹填等人类影响严重。因此滨海湿地生态物联网传感器观测条件恶劣多变,观测数据变动复杂、异常情况较多,其中传感器错误读数与因异常事件导致的数据变化时常混合在一起,难以判别。此外,滨海湿地生态系统水-土-气-生-地等要素复杂多变、相互作用,各观测要素的相互变化关系对异常数据的判断具有重要作用。Zhang等[13]在无线传感器网络异常值检测方法综述中表明,目前大部分方法没有考虑多环境要素间的相互作用关系,综合多要素判断异常数据是目前生态物联观测的一个难点。

本文以上海崇明东滩国际重要湿地生态观测数据为对象,探索异常数据特征,构建针对滨海湿地生态观测异常数据的检测方法,实现生态物联观测数据预处理与质量控制,挖掘异常数据背后信息,保障实时在线生态物联观测数据质量及数据应用。

1 数据来源

崇明东滩国际重要湿地位于上海市崇明岛最东端长江河口入海处,是长江口地区规模最大、发育最完善的河口型潮滩,也是亚太地区水鸟迁徙的重要通道。针对崇明东滩湿地修复区C区设计建设的生态物联观测系统(图 1)以湿地植被、水环境、鸟类栖息生境等为研究对象,基于湿地关键生态要素的生境特点,建立水文水质、气象、土壤、植被和地貌关键生态要素的信息采集-实时传输-远程监控物联网平台。

图 1 崇明东滩生态物联观测场阵设计 Fig. 1 Design of Chongming Dongtan ecological IoT observation system

选取该平台水文水质2018-08-14—2018-10-12的观测数据,包括水温、pH、氧化还原电位、电导率、浊度、ρ(叶绿素)、单位体积内蓝绿藻数量、ρ(氨氮)、ρ(溶解氧)9个生态要素,数据频率为15 min,共5万余条。

2 方法 2.1 异常数据分类

由于滨海湿地水文水质观测异常数据种类多样、产生原因复杂,仅用一种方法难以对其进行有效检测。因此将异常数据分为数值异常、波动异常和异常事件3类(图 2),其中:数值异常与波动异常是传感器故障导致,属于传感器异常,在预处理时应删除;异常事件是观测区环境变化导致,属于环境异常,蕴藏了环境变化信息,预处理时应保留。

a.数值异常:ρ(氨氮)持续上升,且远超国家地表水水质Ⅴ类水标准[14],与常理不符;b.波动异常:8月29日单位体积内蓝绿藻数量出现明显离群值,而对应时间段内ρ(叶绿素)、ρ(溶解氧)没有相应变化;c.异常事件:9月19日ρ(叶绿素)、单位体积内蓝绿藻数量和ρ(溶解氧)同时出现离群值,是环境变化导致的观测数值变化。 图 2 各类异常数据示例 Fig. 2 Examples of different types of outliers

1) 数值异常:观测数值超出传感器规格或没有生态、物理意义。

2) 波动异常:观测数值的变化不符合时间规律,也不与其他观测要素变化有关。

3) 异常事件:观测数值的变化不符合时间规律,但其他观测要素同时发生类似变化。

2.2 基于残差概率分布的异常数据检测

Z分数(Z-score)是基于统计学的最常用的异常数据检测方法之一,由观察点实际值与样本平均值之差的绝对值除以样本标准差得到,代表观察点距离样本平均值标准差的倍数。异常数据的Z分数会明显高于设定阈值,从而被检测出来。虽然使用滑动窗口的Z分数法可以有效检测由局部波动导致的异常数据[15],但其使用前提要求样本符合正态分布,而生态观测数据往往不符合该规律,因此该方法具有一定的局限性。

残差是样本观察点实际值与估计值的差,残差越大,实际值与估计值的距离越远,该点异常概率越大。观察点的估计值可通过线性、非线性回归模型得到,通常归纳为真实回归函数与模型残差之和[16]。模型残差一般符合均值为0、方差为σ2的正态分布,如果不符则无法评判模型预测结果准确度,意味着结果不可控;因此可以将残差使用Z分数法标准化,检测样本异常数据。标准化残差是残差值与残差平均值之差的绝对值除以残差的标准差:

(1)

式中:Z(i)为第i点残差的标准化Z分数;R(i)为第i点的残差;R为残差平均值,通常为0;σ为残差标准差。

根据需要适当改进公式(1):1)使用绝对中位差(median absolute deviation, MAD)方法计算标准差σ。MAD法是一种统计离差的测量,是鲁棒统计量,比标准差更能适应数据集中的异常值检测[17]。2)异常数据中较为极端的数值会对回归模型以及标准差计算产生较大影响,为了消除该影响,使用标准化删除残差,即在残差计算时,使用删除第i点后剩余的数据进行回归。

通过公式(1)得到Z(i),其在正态分布中发生的概率P(i)代表该数值符合样本总体均值的概率,当P(i)低于设定阈值时,认为该点为异常数据。根据正态分布概率密度函数,P(i)的计算公式为

(2)

利用回归残差符合正态分布的规律,使用统计学方法量化每个观测点的异常程度,这是本文的异常数据检测思想。下文根据不同异常数据类型,具体扩充并完善方法细节。

2.3 检测算法应用 2.3.1 数值异常

生态观测数据具有一定物理生态属性。在异常数据检测时,首先应判断观测数据是否合理,即是否符合观测区域物理和生态意义,数值是否在传感器的规格范围内等。若属于数值异常,则不需进行其他类型异常数据检测。

该滨海湿地物联网观测区域位于上海市崇明东滩国际重要湿地内,在确定各指标数值范围时应综合历史观测数据、相关研究文献和传感器规格参数等因素。其中:历史观测数据包括崇明岛周缘水文站、长江口航次实测等;相关文献不仅包括环保部《地表水环境质量标准》(GB3838-2002)[14]、《海水水质标准》(GB3097-1997)[18]等标准文件,也参考了长江口区域的研究文献[19-22];传感器规格参数则参考该物联网观测站传感器供应商提供的技术规格。表 1为最终确定的观测区域各指标的数值范围。本文认为该滨海湿地物联网观测数据数值不应超过该表范围,否则是“数值异常”,应删除。

表 1 各观测指标数值范围 Table 1 Range of values for each indicator
T/℃ pH ORP/mV 电导率/
(μS/cm)
浊度/
NTU
ρ(叶绿素)/
(μg/L)
单位体积内蓝绿藻数量/mL-1 ρ(氨氮)/
(mg/)L
ρ(溶解氧)/
(mg/L)
5~50 6~9 0~999 0~100 000 0~1 000 0~150 0~150 0~10 0~20
注:T.水温;ORP.氧化还原电位。

以浊度观测为例,浏览数据(图 3)可以看出,2018年9月18日出现3 000 NTU左右的观测值,远远超出合理范围,为数值异常,应删除。

图 3 研究区浊度观测数据 Fig. 3 Turbidity observation records in the study area
2.3.2 波动异常

波动异常是最常见、比例最高的传感器异常数据。由于观测技术限制、环境条件恶劣,滨海湿地生态物联网传感器难免出现故障引起数据异常。通常认为观测数据的变化与其时间周期密切相关,同时考虑到生态系统是个有机整体,指标变化时其相关指标也会相应变化。所以波动异常数据的检测应综合考虑时间周期和多指标的对应变化关系。

1) 时间序列模型

时间序列异常数据通常表现出较大的离群性,与周围数值差异明显。针对滨海湿地生态物联观测数据具有多层、复杂的时间周期变化特点,使用滑动窗口线性/非线性回归方法获得观察点的估计值。通过公式(1)、(2)计算观察点时间序列模型标准化删除残差Zt与其概率密度Pt

2) 多指标模型

传统考虑多指标的异常数据检测的方法仅考虑了各指标间的相关性,忽略了它们之间具体变化关系。而多数情况下指标间不仅是简单的线性关系,仅用相关系数不能很好表达。本文通过以下步骤建立多指标回归模型:

① 对所有指标进行相关性分析,提取出研究指标的相关因子。

② 讨论研究指标与相关因子间的变化关系。

③ 根据上述信息建立对应线性/非线性多元回归模型,获得观察点估计值,通过公式(1)、(2)计算观察点多指标模型标准化删除残差Zf与其概率密度Pf

3) 多指标时间序列模型

Wu等[6]针对空气污染物,利用二元正态分布规律将时间模型与空间模型的异常数据检测相结合。这里假设时间序列模型残差和多指标模型残差符合二元正态分布,综合两模型结果构建多指标时间序列检测模型,获得综合的标准化删除残差概率Ptf(i)(公式(3)),Ptf(i)低于设定阈值时为波动异常。

(3)

式中,rZt(i)与Zf(i)的滑动窗口内的皮尔逊相关系数,计算公式为

(4)

式中:ZtZf-分别代表ZtZf的平均值;j-nj+n分别为滑动窗口的起始值和结束值。

这里以ρ(叶绿素)观测数据为例,介绍波动异常检测算法构建过程。首先构建时间序列模型,通常在正态分布检验时,小样本结果以Shapiro-Wilk检验(W检验)为准,大样本结果以Kolmogorov-Smirnov检验(D检验)为准。经过多次检验,使用线性回归且窗口直径为1 d(每15 min一组数据,共96组)时,回归模型残差的正态性表现最好。1 d也正好是很多环境因子变化的最小周期。

构建多指标回归模型,使用皮尔逊相关性法分别计算各指标间的相关系数,找出与ρ(叶绿素)相关性较大的指标。如图 4所示,各观测指标间相关系数取值从-1到1,绝对值越接近1(圆越大)相关性越强,越接近0(圆越小)相关性越弱,负数(蓝色)代表负相关,正数(红色)代表正相关。可以看出,ρ(叶绿素)与水温、单位体积内蓝绿藻数量、ρ(氨氮)、ρ(溶解氧)具有较强的相关性,相关系数分别为0.44、0.81、-0.44、0.40。由表 2可知,ρ(氨氮)99.86%的数据出现了数值异常,不可作为参照依据;因此,选择水温、单位体积内蓝绿藻数量和ρ(溶解氧)3个指标构建ρ(叶绿素)的多指标回归模型。

图 4 观测指标相关性分析 Fig. 4 Correlation of observation indicators
表 2 生态物联网异常数据统计 Table 2 Statistics of different types of outliers from ecological IoT observation system
观测指标 观测数据总量 传感器异常数量 传感器异常比例/% 数值异常比例/% 波动异常比例/%
T 6 266 11 0.18 0 0.18
pH 6 266 36 0.57 0 0.57
ORP 6 266 112 1.79 0 1.79
电导率 6 266 509 8.12 0 8.12
浊度 6 266 15 0.24 0.02 0.22
ρ(叶绿素) 6 266 60 0.96 0 0.96
单位体积内蓝绿藻数量 6 266 20 0.32 0 0.32
ρ(氨氮) 6 266 99.86
ρ(溶解氧) 6 266 207 3.30 0 3.30
注:空白表示没有进行该类异常数据检测。

ρ(叶绿素)与水温、单位体积内蓝绿藻数量和ρ(溶解氧)间的具体变化关系如图 5所示。可以看出,ρ(叶绿素)与水温、单位体积内蓝绿藻数量均呈线性正相关关系,单位体积内蓝绿藻数量随ρ(叶绿素)变化更为明显。ρ(溶解氧)在横、纵轴变量均值点之前随ρ(叶绿素)变化不明显,在均值点后出现明显线性正相关变化;这与崔莉凤等[23]的研究结果表现一致,他们指出水中叶绿素成分较少时,ρ(溶解氧)的变化受水温、溶解离子、微生物等多方面综合影响,而当叶绿素达到一定的质量浓度后,藻类增多,生物过程变为ρ(溶解氧)变化的主导因子。因此,在建立ρ(叶绿素)多指标回归模型时,应采用分段函数,当叶绿素的质量浓度小于30 mg/L时不考虑ρ(溶解氧)对回归模型的影响。

红色圆点是横、纵轴变量的均值;红色曲线是采用局部回归平滑方法计算出的横、纵轴变量之间的变化关系。 图 5 研究区ρ(叶绿素)与水温、单位体积内蓝绿藻数量、ρ(溶解氧)间的关系 Fig. 5 Relationship between chlorophyll and water temperature, content of blue-green algae and dissolved oxygen in the study area

利用公式(1)、(2)计算ZtZf,利用公式(3)、(4)计算Ptf(i)。经过多次检验,设置阈值为10-8,当Ptf(i)小于该阈值时被标记为波动异常数据并删除。

其余观测指标波动异常的检测算法构建以此类推。

2.3.3 异常事件

滨海湿地环境受潮汐、气候等自然要素以及人类活动影响强烈。部分异常数据不是传感器故障导致,而是出现异常事件(如人类在观测平台附近倾倒生活垃圾)导致观测区生态环境发生短时变化而产生。

本文异常事件的判断标准是,该指标在时间序列上发生不符合规律的变化,其相关因子在同时间段内均发生相应变化。因此使用上文所述的时间序列模型与多指标时间序列模型先后进行异常数据判断,预设窗口内一半以上观测数据在前者中表现异常、而在后者中没有表现异常时,标记该窗口内数据为异常事件。

2.4 方法评价

由于滨海湿地观测数据的特殊性和复杂性,很难计算异常数据检测方法的绝对精度。这里以通用方法为基准进行比较,使用本文多指标时间序列模型与异常数据检测中最常用的滑动窗口法(即时间序列模型)检测ρ(叶绿素)观测数据,分别得到60个和79个波动异常,两种方法在2018年8月16日数据的检测结果存在明显差异(图 6)。由图 6可知,2018年8月16日12:00—16:00 ρ(叶绿素)、单位体积内蓝绿藻数量和ρ(溶解氧)均快速升高。经验证,是环境变化导致了异常事件的发生,该时间内的波动异常数量应为0。相比滑动窗口法检测出了10个波动异常,多指标时间序列模型仅检测出1个,错误率较低,说明其正确地判断出该时间内发生了环境变化,而不是传感器故障。

a. ρ(叶绿素)2018-08-14—2018-10-12原始观测数据;b. 8月16日ρ(叶绿素)、ρ(溶解氧)、单位体积内蓝绿藻数量原始观测数据及滑动窗口法、多指标时间序列模型检测结果。使用Z分数法标准化各指标以消除量纲影响。 图 6 研究区滑动窗口法与多指标时间序列模型波动异常检测结果比较 Fig. 6 Comparison of abnormal fluctuation detection based on sliding window method and multi-indicators time series model in the study area

同样,滑动窗口法也将9月19日部分属于异常事件的数据误判为波动异常,导致异常事件的检测结果偏多,误差偏大。

相比滑动窗口法,多指标时间序列模型在保证波动异常检测准确度的同时,可以更好地区分环境异常与传感器异常,减少了对正常值的误判和对环境变化的忽略,具有较好的异常数据检测性能。

3 结果与分析

使用本文构建的数据预处理方法,分别检测水温、pH、氧化还原电位、电导率等观测指标异常数据。各指标的传感器稳定性有所差异,因此波动异常的检测阈值不同,分别设置在了10-8~10-20之间。每项指标检测完成后删除传感器异常数据,之后参与其他指标的预处理过程,以减少传感器异常对回归模型的影响。值得注意的是:水温与浊度因其变化机理不同仅采用时间序列检测方法;ρ(氨氮)因为在检测中发现99.86%的数值异常,后经验证是传感器电极帽损坏故障导致,不进行其他异常检测,也不参与其他观测指标的数据预处理过程。图 7展示了电导率和单位体积内蓝绿藻数量预处理前后数据对比,可以看出两指标时间序列上的离群值被剔除,但因异常事件导致的离群值得到保留。

图 7 研究区电导率和单位体积内蓝绿藻数量观测数据预处理前(左)后(右)对比 Fig. 7 Conductivity and blue-green algae observation data records before (left) and after (right) data preprocessing in the study area

分析水质数据预处理结果,各异常类型统计如表 2所示。从传感器异常数量可以看出,水温、浊度观测最稳定,电导率观测最不稳定。同时,氧化还原电位、ρ(溶解氧)的传感器异常也较多,研究各指标传感器观测原理,氧化还原电位、电导率、pH、ρ(溶解氧)与ρ(氨氮)均采用电极法测量。由于仪器电解质溶液的不稳定性、水体离子变化等多种因素影响,造成电极法测量不稳定,其观测指标容易出现较多的传感器异常;而其他测量方法则较为稳定。

图 8展示了各观测指标不同月份的传感器异常数据比例,可以看出:水温、pH、氧化还原电位、电导率等多个指标的传感器异常比例从8月到10月不断减少。分析认为水温对部分传感器观测的稳定性有一定影响,温度越高,传感器越容易出现读数异常,随着8月到10月气温的不断下降,观测区域水温也在下降,传感器异常数据减少。

图 8 各观测指标不同月份传感器异常比例 Fig. 8 Proportion of outliers in different months of each indicator

通过预处理方法还提取出2个异常事件。分别为:8月16日12:00—16:00发生ρ(叶绿素)、单位体积内蓝绿藻数量、ρ(溶解氧)、pH数值突然大幅上升,持续一段时间回归正常;9月19日10:15—12:15观测平台大部分指标数值同时发生异常变化。经查证,8月16日观测平台发生移动,9月19日运维人员维护仪器设备,均是传感器观测环境发生改变导致的异常事件。

4 结论与建议

1) 滨海湿地生态物联网观测过程中,异常数据的出现不可避免。使用本文方法预处理崇明东滩水文水质观测数据,各观测指标以10-8~10-20的阈值检测出0.18%~8.12%的传感器异常,以及2次异常事件,其中水温、浊度观测最稳定,电导率观测最不稳定。

2) 传感器的观测原理、观测季节等因素均会影响观测的稳定性,使用电极法测量的指标稳定性较差,温度较高时传感器观测的稳定性也较差,因此对使用电极法测量的指标以及在观测温度较高的季节,应提高传感器校准与维护频率。

3) 人类活动是造成观测区域异常事件发生的主要因素之一,生态物联网观测选址应尽量选择人类活动少的区域。

参考文献
[1]
Costanza R, d'Arge R, de Groot R, et al. The Value of the World's Ecosystem Services and Natural Capital[J]. Nature, 1997, 387: 253-260. DOI:10.1038/387253a0
[2]
宋庆丰, 牛香, 王兵, 等. 基于大数据的森林生态系统服务功能评估进展[J]. 生态学杂志, 2015, 34(10): 2914-2921.
Song Qingfeng, Niu Xiang, Wang Bing, et al. Review on Forest Ecosystem Services Assessment Based on Big Data[J]. Chinese Journal of Ecology, 2015, 34(10): 2914-2921.
[3]
崔洪亮, 于淼, 常天英, 等. 应用于海洋环境和海洋工程的光纤传感技术[J]. 吉林大学学报(地球科学版), 2017, 47(1): 279-293.
Cui Hongliang, Yu Miao, Chang Tianying, et al. Fiber Optic Sensing Technology for Applications in Marine Environment and Marine Engineering[J]. Journal of Jilin University (Earth Science Edition), 2017, 47(1): 279-293.
[4]
Fiebrich C A, Morgan C R, Mccombs A G, et al. Quality Assurance Procedures for Mesoscale Meteorological Data[J]. Journal of Atmospheric and Oceanic Technology, 2010, 27(10): 1565-1582. DOI:10.1175/2010JTECHA1433.1
[5]
Byer D, Carlson K H. Real-Time Detection of Intentional Chemical Contamination in the Distribution System[J]. Journal American Water Works Association, 2005, 97(7): 130-133. DOI:10.1002/j.1551-8833.2005.tb10938.x
[6]
Wu H, Tang X, Wang Z, et al. Probabilistic Automatic Outlier Detection for Surface Air Quality Measurements from the China National Environmental Monitoring Network[J]. Advances in Atmospheric Sciences, 2018, 35(12): 1522-1532. DOI:10.1007/s00376-018-8067-9
[7]
魏媛, 冯天恒, 黄平捷, 等. 管网水质多指标动态关联异常检测方法[J]. 浙江大学学报(工学版), 2016, 50(7): 1402-1409.
Wei Yuan, Feng Tianheng, Huang Pingjie, et al. Contamination Event Detection Method Based on Dynamic Correlation Analyis of Multiple Water Quality Parameters[J]. Journal of Zhejiang University (Engineering Science), 2016, 50(7): 1402-1409.
[8]
Breunig M M, Kriegel H P, Ng R T, et al. LOF: Identifying Density-Based Local Outliers[C]// Acm Sigmod International Conference on Management of Data. Dallas: ACM, 2000: 93-104.
[9]
Billor N, Hadi A S, Velleman P F. BACON: Blocked Adaptive Computationally Efficient Outlier Nominators[J]. Computational Statistics & Data Analysis, 2000, 34(3): 279-298.
[10]
Hochenbaum J, Vallis O S, Kejariwal A. Automatic Anomaly Detection in the Cloud via Statistical Learning[J/OL]. arXiv Preprint. (2017-04-24). http://arxiv.org/abs/1704.07706.
[11]
Babin S M, Burkom H S, Mnatsakanyan Z R, et al. Drinking Water Security and Public Health Disease Outbreak Surveillance[J]. Johns Hopkins Apl Technical Digest, 2008, 27(4): 403-411.
[12]
Modaresi F, Araghinejad S. A Comparative Assessment of Support Vector Machines, Probabilistic Neural Networks, and K-Nearest Neighbor Algorithms for Water Quality Classification[J]. Water Resources Management, 2014, 28(12): 4095-4111. DOI:10.1007/s11269-014-0730-z
[13]
Zhang Y, Meratnia N, Havinga P J M. Outlier Detection Techniques for Wireless Sensor Networks: A Survey[J]. IEEE Communications Surveys and Tutorials, 2010, 12(2): 159-170. DOI:10.1109/SURV.2010.021510.00088
[14]
地表水环境质量标准: GB 3838-2002[S].北京: 国家环境保护总局, 国家质量监督检验检疫总局, 2002.
Environmental Quality Standards for Surface Water: GB 3838-2002[S]. Beijing: State of Environmental Protection Agency, General Administration of Quality Supervision, Inspection and Quarantine, 2002.
[15]
Feng S, Hu Q, Qian W. Quality Control of Daily Meteorological Data in China, 1951-2000: A New Dataset[J]. International Journal of Climatology, 2004, 24(7): 853-870. DOI:10.1002/joc.1047
[16]
Baty F, Ritz C, Charles S, et al. A Toolbox for Nonlinear Regression in R: The Package Nlstools[J]. Journal of Statistical Software, 2015, 66(5): 1-21.
[17]
Dunn R J H, Willett K M, Thorne P W, et al. HadISD: A Quality-Controlled Global Synoptic Report Database for Selected Variables at Long-Term Stations from 1973-2011[J]. Climate of the Past, 2012, 8(5): 1649-1679. DOI:10.5194/cp-8-1649-2012
[18]
海水水质标准: GB 3097-1997[S].北京: 国家环境保护局, 1997.
Sea Water Quality Standard: GB 3097-1997[S]. Beijing: National Environmental Protection Agency, 1997.
[19]
翟世奎, 张怀静, 范德江, 等. 长江口及其邻近海域悬浮物浓度和浊度的对应关系[J]. 环境科学学报, 2005, 25(5): 693-699.
Zhai Shikui, Zhang Huaijing, Fan Dejiang, et al. Corresponding Relationship Between Suspended Matter Concentration and Turbidity on Changjiang Estuary and Adjacent Sea Area[J]. Acta Scientiae Circumstantiae, 2005, 25(5): 693-699. DOI:10.3321/j.issn:0253-2468.2005.05.022
[20]
李修竹, 苏荣国, 张传松, 等. 基于支持向量机的长江口及其邻近海域叶绿素-a浓度预测模型[J]. 中国海洋大学学报(自然科学版), 2019, 49(1): 69-76.
Li Xiuzhu, Su Rongguo, Zhang Chuansong, et al. A Chl-a Prediction Model Based on Support Vector Machine in Yangtze River Estuaries and Its Adjacent Sea Area[J]. Periodical of Ocean University of China, 2019, 49(1): 69-76.
[21]
王佳鹏, 施润和, 张超, 等. 基于光谱分析的长江口湿地互花米草叶片叶绿素含量反演研究[J]. 遥感技术与应用, 2017, 32(6): 1056-1063.
Wang Jiapeng, Shi Runhe, Zhang Chao, et al. Study on the Inversion of Chlorophyll Content of Spartina Alterniflora Leaf in the Yangtze River Estuary Wetland Based on Spectral Analysis[J]. Remote Sensing Technology and Application, 2017, 32(6): 1056-1063.
[22]
谢明媚, 孙德勇, 丘仲锋, 等. 长江口水质MERIS卫星数据遥感反演研究[J]. 广西科学, 2016, 23(6): 520-527.
Xie Mingmei, Sun Deyong, Qiu Zhongfeng, et al. Water Quality Retrievals from MERIS Satellite Data in Yangtze Estuary[J]. Guangxi Sciences, 2016, 23(6): 520-527.
[23]
崔莉凤, 黄振芳, 刘载文, 等. 水华暴发叶绿素-a与表征指标溶解氧和pH的关系[J]. 给水排水, 2008, 44(增刊1): 177-178.
Cui Lifeng, Huang Zhenfang, Liu Zaiwen, et al. Relationship Between Chlorophyll-a and Characteristic Indicators of Dissolved Oxygen and pH in Blooms[J]. Water & Wastewater Engineering, 2008, 44(Sup. 1): 177-178.
http://dx.doi.org/10.13278/j.cnki.jjuese.20180346
吉林大学主办、教育部主管的以地学为特色的综合性学术期刊
0

文章信息

黄盖先, 田波, 周云轩, 袁庆
Huang Gaixian, Tian Bo, Zhou Yunxuan, Yuan Qing
滨海湿地物联网观测数据预处理方法
Data Preprocessing Method of IoT Observation System in Coastal Wetland
吉林大学学报(地球科学版), 2019, 49(6): 1805-1814
Journal of Jilin University(Earth Science Edition), 2019, 49(6): 1805-1814.
http://dx.doi.org/10.13278/j.cnki.jjuese.20180346

文章历史

收稿日期: 2018-12-27

相关文章

工作空间