环境科学学报  2016, Vol. 36 Issue (2): 576-581
基于BP神经网络与马尔可夫链的污水处理厂脱氮效果模拟预测    [PDF全文]
李佟1, 2 , 李军1    
1. 北京工业大学建筑工程学院, 北京 100124;
2. 北京城市排水集团有限责任公司, 北京 100044
摘要: 在实际污水处理厂运行过程中,其最终出水水质会受多种因素影响制约,而基于生物反应机理的活性污泥数学模型(ASM)并未将这些生物反应以外的因素考虑在内,由此带来一些不足.对此,本文提出可通过基于数据挖掘技术的黑箱模型对污水厂处理效果进行模拟预测.结合具体实际分析,提出可将BP神经网络与马尔可夫链组合应用于污水处理脱氮效果预测中.首先,通过BP神经网络模型对北京某大型污水处理厂实际进出水数据和工艺参数进行粗略拟合;其次,利用马尔可夫链对拟合结果及误差进行状态划分以进一步提高预测精确度;最后,运用基于BP神经网络与马尔可夫链的组合模型预测分析了该厂的实际出水水质.试验结果表明,BP神经网络适用于污水处理脱氮过程的拟合计算,而通过与马尔可夫链组合,可以提高模拟预测的精度和可靠性.
关键词: 污水处理    活性污泥数学模型    BP神经网络    马尔可夫链    
The prediction of denitrification efficiency of a wastewater treatment plant by using BP neural network and Markov chain method
LI Tong1, 2 , LI Jun1    
1. College of Architecture and Civil Engineering, Beijing University of Technology, Beijing 100124;
2. Beijing Drainage Group Co., Ltd, Beijing 100044
Abstract: The effluent quality of a wastewater treatment plant (WWTP) is restricted by many factors. However, the activated sludge mathematical model (ASM), which is only based on biological reaction mechanism, does not involve the factors other than biological reactions. Therefore, It will bring inaccuracy in real forecast. To solve this problem, the author put forward a "black box model" which is based on data mining technology to simulate and predict a WWTP operation. First, the actual WWTP data and process parameters were fitted by using neural network model. Second, the markov chain was applied to fit the results and error state division to further improve the prediction accuracy. Finally, BP neural network and Markov chain were combined to analyze and forecast a large WWTP nitrogen removal efficiency. The results show that the BP neural network can be used to simulate the WWTP nitrogen removal process, and the accuracy and reliability of the simulation can be improved when combined with the Markov chain.
Key words: wastewater treatment    active sludge model    BP neural network    Markov chain    
1 引言(Introduction)

通过数学模型对污水处理的生化过程进行模拟分析一直是污水处理运行与管理领域的研究热点.20 世纪 50 年代以来,国外一些学者把反映生化过程机理的微生物生长动力学引入污水处理领域(顾夏声,1993Lawrence et al., 1971Henze et al., 1987).20世纪 80年代末,国际水协会(IWA)提出的活性污泥 1号模型(ASM1,Activated Sludge Model No. 1)取得了很大的成功,是早期较为完善的污水处理数学模型研究之一(Brdjanovic et al., 2000; Salem et al., 2002; Rodriguez Roda et al., 2002; Thesen et al., 1974).通过模拟计算,使污水处理的设计和运行更加理论化和系统化,提高了人们对污水生物处理过程的认识,不仅节省了大量的经济成本,而且提高了污水处理相关工作的质量和效率.

然而,随着污水处理工艺及设备设施的日渐复杂,活性污泥数学模型在污水处理厂的实际应用中具有一定的局限性.一方面,数学模型的建立过程比较复杂,需要对水质组分及动力学参数进行测定,大部分污水厂缺乏这方面的基础有效数据;另一方面,污水处理过程实际上是一个十分复杂的由物理、生物、化学等因素协同作用的过程,最终的处理效果不仅与决定其生物反应的一系列特征相关,同时还受大量不确定因素的影响,而活性污泥数学模型还远未将这些因素考虑在内,这在一定程度上降低了模型预测的精确性和实际应用价值(韦安磊,2010).

对此,笔者提出可通过基于数据驱动的黑箱模型对污水厂处理效果进行模拟预测.然而污水处理过程中去除污染物的种类很多,每种类型污染物都有其独特的去除机理和影响因素,因此,仅通过建立一个黑箱模型就对所有指标进行预测势必无法保证准确性.综合考虑,本研究将黑箱模型主要用于污水处理脱氮工艺模拟分析,主要基于以下几方面原因:①污水厂出水总氮是评判其工艺水平和运行水平的重要指标之一,对于一般水厂而言要保持出水总氮平稳达标,存在一定的技术难度和较大的调控空间;②对于传统反硝化脱氮的机理及影响因素已研究的较为透彻,因此,可以很好地确定对脱氮效果有显著影响的参数,同时这些参数在一般污水厂都有大量的实际数据;③随着未来污水处理标准的日益提高,如何能保障前端脱氮效果,对后续深度处理工艺的成本控制有重要影响.

基于此,本文采用BP神经网络与马尔可夫链的组合预测模型,首先通过BP神经网络模型对北京某大型污水处理厂实际进出水数据和工艺参数进行粗略拟合;其次,利用马尔可夫链对拟合结果及误差进行状态划分以进一步提高预测精确度;最后,运用基于BP神经网络与马尔可夫链的组合模型预测分析该厂的实际出水水质.

2 BP神经网络和马尔可夫链模型的构建 (Construction of BP neural network and Markov chain model) 2.1 BP神经网络模型构建

神经网络模型是以神经元的数学模型为基础来描述的,是一种按误差逆向传播算法训练的多层前馈网络,它由网络拓扑、节点特点和学习规则来表示,能在未知被构建对象和输入参数的数学关系式的情况下,通过学习和贮存大量的输入-输出模式关系,自适应地获取输入与输出的非线性映射关系.这其中又属BP 神经网络的应用最为普遍,它使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小.应用 BP 神经网络一般包括4个基本步骤:①确定网络结构形式;②收集训练和测试样本;③进行网络模型训练;④利用训练后的网络进行应用计算.

神经网络模型的模拟过程中会应用到大量的样本训练和测试数据,一般污水厂生产运行过程中会产生大量数据,但这些数据大部分是由人工或仪表检测而来,受取样、化验操作、瞬时波动、仪表等因素影响,这些数据经常存在误差和波动.用这样的数据进行神经网络的训练,往往会导致预测结果在一定范围内随机波动,降低了预测的准确性.马尔可夫链恰能有效地预见并消除由系统随机性而产生的预测误差.因此,通过建立神经网络与马尔可夫链的组合预测模型,将二者进行优势互补,能够得到更为准确的预测结论(王江荣等,2013)

2.2 马尔可夫链模型构建

马尔可夫链是根据俄国数学家马尔可夫发现的系统状态转移规律,分析随机事件未来发展趋势及可能结果的一种预测方法(孙克,2004),其实质是对于事件发生的概率进行预测,根据目前状况来预测其将来时刻变动状况(夏乐天,2005).马尔可夫链预测主要分两个过程:一是确定马尔可夫链的状态空间;二是要通过计算确定状态转移概率与状态转移矩阵.

在事件发展变化过程中,状态Ei经过k步转移到状态Ej的转移概率Pkij为:

式中,Mi表示状态Ei出现的总次数,mkij表示状态Eik步转移到状态Ej的次数,m为划分的状态数目.

对于BP神经网络模拟预测的结果,通过马尔可夫链模型可以分析其误差的波动范围,并且预测波动的发展趋势,通过误差的状态转移概率矩阵对BP神经网络预测的结果进行进一步的精细优化.马尔可夫链是一个典型的无后效应随机过程,即模型在时刻t的状态只与它的前一个时刻t-1的状态条件相关,与以前的状态条件独立.

在污水处理过程中,下一时刻污染物浓度变化情况只与当前时期(8~12 h)的系统状态有关,而与之前的状态无关.此外,该模型的最终预测结果不是一个具体数值,而是生成一组不同概率的预测区间值,该方法可从一定程度上弥补因化验产生的数值误差,提高预测准确度.

3 污水处理厂脱氮效果模拟预测分析 (WWTP nitrogen removal simulation and prediction)

本文采用北京某大型污水处理厂的实际生产数据为实验依据,该厂设计日处理规模100万m3 · d-1,其主体工艺采用A/O法去除有机污染物(COD)和总氮(TN),同时还通过投加化学药剂来去除总磷(TP),最终出水主要指标可稳定达到《城镇水污染物排放标准》(GB18918)中的一级B标准.

由于污水处理过程中每种类型污染物的去除都有其各自的原理和特点,因此,其影响因素也各不相同.例如,对于BOD、COD等有机指标,一般水厂均能较彻底的去除,其出水的残留值主要与原水中的溶解性不可降解有机物有关.再例如悬浮物指标,主要与沉淀单元的水力负荷和状态点有关,而与其它水质指标关联不大,等等.其中,总氮是污水中的主要污染物之一,其去除机理和影响因素目前研究的较为明确,因此,本文主要以脱氮工艺模拟为研究对象,对该厂出水总氮进行数学模拟分析.

3.1 基于BP神经网络的污水厂脱氮效果模拟

以该厂2013年全年数据为基础,共收集了365组样本集,其中250组作为训练集,115组作为测试集.试验工具采用新西兰怀卡托大学开发的WEKA数据挖掘应用平台,BP神经网络输入层节点数为 8,分别表示进水流量、生物反应池温度、进水BOD、进水COD、进水TN浓度、进水NH+4-N浓度、生物反应池MLSS浓度、生物反应池MLVSS浓度;输出层节点为出水TN浓度,隐藏层数取1,迭代次数为500,采用不同的隐含层节点数分别对网络进行训练,当隐含层节点数取4时,神经网络训练误差最低(平均误差0.073).利用训练后的模型,以2013年各月的月均参数值为输入量(表 1),模拟各月月均TN值,模拟结果与真实值的线性相关度为0.921(图 1).

表1 北京某污水处理厂2013年1—12月主要运行数据 Table 1 Operational data from a WWTP in Beijing in 2013

图1 神经网络模型拟合结果 Fig.1 Curve Fitting with a neural network model

利用训练后的神经网络对该厂2014年1—12月数据进行模拟预测,最终模拟值与实际值对比情况如图 2表 2所示.从表 2可以看出,12个月的数据模拟误差范围为±10%,有3次模拟结果低于实际值,9次高于实际值.其中,最小误差为0.79%,最大误差为9.49%.

表2 污水处理厂实际出水水质及BP网络计算拟合值 Table 2 The real and predicted value of effluent TN

图2 出水TN实际值与拟合值对比 Fig.2 The Real and predicted values of effluent TN
3.2 基于马尔可夫链的预测结果修正模型 3.2.1 马尔可夫状态区域划分

马尔可夫链的预测精度主要由转移矩阵决定,为了构造转移矩阵,首先需要合理划分误差状态区间,一般以样本-均方差方法来确定.以样本的均值 为中心,标准差s=为标准进行分组.一般可将数据序列分为:(x-sx-0.5s)、(x-0.5sx+0.5s)、(x+0.5sx+s)等几组.

表 2可以看出,模拟值与实际值误差在-10%~5%之间,误差平均值为x=-2.5,标准差为s=4.28.根据均值-标准差分级方法,通过BP模拟结果的误差均值和标准差,可将马尔可夫状态区域划分为4种状态:a[-10%,-5%],b[-5%,0],c[0,+5%],d[5%,10%]

3.2.2 污水厂出水总氮BP拟合结果一步转移概率矩阵

对于马尔可夫链,描述其概率性质的重要的量是转移概率矩阵.把转移概率Pij=(nn+k)记为Pij,当k=1时,Pij(1)称为1步转移概率,记为Pij.设 P 表示一步转移概率Pij(k)所组成的矩阵(式(2)),且状态空间E={1,2,…,n},则 P 称为系统状态的一步转移概率矩阵.

根据之前的3种区域状态划分,pij为由状态i转向状态j的频数,如pab表示当前误差在a状态,下一组模拟误差在b状态的频数,其余以此类推.设:

那么由状态i转向状态j的转移概率为fij≈pij/pi,(i=1,2,…,n),这样便可得到BP模拟出水TN误差的一步转移概率矩阵,具体如表 3和式(3)所示.

表3 污水处理厂出水水质预测结果的马尔可夫状态转移表 Table 3 Markov state transition for the BP forecasted results of the estate effluent data

3.2.3 马氏性检验

检验随机过程是否具有马氏性是应用马尔科夫链模型的必要前提,通常离散序列的马尔科夫链是用χ2 统计量来检验的.

j表示(nij)q×q的第j列之和同各行各列的总和的比值,Pij表示状态i转到状态j的概率,计算公式如下:

统计量服从自由度为(q-1)2的χ2分布.选定置信度α,查表得χ2α((q-1))2,令:

若χ22α((q-1))2,则{rii=T}具有马氏性.对该厂12个月的状态序列做马氏检验.根据表 3再结合步长为1的一步转移概率矩阵 P,可算得统计量χ2=32.14,给定置信度α=0.05,查表可得分为点χ2a(4)=27.85.由于χ22α((q-1))2,故这组序列满足马氏性.

3.2.4 2015年1—5月出水总氮预测

根据2014年1—12月模拟结果,通过马尔可夫链预测模型,得到2015年1—5月出水总氮状态转移表,结果如表 4所示.其中,参考2014年12月的模拟误差,初始向量为[0.17,0.33,0.33,0.17].

表4 2015年1—5月出水TN预测状态向量 Table 4 The forecasting state vectors of TN from January to May in 2015

综上,得出2015年1—5月出水的最终预测结果(表 5).马尔可夫链改进后的预测结果是不通过概率下的区间范围值,符合污水厂出水水质和检测结果在一定程度呈随机变化的特性,通过最大概率区间预测值可以很准确地预测实际出水水质范围.从该厂2015年1—5月的模拟预测结果可知,出水的实际水质均符合最大概率区间内的预测范围值,表明基于 BP神经网络与马尔可夫链的组合预测模型具有较高的精度,可应用于污水处理的水质模拟.

表5 污水处理厂2015年1—5月出水实际值、BP拟合值与马尔可夫改进值对比情况 Table 5 Real data,fitting value by BP, and value improved by using Markov chain of the effluent TN from January to May in 2015
4 结论(Conclusions)

1)污水处理过程是多种复杂生物化学反应综合作用的结果.本文所采用的模拟方法和预测模型是对传统污水处理数学模型的一种补充,即通过数据挖掘手段,采用基于BP 神经网络与马尔可夫链的组合预测模型,充分挖掘出数据中的变化规律与拟合趋势,恰好弥补了传统数学模型的不足.

2)通过对北京某污水处理厂实际数据分析计算表明,BP神经网络模型结合马尔可夫链组合模型具有很好的适用性,能够准确预测出水水质范围.在不掌握生物反应机理模型参数或缺乏数据的情况下,为污水处理厂水质模拟提供了一种新的途径.

3)本方法尤其适合于运行工艺和进出水水质相对稳定,且具有大量历史数据积累的水厂.由于污水处理过程影响因素的多样性和不确定性,对于不同类型的水厂,在具体建模时还应结合实际情况,在神经网络输入层节点(即污水处理的影响因素)选取和马尔可夫状态区域划分方面进一步研究分析.

参考文献
[1] Brdjanovic D,Van Loosdrecht M,Versteeg P,et al.2000.Modeling COD,N and P removal in a full-scale WWTP Haarlem Waarderpolder[J].Water Research,34(3):846-858
[2] 顾夏声.1993.废水生物处理数学模式[M].北京:清华大学出版社
[3] Henze M,Grady C P L,Gujer W,et al.1987.Activated Sludge Model No.1.IAWQ Scientific and Technical Report No.1[M].London,UK:IWA Publishing.1-33
[4] Lawrence A W, Mccarty P L.1971.Unified basis for biological treatment design and operation[J].Journal of the Sanitary Engineering Division-ASCE,97(NSA6):930
[5] Rodriguez-Roda I,Sanchez-Marre M,Comas J,et al.2002.A hybrid supervisory system to support WWTP operation:implementation and validation[J].Water Science and Technology,45(4/5):289-297
[6] Salem S,Berends D,Heijnen J J,et al.2002.Model-based evaluation of a new upgrading concept for N-removal[J].Water Science and Technology,45(6):1639-176
[7] 孙克.2004.实用马尔可夫决策过程[M].北京:清华大学出版社
[8] Thesen A.1974.Some notes on systems models and modelling[J].International Journal of Systems,5(2):145-152
[9] 王江荣,李向兵.2013. 神经网络与加权模糊马尔可夫链的组合模型及其应用[J].计量技术,(10):3-7
[10] 韦安磊.2010.污水处理过程数学模型方法及其关键技术研究[D].长沙:湖南大学.11-13
[11] 夏乐天.2005.马尔科夫链预测方法及其在水文序列中的应用研究[D].南京:河海大学