2. 广东工业大学 自动化学院, 广州 510006
基于微电网中分布式可再生能源和双向能量交易, 提出一种自适应能量调度策略.调度中心收集微电网中所有用户的负载信息, 并根据实时的电价信息, 集中调度用户的负载用电.该调度策略采用自适应动态规划方法, 通过在线网络训练优化能量调度策略.仿真结果表明, 该方法能够对整个调度过程进行在线学习, 从而最小化用户的总电能费用.
2. Faculty of Automation, Guangdong University of Technology, Guangzhou 510006, China
Based on the distributed renewable energy resources and the bidirectional energy transaction in micro grid, an adaptive energy scheduling strategy is proposed. The scheduling center collects the load information from all uses in micro grid and centrally assigns the energy consumption of user loads according to the real-time electricity price information. The proposed scheduling strategy employs the adaptive dynamic programming and optimizes scheduling policy by processing online network training. Simulation results show that the proposed scheduling strategy is able to minimize the user electricity cost by learning from the scheduling process.
微电网是能实现自我控制、保护和管理的自治系统，既可以与外部主电网并网运行，又可以孤岛运行，并鼓励用户参与电力市场，共同推进智能电网的发展[1].微电网中，用户可以把太阳能光伏模块和风力发电机等分布式可再生能源所产生的电能卖给电网，从而套取利润[2]. Atzeni等[3]研究了可再生能源的接入对电能成本和管理的影响，但没有充分考虑可再生能源供给的间歇性和不确定性. Papavasiliou等[4]指出用户的可调节负载能容忍一定的延时.用户可以在电价低的时候再接通负载，从而降低电能费用.这是一种对需求侧的弹性管理，有助于用电负荷与电能供给之间的平衡.
笔者结合考虑可再生能源供给的波动性和需求侧的弹性管理，基于微电网中的双向能量交易，提出一种自适应能量调度策略.调度中心集中调度用户的负载用电，采用自适应动态规划方法，最小化用户的电能费用.
1 系统模型微电网主要包括分布式可再生能源、用户负载和调度中心，如图 1所示.定义N是微电网的用户集合.其中，每个用户对应1个家庭，每个用户都装有小型的可再生能源，如光伏模块.微电网中也会配有一些大型的可再生能源，如风力发电机.在微电网中，所有用户共同分享来自电网和可再生能源的电能.
|
图 1 微电网结构图 |
每个用户家庭都装有智能电表，智能电表通过无线通信技术与家中所有电器连接，并管理其负载用电.调度中心通过通信网络连接所有智能电表.基于所有来自智能电表的信息和实时的电价信息，调度中心可得到全局最优的电能调度方案，并调度微电网中所有用户的负载用电.
家庭电器负载可分为2类：不可调节负载和可调节负载.属于不可调节负载的电器有固定的电能需求，不受调度中心的控制，如电视和电冰箱等.调度中心必须保证这些负载的用电.可调节负载的电器则允许调度中心控制其用电量与用电时间，如电动车、洗衣机、烘干机等.
2 问题描述2.1 系统状态调度中心通过观测微电网系统状态，给出调度的决策.系统状态包括分布式可再生能源的供给量、用户负载和电价信息.
对于光伏模块，使用β概率分布函数来描述光照辐射的不确定性[5]，即
|
(1) |
其中：s为太阳辐射强度，单位kW/m2，fb为β概率分布函数，Γ为阶乘函数，α和β为常数.
光伏模块的输出功率取决于太阳辐射强度、现场环境温度和模块自身特性.光伏模块输出功率为
|
(2) |
其中：Py为状态y的光伏模块输出功率，say为状态y的平均太阳辐射强度，Ff为填充因数，Ty和Vy分别为在状态y下的电池温度和电压.
对于风力发电机，其输出功率与风速有关.使用Rayleigh概率分布函数来描述风速的变化[5]，即
|
(3) |
其中：fw为风速的概率分布函数，v为风速，c为规模指数.
风力发电机的输出功率取决于现场风速和自身的功率特性曲线.风力发电机输出功率为
|
(4) |
其中：Pz为风力发电机在状态z时的输出功率，vaz为状态z时的平均风速，vci、vr和vco分别为切入转速、额定转速和截止转速.
每个时段里，太阳辐射强度和风速都有多个状态.设太阳辐射强度和风速状态概率为
|
(5) |
|
(6) |
其中：Ωs(Gy)为在状态y下太阳辐射强度的概率，sy1和sy2为在状态y下太阳辐射强度的范围，Ωv(Gz)为在状态z下风速的概率，vz1和vz2为在状态z下风速的范围.设风速状态和太阳辐射状态是相互独立的，二者的联合概率就是二者概率的卷积，即
|
(7) |
其中：Ω{Cg}为状态g下的联合概率，故微电网中分布式可再生能源在时段t产生的电能为
|
(8) |
其中：R(t)为时段t产生的电能，G为g状态的集合，Pg(t)为在时段t状态g下混合可再生能源的电能输出功率.故在时段t，对于微电网中各用户，分布式可再生能源产生的电能为
|
(9) |
对于微电网中的用户负载，设在时段t，第n个用户的不可调节负载和可调节负载分别为LU, n(t)和LC, n(t).故在时段t，微电网中各个用户的不可调节负载和可调节负载分别为
|
(10) |
|
(11) |
可调节负载的工作时间比较灵活，可接受一定的延时.所有可调节负载会在一个服务队列中排队，以先到先服务的方式满足队列中负载的用电需求.对于用户n，队列的更新公式为
|
(12) |
其中：Qn(t)为用户n在时段t的队列长度，即待调度的负荷量，Qn(t+1) 为用户n在时段(t+1) 的队列长度，GC, n(t)为从电网买入的用于可调节负载的电量，故在时段t，微电网中的可调节负载队列长度为
|
(13) |
对于电价信息，设在时段t从电网买入电能的价格为pB(t)，把可再生能源卖给电网的价格为pS(t).故微电网在时段t的系统状态为
|
(14) |
调度中心的能量调度决策把来自电网和可再生能源的电能分配给微电网中的所有用户，满足其用电负载.设时段t，可再生能源对微电网中各用户的不可调节负载和可调节负载的供给量分别为
|
(15) |
|
(16) |
但可再生能源未必能及时满足微电网中所有用户的负载.故在必要时，需要从电网购入电能.设在时段t，为满足微电网中各用户的不可调节负载和可调节负载，需从电网购入的电量分别为
|
(17) |
|
(18) |
故在时段t微电网调度中心的调度决策为
|
(19) |
微电网调度中心的目标就是最小化所有用户的电能费用，同时保证可调节负载队列的调度延时控制在用户的可接受范围内.在时段t，第n个用户应交付的电能费用为
|
(20) |
对可调节负载队列，设从开始调度到时段t，第n个用户的平均队列长度为
|
(21) |
设用户可接受的队列最大长度为Dmax, n，微电网整个调度过程中所有用户的总电能费用为
|
(22) |
其中：
|
(23) |
|
(24) |
|
(25) |
|
对式(23) 的求解，传统方法是采用动态规划.但此方法存在缺点，庞大的状态空间和决策阶段数量的增多会造成维数灾难，计算机无法承受如此巨大的计算量.而且，在微电网中，可再生能源供给存在不确定性，调度中心难以准确预测未来的供给量.笔者运用自适应动态规划(ADP, adaptive dynamic programming)来估计未来长期的费用代价，并优化能量调度策略.该方法的控制器可以在线学习控制，适用于无限的决策阶段，通过逐次逼近避免了维数灾难问题.调度过程的总电能费用为
|
(26) |
其中：J(t)=J[x(t)]，C(j)=C[x(j), μ(j)]. γ为折扣因子，有0≤γ≤1.当γ=0时，只考虑当前时段的电能费用；当γ=1时，所有未来时段的电能费用都被认为同等重要.
3.1 启发式动态规划结构采用自适应动态规划中的启发式动态规划结构(HDP, heuristic dynamic programming)[6-7]，包含调度中心、微电网和评价网络，如图 2所示.
|
图 2 启发式动态规划结构 |
对于调度中心框图，其输入为系统状态x(t)和
|
(27) |
微电网框图描述的是可再生能源和用户负载的变化，其输入为调度决策μ(t)和系统状态x(t)，输出为下一个时段中系统状态的估计
评价网络采用BP神经网络，其输入是系统状态，输出是调度过程中近似的总电能费用.通过在线网络训练和最优调度，其输出会趋向于最优的总电能费用.
3.2 评价网络的在线训练评价网络的训练采用梯度下降法，目标是最小化误差函数，即
|
(28) |
其中
|
(29) |
式(29) 得到调度过程中总电能费用函数式(26).因此，训练网络时最小化误差式(28)，可在下一个时段得到近似的总电能费用.所以，评价网络的权重更新为
|
(30) |
|
(31) |
其中：lc为学习率，有lc＞0.启发式动态规划结构通过在线神经网络训练，能估计调度过程中的总电能费用.同时，进行最优调度，最小化总电能费用，从而得到近似最优的能量调度策略.
4 仿真与分析4.1 仿真设定微电网中有10个家庭用户，每个用户有10个不可调节电器和10个可调节电器.每个用户的负载在时间上随机出现，负载的用电量参考文献[8].不可调节电器包括电磁炉(3.90 kW·h)、日光灯(10 kW·h)等.可调节电器包括洗碗机(1.44 kW·h)、洗衣机(3.43 kW·h)、烘干机(2.50 kW·h)等.不可调节电器的负载用电需要实时保证，可调节电器的负载在时间上随机出现，并可容忍一定的延时.设有白天和夜晚2个不同电价时段，白天8:00—24:00从电网买入电价为pB(t)=0.3，卖出可再生能源电价为pS(t)=0.2.夜晚0:00—8:00买入电价为pB(t)=0.1，卖出电价为pS(t)=0.1.太阳辐射和风速数据参考文献[9].光伏模块和风力发电机的参数参考文献[5].
启发式动态规划结构的评价网络采用32-60-1结构的BP神经网络，有32个状态输入神经元，60个隐藏层神经元，1个输出神经元.输出层采用线性Purelin函数，隐藏层采用双极性Sigmoidal函数.
4.2 收敛性能设评价网络的学习率为lc(t)=0.01，评价网络的输出曲线如图 3所示.可见，整个调度过程的总电能费用的估计值能收敛至最优值，说明笔者提出的自适应电能调度方法能通过在线学习，得到近似最优的能量调度策略，最小化调度过程中的总电能费用. 图 3(a)和(b)对应的折扣因子分别为γ=0.9和γ=0.7.可见，低折扣因子只考虑未来短期的电能费用，所以总费用估计值稳定在较低水平.提高折扣因子可考虑未来长期的电能费用，所以总费用的估计值稳定在比较高的水平. 图 3曲线的波动原因是用户负载和可再生能源的日周期变化.
|
图 3 评价网络输出曲线 |
图 4显示了微电网中不同能量调度算法得到的电能费用.纵坐标为电能费用的累积值.采购战略(POS，purchasing only strategy)和分布式即时战略(DIS，distributed immediate strategy)作为对比算法.在POS中，各用户主动地最大化可再生能源的利用率，不卖出电能，必要时才向电网购买电能. DIS是一种分布式的能量双向交易策略，但用户只根据即时的自身代价作出能量交易决策.如图 4所示，笔者提出的基于ADP的自适应能量调度策略能获得更低的电能费用.因为ADP是一种集中式的算法，调度中心知道微电网中的全局信息，并且ADP能估计长期的费用代价，进一步优化能量调度的策略，降低用户的电能费用.
|
图 4 不同调度算法下的电能费用 |
由于设定的电能卖出价格总是小于或等于买入价格，所以微电网中的电能调度就是控制用户可调节负载的用电量大小和用电时间，从而最小化总电能费用.因此，用户的可调节负载队列的最大长度会影响调度的效果. 图 5显示不同的最大队列长度Dmax 对总电能费用的影响.可见，Dmax 越小，可调节负载允许的延时越小，负载的灵活性越小，导致越高的电能费用.
|
图 5 不同可调节负载允许队列长度下的电能费用 |
考虑微电网中可再生能源供给存在波动性，采用需求侧的弹性管理，合理调度用户的可调节负载的用电量和用电时间.提出了一种自适应能量调度策略.调度中心收集微电网中所有用户的负载信息，并根据实时的电价信息，集中调度用户的负载用电.该调度策略采用自适应动态规划，通过在线网络训练得到最优的能量调度策略.仿真结果表明，该方法能够对整个调度过程进行在线学习，从而最小化调度过程中用户的总电能费用.
| [1] | Hatziargyriou N, Asano H, Iravani R, et al. Microgrids[J].Power and Energy Magazine, IEEE, 2007, 5(4): 78–94. doi: 10.1109/MPAE.2007.376583 |
| [2] | Toronto H. Renewable energy standard offer program[DB/OL]. [2015-02-18]. http://www.torontohydro.com. |
| [3] | Atzeni I, Ordóñez L G, Scutari G, et al. Demand-side management via distributed energy generation and storage optimization[J].Smart Grid, IEEE Transactions on, 2013, 4(2): 866–876. doi: 10.1109/TSG.2012.2206060 |
| [4] | Papavasiliou A, Oren S S. Supplying renewable energy to deferrable loads: algorithms and economic analysis[C]//Power and Energy Society General Meeting, 2010 IEEE.[S.l.]: IEEE, 2010: 1-8. |
| [5] | Atwa Y M, El-Saadany E F, Salama M M A, et al. Optimal renewable resources mix for distribution system energy loss minimization[J].Power Systems, IEEE Transactions on, 2010, 25(1): 360–370. doi: 10.1109/TPWRS.2009.2030276 |
| [6] | Wang Feiyue, Zhang Huaguang, Liu Derong. Adaptive dynamic programming: an introduction[J].Computational Intelligence Magazine, IEEE, 2009, 4(2): 39–47. doi: 10.1109/MCI.2009.932261 |
| [7] | Liu Derong. Approximate dynamic programming for self-learning control[J].Acta Automatica Sinica, 2005, 31(1): 13–18. |
| [8] | Mohsenian-Rad A H, Wong V W S, Jatskevich J, et al. Autonomous demand-side management based on game-theoretic energy consumption scheduling for the future smart grid[J].Smart Grid, IEEE Transactions on, 2010, 1(3): 320–331. doi: 10.1109/TSG.2010.2089069 |
| [9] | Huang Shisheng, Xiao Jingjie, Pekny J F, et al. Quantifying system-level benefits from distributed solar and energy storage[J].Journal of Energy Engineering, 2011, 138(2): 33–42. |