随着高新技术的发展，人们对海洋的探索和利用也由传统的人工观测转换为通过监测设备来进行实时检查，这个过程产生了大量数据，这些数据主要包括：卫星遥感对海洋进行远距离观测、通过航空摄影设备实现的多数据的航空遥感、采用海洋站来获取要素数据、采用超声波来获得海底数据的观测系统。由于多方位和多渠道的海洋观测数据，使得海洋数据呈现爆炸性增加，对海洋信息进行处理的系统在每时所要处理的数据也呈现指数增加。

传统的海洋数据处理方式主要采用集中式方式，海洋数据获取方式的多样性导致采集数据量向多源、多类和多维方向发展。

云计算^[1]是一种随着计算机应用对计算和存储能力的更高需求而产生的一种新计算模式，将所有分布式资源整合为资源池而对资源进行统一的调度和管理。

本文基于云计算设计了一种基于云的海洋大数据迁移算法，将一部分数据存储在公有云中，以节省数据存储空间，并提高数据访问效率和存储资源利用率；同时由于本文立足于海洋大数据的分析和处理，因此，综合考虑海洋环境的敏感性、空间性和实效性等因素，同时对存储空间、数据访问效率以及数据大小等因素进行考虑，力求在较小的数据管理成本前提下，实现访问速度和利用效率的最大化。

目前云计算环境已有的迁移算法主要有：文献[2]在云计算环境下建立与宿主机与任务需求向量的距离密切相关的虚拟机动态部署模型。文献[3]提出了一种虚拟机负载预测的启发式迁移算法，通过分析虚拟机负载波动，对虚拟机的负载进行启发式预测。文献[4]设计了一种新的负载均衡算法来克服传统负载均衡算法的任务请求时延问题，从而实现虚拟机动态增加或删除。文献[5]采用最佳适应算法来寻求虚拟机迁移的目标主机，对资源利用率通过上下限值进行约束，实现负载和节能目标的统一。文献[6]结合物理节点负载与迁移损耗评估、多次触发控制和目标定位，对虚拟机调度算法，实现负载均衡。文献[7]建立了一种基于模糊推理机制和蚁群算法的迁移算法，基于蚂蚁搜索半径的服务器自动迁移。文献[8]提出了一种基于海洋大数据的迁移算法，在算法中综合考虑数据存储容量、海洋数据的属性特征和数据访问的动态变化。

上述算法研究云环境下的动态迁移算法，但均未考虑海洋大数据环境，本文则是基于灰色模型^[9-11]对各虚拟机上的数据进行动态预测，从而实现负载均衡。

1 海洋大数据的表示

海洋数据是一种典型大数据，包含海洋数据模式、海洋岸线数据模式和海洋数据集。海洋数据在每次被创建后，数据被访问的时间可以表示为一个集合 $ \{{{t_1, t_2, t_3,\cdots, t}}_n\}$ ，则当前访问时间t与历史的每次访问时间间隔为 $ \{{{t-t_1, t-t_2, t-t_3,\cdots, t-t}}_n\}$ .迁移目标函数与海洋大数据存储长度成正比，与数据访问时间成正比。在海洋大数据存储的多个服务器节点是多个，存储的数据量是不同的，为有效平衡负载，实现海洋大数据云平台的各服务器有效运行，需对服务器上的数据进行迁移^[12-14]。在对各服务器上的数据进行迁移前，需要首先对各节点下一个时刻负载的数据量进行实时预测。

2 灰色模型相关知识回顾

灰色模型作为一种适合于不确定性环境的预测模型，在历史信息的辅助下，能有效对下一时刻服务器上的数据量进行预测^[15]。本文采用灰色模型对虚拟机负载进行预测.

算法1 基于灰色模型的海洋大数据节点负载预测算法.

1) 假设某节点在前n个周期历史信息可以表示为

${X^{(0)}} = \{ {X^{(0)}}(1),{X^{(0)}}(2),\cdots,{X^{(0)}}(n)\}. $

(1)

2) 对这n个周期历史信息 ${X^{(0)}}$ 进行累加操作

${X^{(1)}} = \{ {X^{(1)}}(1),{X^{(1)}}(2),\cdots,{X^{(1)}}(n)\}. $

(2)

式(2)中，第k个周期的历史信息 ${X^{(1)}}(k)$ 可以表示为

${X^{(1)}}(k) = \sum\limits_{i = 1}^k {{X^{(0)}}(k)} ,\;\;\;k = 1,2,\cdots,n.$

(3)

3) 计算比值 $\rho (k)$ .

$\rho (k) = \frac{{{X^{(0)}}(k)}}{{{X^{(1)}}(k - 1)}}.$

(4)

4) 计算比值 ${\sigma ^{(1)}}(k)$ .

${\sigma ^{(1)}}(k) = \frac{{{X^{(1)}}(k)}}{{{X^{(1)}}(k - 1)}}.$

(5)

5) 生成 ${X^{(1)}}(k)$ 的紧邻域 ${Z^{(1)}}(k)$ .

${Z^{(1)}}(k) = 0.5{X^{(1)}}(k) + 0.5{X^{(1)}}(k - 1).$

(6)

6) 建立灰色微分方程.

$\frac{{{\rm{d}}{X^{(1)}}}}{{{\rm{d}}t}} + a{X^{(1)}} = u.$

(7)

6) 采用最小二乘方法对参数 $u$ 和 $a$ 的值进行估计.

$\left[ {\frac{u}{a}} \right] = {({{{B}}^{\rm{T}}}{{B}})^{ - 1}}{{{B}}^{\rm{T}}}{{{X}}_N}.$

(8)

式（8）中，矩阵 ${{B}}$ 和向量 ${{{X}}_N}$ 可以表示为

${{B}} = \left[ \begin{gathered} - {Z^{(1)}}(2)\;\;\;\;1 \hfill \\ - {Z^{(1)}}(2)\;\;\;\;1 \hfill \\ \;\;\;\;\; \cdots \hfill \\ - {Z^{(1)}}(n)\;\;\;\;1 \hfill \\ \end{gathered} \right].$

(9)

${{{X}}_N} = \left[ \begin{gathered} {X^{(0)}}(2) \hfill \\ \;\;\;\;\; \cdots \hfill \\ {X^{(0)}}(n) \hfill \\ \end{gathered} \right].$

(10)

7) 采用累减法预测下一个周期的数据序列 ${X^{(0)}}$

$\overline {{X^{(0)}}} (k + 1) = \overline {{X^{(1)}}} (k + 1) - \overline {{X^{(1)}}} (k).$

(11)

由式(11)可知，对于任意存储海洋大数据的服务器节点，可以通过预测每个服务器节点的负载，来确定是否对该服务器上的数据进行迁移。

3 海洋大数据服务器数据迁移策略 3.1 负载均衡因子

负载均衡算法可以较好地衡量各服务器的节点负载情况，假设时刻 $k$ 服务器 $j$ 的负载值LB_j，所有服务器的平均负载为 $\mathop {{\rm{L}}{{\rm{B}}_j}}\limits^ - $ ，即将每个节点的前m次实验中实际的负载值作为数据，计算负载均衡因子

$\phi = \sqrt {\frac{{\sum\limits_{j = 1}^m {{{({\rm{L}}{{\rm{B}}_k} - {{\mathop {{\rm{LB}}}\limits^ - }_{jk}})}^2}} }}{{m - 1}}} . $

(11)

3.2 负载均衡效率

负载均衡效率是反映单位时间服务器负载均衡的效率，其值越大则算法越能更好地实现服务器的负载均衡。 ${\rm{load}}_0$ 表示所有服务器的负载均衡值， ${T_k}$ 为实现负载均衡值所需要的时间， ${\rm{load}}_k$ 为服务器 $k$ 的负载均衡值，负载均衡效率可以根据式(13)进行计算.

${\rm{E}}{{\rm{T}}_k} = \frac{{{\rm{load}}{_0} - {\rm{load}}{_k}}}{{{T_k}}}.$

(13)

式(13)中， ${\rm{E}}{{\rm{T}}_k}$ 的值越小则效率越高。

3.3 算法描述

在海洋大数据服务器存储中，有一个服务器池 ${\rm{poolist}}$ 专门用于存储响应用户任务请求的，服务器池还包含一个数据删除队列 ${\rm{delete}}{Q_j}$ ，服务器 $i$ 的历史负载信息和负载队列分别表示为 ${\rm{lInf}}{_i}$ 和 ${Q_i}$ ，服务器的负载最大阈值 ${l_{\max }}$ ，迁移阀值 ${l_{\operatorname{mid} }}$ ，预测的负载 ${l_{{\rm{next}}}}$ 。

算法2 基于服务器预测的数据迁移.

服务器预测的数据迁移框架如图1所示。算法如下：

1) 当有新数据时，对于当前数据分配的服务器 $i$ ：如果其负载已满，则计算服务器 $i$ 的平均负载 ${\rm{Ave}}{L_i}$ ，并转入步骤2)；如果其负载不满，且该服务器的负载小于预测的平均负载 ${\rm{Ave}}{L_i}$ 时，则将该数据直接分配到该服务器上.

2) 取出服务器 $i$ 上数据量最大的负载，并将其存储在 ${\rm{poolist}}$ 上，计算此时的服务器的总负载和平均负载.

3) 采用算法1基于灰色模型对所有服务器上的数据进行预测，得到所有服务器下一个时刻的负载，并基于此负载计算预测的平均负载.

4) 如果预测的负载大于预设的负载最大阈值 ${l_{\max }}$ 时，对服务器上负载最大的数据进行迁移，即该服务器发出数据迁移请求. 服务器池的集中控制器在接收到迁移请求后，选择具有最小预测总负载的肥闲置节点并发送负载迁移消息. 接收节点动态计算接收此数据后的累计负载后，向控制器发送数据传送许可，转发到目标虚拟机。

5) 如果其预测的负载大于预设的 ${l_{\min }}$ 但小于迁移阈值 ${l_{\operatorname{mid} }}$ 时，不需要进行负载均衡.

6) 如果其预测的负载 ${l_{{\rm{next}}}}$ 小于预设的删除阈值 ${l_{\min }}$ 时，将所有负载删除，并将该服务器设置为闲置状态。

7) 重复步骤 1) ~ 6) ，直到当前服务器池中的所有服务器都已实现负载均衡。

4 仿真实验

为了验证文中方法的可行性，在云计算环境CloudSim中对本文的负载均衡算法进行仿真。服务器数量为50，CPU计算能力/(MI.s^–1)为1 000、2 000和3 000，内存/(GB)为4、6和8，网络带宽/(MI.s^–1)为80、120、160，海洋大数据的种类主要包括遥感数据、浮标数据、观测数据和模拟数据等，通常都已达到PB级，某海洋信息中心得到的数据如表1所示。

4.1 负载均衡因子

为了避免算法的震荡，每隔5 s对算法的平均负载进行计算，共运行50次，得到的实验结果如图2所示。

从图2可以看出，文献[7]方法的负载均衡能力较差，在整个仿真期间均高于文中方法和文献[8]方法，在仿真末期的负载值达到0.5。文献[8]和本文方法作为两种专门对海洋大数据的进行数据迁移的算法，在整个仿真期间，其负载均衡因子一直保持不断下降的趋势，这表明了各服务器的负载均衡程度越来越好。相比之下，文中方法的负载均衡表现更好。这是因为本文对服务器的负载进行定量地设定，即设定了最大负载阈值和最小负载阈值等，使得本文的负载均衡算法更能满足海洋环境实时动态变化的数据存储需求。

4.2 负载均衡效率

将文献[7]、文献[8]以及本文方法的负载均衡效率进行比较，结果如图3所示。

从图3可以看出，本文方法的负载均衡程度远远高于文献[7]和文献[8]方法，后两者对应的负载均衡效率分别为0.028和0.013，而文中方法的平均负载均衡效率则高达0.04，因此，本文方法具有最好的负载均衡效率。同时与图2的比较中可以看出，文献[8]方法虽然在负载均衡因子上优于文献[7]，但是在负载均衡效率上并不比文献[7]更强。本文方法表现最好是因为通过数据的迁移，平衡了各服务器的负载，尤其是对服务器负载的实时预测，更好地满足了动态变化的需求，具有更好的负载均衡效率。

5 总结

为了实现海洋大数据的负载均衡，提出了一种基于云计算和灰色模型的服务器数据迁移算法。首先分析了海洋大数据的数据格式，然后提出了基于灰色模型对各服务器的数据进行实时预测的预测算法。基于该预测算法提出一个对服务器的负载进行均衡的数据迁移算法。仿真实验表明本文所提的负载均衡算法，能很好地满足海洋大数据环境的需要。在下一步的工作中，将具体研究本文所提出算法的参数敏感性及其对数据迁移性能的影响，制定更合理的迁移方案。