Print

出版日期: 2016-09-25
点击次数:
下载次数:
DOI: 10.11834/jrs.20166248
2016 | Volumn20 | Number 5





                              上一篇|





下一篇


论文
大数据时代的农情监测与预警
expand article info 吴炳方 , 张淼 , 曾红伟 , 张鑫 , 闫娜娜 , 蒙继华
中国科学院遥感与数字地球研究所 数字地球重点实验室, 北京 100101

摘要

农情信息是世界粮农组织、各国政府、粮食贸易企业以及农场管理迫切需要掌握的信息。大数据时代的农情监测与预警正在由模型驱动向数据驱动转变,大数据正逐渐成为监测与预警的核心驱动力。伴随着农情监测与预警大数据的爆炸式增长,大数据与云计算技术的发展为农情监测与预警提供了全新的技术手段。2013年以来,全球农情遥感速报系统(CropWatch)已逐步引入聚类分析、时间序列分析、关联分析、时空变化异常诊断等大数据分析方法,并应用于业务化运行的农情监测与预警中。大数据技术提升了CropWatch的数据挖掘能力,对CropWatch农情监测与预警时空尺度的拓展以及农情监测内容的精细化起到推动作用,促进了面向需求的CropWatch农情信息与预警精准云服务的发展,促成了大数据时代CropWatch农情监测与预警技术体系的升级。未来,大数据时代的农情监测与预警将逐渐向全自动化监测、实时化精准农业管理与智能化信息服务方向发展;通过众源采集技术高效低廉的获取农情观测大数据将成为未来的发展趋势;大数据技术跨领域数据挖掘的能力,使得丰富多元化的跨界信息服务将成为大数据时代农情监测与预警的主流发展方向。大数据时代的CropWatch正在向基于大数据的农情监测与预警系统全速迈进。

关键词

大数据 , 农情监测与预警 , 数据挖掘 , 云服务 , 众源地理数据

Agricultural monitoring and early warning in the era of big data
expand article info WU Bingfang , ZHANG Miao , ZENG Hongwei , ZHANG Xin , YAN Nana , MENG Jihua
Key Laboratory of Digital Earth Science, Institute of Remote Sensing and Digital Earth, Chinese Academy of Sciences, Beijing 100101, China

Abstract

Agricultural information is essential for the World Food Organization, governments, food traders, and management of farms. By providing a powerful new solution, the Big Data era transforms agricultural monitoring and early warning from being model-driven to datadriven. Along with their rapid growth, Big Data and cloud computing technologies provide an innovative means for agricultural monitoring and early warning. Since 2013, CropWatch, a remote-sensing-based global agricultural monitoring system, has gradually introduced various techniques that deal with Big Data, such as cluster analysis, time series analysis, correlation analysis, and spatial and temporal abnormal pattern analysis, into the operational system. Big Data technologies have successfully enhanced the data mining capability of CropWatch and expanded the spatial and temporal coverage of agricultural monitoring and early warning. Big Data has also had a catalytic role in promoting the service-oriented agricultural information cloud service. Big Data has also become an important driving force in upgrading the principles of the CropWatch agricultural monitoring and early warning system. In the future, with the help of Big Data, agricultural monitoring and early warning systems are expected to move toward fully automated monitoring, real-time management, and precise agriculture information service direction. Volunteered geographic information in the Big Data era provides an efficient technique for acquiring Big Data for agricultural monitoring and early warning. Based on the capacity of cross-cutting data mining technology, the diversification of crop-border information services will become the mainstream direction of agricultural information services in the Big Data era. With the use of Big Data technologies, CropWatch will transform into a Big-Data-driven agricultural monitoring and early warning system.

Key words

big data , agriculture monitoring and early warning , data mining , cloud service , volunteered geographic information

1 引言

农业生产是人类社会存在的基础,准确、及时和可靠的全球主要粮食生产国和出口国的大宗作物生产形势信息对维护国家粮食安全利益意义重大。只有准确掌握粮食生产形势信息,才能科学合理地制定国家和区域社会经济发展规划,制定农产品进出口政策和计划,调控粮食市场,及时合理安排地区间的粮食运输调度,宏观指导和调控种植业结构,提高相关企业与农民的经营管理水平(吴炳方,2004)。粮食贸易企业以及国家在世界农产品贸易领域内的商业利益与农情早期预警及监测息息相关,因农情信息垄断与不对称,中国在全球粮食贸易中屡遭重创,2003年—2004年间发生的“大豆风波”(李艺等,2006)损失尤为惨重,直接导致国内大量大豆压榨企业破产。

受全球气候变化的影响,全球极端气候、天气事件可能出现多发、频发、重发趋势(翟盘茂和刘静,2012),政府间气候变化专门委员会(IPCC)第5次评估报告中明确温度升高会对全球粮食安全带来巨大风险、气候变化对农作物产量的不利影响远大于有利影响为高信度事件(Allen等,2014),粮食生产的不稳定性会进一步增大(Lobell等,2011),更加凸显了农情监测与预警的必要性与紧迫性。

然而,传统农情信息的监测依赖于庞大的调查队伍和大量的调查工作,具有成本高、时效性差、主观性强等缺点。遥感具有覆盖范围大、探测频率高、时效性强、成本低等特点,为大范围农情信息的快速、准确、动态监测与预测提供了重要的技术手段(蒙继华等,2010Wu等,2015),有效弥补了地面调查的部分缺陷。但近年来,随着现代农业技术、对地观测技术、地理信息系统(GIS)技术、物联网技术、基于位置的服务(LBS)技术、计算机技术与网络技术的飞速发展,海量跨领域的农业数据呈爆炸性增长(许世卫,2014王文生和郭雷风,2015)。农情监测与预警正逐步进入到大体量(Volume)、多样性(Variety)、处理速度快(Velocity)、真伪难辨(Veracity)和价值大但有效价值稀疏(Value)为特征的大数据时代(Beyer和Douglas,2012Barwick,2012郭华东等,2014Wikle和Anderson,2015李德仁,2016)。加之农业生产的区域差异、农业种植模式的复杂性、农作物类型与品种的多样化以及数据的大体量和非结构化,使得仅依靠遥感技术开展农情监测与预测受到了限制。大数据时代的农情监测与预警必须依靠新型大数据分析技术。

大数据时代的农情监测与预警,从数据源、数据处理方法、信息挖掘方法、技术方法体系等各个方面均与传统农情监测与预警技术体系有巨大差别。联合国发布的《大数据发展:机遇与挑战》(UN Global Pulse,2012)明确指出,从大数据内部及大数据之间可以揭示事件的趋势与模式,利用大数据技术能够用于众多领域的预测预警(Miyoshi等,2016Liu等,2015Wikle和Anderson,2015; Mayer-Schönberger和Cukier,2013);大数据技术的发展为大数据时代的农情监测与预警技术的再次飞跃提供了新的契机。

本文从农情监测与预警对大数据的需求展开论述,在深入分析大数据技术对农情监测与预警的推动作用的基础上,结合CropWatch在利用大数据技术开展农情监测的发展过程,总结出大数据技术对农情监测与预警方法的推动作用,进一步论述大数据时代的农情监测与预警的发展趋势。

2 农情监测与预警大数据

2.1 对地观测大数据

目前主流的农情监测与预警系统均采用遥感或其与地面观测相结合的方式实现监测与预警。美国、中国、欧盟以及联合国粮农组织(FAO)纷纷构建了各自的全球或区域农情遥感监测与预警系统以开展作物长势、产量等预测预警(Becker-Reshef等,2010Wu等,2014aWu等,2015Genovese等,2006Duveiller等,2013Reichert和Cassiy,2002吴炳方等,2010)。农情监测信息的精细度和准确度在很大程度上取决于所用遥感数据在空间、时间、光谱维度上的精细程度,随着中高分辨率遥感数据的快速增长,农情监测与预警技术的不断发展,对精细时空尺度农情监测信息的需求与日俱增,对农情预警的时效性与提前预测能力的要求也逐步提高。为满足与日俱增的农情监测与预警信息需求,现有农情监测与预警系统均在尝试将海量新型地球观测大数据纳入监测体系中。以美国NASA对地观测数据为例,2013年NASA地球科学数据与信息系统(ESDIS)攘括了7000类数据,数据存档量高达7.5 PB,吸引了130万用户使用该数据(Ramapriyan等,2013)。

全球农情遥感速报系统(Wu等,2014aWu等,2015)开展单期全球农情遥感速报,需要使用包括中国环境与灾害监测预报小卫星星座(HJ-1)A/B星CCD数据、高分数据(GF-1/2)、Sentinel-1/2、FY-3A MERSI、PROBA-V、MODIS、TRMM等多源、多分辨率地球观测大数据,总数据量约为4 TB,若以遥感数据的最小处理单元“像元”个数计量,涉及的像元条目达100亿条。其中,中高分辨率数据主要用于作物种植面积监测与预测,低分辨率数据用于全球农业气象条件、农作物长势、农作物生长胁迫状况、耕地利用强度、农作物产量等的监测与预测。农情监测与预警必须充分结合中高分辨率与低分辨率地球观测大数据各自的优势,实现更精准、更及时的监测与预警。

2.2 农业大数据

基于地球观测数据的农情监测与预警模型均在一定程度上依赖农情地面观测数据、气象资料、农业管理状况等农业大数据信息,用以模型标定与验证(Wu等,2012; Kogan等,2013; Kussul等,2014)。农作物是农情监测与预警对象的主体,容易受农气条件和人为管理等因素的影响;农作物种植结构复杂、地块大小不一、作物品种多样等均加大了农情监测与预警的难度。地面观测农业大数据对提升农情监测、预警的时效性与准确度十分必要。

Fritz等人(20092012)建立了Geo-Wiki.Org网站,通过众源地理数据获取方式高效、快速、低廉的获取了全球范围内的地物类型数据,用于修正和提升全球耕地分布数据分类质量(See等,2013Fritz等,2015)。CropWatch为了解决中国农作物种植结构复杂、地块破碎造成作物种植面积估算困难的问题,提出将遥感技术与抽样技术相结合,创立了基于两个独立抽样框架的农作物种植面积估算方法(吴炳方等,2004a)。该方法利用GVG农情采样系统按设计样线在全国范围内拍摄海量农田照片,用以估算作物种植比例(吴炳方等,2004b),并与遥感数据结合估算每种作物的种植面积(吴炳方和李强子,2004Wu等,2012)。

农业气象条件、突发灾害直接或间接影响农业生产(赵峰和千怀遂,2004王馥棠,2006卢丽萍等,2009郭建平,2015闫娜娜等,2010),利用农业气象大数据能够分析农气条件对作物物候、胁迫状况、产量形成等的影响(王馥棠,2006),结合灾害大数据能够评估灾害造成的耕地损毁、产量损失等(闫娜娜等,2010赵旦等,2014)。CropWatch汇聚多源农业气象数据,包括美国国家海洋和大气管理局的每日全球气象数据GSOD (Global Summary of the Day)(NOAA,2016)、欧洲中期天气预报中心(ECWMF)的Interim再分析气象数据(Berrisford等,2011)、热带测雨卫星(TRMM)数据(Huffman等,2010)、中国气象数据网(http:// data.cma.cn/)的每日气象数据,通过统计、对比、聚类分析等方法开展农业气象分析(Wu等,2015)。自2013年11月起,CropWatch便利用大数据挖掘技术,从海量灾害信息中,梳理可能会农业生产产生影响的大范围灾害事件,评价灾害造成的农业生产损失。

在农业生产过程中,产生的农情数据包括大量文字记录、图片、图表、传感器量测数据等多种形式的结构化与非结构化混合的农业大数据,这些数据均能够在农情监测与预警中发挥巨大作用(许世卫,2014),农业大数据已经成为提升农情监测与预警的时效性和准确度的必备数据源之一。

3 大数据技术推动农情监测与预警的发展

随着农情监测与预警对地球观测大数据以及其他相关的农业大数据需求的日益增加,需要“数据密集型计算”技术、海量多源异构数据信息挖掘技术的支撑(何国金等,2015),而大数据技术与云计算为解决“数据密集型计算”瓶颈问题、海量数据的有效信息挖掘问题提供了解决方案(陈全和邓倩妮,2009),并已经推动了农情监测与预警的快速发展(Stubbs,2016)。2013年以来,CropWatch系统已经逐步引入聚类分析、时间序列分析、关联分析、时空变化异常诊断等多种大数据分析方法,并应用于业务化运行的农情监测与预警中(邹文涛等,2015Wu等,2015)。

3.1 农情监测数据挖掘

随着农情监测步入大数据时代,快速增长及类型多样的农业大数据对数据分析与有效信息挖掘提出很大的挑战(Ma等,2015)。云计算技术的出现,为地球观测大数据的处理与信息挖掘提供了条件,Google针对地球观测大数据,开发了全球尺度PB级数据处理能力的Google Earth Engine云平台(Google Earth Engine Team,2015),极大提升了地球观测大数据的处理与信息挖掘能力。基于Google Earth Engine平台能够快速实现长时间序列大范围农作物种植区的提取与分析(Dong等,2016)。Google Earth Engine内置全球尺度经过预处理的长时序列LandSat/MODIS等系列数据,以及植被指数、水体指数等算法,为大尺度农情监测数据挖掘提供了数据、算法、平台支撑,为摆脱海量数据存储、管理与可视化等对即时农情监测的困扰提供了借鉴作用,并将农情监测推向即时、高分辨率监测阶段。

CropWatch系统正逐渐增强农情监测数据挖掘方面的研究。利用大数据挖掘技术,从获取的覆盖全球的海量农田照片中,挖掘出当年作物种植成数以及相对往年的变化(Wu等,2015)。CropWatch云服务平台基于大数据与云计算技术,集成农情监测数据预处理、数据挖掘与产品生产、农情分析与报告发布于一体,实现农气条件、作物苗情、土壤墒情、病虫害状况、灾情等多种不同类型的农情监测数据的自动处理与信息挖掘(李中元等,2015)。随着CropWatch农情监测与预警所涉及的结构化与非结构化数据愈发庞大,CropWatch将采用分布式文件系统(HDFS)与大规模数据集的快速计算(Map Reduce)的Hadoop等技术开展农情监测大数据的快速处理和与信息快速挖掘,并逐步向农情监测数据即时、智能化、自动化挖掘转变。

3.2 农情监测时空尺度的拓展

对地观测技术的发展使人类对地球的综合观测能力达到空前水平(李德仁等,2014)。各国先后发射了各类民用卫星平台,搭载了具有不同成像方式、不同波段和时空分辨率的传感器,遥感数据日益多元化;遥感数据的光谱分辨率、空间分辨率、时间分辨率的逐渐提高,使得遥感影像数据量呈指数级增长,同时增强了数据获取的时效性(何国金等,2015);物联网技术的发展为农情监测带来更直接的观测数据,物联网已经走进了农业监测的各个领域(Ji等,2013; 唐珂,2013)。对地观测大数据与基于物联网的农业大数据的发展为农情监测时空尺度的拓展提供了契机。

CropWatch系统充分利用现有的对地观测大数据,实现对5—25000 m分辨率的多源地球观测大数据的自动处理、分析与数据挖掘,结合在全国范围内布设的典型研究区(山东禹城、河北馆陶、浙江德清、广东台山、黑龙江红星农场与双山农场、新疆吐鲁番市与博尔塔拉蒙古族自治州、北京密云等)、传感器网络以及全球35个JECAM站点共享获得的地面观测大数据,建立了包含全球尺度农业气象监测、洲际主产区农业种植模式与耕地利用强度监测、31个粮食主产国作物长势监测与粮食生产形势预测预警、省州尺度长势与生产形势预测以及县级/农场尺度精准农情监测与预测等不同尺度的多层次农情监测技术体系(Wu等,2010a2010b2014a2015蒙继华等,2010)。多分辨率对地观测大数据在CropWatch系统的应用,使CropWatch的农情监测空间尺度大至覆盖全球所有耕地(Wu等,2014a2015; Gommes等,2016),小至农场甚至地块(Wu等,2010a; 蒙继华等,2011aMeng等,2015);多源地球观测大数据的应用使CropWatch农情监测可实现天-旬-月-季度-生长季-全年等不同时间尺度的动态监测与近实时更新(Wu等,2015),在突发性灾害事件之后,可实现灾害应急监测、灾后农业损失的快速评估以及灾后农田恢复状况中长期跟踪监测(闫娜娜等,2010赵旦等,2014)。

3.3 农情监测内容的精细化

对地观测大数据以及农情相关的地面观测、农业气象大数据的应用,在拓展了农情监测时空尺度的同时,也为农情监测内容的精细化提供了充实的数据基础,可实现精准农业所需空间信息差异参数的快速、准确、动态获取(蒙继华等,2011b)。CropWatch也逐渐由提供宏观的农作物长势、粮食生产形势信息向精细化农情监测与信息服务转变,由单一监测方法向多指标与多方法协同的综合监测方法转变(Wu等,2014a2015)。

近年来,CropWatch在持续提供全球农情遥感速报信息服务的同时,结合多源高分辨率地球观测大数据,利用云计算技术解决了海量地球观测大数据的自动处理,实现了覆盖县级或农场范围内的每一个独立地块的作物分类识别(Jia等,2012; Cao等,2014)、耕地种植状况(Zhang等,2014a; 张淼等,2015)、长势监测(Wu等,2010bZhang等,2014b; 邹文涛等,2015曾红伟等,2015)、生物量估算(Meng等,2013a; Zhang等,2014c)、单产预测(杜鑫,2010)、养分胁迫状况监测(Meng等,2013b)、作物水分胁迫与旱情监测(Yan等,2016)、农田蒸散发(Wu等,2016)、作物播种适宜度、成熟期预测(蒙继华等,2011a)以及作物收获顺序最优化规划(Meng等,2015)等精准农情信息的监测与预测,并能够对不同地块受冰灾、强风等影响的损毁情况开展应急监测。

3.4 需求导向的农情信息云服务

云计算是继计算机、互联网之后电子信息技术领域又一次重大变革,大数据技术与云计算技术相结合,为海量空间数据特别是海量遥感数据的存储、处理、实时可视化等提供了新的解决方案,为遥感技术的普适化推广与应用提供了新的服务模式,推动了用户友好型农情信息服务的发展。

CropWatch利用大数据技术分析不同用户对农情监测与预警信息需求的差异,面向不同需求的农情信息建立了云服务平台,为不同的农情信息需求者提供不同的农情信息服务(李中元等,2015)。针对国家决策层对全球农情信息的需求,提供全球粮食生产形势预测、粮食主要出口国生产形势预测、主要进口来源国生产形势预测、部分国家生产形势与粮食安全状况预警等宏观农情信息服务,为全球各国提供透明公开的全球农情信息,为各国应对粮食安全问题提供信息支撑。针对粮食贸易企业对粮食市场信息的迫切需求,CropWatch综合利用地球观测大数据、农业大数据与社会经济大数据,提供全球大宗粮油作物供应形势、进出口形势、大宗粮油作物价格预测等与贸易密切相关的农情信息服务。针对农场、县级尺度对精细化农情信息的迫切需求,CropWatch在云端为农情监测算法模块提供更为高效稳定的计算资源与运行环境,合理配置并高效利用优势计算资源,以Web服务的方式向用户提供耕地种植区年度变化、农田蒸散发、作物种植面积变化、作物水分胁迫、养分胁迫、病虫害状况等农情信息服务(张淼等,2015; Meng等,2015; Wu等,2016),极大地提升农情监测信息的服务效果,满足农场、县级尺度精准农业管理的信息需求。

其他国家和国际组织机构在大数据与云计算技术的推动下,也相继发展了农情信息云服务平台,如美国农业部国家农业统计服务局负责运行的作物分布平台(cropland data layer)(Han等,2012),FAO的GIEWS平台提供农作物水分胁迫、NDVI距平、植被健康状况、植被状况指数等在线展示产品(Rashid,2003)等。随着全球化的深入与发展,各国农产品所面临的粮食进出口国际竞争压力日趋强烈,世界各国在大数据技术的发展和推动下,也纷纷建立和发展本国的农情监测信息服务平台。

4 大数据时代农情监测与预警的发展趋势

大数据时代的农情监测与预警从数据源、数据处理方法、信息挖掘方法、技术方法体系等各个方面均与传统农情监测与预警有本质区别,海量农情监测大数据的应用将使新时代的农情监测与预警向实时化和智能化迈进;对农情监测大数据的迫切需求将推动新型众源数据获取方式的发展;大数据技术通过挖掘海量农情大数据间的关联关系,将催生跨行业、跨领域的农情信息挖掘技术与服务模式。

4.1 农情监测的智能化、实时化与自动化

随着物联网、云计算、大数据技术的发展,接触式与非接触式的农情监测传感设备不断涌现,天空地一体化的农情监测大数据体系已经形成,利用大数据处理技术将地球观测大数据与自动化地面传感器网络相结合,将提升农情监测的智能化与自动化水平,真正实现实时化的农情监测。

基于现代物联网技术的农业地面传感网为农情监测提供海量地面观测数据支撑。如单点静态传感器可全天候、自动、高频采集农气(降水、温度、湿度等)、土壤(养分、含水量)、病虫害等信息(孙忠富等,2013)。随着农业机械化水平的提高,导航定位技术的进步,将不同类型的传感器绑定到农业机车与大型轮灌设施,同步获取田块尺度的作物生理生化参数、农气状况与生长胁迫状况的技术成为潮流,2015年8月笔者在美国调研期间,“一车多类同步监测”的农情监测体系已成为自动获取作物水分胁迫、温度、生物量等参量的重要手段。

近年来,以无人机为代表的移动平台、空间分辨率与时间重返率逐渐提升的星载传感器,为作物长势、土壤含水量监测、土壤肥力与作物产量预测等的快速监测提供解决方案,至2018年,预计美国无人机及卫星数据在农情监测的应用比例将提升至16%和28%(Erickson和Widmar,2015)。中国科学院与沈阳军区建立了“天—空—地”一体化的动态农情监测平台,形成具有自主知识产权的“大马力机械+立体监测+职能决策+精确控制”的精准农业技术体系(王儒敬,2013)。

多源多平台对地观测大数据的涌现与基于地面传感网的自动化信息采集技术,将农情监测的精准度提升至新台阶。但传感器类型、数据类型、对地观测模式、成像机理等的差异显著,发挥大数据与云计算技术在海量异构数据处理,数据间、数据与实际农情状况的关联挖掘,有效信息挖掘等方面的优势,促进农情监测向自动化监测、实时化精准农业管理与智能化信息服务是未来农情监测的发展趋势。

4.2 众源参与的农情监测与信息服务

大数据时代数据即资源,移动互联网的迅猛发展使得智能移动终端成为信息获取的新手段,如CropWatch的作物种植成数手机客户端采集软件(GVG)能够定点或者移动获取作物类型等信息。该类数据被称为众源地理数据VGI(Volunteered Geographic Information),是借助移动互联网通过大量非专业人员或志愿者收集基于地理位置的有效信息的一种新的数据获取方式(李德仁和钱新林,2010单杰等,2014翟永和刘津,2015),是大数据时代经典的数据获取方式之一。VGI数据获取方式会成为未来了解地球的重要数据来源(Goodchild,2007),VGI数据已经在2007年—2009年美国圣巴巴拉的4次火灾应急工作中发挥了重要作用(Goodchild和Glennon,2010)。

发展农情观测数据众源采集技术,能够在全国甚至全球范围实现农情地面观测资料的快速收集,克服传统地面调查成本高昂、效率低下的缺陷。2015年以来,Cropwatch团队通过将原有的GVG农情采样系统PC端软件升级移植至智能手机端,实现了农作物种植状况照片的随时随地采集,利用该方法已成功实现了美国、加拿大、阿根廷、澳大利亚、埃及、泰国、印度、巴基斯坦、莫桑比克、赞比亚等国的农田照片与作物类型的快速采集,每年获得由不同用户在全球范围开展的作物种植结构调查数据记录达十万余条,大幅缩减了全球范围作物种植结构信息获取的时间和财力,为作物种植面积估算与预测提供地面观测大数据支撑(Wu和Li,2012; Wu等,2015)。

大数据时代下的众源地理数据获取手段,有利于CropWatch在全球范围内实现农情地面观测数据的快速获取,众源地理数据获取方法的应用将改变过去需要开展全球地面观测或通过数据共享获取地面观测资料的工作模式,在减少地面观测工作量的同时,也大大减少地面观测的人力和财力投入。

未来应整合泛在的公众资源,利用移动互联网技术、智能手机APP软件以及手机内置多功能传感器,收集众源农情观测数据,并利用大数据管理与处理技术,对众源数据进行归类、处理与分析,挖掘众源农情观测数据中隐藏的价值信息。众源参与的农情监测与预警模式下,如何有效地将众源数据与地球观测大数据、其他农情大数据进行无缝结合、如何突破原有农情监测体系中星地数据松散耦合问题等方面仍需要进一步深入研究。

4.3 跨界的农情监测预警技术与服务

大数据技术的应用能够突破专业、领域与学科的限制,实现跨界的数据分析与信息服务。农情监测预警相关的大数据包含了农业生产、经营、消费、市场、贸易全流程的跨行业、跨专业的大数据(孙忠富等,2013蔡书凯,2014),大数据技术以及跨领域的农情监测预警大数据将为跨界的农情监测与预警技术研究提供全新的视角和技术方法以及更加多元化的信息服务。CropWatch农情遥感监测技术体系的发展便是大数据技术在跨界的农情监测与预警应用的缩影。

CropWatch系统自1998年建成至2010年间,农情监测技术主要依赖相对有限的地面观测数据与遥感数据源,着重围绕全国尺度开展作物长势监测与生产形势预警,并为国家政府部门提供服务(吴炳方,2004)。2010年—2015年间,CropWatch将互联网、物联网、并行计算等技术应用于全球农情监测与预警,利用海量的对地观测数据、地面调查、气象站点观测数据、再分析数据以及全球有影响力的机构研究发布的产品,依托先进的计算机技术实现多尺度多数据源的处理分析与数据挖掘,建立了全新的层次结构的全球农情监测技术体系(Wu等,2015),实现作物播种后一个月的粮食安全早期预警以及作物收获前一个月的产量预测(Wu等,2015)。

2015年以来,CropWatch通过跨部门合作,集成社会经济大数据、政策规划大数据,实现了基于大数据技术的大宗粮油作物进出口形势与大宗粮油价格等农情信息的跨界预测与服务,提升了国际粮食生产形势信息的透明度。随着大数据技术日趋成熟,其跨领域的数据分析与信息挖掘能力将为CropWatch拓展服务范围,完善农产品价格预测、粮油作物进出口形势预测,实现农业生产管理指导、最优化生产规划等跨界服务提供支撑。

不仅如此,全球粮油作物信息的大幅变化还会加大粮油购销、储运、加工等相关企业的风险,而粮油运输和供应信息又是食品安全监督的重要信息源。大数据技术,为农情监测预警技术从深度和广度两方面的拓展提供了机遇,在农业生物基因、全球变化、农业经济学、气象科学等不同领域均能够发挥作用(Harmon,2014; Kinver,2014; 许世卫等,2015),大数据技术的发展为实时捕捉消费需求、食品安全、跟踪市场变化、粮食安全形势、农业资源合理可持续利用、农场精准管理、需求导向的农情信息服务等众多方面提供基础,为基于大数据的农情监测与预警技术体系的发展指明了方向。

5 结语

大数据时代的农情监测与预警需要以数据为驱动,需要对地观测大数据和其他农业大数据的支持。大数据与云计算技术的发展为数据挖掘、农情监测时空尺度的拓展与外延、农情监测内容的精细化与精确化、面向不同需求的农情信息的精准云服务等起到了推动作用,促进了大数据时代农情监测与预警技术体系的升级。CropWatch利用大数据技术实现数据挖掘、监测范围和监测内容的拓展与细化以及CropWatch云服务平台建设的例证,全面总结概括了大数据对CropWatch农情监测与预警技术体系升级的作用。未来CropWatch将继续深化大数据技术在农情监测与预警中的应用,并逐渐向全球变化背景下的旱灾模式、粮食安全、全球贫困等的监测与评估延伸。

在大数据技术快速发展的背景下,农情监测与预警将逐渐向全自动化监测、实时化精准农业管理与智能化信息服务方向发展;通过众源采集技术高效低廉的获取农情观测大数据将成为未来的发展趋势;大数据技术跨领域数据挖掘的能力,为多领域集成的农情监测与预警技术与信息服务铺平了道路。

参考文献(References)