大数据作为新的研究热点，被认为是未来国家和企业创新、竞争的前沿阵地(Manyika et al., 2011)。虽然目前大数据技术相关理论和技术还未发展完善，但其发展已经对如今的商业模式、科学研究和社会发展带了颠覆性的变化(Lynch，2008；Chen et al., 2012；Marx，2013；Waller and Fawcett, 2013；Walker，2014；Lake et al., 2015)。大数据技术在掀起颠覆性变革的同时，对与其相关的数据的存储、数据结构化、领域知识链接、人工智能、机器学习、数据伦理以及可视化等方面的研究也带来新的挑战(Goldston，2008；Lynch，2008；O’Leary，2013；Keim et al., 2013；Sagiroglu and Sinanc, 2013；Sheth, 2014a, b；Suthaharan，2014；Ma et al., 2017)。近年来，众多学者从不同的角度探索和阐释了地学大数据在地质领域的应用，如在成矿规律、智能矿床模型、壳幔对流模型、岩石构造环境判别、矿物生态系统、地学本体及语义网(Iwamori et al., 2010；Ma et al., 2011, 2012；王登红等，2015；Morrison et al., 2016；张旗和周永章，2017；周永章等，2017；Ma, 2018)。

目前学术界对大数据的具体区分，以及大数据所代表的数据科学与传统应用统计学、计算机等科学之间的异同仍存有争议。比如，如何界定大数据的大和多样性；利用传统应用统计学可以解决的问题，是否需要大数据科学(邱东，2014)；地质大数据是地质世界的数据映像，还是反应地质世界规律的数据世界(严光生等，2015)。诸如此类问题，在期刊、知乎和Quora社区论坛都有广泛讨论。地质数据不仅数量巨大，数据类型多样，同时还具有噪音强、混合型强、区域性强的特点，具有明显大数据的特征。现在与其定义地学数据是否属于大数据，不如利用数据开放、数据链接共享、数据挖掘与知识发现的理念以及数据科学思维，重新审视地学数据的挖掘与利用，促进数学地质与地学信息的发展。

地质科学包含有多学科知识及研究方向，其研究内容与技术手段是多种学科、多种技术的交叉。如地球物理、地球化学、遥感地质等研究方向，不仅涉及专业的地质知识，而且与物理学、化学、信息等学科密切相关。地质数据获取方法的多样性导致地学数据的多元性(赵鹏大，2015；Wang et al., 2017)。随着地质工作的不断推进，海量、多元的地质数据不仅打破了数据封闭和数据局限的传统模式，而且对数据的采集传输、存储、数据管理、计算模式、数据挖掘和知识发现方面带来了很大的挑战(陈建平等，2015；李丰丹等，2015；李婧等；2015；肖克炎等，2015；严光生等，2015；赵鹏大，2015)。

地质学作为数据密集型科学，长年积累的地质资料不仅包括传统意义上的数值数据，而且还包括一些非结构化的文本文档、图件数据。为了从海量的非结构化数据中提取信息与知识，很多学者提出了数据结构化以及智慧数据(Smart data)的概念。Sheth(2014a, b)利用语义认知(Semantic perception)、数据协议(Agreement)和连续语义(Continuous semantics)的方法将冗余的大数据转变为结构化的、小体量并具有可操作性的智慧数据，并在医学健康领域成功应用。Peters et al. (2014)、Peters and McClennen (2015)利用自然语言处理和语义技术从海量的非结构化的古生物文献中提出结构化的古生物信息(比如：名称、种类、所在位置、地层属性等)，并建立Paleobiology生物数据库，提供交互式的查询和API服务。Giboin et al.(2013)利用面向文档(Document-oriented)方法建立文档间的本体语义模型。综上所述，在地学数据挖掘中，不管是数值数据的挖掘，还是非结构性数据的信息提取，都必须首先通过数据预处理技术，将非结构性大数据转为结构性的智慧数据；将含有缺失、噪音、冗余的原始数据转换为准确、可用的输入数据。

数据预处理技术，是针对于数值数据中的不完整或缺失数据进行数据“清理”，或者对数据进行各类转换，提高数据的质量，便于数据的处理、分析(Rahm and Hong, 2000；García et al., 2016)。面对多元、数量庞大的结构化、非结构化的地学数据，在对其进行数据处理、信息挖掘和知识发现之前，数据的预处理更显得尤其重要。本文拟从数据预处理的角度，剖析地学大数据在数据挖掘前存在的问题以及主要的对策，为地学大数据的发展提供技术支持。

1 数据预处理技术

针对大数据处理技术的问题，在应用工具层面，研究人员设计开发了分布式计算框架，如Microsoft Azure^①，Google Compute Engine^②和Amazon Web Service^③。大数据获取的原始数据所包含的噪音、缺失值、错误值以及原始数据的非结构化，对大数据信息的提取利用产生不利的影响。其中数据所包含的噪音、错误值等问题，导致信息挖掘结果出现颠覆性的偏差，从而造成决策失误。在数据科学中，在从数据转换成信息的过程中，数据预处理技术起到关键作用(图 1)。数据预处理对获取的原始数据进行初步的整理，消除了原始数据中不利于数据挖掘和信息提取的因素；通过对原始数据的整理，为数据的挖掘及知识的发现，提供准确、可靠的数据源，提高地质知识认识的准确性。

①  https://azure.microsoft.com/

②  https://cloud.google.com/compute/

③  https://aws.amazon.com

以往，地学数据预处理对象大都是通过地学测试、分析、调查所获取的数值数据，如地球物理数据、地球化学勘查数据、遥感光谱、质谱分析曲线等。对于数值数据，通过数据清理，去除原始数据中不完整、不准确和不相关的数据，获得可用、准确、完整、具有一致性的完整数据集。除了数据的清理，数据的预处理技术还要根据数据挖掘的要求对数值数据进行一系列的操作，如数据的标准化、数据的转换、缺失值的插补、数据降维、数据的整合与除噪、数据结构化(图 2)。

随着地学数据的快速增加，地学数据不仅包括有数值数据，而且还包括非结构化的文档、图件等信息。地学数据的预处理技术的研究范围面临着重大的挑战，如文本和图件的结构化。

2 地学数据交互标准与语义

大数据时代带来数据类型的多样、数据量的喷发式增加，以及在网络上的开放、共享与集成。很多的政府机构和科学组织为了响应大数据共享模式，不断地将科学数据对公众开放。在地学领域，如OneGeology^①，USGIN^②，AuScope^③和美国地质调查局的矿产资源在线空间数据^④(Mineral Resources On-Line Spatial Data)，将其存储的地质图、矿床数据、地球化学、地球物理、古生物数据进行共享。由于学科知识背景的差异，很多的地学数据以自组织的形式存储于数据库中，形成信息孤岛，与相关的学科数据库缺乏相应的知识共享。为实现地学数据与信息的互联、互通，需要建立与完善地学数据的交互标准，构建基于本体论的地学语义以及编码技术。

①  http://www.onegeology.org/

②  http://usgin.org/

③  http://www.auscope.org.au/

④  https://mrdata.usgs.gov/

国际地层协会(International Commission on Stratigraphy，ICS)建立了全球统一的地质年代表。我国建立了矿产资源潜力评价数据模型(左群超等，2016)。万维网联盟(World Wide Web Consortium，W3C)和开放地理空间联盟(Open Geospatial Consortium，OGC)制定并颁布了一系列的网络空间数据标准，如XML^⑤、RDF^⑥、RDFS^⑦、SKOS^⑧、OWL^⑨、KML^⑩、GeoSciML^⑪ 、WFS^⑫、WMS^⑬ 和WCS^⑭ 。这些数据标准不仅是用来进行数据的转存，而且可以进行信息的交互查询和数据在线处理与知识挖掘(Lacasta et al., 2007；Yue et al., 2007；Zhao et al., 2009, 2012；Ma，2017)。如在WMS(Web Map Service)标准中，在浏览器JavaScript环境，不仅可以利用getMap函数向服务器获取地图，也可以利用GetFeatureInfo函数命令对地图中各种地图要素的属性进行查询。

⑤  https://www.w3.org/XML/

⑥  https://www.w3.org/RDF/

⑦  https://www.w3.org/TR/rdf-schema/

⑧  https://www.w3.org/2004/02/skos/

⑨  https://www.w3.org/OWL/

⑩  http://www.opengeospatial.org/standards/kml

⑪  http://www.opengeospatial.org/standards/geosciml

⑫  http://www.opengeospatial.org/standards/wfs

⑬  http://www.opengeospatial.org/standards/wms

⑭  http://www.opengeospatial.org/standards/wcs

本体论是哲学上用来描述物质的存在、属性、分类以及之间的关系。但在信息科学领域，本体论用来描述特定领域之中实体对象类型、属性以及实体之间形式上的共享链接关系，并可用计算机可读的语言编码(Gruber，1995；Duong et al., 2017)。对于不同类型的矿床，包含有位置、赋矿层位、品位、大地构造位置、地球化学特征、矿石类型、与其他矿床的关系等各种属性。矿床与属性之间的逻辑关系可以用本体论模型来描述，在技术上可以使用地质语义与其他属性之间的逻辑关系链接。建立一个知识领域的本体，首先要确定主题领域，然后收集主题领域内的概念，并建立概念之间的内在关系，最后编码概念以及概念之间的关系(Ma and Fox, 2013)。基于本体理论建立地质领域专业术语的语义网，展示地质学领域各个专业方向之间的知识信息，另外还可以依托可视化技术，实现不同地学信息孤岛之间的互联互通及知识可视化。

目前对于地学领域语义网的建立及编码已有研究，如Mastella et al.(2007)和Perrin et al.(2005)通过定义地质三维建模过程中各种要素之间的本体，指导地质建模工作；Zhong et al.(2009)建立了构造地质学中断裂与各属性之间的本体结构；OneGeology利用本体和语义网技术，提供地学数据18个语言版本的属性查询(Laxton et al., 2010)。SWEET(Semantic Web for Earth and Environmental Terminology)是地球及环境术语领域的本体库，起初是为了建立NASA全球变迁总目录资料库(Global Change Master Directory)中关键词的内在关系，目前SWEET本体包含地球科学及空间科学领域的200多个本体和6000条概念(Huang et al., 2014)。

地质年代表的本体和词典能够提供一个比较好的例子，不同的年代单元之间在时间序列和层级之间具有直观的逻辑关系，使其成为了研究地学本体与语义网的最佳的载体。在北美地质图数据模型中，用“Age Data”和“Age Interval”两个关键词代表地质年代中的时间点和时间间隔(NADM Steering Committee, 2004)。Cox and Richard(2005)认为地质年代只是时间参考系统的一部分，参照时间参考系统的本体结构，他们用Geochronologic Era、Geochron Era Rank、Geochronologic Boundary等属性来建立地质年代本体，并用统一建模语言(UML)进行了编码。Perrin et al.(2005)出于地层对比的目的设计了地质年代表本体。Ma et al.(2011, 2012)基于SKOS和RDF设计了多语言版本的地质年代表本体，用于地质图查询。

由于本体和词典的建模及编码工作尚不系统，地学领域的本体与语义网的应用也相对比较滞后。OGC和W3C的空间数据标准的制定是基于地理信息科学。Ma(2017)基于地学数据的特征，在吸收现有成果基础上，设计了地学空间大数据智慧化的方法(图 3)，利用地学本体和词典的知识库，结合现有的W3C和OGC数据标准将地学大数据变为智慧数据服务，并可以与其他的相关数据资源链接，进行知识的挖掘和发现。在矿产资源定价领域，全国矿产资源潜力评价项目建立了统一的潜力评价数据模型，包括重力、遥感、图例、地质背景等共18册，但数据模型之前缺乏相应的语义连接。因此，为了实现数据的共享和继承，需建立起相应的知识对接规范标准和本体-语义模型，以便于不同研究方向之间的学科交叉与资料利用。

3 数据调平

在全国地质大调查过程中，海量的区域勘查地球物理和地球化学数据是分图幅进行调查获取的，而且在数据的测试、分析以及仪器方面存在一定的差异。这种差异的存在导致了不同图幅之间数据的系统误差。在进行多图幅的区域异常信息提取时，图幅边界附近一般会有颜色“台阶”和等值线环绕边界的现象(戴慧敏等，2014)。为了降低不同图幅之间的系统误差，需要在制图和异常提取之前对不同图幅的数据进行调平预处理，降低系统误差的影响。

目前数据调平方法可以分为基于数据统计特征和基于数据场特征的数据调平。前者数据调平是基于不同图幅或在不同范围之间数据的统计的差异，选择一定的对照基准，通过数据的转换达到消除系统误差的目的。如分幅标准化(陈永清和纪宏金，1995)、分区标准化(纪宏金等，1993)、平差法(陈建国等，1997)、归一化法(刘大文，2004)、衬度法(汤正江等，2013)。基于数据场特定的调平方法主要是依据数据在空间变化性上的特定，消除在图幅边界的不连续性。比如移动平均法、滤波方法(Siemon，2009)、C型转换法(纪宏金等，2001)、实测切割线调平方法(胥值礼等，2010)、条件滤波法(朱月娥，1994)、伪切割线调平方法(孙东明等，2010)。

赣东北湖口幅1:20万水系沉积物地球化学数据，在安徽和江西省界附近具有明显的色阶存在(图 4b)。在研究区内新元古代地层在安徽和江西境内均有分布(图 4a)，因此采用改进的分区标准化法。假设元古代地层范围内的水系沉积物地球化学数据具有一致的数据分布特征，将其作为参考标准，对两个省的地球化学数据进行调平处理。技术流程如图 5所示。其中，X_a和X_j分别代表着安徽和江西省境内某种元素的含量，X和σ分别代表元素浓度的均值和标准差；X_lg和σ_lg分别代表元素浓度对数转换后的均值和标准差；X_{a_L}代表安徽境内某元素调平之后的结果。

地球化学数据调平结果，如图 4c所示，通过对化学数据的调平处理，消除了由系统误差产生的Au元素“阶梯状”色阶，更接近真实的地球化学异常。

4 地质图的接边处理

分幅地质图的接边处理是一个世界难题(Asch et al., 2012)。我国幅员辽阔，地质调查工作是分图幅管理和实施的，因此，同一地质体在两幅相邻的地质图边界经常会出现几何错位以及属性不匹配等问题。随着地质工作的进行，在一个地区内，对于地层地质年代的划分、地层边界的划分都在不断的更新，不同时期的地质填图工作往往参考了不同的地质填图标准。此外，由于地质调查工作是带有经验性的科学，通常相邻图幅的地质填图工作是由不同的两个地质单位完成。因此，地质调查过程中参考标准的不同以及地质调查人员知识认知的差异，都有可能造成相邻图幅的地质要素不匹配。

图幅接边的处理方法可以分为半自动和自动法。前者需要人工判读和计算机处理相结合，后者由计算机自动完成相邻图幅的接边连接工作。很多学者从地理信息学及软件自动实现的角度，探讨地图接边的自动实现(华慧和童小华，2000；吴信才和郑贵洲，2001；赵江洪，2004)。地质图图幅接边在地图要素上与其他类型地图基本一致，主要是包括线和面两类要素，比如地形图的接边主要是基于等高线的高程属性。但地质图的图幅接边与其最大的差别在于：地质图的属性要素大多为文字描述性记录，记录的质量极易受地质人员认知和地质标准的影响，并且所引用的标准随着时间的推移在不断的更新。

不同比例尺的区域地质调查导致的不同的填图精度同样对地质图的接边有影响。在1:25万区域地质调查规范中，沉积岩地层单位划分到组，而在1:5万的区域地质填图中填图单位划分到组，但组内必须划分到段并进行翔实填绘。此外，地层不仅仅具有地质体属性，同时还具有时间属性。在地质图接边处理过程中，要考虑到地质规范及标准对接边匹配的影响。在地质图的接边处理过程中(图 6)，首先要根据地质图的比例尺、地质规范以及参考的地层分类标准明确地质图的精度；根据地质图的填图精度，对接边附近的地质图要素进行地层名的匹配，但由于引用标准的不同以及地层分区的差异，此时就需要根据地层所代表的最小地层年代单位对接边的地层进行匹配，如果最小的地层年代单位不能满足要求，则尝试使用最小地层年代单位的父类进行匹配。然后，根据地层匹配的结果，修改接边附近地质要素的几何参数(如几何错位，颜色)，使之成一幅完整的地质图件(图 7)。在接边处理过程中，为了保留原始的数据记录，可以通过增加属性字段的方法对地质要素的属性进行归一化处理。

5 文本信息结构化处理

通过文本挖掘取代数据的再处理，是获取相关信息的一种重要手段。从海量的地质报告文档以及科技文献中提取主要的知识，首先要解决的就是文本文档的结构化的问题。

在自然语言处理和文本挖掘中，通常利用分词的方法将文本分割成具有独立语义的最小单元，然后提取其中的实体词(Entity-word)，在实体词的基础上进行文本知识挖掘。在英文中由于单词之间存在有空格符，可以将每个单词作为一个独立语义单位。但是中文的文字之间没有空格符的存在，中文分词需要通过一定的技术手段和语义规则将文本句子切分成独立语义的词和字(Gao et al., 2005)。中文分词的方法可以分为基于字典匹配的方法(Dictionary-based)、基于统计的方法(Statistically-based)和基于理解的方法。基于字典的方法，通过给定一个知识域字典，通过最大匹配的方法将文本分割成独立语义单元(Nie et al., 1994；Chen and Goodman, 1999)。此方法需要大规模的语义词典，它对专业词汇具有很好的识别作用，但对未收录词汇识别效果较差。

目前对于地学类文本分词的研究主要是条件随机场模型方法。条件随机场模型在归一化时使用全局分布，消除了隐马尔可夫模型中的不合理假设条件。而且，条件随机场模型的方法，将专业领域词典引入语料。通过专业语料与日常语料的结合，使条件随机场模型方法，对日常词汇具有较强识别和新词发现能力。Huang et al.(2015)从知网中获得相应的地质语料，通过人工标注形成专业地质语料。Wang et al. (2018)利用用地质大辞典和地质矿产术语分类代码中的专业术语，构建地质矿产领域的专业知识库；利用专业知识库对语料进行匹配、标注，训练条件随机场模型的分词规则，使分词精度达到94.14%，比单独使用北大人民日报语料库的分词精度提高了7.84%。中文文本分词本身就是对文本数据的一种结构化的转变。其将复杂、冗余的文本信息转变为含有语义的最基本的词汇单元，然后对文档中的词汇单元进行大数据挖掘、语义分析、语义推理，然后利用可视化技术将提取的结果进行可视化表达。如图 8，弦图代表了从文档中提出来的主要信息实体以及实体之间的相互关系。

6 数据融合技术

数据融合是将不同来源的数据整合成一个更加准确、一致和可用的数据集合，使其发挥最大的数据价值(Haghighat et al., 2016；孟小峰和杜治娟，2016)。在地球科学领域，目前研究最多的数据融合主要是利用多源的空间数据，基于影像原理进行数据的整合。比如同一地区高空间分辨率与高光谱分辨率遥感数据的融合，基于HIS变换的遥感数据与地物化数据的融合，基于空间存在关系的数据融合(如证据权、信息量法)(刘星和胡光道，2003；张海玲等，2007)，以及基于数据特征的测井曲线数据的融合(雷芬丽等，2014)。

而对于多尺度的地学数据的融合鲜有研究。在地学数据的采集过程中，尤其是在地质、矿产区域地质调查中，往往以侧重规范操作的面积性测量工作占主体。一般情况下，根据地质工作的递进原则，大比例尺的地质测量工作往往是小比例工作的一部分。而在地理数据中，一方面可以通过遥感观测手段获取相应的面积性的数据资料，另外一方面的数据则来自于零散分布于研究区内的一系列的观测站，形成了点-面数据多尺度的搭配格局。Moraga et al. (2017)利用贝叶斯地质统计模型将洛杉矶地区的PM2.5遥感获取浓度数据和地面观测站点数据进行融合，获得了更加精确的结果(图 9)。虽然在图 9中观测站以及区域栅格数据在研究区的南侧都具有高值区的存在，但通过数据融合后的结果发现其高值范围更靠近并集中在城市周边，该结果具有更高的准确性。对于点-面模式的地理数据，可以利用地质统计学之类的方法研究不同模式数据的空间变化性，然后利用点观测数据对区域性数据进行一个整体的校正融合，从而获得一个更加真实的结果。在不同尺度的地学数据融合过程中，可以借鉴地理中数据融合已有资料和经验来推动该项研究工作。

除了空间数值数据的融合，在地学领域中随着大数据的发展，异构、多源、非结构化、大规模的多元数据的融合更值得地学信息人员的注意。利用大跨度、深层次和综合型的研究方法，进行知识的发现(孟小峰和杜治娟，2016)。如图 10所示，首先，要建立完善的地学本体结构模型，并能够利用现在计算机技术从不同的数据库中对本体进行有效的识别；其次通过数据的溯源机制对数据进行有效的跟踪。对地学知识进行抽象和建模，通过其关系的推演进行新的地学知识发现的研究。

7 结论

基于地学数据整合的知识发现，其获得正确结果的前提条件是数据结构化、准确、可利用的信息集。随着地质工作的推进以及存储技术的发展，地学数据也快速增加，随之带来了海量的数据可供研究使用，同时也带来了海量的“噪声数据”和“垃圾数据”，对数据分析过程及提取的结果产生误导甚至灾难性的影响。从内容上讲，大数据在地学中的应用是一个非常宽泛的研究热点课题。对大数据在地学的应用的研究，类似于“盲人摸象”，不同专业背景的研究人员可以从大数据中看到自己研究专业的挑战与应用前景。比如，地学信息研究者关注的是大数据背景条件下多元数据的对接与可视化问题；矿床学研究人员更关注大数据对于未来智能矿床学模型与成矿规律研究的促进作用；地球化学研究者则关注数据驱动的壳幔交互对流模型和岩石构造判别类型的应用研究。大数据的魅力在于针对已有的数据资料，基于数据本身的特征来挖掘隐藏在数据背后的知识信息。虽然大数据信息的挖掘研究是基于已有的数据资料，但不代表已存在的数据资料可以直接应用到数据挖掘。在大数据挖掘中，统一、规范、准确结构化的数据信息才是大数据可靠推理结论的保证。

不管将大数据用于哪个地学方向的研究，在数据处理之前都要对数据进行预处理，将数据清理成可供利用的稳健数据信息。比如大数据中数值信息(如地球化学)的缺省值、异常值、噪声等问题；地学信息领域不同知识领域的语义实体链接过程中标准差异问题；区域测量数据(地质图、物化探数据)的边界调平以及不同尺度不同分布模式数据的融合问题都是需要在大数据挖掘之前的数据预处理阶段完成。工欲善其事，必先利其器。因此，在利用大数据之前，首先要对大数据进行清理与预处理，将冗余的大数据转变为结构化、可利用、准确的智慧数据

本文选取地学大数据的预处理技术为切入点，从地学数据交互标准与语义网、数据调平、地质图接边和文本结构化等四个方向，剖析了目前地学大数据在利用过程中存在的常见问题，并提出了相应了解决方案。地学数据的大数据时代已经来临，地学大数据的利用和信息提取，是近年来数学地质和地学信息研究人员讨论的热门话题。在对地学大数据的研究过程中，我们不仅要立足于自身专业，充分利用已有的工作成果，而且还要吸收目前数据科学以及计算机科学方面最新的研究进展，并将其引入地学领域，为地学信息的发展服务。

致谢 感谢中山大学周永章教授和编辑部对大数据与数学地球科学专辑的精心安排。感谢三位审稿人对论文提出的宝贵的修改意见和建议。同时感谢牟欣博士(University of Idaho)在论文写作过程中提供的建议和帮助。