扩展功能
文章信息
- 刘起勇, 潘淑文, 杨小冉
- LIU Qi-yong, PAN Shu-wen, YANG Xiao-ran
- 基于大数据的中国大陆病媒控制产品2016年政府采购分析研究
- Analytic study on 2016 government procurement of vector control products in China mainland based on big data technology
- 中国媒介生物学及控制杂志, 2018, 29(1): 1-4
- Chin J Vector Biol & Control, 2018, 29(1): 1-4
- 10.11853/j.issn.1003.8280.2018.01.001
-
文章历史
- 收稿日期: 2017-12-28
- 网络出版时间: 2018-01-05 14:49
2 北京信息科技大学, 计算中心, 北京 100192;
3 北京瑞鹿丰伟生物技术有限公司, 北京 100039
2 Beijing Information Science and Technology University, Computing Center;
3 Beijingruilufengwei Biotechnologies Co. Ltd
随着计算机技术全面渗透社会各个方面,人类产生的数据信息呈现爆炸式增长,全球已进入数据主导的“大数据时代”[1],国家也将大数据作为基础战略资源,全面实施促进大数据发展行动[2]。数据资源已成为国家战略资源,2012年奥巴马政府将大数据战略上升为国家战略,将大数据定义为“未来的新石油”[3]。随着媒介生物防控需求的增加和技术的发展,其相关数据增长迅速,病媒控制产品是国内媒介生物防控的主要手段,其主要通过招标方式实现相关药品及有害生物防制服务的采购。本研究利用爬虫技术,从我国省、市级相关网站获取有关病媒控制产品的招中标信息,并利用大数据处理技术,实现招中标文件关键数据的提取、去噪、标准化等,从多个维度对我国2016年病媒控制产品服务情况进行分析,为国内媒介生物防控研究和实施提供科学依据。
1 材料与方法 1.1 大数据处理简介大数据的处理需要经过数据的采集、数据的预处理和数据分析等流程才能实现数据价值的高效转化,并最终实现数据分析的目标[4]。
1.1.1 数据的采集数据分析的第一步是数据采集,网站是承载、展示数据的重要平台,因此,数据的采集主要利用网络爬虫技术从互联网获取数据信息。本文采用的采集组件可按设定规则、自动采集网站数据,采集的数据源主要是省市级政府采购网站,获取的数据大多数为非结构化数据和半结构化数据,通过大数据中的数据存储技术将爬取到的招中标网页以源数据的形式存储到数据库中。
1.1.2 大数据的预处理与传统数据比较,大数据的一个特点就是多样性、非结构化和半结构化数据占数据总量的85%[5],因此,从互联网上获取的数据需进行清洗、标准化过程,并将其转化为可以利用的目标数据,存储到相应的数据库中。利用大数据处理技术对采集的招中标数据进行清洗、关联,采集模块包括数据去噪、数据排重、实体识别和题目自动提取等,此外,利用文件二进制协议对网页中的关键数据进行提取,实现对招中标网页中关键信息(如项目名称、采购单位、中标金额和所属区域等)和关键数据的提取。
1.2 数据的分析与呈现数据分析是利用适当的统计分析方法对收集到的大量数据进行分析,并形成有价值的分析结果,通过时间、区域、企业等维度对获取的病媒控制产品及服务行业信息进行分析,并以图或表方式呈现,实现了大数据技术在病媒生物防控领域的实际应用。
2 结果 2.1 病媒控制产品采购总量分析市场上我国病媒控制产品采购主要包括以下用品及服务:病媒生物预防控制专项服务、防控药品、病媒生物消杀服务、蚊蝇孳生地处理服务、防控药品及其设备、灭鼠灭蚊药品及其服务等。2016年共有466家单位采购病媒控制类产品,有296家单位中标,中标总金额约为3.48亿元人民币。如图 1所示,2016年发布在国家政府采购平台及各省、市级采购平台的病媒控制产品采购成交共计466次,总金额为25 297.03万元。市场采购高峰出现在4、5月,5月达到年度峰顶,共有91次采购,采购总金额为4 325.23万元,1月采购次数和金额最少,仅有9次采购,总金额为1 180.21万元。
2.2 病媒控制产品采购区域分布如图 2所示,2016年我国病媒控制产品采购分布在28个省(直辖市、自治区),河南省采购次数和采购金额均为最高,共采购76次,为2016年上半年中标数量最多的省份,其次为广东省(74次)和北京市(39次),四川、湖北和湖南省发布的病媒控制产品采购次数最少,均为1次。广东省为采购金额最多的省份,采购金额为7 425.66万元,其次为河南省,采购金额为2 419.38万元。
2.3 病媒控制产品采购方式 2.3.1 不同采购方式份额由图 3可以看出,2016年我国病媒控制产品采购方式主要为公开招标,占采购数量的59.74%,其次为竞争性谈判/磋商方式,占23.77%,零散采购方式所占份额最少,仅为0.21%,在采购公告中,另有6.86%的采购未注明采购方式。
2.3.2 不同采购方式逐月采购情况由图 4可知,2016年我国病媒控制产品各月均以公开招标和竞争性谈判/磋商方式为主要采购方式,在采购旺季的4-5月,因采购量大,公开招标的采购方式优势更明显。
2.4 病媒控制产品采购金额由图 5可知,2016年我国病媒控制产品采购中,采购金额≤50万元的占总金额的53.80%,50~100万元的占26.58%,>100万元的占19.62%。
2.5 病媒控制产品采购产品类型由图 6可知,2016年我国病媒控制产品采购中,病媒控制产品/有害生物控制服务所占比重最大,约为67.69%,药品药剂类采购占23.85%,单纯的物资器械采购仅占8.46%。由此可知,在我国的病媒控制产品采购中,单纯的药品或器械采购所占比重较少,大部分产品采购是药品和服务一起招标采购。
2.6 病媒控制产品采购单位情况 2.6.1 采购单位类型2016年共有466家采购单位,由图 7可知,省、市、县级爱国卫生运动委员会办公室(爱卫办)及省、市、县级卫生和计划生育委员会(局)[卫计委(局)]占市场采购份额的59.87%,是市场采购的主要力量。此外,政府部门(主要指省、市、县人民政府部门和乡镇政府办公室及区委办事处等)占12.23%;其他(企事业单位)如高校等,占22.75%。
2.6.2 采购金额前10名的采购单位由表 1可知,2016年我国病媒控制产品采购金额最高的为北京市海淀区卫计委,采购金额为1 920.00万元,其次为阳江市卫计局,采购金额为895.16万元;深圳市农业科技促进中心排名第10位,采购总金额为288.41万元。排名第1位的采购金额是排名第10位的6.66倍,两者差距较大。
2.7 病媒控制产品采购中标排名情况2016年病媒控制产品采购共计296家单位中标,中标金额及中标次数排名前10名的单位见表 2、3。
2.7.1 中标金额前10名的单位由表 2可知,2016年我国病媒控制产品采购中标总金额最高的为阳江市四害防治中心,为895.16万元,占2016年采购总金额的4.66%;其次为湛江市欧科有害生物防治有限公司,为761.03万元,合肥瑞友环境科技有限公司排名第10位,总金额为294.00万元,排名第1位的中标总金额是第10位的3.04倍,差距较大。
2.7.2 中标次数前10名的单位由表 3可知,2016年我国病媒控制产品采购中标次数最多的单位为浙江洁洁环保科技有限公司,共中标8次,占中标总数量的2.26%,前10名单位中,有6家单位均中标4次,2家单位均中标5次,市场分散比较均衡。
3 讨论本研究基于大数据技术的数据采集与数据处理技术对2016年我国病媒控制产品采购的区域、主要采购方式、主要采购单位及采购金额范围等重要信息进行了分析,研究结果总结如下:①4、5月是病媒控制产品采购高峰;②公开招标和竞争性谈判/磋商是病媒控制产品的主要采购方式;③爱卫办和卫计委(局)为病媒控制产品的主要采购单位;④采购单位的采购金额差距较大;⑤病媒控制产品市场采购处于分散、均衡竞争状态,尚无占据较大市场份额的企业龙头。
大数据技术是未来技术发展的重要领域,大数据分析有助于决策者根据过去和现在的信息对未来发展进行科学地预测。利用大数据技术对病媒生物防控领域的招中标数据进行分析,有助于决策部门和相关企业了解政府和企业供需双方特点,提供服务与利用情况,为未来病媒控制产品服务资源的配置、保障制度的设计、环境健康的促进和宏观决策等提供科学依据。
国家已将大数据技术提升至战略高度,该技术将会应用于各个行业和领域,未来基于大数据的媒介生物防控研究将是媒介生物防控领域的一个重要研究课题。本文只针对已获得的2016年我国病媒控制产品采购数据和信息进行分析研究,因数据信息不完整,文中结果和结论具有局限性。
(本文纯属学术研究,作者为保证信息的真实性,涉及企业、机构均为实名,并无其他意图)
[1] |
维克托·迈尔-舍恩伯格, 肯尼思·库克耶. 大数据时代: 生活、工作与思维的大变革[M]. 盛杨燕, 周涛, 译. 杭州: 浙江人民出版社, 2013: 5-10.
|
[2] |
新华社. 中华人民共和国国民经济和社会发展第十三个五年规划纲要. 第二十七章. 实施国家大数据战略[EB/OL]. (2016-03-17)[2017-12-21]. http://news.xinhuanet.com/politics/2016lh/2016-03/17/c_1118366322_8.htm.
|
[3] |
Tom Kalil. Big Data is a Big Deal[EB/OL]. (2012-03-29)[2017-12-20]. http://www.whitehouse.gov/blog/2012/03/29/big-data-big-deal.
|
[4] |
林子雨. 大数据技术原理与应用[M]. 2版. 北京: 人民邮电出版社, 2017, 22-36.
|
[5] |
郭志懋, 周傲英. 数据质量和数据清洗研究综述[J]. 软件学报, 2002, 13(11): 2076-2082. |