随着互联网规模的不断扩大和技术的深入发展，人类的主要娱乐和消费方式转向互联网^[1]，计算机及一些移动智能设备逐渐取代报纸、广播、电视等，占据了主要流量，成为主流媒介。广告主的投放偏好，也从传统广告向互联网广告转变。

1994年10月由AT&T赞助，在hotwired.com 网站发布横幅广告，诞生了世界上第一个互联网广告^[2]。自此，互联网广告经历了从合约广告到计算广告的发展。早期的雅虎网站仍以传统合约的方式进行广告的发布，即在固定时间、固定广告位与广告主签合约出售。1998年谷歌依托于搜索引擎发布竞价广告，首次通过计算机计算进行广告的自动发布，开启了计算广告的先河。2000年前后，在搜索引擎和竞价排名的基础上，广告网络(AD Network)作为中介出现，如Google Adsense及后来的百度联盟、淘宝广告联盟等，它们考虑了中小型企业的广告需求，利用了中小型网站的流量，实现了众多广告主和网络媒体的充分连接。随着互联网广告市场的进一步扩大，2005年左右，出现了由多家AD Network连接组成的广告交易平台(AD Exchange)，它在保证各方利益的同时，极大地提高了广告交易效率，是目前计算广告的热门领域。

广告交易平台结合广告需求方、广告供给方及用户数据库三方信息，利用大数据精准定位广告位的销售类型，然后对广告位进行需求方实时竞价(real time bidding)，最终出价高者拿到该广告位的展示权。在这种情况下，需求方即广告主需要付出很大的成本。这对广告主所投放广告的投入产出率和转化率提出了很高的要求。

同样，随着各大电商平台的日益壮大，平台内商家的增多，优质展示位的竞争愈发激烈。广告营销的成本越来越大，商家不能再像以前一样轻易获取用户的关注。越来越多商家迫切需要知道，考虑哪些因素，以及哪些方面能够以较低的成本提高广告的转化率，从而增加销售收入进而更好地盈利。同时电商平台将高转化率的广告进行曝光，提高了用户的购物效率，满足自己和商家收益的同时，保证了用户体验。

因此，无论是AD Exchange内投放广告，还是电商平台站内投放广告，什么样的因素会促使广告有较高的转化率，对所有广告主来说都是一个特别关注的问题。近年来人类社会产生的数据呈现爆炸式增长，以数据为原料的统计科学有了用武之地，大数据里很多有价值信息可以被挖掘。同时随着分布式计算、云计算等技术的成熟，已经有越来越多的分析交给了计算机去做，以充分利用计算机的计算能力。由于各因素繁杂，广告转化率究竟与哪些因素有关，影响效应又有多大，即使让经验丰富的专家进行分析，也难免会有疏漏之处。本文欲从天猫商城的海量真实数据中，挖掘出影响广告转化率的各种因素，以及影响效用的大小。通过数据挖掘结果，给出了商家及电商平台提高广告转化率的投放策略。

1 搜索广告研究综述

搜索广告是一种常见的互联网营销方式，商家(广告主)根据商品特点自主购买特定的关键词，当用户输入这些关键词时相应的广告商品就会展示在用户看到的页面中。随着互联网的快速发展，搜索广告在互联网广告中的占比越来越高，成为互联网行业最主要的商业模式之一。与此同时，搜索广告以其巨大的商业价值和研究价值吸引了大量的专家学者，在学术界得到了广泛的研究。

目前，搜索广告的研究，主要集中在搜索引擎优化^[3-4]、关键词的投放策略^[5-6]、拍卖机制^[7-9]及竞价策略^[10-12]、广告排名机制^[13-14]、广告点击率预测^[15]等，这些研究均是为了提高广告的搜索结果排名，基本围绕两方面展开，一是通过研究结果排名算法，找出漏洞以此来提高在搜索引擎中的自然排名；二是通过研究付费策略，来最大化提升自己的竞价排名。

在广告投放策略方面，王冰^[16]认为互联网广告投放的目标是努力做到让广告更精准地到达目标受众，以及广告主花的每一块钱获得更佳效果。徐涛^[17]结合Porter的5种竞争力分析模型、SWOT战略分析模型，对企业搜索引擎广告投放的策略进行分析，研究认为企业进行搜索引擎广告的投放必须要进行策略分析，制定明确的投放目标及清晰的考核量度标准。周荣庭等^[18]通过搜索引擎的选取、关键词的选取及调整等，帮助出版社进行书籍的网络营销。徐卫等^[19]基于用户行为分析的思想，从用户在一段时间内的浏览日志中挖掘信息，从而确定用户的个性爱好，进行对应广告的投放，实验显示用户满意度有所增加。通过查找阅读发现，类似研究文献还有很多，但都主要是集中在搜索广告在某一行业的优势研究，进行投放时也大多针对广告在网站中的排名进行决策优化。

事实上，搜索广告的效果不仅仅跟广告曝光有关。有时即使排名靠前，用户点击进入后，也会因为广告质量差而秒退。高点击率低转化率，不仅给企业带来高昂的广告成本，而且给用户带来厌烦情绪，使得企业形象大打折扣。所以考虑提高广告的转化率投放策略显得尤为关键。同时李凯等^[20]对搜索引擎营销研究进行综述时也指出，未来搜索引擎营销的目标将由现阶段的“提升排名、促成点击”转变为“将浏览者转化为顾客”。笔者也正是基于此而研究，为搜索引擎营销研究贡献微薄之力。

搜索广告的转化率，作为衡量广告转化效果的指标，从广告创意、商品品质、商家质量等多个角度综合刻画用户对广告商品的购买意向，即广告商品被用户点击后产生购买行为的概率。为了更好地说明问题，本文结合阿里典型的搜索广告场景来具体分析。举例来说，用户在淘宝搜索栏输入“女装”并点击，相关的女装列表将会展现给用户，用户点击感兴趣的女装进入详情页，通过查看商品介绍、店家信誉、用户评论等信息综合决定是否购买，如果有M个用户进入同一商品详情页，其中N个购买了该商品，那么该商品的转化率为成交总数和点击总数的比值(N/M)。在这个过程中，如果能够将转化率高的商品返回给用户，那么用户看到的商品正好就是想要购买的商品，这样用户将会更快速地找到喜欢的商品，从而提高用户体验；另一方面，广告每被用户点击一次商家都要付出一定的成本，如果广告被点击却没有成交，广告主将白白付出成本，而如果展现给用户且被点击的广告商品都产生了购买，那么商家虽然付出成本但还是能从成交中获得收益。总体来说，提高转化率，能够使得广告主匹配到最可能购买自家商品的用户，提升广告主的投入产出比(return on investment, ROI)，并且也能让用户快速找到购买意愿最强的商品，从而提升在电商平台中的用户体验。

2 特征提取与机器学习 2.1 数据源介绍

阿里巴巴(淘宝、天猫)是中国最大的电子商务平台，为数亿用户提供了便捷优质的交易服务，也积累了海量的交易数据。阿里妈妈作为阿里巴巴广告业务部门，在过去几年利用这些数据采用深度学习、在线学习、强化学习等人工智能技术来高效准确地预测用户的购买意向，有效提高了用户的购物体验和广告主的ROI。然而，作为一个复杂的生态系统，电商平台中的用户行为偏好、商品长尾分布、热点事件营销等因素依然给转化率预估带来了巨大挑战。如何更好地利用海量的交易数据来高效准确地预测用户的购买意向，是人工智能和大数据在电子商务场景中需要继续解决的技术难题。

鉴于此，天池平台数据实验室提供了一份海量真实交易数据：希望参赛选手通过人工智能技术构建预测模型预估用户的购买意向，即给定广告点击相关的用户(user)、广告商品(ad)、检索词(query)、上下文内容(context)、商店(shop)等信息(具体字段信息如表1~5所示)的条件下预测广告产生购买行为的概率(pCVR)，形式化定义为：pCVR=P (conversion=1 | query, user, ad, context, shop)。

原始数据共有478 138条记录，由若干天内点击过搜索广告的197 694个用户(user_id)样本组成，涉及的广告商品10 075个，交互的店铺数量3 959家。

2.2 数据探查

应用百度ECharts，进行大数据的可视化，结合统计分析后，探查结果如下。

1) 总样本数为478 138，其中正样本数(点击后最终发生购买行为)为9 021条，占比1.85%，负样本数(点击后没有发生购买行为)为469 117条，占比98.15%，负正比例约为52。正负类不均衡。

2) 样本中存在大量重复出现的商品，共出现10 075种，每种广告商品的出现次数呈现为电商中典型的“长尾分布”，出现频率越高占据样本比例越小。在所有样本中出现频率最高的商品item_id7571023501622243456出现3 001次。

3) 样本中店铺共出现3 959家，出现次数与商品整体上分布类似，也呈“长尾分布”。出现频率最高的店铺shop_id6597981382309269962出现11 278次。后面位置与前几名的差异巨大。因此，在电商交易活动中，可能是因为店铺名气，也可能是因为出售产品的原因，会出现少数“明星级”店铺，

4) 店铺星级从4 999~5 019，评论数量等级从0~24，两者均呈正太分布，中间等级占大多数。另外店铺好评大部份等于1，在0.7~0.9有少量离群点，最小值为0.714；店铺服务态度评分在0.96~0.98，在0.85~0.90之间出现一系列离群点，最小值为0.787；店铺物流评分与服务评分分布在0.96~0.95，最小值为0.92；店铺描述相符评分集中分布在0.98附近，最小值仅有0.787。

5) 女性用户占比75.46%，男性用户占比19.67%。家庭用户占2.17%，缺失2.7%。女性占购物人数的3/4，为消费者主体。用户年龄主要集中在1002~1005，推测可能为20~50岁区间，其中30岁为主力消费人群。职业主要集中在2005和2000，具体信息不详，不同职业的时间自由和财务自由均不同，与年龄、购物时间等其他特征结合对数据挖掘有重要价值。用户星级整体呈现正态分布，3009和3010等级最高人数也最少，其他用户星级之间差异并不大。

2.3 数据清洗及特征工程 2.3.1 噪声分析及消除

在对所有样本的抽查中，发现存在3种特殊现象，均不利于商品转化率预测模型的构建。

1) 存在有用户对同一商品进行巨量点击事件，但无购买行为。猜测某些用户为同行恶意竞争商家。

2) 存在有用户对不同商品进行巨量点击事件，但无购买行为。猜测某些用户为网络爬虫。

3) 存在用户在同一家店铺进行巨量100%购买行为。猜测某些用户为恶意刷单商家。

上述存在的3种噪音数据，理论上对正常的商品转化率均无意义，建议去掉。实际中，如果数据量够大，机器学习算法会学习辨别出这些特殊的用户，对它们进行特殊的预测。本文目的是寻找商品转化率影响的因素，因此实际训练中去掉这部分噪音。

2.3.2 特征工程

在了解数据分布及去除噪音后，进行本文的特征工程分析。

通过上述数据探索，原始数据中除基础信息表外，还包含用户信息、广告商品信息、店铺信息及广告上下文信息合计共27维特征。在此基础上进一步开展本文的特征挖掘工作。考虑特征的可用性，基础的27维信息对模型的目标均有重要参考意义。通过各个维度的统计创建新的特征，以挖掘各个维度的细节信息。通过特征之间的简单组合创建组合特征，以挖掘特征对模型目标的混合影响。因为数据量有限，所以只进行两两组合以降低特征的复杂度，防止欠拟合。通过对数据的预学习拟合，去掉无用的特征，保证其他特征的价值，提高模型的健壮性。

首先，从 user、item、shop、context 4个维度统计出基本特征，再在此基础上分别进行特征转换，统计和不同特征之间的组合完成复杂特征的构造。最终构造结果见表6~9。然后，将这4大类特征体系通过SQL的合并语句融合到一张表上。通过这张表就可以生成模型的预测变量了。

2.4 模型训练

本文算法模型选用微软公司研发的LightGBM^[21]。LightGBM是一种快速、分布式、高性能的基于决策树算法的梯度提升框架，可用于排序、分类、回归以及很多其他的机器学习任务中。与Xgboost一样，由于较为突出的性能，目前在工业界、大数据竞赛中该算法模型表现优秀，备受数据挖掘人员青睐。

LightGBM与Xgboost均为GBDT(gradient boosting decision tree)的高效实现，由于 LightGBM内存消耗小，时间效率更高，因此选为本文的训练模型。部分模型参数设置如下。

Lgb_model=lgb.LGBMClassifier(objective='binary',

　　　　　　num_leaves=32,

　　　　　　max_depth=8,learning_rate=0.05,

　　　　　　seed=2018, feature_fraction=0.8,

　　　　　　num_boost_round =1000,

　　　　　　early_stopping_rounds=200)

需要说明的是，由于使用LightGBM模型，是树的组合模型，所以不需要对各个维度特征进行归一化处理。同时LightGBM学习过程中遇到缺失值，对离散值以众数填充，连续值以均值填充。由于负正类之比为52，在LightGBM中设置参数param[‘is_unbalance’]=’true’，来惩罚稀有类别的错误分类。

3 结果分析与投放策略 3.1 模型评价

模型的目的在于在某种环境下，给出商品的转化率，并不是一个明确的类别。因此，不适合去设置固定阈值，用混淆矩阵及F值进行评价。本文参考天池大赛官方的做法，选用logloss作为评价指标。

logloss为模型算法的损失函数，公式如下：

$\quad\quad\log {\rm{loss = - }}\frac{1}{N}\sum\limits_{i = 1}^N {\left[ {{y_i}\log {p_i} + \left( {1 - {y_i}} \right)\log \left( {1 - {p_i}} \right)} \right]} {\text{。}}$

式中N表示样本数，y_i值为1或0(1代表正类，表示最终发生购买行为；0代表负类，表示没有发生购买行为)，p_i表示正类发生概率，1-p_i表示负类发生概率。p_i被表示为一个Sigmod函数，正负类分界处为设定的阈值，超过阈值越多分为正类的概率越接近1，负类则相反。当实际为正类，被分为负类时logp_i向负无穷靠近，惩罚变得很大，负类分为正类时同理。logloss值越小，表示模型对测试集的预测值与真实值差距越小，说明模型的泛化能力越好。经过502轮迭代之后，第302轮为最优轮次，此时所学习到的参数最接近最优解，对测试集泛化能力最好，所以选择该轮学习到的模型为最终模型。最终模型的logloss=0.084 582 8，损失值较小，模型表现良好。

3.2 重要特征分析

特征工程中共构建特征221维，输出最终训练模型特征的重要性排序，其中前30位排名如图1。分析图1可知，前30名特征在4个维度即用户、店铺、商品、广告上下文均有分布。观察可以发现，第1名属于店铺维度，第2名属于商品维度，第3名、第4名属于用户维度，第5名属于广告上下文维度。前5名包含了各个维度中最重要的特征，下文对其作简要分析。

影响转化率最大的特征为商店物流服务评分，重要性得分为207，说明现今决定消费者是否购买的最重要因素为店铺的物流服务。在符合消费者购买意愿的情况下，较高的物流服务水平会确保消费者在约定日期内拿到完整的商品，保证消费者的购物体验，维护消费者下单商品的安全。线上交易不像线下交易，无法通过保证一手交钱一手交货来立刻满足消费者需求。同时物流服务作为商家与消费者交易的最后一关，是商品交易中最具风险的一步，也是消费者内心中最敏感的一个环节。因此保证商品完整的前提下，缩短物流过程的时间，就变得极为重要。所以电商往往与物流相伴相生，好的物流体验才能促进电商更繁荣的发展。如京东、苏宁等电商公司花费巨资，规划建仓，搞自建物流，为自营的商品和自己平台入驻的其他商家提供保证时效性的物流服务。

广告商品的销量对商品转化率的影响也很大，重要性得分为174。因为消费者的从众心理，较高销量的商品更容易受到消费者的青睐。在实际的购物过程中，由于商品信息的不对称，商家通常处于优势地位。消费者对商家发布出来的商品信息需要鉴别真伪。这个过程中，往往会花费大量时间去搜集论据，并以此作出最后的分析和决定。为了避免花费这样的成本，很多后来的消费者会直接参考前人的行为作出决定。并且这个过程会有积累效应，越到后面的消费者作出决定的成本越小。因此销量大的商品转化率会偏高。

不同的消费者对商品转化率的影响也较大，重要性得分为151。购物过程是消费者参考当前各种信息，并作出决定的过程。就像世界上没有完全相同的两片叶子，人性是复杂的，由于所处环境、需求、认知、经济条件、性格偏好及对不同因素敏感度的差异，导致很多情况下的购物带有鲜明的个人特色。如有些消费者闲暇时间较少，直接搜索到固定商品后下单。有些消费者比较随意，直接买热卖商品。因此不同人在购物中会有不同转化率。

消费者接触过的每种商品所占比重对商品转化也有重要影响，重要性得分为139。通常情况下，为解决某一需求，消费者在长期的购物体验中，因为某种特定商品带来较好的效益，会形成对该商品的依赖偏好。当该商品广告再次曝光在相应消费者面前，往往有较大几率被转化。

购物过程中，电商平台陈列出的第1条据消费者查询词预测的类目属性对商品最终是否被购买也有较大影响，重要性得分为123。消费者输入查询词后，有的不够具体，有的却太过详细，甚至有时会输入错误，出现词不达意的情况，与数据库中对商品的分类无法恰当匹配。这时，电商平台结合消费者画像、历史购物记录、网站行为记录，根据当前查询词采用一定算法预测最可能发生的需求，会很好地符合消费者的购物心理，智能满足其需求，提高购物效率，因此商品转化率会得以提高。

3.3 投放策略

考虑各个维度最大影响因素的同时，结合剩余影响较大的其他因素，在对应维度提出以下投放策略，其中用户分析是基于商家和电商平台视角的建议，店铺建设、广告商品改善是基于商家视角的建议，广告上下文提升是基于电商平台视角的建议。

1) 用户分析。

不同消费者有不同的生活环境及不同的行为偏好。总体上商家可以借助电商平台提供的数据分析工具，进行商品广告的精准投放。电商平台应该为商家和用户提供更智能化的服务。具体而言，从以下3方面考虑。

(1) 从投放目标来看，不同年龄段的消费者，因其认知、需求、经济购买力的不同，对商品价格的敏感度不同。商家投放不同价格商品的广告时应予以参考。不同星级用户，在对应电商平台的购物数额不同。星级高的用户，购物支出较大，对平台的信赖度较高，是平台的忠实粉丝，所以投放广告时可优先考虑。如果对商品有选择的情况下，用户对不同的发货地也较为敏感。距离用户较近的发货地往往所用的物流时间较短，物流费用较低。所以商家在推送广告时，应参考地域因素。同时电商平台在用户搜索查询时，在算法中也应考虑该因素。

(2) 从投放时间来看，由于在人的工作生活习惯中，有些时间比较闲，进行购物的几率较大，因此，投放广告时应考虑具体的时间段，节约成本。

(3) 从投放内容来看，不同消费者对某些品牌有特殊情感，考虑消费者的这些偏好，从而针对不同的消费者投放不同类型的品牌广告商品。同时，消费者在日常购物中，因所购商品体验不错，会形成对某些店铺的偏好。因此，商家应该经常对这部分老客户进行回馈，进行优惠广告的投放。电商平台针对用户搜索时也应考虑用户的偏好店铺，投放相应内容供其选择。

2) 店铺建设。

如今品牌和服务越来越受消费者重视，同样的商品不同的店铺，销量会千差万别。投放广告的同时也需考虑店铺品质的提升。从挖掘结果来看，主要考虑以下3个方面。

(1) 提升服务质量。消费者特别重视物流的速度及安全。商家应该与一些物流公司合作，保证物流的运输时间，同时加快发货速度，从而保证配送的时效。店铺服务态度评分也是消费者购买时参考的要素。商家应保证在整个购物流程中，态度亲和，服务及时，以提高消费者对店铺的服务印象。消费者在购买时会一定程度上参考店铺的描述相符评分。消费者最难忍受欺骗的感觉，所以，商家在描述出售商品时应尽量详细，配图真实清晰。以此获取更多的回头客。

(2) 形成自己的特色。消费者购买时会考虑店铺的整体环境及定位。不同店铺，主打的产品不同，尽量打造自己的爆款产品类，形成自己特色。避免店内所有商品所占比重都相差不大，失去专业性。

(3) 分析及扩大用户流量。店铺的点击量变高，说明店铺内流量越来越大，此时商家应该把握该优势，继续制造热点营销，以指数倍数实现流量的猛增。店铺前一天的点击量，反映当前店铺的流量情况，商家做好相应的优惠活动，其转化率会有很好的提升。

3) 广告商品改善。

商品作为消费者消费的最终目的，其自身可以带来的效益很大程度上决定了其销量及广告的转化情况。从挖掘结果看，商家进行广告商品的销售时，应考虑以下几点。

努力扩大销量。消费者有非常大的几率会购买热销商品，所以商家可以经常进行一些促销优惠活动来提高销量，如打折、买二送一、好评返现等方式。

制定尽量低的价格。价格低的商品，更接近大众消费者，因其购买后的犯错成本低，所以转化率往往较高。所以一方面商家可以通过降低价格进行销售；另一方面，也可以选择售卖一些低价格、小成本较为实用商品。

分析用户对商品的行为及数据，采取合理措施。如广告商品的点击量，反映该商品的火爆程度，商家应该把握好该特征，及时推出活动，来进一步转化为购买。广告商品前一天的点击量反映当前商品的火爆程度。流量较大的商品往往销售量也较大，商家应该针对该情况进行进一步规划。销售量差不多的不同商品，被收藏次数越多，越有可能被购买，商家应该时刻关注自己商品的一些数据，作出有效应对。同时，由于用户的浏览习惯，对搜索出来的商品列表，往往只关注前几页的内容，所以前几页的商品曝光率较大。商家应该结合平台的排序算法，进行店内商品关键词的搜索优化。在增加曝光率的基础上，进一步提高转化率。

选择合适行业的商品进行销售。不同类目的广告商品，因其性质、属性等的不同，会有不同的转化率，如一些大众化程度高的商品如手机等，因行业原因，其转化率较高。商家入行时，要做好各个领域的调研，慎重选择。

4) 广告上下文提升。

随着电商平台内商品的增多，消费者购物需要的时间成本越来越大。尽管现在大数据相关的技术在电商平台的应用已经非常成熟，但是从挖掘结果来看，为进一步提高广告的转化率，以下两点值得平台进行深度研究。

(1) 通过分析每个用户的购物信息结合用户画像，能够更精准地揣测其需求，能够在合适的地点，合适的时间，推荐合适的产品。

(2) 大数据显示，用户通过搜索框查询时，根据其查询的关键字，前5条预测其将要购买广告商品的种类和属性，均有较大几率，使用户点击并发生最终的转化。所以，电商平台根据用户输入关键词，并结合用户的全方位信息，通过智能算法预测其下一步的想法也变得特别关键。

4 结论

1) 大数据的挖掘结果显示，影响广告商品转化率的影响因素很多，其中排名较前的分别是：物流、商品销量、消费者偏好、电商平台服务质量等。在资源有限的情况下，商家可以着重关注物流和商品销量，通过与物流公司合作和促销打造爆品等方法来提升转化率，获得较大收益。电商平台应着重消费者画像的构建，投入对智能算法的研究，提升消费者的购物效率，通过帮助商家提升广告点击率及转化率，从而提升搜索广告带来的收益。

2) 除了影响较大的因素之外，在其他方面，商家需要注意店铺和商品的打造，同时充分利用电商平台提供的数据分析工具，如淘宝直通车、京东快车等，结合不同用户的行为偏好，进行广告的精准投放。店铺的服务评分、整体的环境、商业信誉的提升及广告商品的价格、类别、质量、营销方式等的选择都对商品最终的转化率提高有一定的帮助。

3) 本文基于数据挖掘，引入监督机器学习算法进行对广告商品转化率影响因素的挖掘，相比于传统因素分析，挖掘出的影响因素较为全面，同时影响程度明确。该方法具有普遍性，可为其他复杂系统中影响因素的探究提供参考。