随着云计算、大数据技术的发展，以算法决策为用、以个人数据为体、以机器学习为魂的自动决策系统已经悄无声息地进入我们的生活^[1]。这种系统通过收集、分析和评估个人信息和行为数据，预测数据主体的工作表现、发展潜力、偿还能力、需求偏好等特征，并据此画像（profiling）做出各种决定。自动决策系统已广泛应用于人力资源管理、信用评价、产品定价、保险核保等方面，对数据主体做出打分、评价和推荐等决定。不可否认，自动决策有助于提高决策效率，避免人类决策者的偏见。但同样不能忽视的是，数据和算法本身都不具有天然的中立性，数据可能有各式各样的缺陷，算法亦可作为逐利的工具，甚至对求职者、雇员、消费者进行差别对待，造成歧视性后果。这种歧视可被称为算法歧视或大数据歧视。据《北京青年报》今年三月的报道，一位旅客经常通过旅行网站预定某酒店房间，每晚价格通常在380–400元左右。淡季的某日，该旅客通过自己的账号查到该酒店价格仍为380元，但通过其朋友的账号查询，显示价格仅为300元。这就是所谓的“大数据杀熟”^①[2]。该网站涉嫌利用算法实施价格歧视。事件发生伊始，公众口诛笔伐，学界建言献策。然而，算法歧视在法律上具有什么性质，该如何治理，尚未引起学术界足够的关注。本文尝试进行初步探究。第一部分探析算法歧视的产生原因，第二部分具体考察三种主要的算法歧视，并揭示其治理难题，第三部分初步勾画出我国对算法歧视的综合治理路径，最后提出结论和展望。

一、问题溯源：算法歧视何以产生

所谓歧视，是指根据种族、民族、性别、宗教信仰等特征，对条件相同的人实施差别待遇。为实现法律追求公平、平等之目标，歧视为各国法律所禁止。自动决策算法一般都会过滤掉以上显性特征，以避免明目张胆的歧视。但是，基于以下原因，算法歧视仍然存在：

1. 数据不必然具有中立性

认为算法决策能克服人类决策偏见的一个理由是作为算法分析对象的数据是中立、客观的。但实际上，数据主体的某些个人数据可能是偶然产生的，不具有代表性，例如一位颇有偿还能力的人忘记按时偿还信用卡账单之记录。个人数据还难免存在错误，例如身份信息被盗用形成的贷款逾期记录，还有张冠李戴所产生的无中生有的犯罪记录^②[3]。可见，数据既有真实的，也有虚假的，而且真实的也不等于是客观的，即数据并不天然具有中立性。这些偶然、甚至错误的数据从源头改正本就很难，通过大数据分享、加工、提供等方式传播出去之后再想彻底改正更是难上加难。算法基于不精确、偏见性或非代表性的数据做出决策，剥夺数据主体的某种机会，就会构成无意性歧视。数据产生歧视性风险的另一个原因是，算法模型需要通过训练数据来学习、演化。如果训练模型所用的数据本身存在可导致歧视后果的缺陷，算法模型也就不会产生公平的结果。这种歧视的矫正更加困难。

2. 算法易受人为操控

有人套用技术中立原则，主张算法具有中立性。基于下述理由，笔者认为算法中立乃是伪命题。

（1）算法目标变量的选择和赋值易受人为影响

算法决策总是需要用到一些目标变量或指标，或者对分析对象进行某种分类。而指标的选取、赋值以及分类方法都是人为设定的。如果这一过程受歧视性观念影响，算法决策产生系统性的歧视后果就不足为奇了。

（2）算法可以规避禁止歧视的法律规定

由于受法律约束，算法一般都会筛选掉法律明文禁止的种族、民族、性别等歧视，但是算法可以通过数据画像技术，从行为数据中识别出分析对象的某些类型特征从而做出对其不利的评价。例如，一个算法模型通过对数以万计样本的分析，发现特定邮政编码区域的居民在特定工作上的表现很差劲，而这个居民区经常与某个种族联系在一起。如果算法模型在做出雇用决策时筛选掉这个少数族群，势必会造成对该区域居民或族群的系统性歧视和伤害，因而缺乏正当性。另外，算法还会从一些数据中识别出基因、残疾、怀孕等特征并据此对数据主体做出负面评价，从而将歧视掩盖起来。

（3）算法会混淆关联关系和因果关系

不同目标变量之间的关联关系，可能是因果关系，也可能是偶然的，但是算法对此并不解释和区分。只要算法认为关联性足够强，就会用来对分析对象进行分类和预测。例如，如果算法发现那些喜欢Facebook上某种内容的人智商较高，就会在这种内容和智商之间建立关联，预测喜欢这种内容的人的智力都比较高，也更有发展潜力^③[4]，从而做出录用或晋升的决定。算法还可能基于错误的关联性判断做出决策，例如在美国，使用双姓氏的多为西班牙裔，改变姓氏的多为女性，算法就将双姓氏者归为西班牙裔，将改变姓氏者归为女性。如果据此做出剥夺这类群体就业机会的决策，就会构成歧视。

（4）算法可加重统计性歧视

根据Edmund S. Phelps提出、Dennis J. Aigner等学者所发展的理论，在劳动能力信息不完全的前提下，雇主依据群体的统计性特征来做出工资和雇佣决策，从而对处于不利群体中的劳动者造成工资或就业歧视^④[5]。例如，两个应聘者在教育程度、工作经验、测试分数等方面完全一样或相差无几，其中一人毕业于985大学，另一人毕业于普通大学，雇主根据985大学毕业生的职业表现整体上优于普通大学生的统计规律，做出录用985大学毕业生的决定，就构成对普通大学毕业生的统计性歧视。当算法模型基于这种统计规律做出决策时，就会对被保护群体产生统计性歧视。在算法的作用下，这种歧视难以因为优秀的个体而改变，因而对于一个群体而言其损害后果更加严重。

二、治理难题：三种主要算法歧视的考察

由于算法决策系统的应用日益广泛，算法歧视也在多个领域出现。囿于篇幅限制，下文仅对以算法为手段实施的就业歧视、信用歧视和价格歧视^⑤进行具体考察，为发掘算法歧视的治理难题、寻求解决方案奠定基础。

1. 算法型价格歧视

（1）算法型价格歧视的产生

价格歧视是指商品的提供者以不同的价格，向交易条件相同的交易相对人提供相同等级、相同质量的商品。研究价格歧视，离不开消费者剩余这个概念。所谓消费者剩余是指消费者愿意为一种商品支付的最高价格减去其实际支付的价格。企业实施价格歧视的目的无外乎尽量攫取消费者剩余^⑥[6]70。通常认为，成功实施价格歧视需要具备三个要件：其一是企业必须占据市场支配地位，具有较强的定价话语权，否则无法实施价格歧视。在完全竞争条件下，企业完全没有定价的能力，只能按照市场规律确定的价格销售商品；其二是企业必须能够了解不同消费者的支付意愿，从而对他们收取不同的价格；其三是企业必须有能力防止低价购买者通过转售低价购买的商品进行套利。如果低价购买者能够套利，企业就不能从具有较高支付能力的消费者那里获得收益，就达不到价格歧视的目的了^⑦[6]68。

实施价格歧视最重要的前提条件是企业知道消费者的最高支付意愿。但是长期以来，企业几乎不能获取有关消费者最高支付意愿的信息，因此也就无从实施价格歧视。然而，数据挖掘和分析工具等人工智能技术终于攻克这一障碍。企业利用特殊的算法，对消费者的消费记录或其他上网记录等进行跟踪、分析，绘制出消费者的偏好、习惯、支付能力等画像，通过个性化定价的尝试和验证，获取消费者的最大支付意愿信息，从而使得对不同消费者收取不同的价格成为可能。这就是所谓“大数据杀熟”得以实施的技术条件。也就是说，在大数据背景下，即使企业不具备市场支配地位，也有能力获取消费者的最高支付意愿，从而实施价格歧视。

（2）算法型价格歧视的救济

经考察现行法律，笔者发现“大数据杀熟”不构成《价格法》中的价格欺诈，也谈不上侵犯消费者的自主选择权和强迫交易权，因此不能使用《价格法》和《消费者权益保护法》去规制；至于《反垄断法》所禁止的价格歧视，其构成条件之一是经营者须具有市场支配地位，《价格法》禁止的价格歧视只适用于经营者对经营者的歧视，例如批发商在交易条件相同的情况下对不同零售商给予不同的批发价格。显然，如果实施“大数据杀熟”的企业不具有市场支配地位，并且针对的仅仅是消费者，现有法律对“大数据杀熟”就无可奈何。对于“大数据杀熟”这类价格歧视的法律规制，美国的情况与我国相似，既不能援引旨在保护小零售商的《罗宾逊-帕特曼法》禁止针对消费者的价格歧视，也无法适用《谢尔曼法》认定这种行为违背反托拉斯法^⑧[7]。既然现行法律对算法型价格歧视无能为力，我们必须另辟蹊径。比较容易想到的一个方案是修改《价格法》，将价格歧视的适用范围从经营者扩展至消费者。如此一来，如果实施“大数据杀熟”的经营者占有市场支配地位，则可迳行适用《反垄断法》进行规制，而如果经营者不占市场支配地位，修改后的《价格法》就有用武之地了，从而堵死算法型价格歧视的存在空间。但是，这种修法模式只能在损害发生后提供最基本的事后矫正，最多能填平消费者的损害，而难以有效遏制“大数据杀熟”的发生。

2. 算法型就业歧视

（1）算法型就业歧视的产生

就业歧视是指基于种族、肤色、性别、宗教、政治见解、民族血统或社会出身等因素，在录用、晋升、薪酬等方面实施差别待遇。反对就业歧视已成国际共识。例如，国际劳工组织《1958年消除就业和职业歧视公约》、美国《1964年民权法》、中国《劳动法》《妇女权益保障法》《残疾人保障法》《就业促进法》等都明文禁止就业歧视。

随着数据挖掘、机器学习等人工智能技术的广泛应用，基于算法的人力分析系统（workforce analytics）应运而生，雇主日益依赖算法对招聘面试、雇佣、晋升、解雇等事项做出决定。赞成者认为，这种算法可以提高人力资源管理效率，依据中立的数据做出不偏不倚的决策从而避免人类决策者的偏见，但怀疑者则指出数据并不具有天然的中立性，算法也可能恶化现有的偏见，甚或产生新型的偏见^⑨[4]860。研究表明，算法导致就业歧视绝非危言耸听。一家公司通过数据分析发现员工家庭住址与工作场所的距离是预测其在职时间长短的重要指标^⑩[4]890。如果人力分析系统依赖这个因素做出雇佣家庭住址距离工作场所更近的求职者的决策，就极可能对家庭住址距离办公场所较远的求职者构成歧视。Latanya Sweeney的研究显示，与搜索白种人相关的姓名相比，在谷歌上搜索非裔美国人相关的姓名，系统就会更多地弹出犯罪背景审查广告^⑪[8]。这意味着算法可以将姓名与种族关联起来，并在就业等方面上做出不利于少数种族的决定。Anja Lambrecht等人的研究发现，女性被推送科技、工程、数学相关广告的比例远远少于男性^⑫[9]。卡内基梅隆大学Amit Datta等学者研究了求职者性别与招聘广告推送的关系，先用软件模拟普通用户去浏览求职网站，随后统计谷歌推送“年薪20万美元以上职位”的广告数据，发现男性用户组收到1852次推送，女性用户组仅收到318次，可见女性得到“高薪”职位推荐的机会，仅为男性的1/6^⑬[10]。这些研究显示，算法固然不会依据种族、性别等显性特征实施公然的就业歧视，但是只要得到雇主的“授意”，歧视总有办法悄然地进行。

（2）算法型就业歧视的救济

如果说对算法型价格歧视的救济尚可通过对《价格法》的小修来实现，那么对算法型就业歧视的救济就没有这么简单了。我国1994年的《劳动法》禁止因民族、种族、性别、宗教信仰的不同而歧视劳动者，但是没有对就业歧视提供司法救济。2007年的《就业促进法》扩大了就业歧视的原因范围。但是我国劳动者提起就业歧视诉讼，必须证明用人单位直接实施了法律禁止的歧视行为。由于劳动者处于明显弱势地位，这一举证负担实为其不可承受之重。比较而言，英美国家的法律对就业歧视举证责任的分配机制就更为合理。只要原告能够提供初步证据证明存在歧视，被告就要承担反驳的举证责任。为了免除承担歧视责任，被告在直接歧视案件中必须证明其对原告的差别对待是出于真实职业资格的要求，在间接歧视案件中必须证明其做法是实现正当目的的必要行为^⑭[11]。但是，即便美国的反就业歧视法减轻了劳动者在歧视案件中的举证责任，美国有学者也认为由于算法的复杂性、模糊性，现行法律对算法造成的就业歧视无法提供有效救济。但也有学者持不同看法^⑮[4]。

3. 算法型信用歧视

（1）算法型信用歧视的产生

发达的征信行业有很多积极意义，例如帮助金融机构甄别风险从而促进金融业的发展，带动信用消费从而推动经济增长，提高经济效率从而发展低碳经济等。但是，长期以来征信行业存在的信用歧视却被严重忽视。尽管各国的征信法律法规一般都禁止根据种族、肤色、宗教信仰、性别、年龄、籍贯、婚姻状态等因素，对特定人的信用进行不正当的评价或给予差别对待，然而复杂的信用评分系统却常常反其道而行之。

在美国，信用评分当前已成为个人获得工作、贷款、保险、租购房屋和汽车等所必备的金融通行证（financial passport）。美国征信行业发端于二战结束伊始。1956年，影响深远的征信机构FICO公司成立。该公司现在向三家主要的跨国征信机构提供信用评分算法，拥有近乎垄断的市场地位。所有使用FICO评分算法的征信机构都会给数据主体评出FICO信用分。长期以来，美国征信市场存在的主要问题有：（1）错误率较高，美国联邦贸易委员会的调查表明将近1/4的消费者发现其信用报告存在至少一处影响信用评分的错误；（2）信用评分的决定性因素以及信用降级的理由都不明确；（3）消费者发现信用分存在错误时，很难得到救济；（4）征信机构不对低信用评分进行解释，更有甚者，企业使用这种信用报告对女性、少数族裔和社会心理残疾者给予歧视性待遇^⑯[12]，使其在获得就业、住房、贷款方面付出更高的代价，这无异于对弱势群体的掠夺和惩罚。

算法对信用歧视所起的作用主要体现在，美国征信行业歧视问题的根源都可以追溯到信用评分算法，它就像是一个黑箱，受商业秘密的保护从而令外界、甚至是政府监管机构都无法进入。征信行业的代言人声称保持算法秘密性的理由是防止消费者信用欺诈，还有人认为即使算法可以提供，其复杂性也是外界无法理解的^⑰[12]。算法在个人信用评价中的一种新型运用，是评价一个人的社会信用（social credit），即是通过特定算法收集和分析数据主体在社交媒体中的行为数据，从而对其财务信用做出评价。算法所依赖的社交媒体信息包括数据主体现身社交媒体的数量和质量、从其上网痕迹推断出的人格特征、其与联系人的互动、其联系人的身份、特征和财务地位等。

（2）算法型信用歧视的救济

算法在征信产业的运用要远远早于上文提及的就业和商品定价领域。美国的征信产业始于二战结束之初，但是直到1970年通过《公平信用报告法》，美国才结束征信行业无法可依的局面。1974年的《平等信用机会法》禁止根据种族、肤色、宗教信仰、祖籍、性别、婚姻状态、申请人接受过公共财政资助或根据《消费者信用保护法》善意行使过权利的事实等因素在提供贷款方面进行歧视。但是，在大数据技术广泛应用之前，美国反信用歧视法律的实施效果就非常有限，更遑论现在了。我国征信产业起步较晚，直至2012年国务院才通过《征信管理条例》，但根本未涉及信用歧视问题。因此，指望该条例规制算法型信用歧视是极不现实的。

三、治理路径：算法歧视的综合治理

按照部门法的划分，不同领域的算法歧视应由不同的部门法规制。虽然算法型价格歧视可以通过略微修改《价格法》得到规制，但是在短期内，并非所有相关的部门法都具备修改的成熟条件，而且相关部门法为此分别进行立法修法的成本又太高。因此，我们可以跳出这些部门法的范畴，探讨通过其他法律和公共政策治理算法歧视的可行性。

1. 个人信息保护法的规制

美国《民权法》第七章是美国反歧视法的最高渊源，在该法之下又制定了反就业歧视、信用歧视、基因歧视等单行法。我国借鉴美国模式，制定反歧视一般法当然也是一种思路，但是在可预见的将来不具可行性。相较而言，通过个人信息保护法规制算法歧视的可行性很大，理由有二：其一，几乎所有的算法决策系统都需要收集、使用个人信息，所以从法律调整对象看，将个人信息的非歧视性利用纳入个人信息保护法的调整范围具有合理性；其二，第十三届全国人大常委会立法规划已经将个人信息保护法列入第一类项目，属于条件比较成熟、有望在这届人大任期内提请审议的法律草案，因此藉此机会规制算法歧视具有现实可行性。

2. 合理算法标准的约束

出于对算法歧视等不良后果的担心，学术界和实务界都有人在探讨设计算法应遵循的原则和标准。例如，美国计算机协会提出了算法透明和可问责的7项原则^⑱[13]。但对此尚未形成普遍共识。下文对算法透明、算法可解释、算法问责、算法审计等4项主要原则的内容和优劣进行分析。

（1）算法透明原则

该原则要求允许第三方对算法代码和决策标准进行审查。其缺陷是透明算法原则要求披露源代码，这与保护商业秘密和隐私、防止欺诈和恐怖主义等其他法益存在冲突。对算法代码进行全面测试的成本也很高，而且由于机器学习的作用，算法决策过程自身也在一直变化，这使算法透明的实现难度更大。

（2）算法解释原则

该原则要求算法决策系统的使用者对算法遵循的程序和特定结果进行解释。还有学者进一步提出，为平衡算法决策使用者与相对人不对称的权力关系，法律应赋予数据主体算法解释权，即有权要求算法使用者对结果进行解释^⑲[14]。

（3）算法问责原则

该原则要求算法使用者对算法产生的结果负责，而不论是否能够详细解释该结果为何产生，并要求在设计算法时就遵循法律、政策的要求，使算法对法律的目标负责^⑳[15]。但是，在实践中，设计以确保非歧视为目标的算法还存在很多困难，一方面，这种原则要求法律目标足够细致明确，能够代码化；另一方面，某些歧视的认定即使在法律政策领域也仍有争议，指望嵌入算法中就更不现实。

（4）算法审计原则

该原则要求算法模型、数据、决策过程都应被忠实纪录，便于损害发生时可被审计。该原则的逻辑是，算法决策的过程如同黑箱一样不可见，但是输入和输出可见。因此，对损害性输出结果的事后审计是可行的，并可倒逼算法设计者、使用者合法合规地设计和使用算法。

笔者认为，算法透明原则要求披露代码，可操作性确实欠佳。算法问责、解释和审计等原则应当组合使用。算法问责和算法解释可以驱使算法设计者尽可能将法律的反歧视目标和强制性规定贯穿于算法之中，属于事前规范。算法审计通过对算法歧视损害后果的事后救济，对算法使用者施加压力。因此，我国标准组织应当制定合理的算法决策标准，政府部门应当积极引导算法设计者、使用者遵循这种标准，尽可能从标准政策角度消除算法歧视。

四、结论和展望：算法歧视治理未来可期

算法决策既可排除人类决策者的歧视，也可加剧现有的歧视或产生新的歧视。由于算法决策应用的广泛性，算法歧视也随之散布于很多领域。经过考察就业、价格、信用等三种常见的算法歧视可知，我国现行法律对算法歧视不能提供有效的救济。结合全国人大立法规划，我国对算法歧视应采取个人信息保护法和合理算法标准相结合的综合治理路径。其中，个人信息保护法应包括禁止各种算法歧视的强制性规定，排除个人信息收集、处理、使用过程中的一切歧视性做法；合理算法标准应引导算法决策的设计者、使用者将禁止算法歧视的原则、规则嵌入算法之中。个人信息保护法与合理算法标准相辅相成，前者是原则，后者是贯彻，共同致力于消除算法歧视的大目标。由于算法决策的复杂性、模糊性，对于合理算法标准的含义和内容尚存争议，这有赖于立法机关、执法部门、学术界、实务界的广泛互动和深入交流，力争早日达成共识。

① 温婧. 用大数据“杀熟”，电商的套路都在这了. https://baijiahao.baidu.com/s?id=1595270398443964710&wfr=spider&for=pc[2018–8–10].

② 关点. 改正一个错误有那么难吗. 鞍山日报，2014–11–18（A01）.

③ Pauline T. Kim. Data-driven Discrimination at Work. Wm. & Mary L. Rev, 2017, 58: 875.

④ 参见石伟、卿石松. 劳动力市场统计性歧视的起因、长期性和反歧视措施研究. 教学与研究, 2009, (5):66.

⑤ 下文分别简称算法型价格歧视、算法型就业歧视和算法型信用歧视。

⑥ 参见吴汉洪. 垄断经济学. 北京：经济日报出版社，2008：70.

⑦ 参见吴汉洪. 垄断经济学. 北京：经济日报出版社, 2008：68.

⑧ See Ramsi A. Woodcock. Big Data, Price Discrimination, and Antitrust. Hastings L.J., 2017, 68: 1395–1396.

⑨ Pauline T. Kim. Data-driven Discrimination at Work. Wm. & Mary L. Rev, 2017, 58: 860.

⑩ Pauline T. Kim. Data-driven Discrimination at Work. Wm. & Mary L. Rev, 2017, 58: 890.

⑪ Latanya Sweeney. Discrimination in Online Ad Delivery. COMM. ACM, 2013, 5: 44, 46–47.

⑫ Anja Lambrecht & Catherine Tucker, Algorithmic Bias? An Empirical Study into Apparent Gender-Based Discrimination in the Display of STEM Career Ads. https://ssrn.com/abstract=2852260 [2018–11–05].

⑬ 张玉宏、秦志光、肖乐. 大数据算法的歧视本质. 自然辩证法研究, 2017, (5): 82.

⑭ 谢增毅. 美英两国就业歧视构成要件比较. 中外法学, 2008, (4): 613–629.

⑮ Pauline T. Kim. Data-driven Discrimination at Work. Wm. & Mary L. Rev, 2017, 58: 903.

⑯ Christopher P. Guzelian et al. Credit Scores, Lending, and Psycosocial Disability. B.U.L. Rev., 2015, 95: 1808, 1817.

⑰ Christopher P. Guzelian et al. Credit Scores, Lending, and Psycosocial Disability. B.U.L. Rev., 2015, 95: 1818.

⑱ ACM U.S. Public Policy Council and ACM Europe Policy Committee. Statement on Algorithmic Transparency and Accountability. https://www.acm.org/binaries/content/assets/public-policy/2017_joint_statement_algorithms.pdf [2018–09–21].

⑲ 张凌寒. 商业自动化决策的算法解释权研究. 法律科学, 2018, (3): 65.

⑳ See Joshua A. Kroll et al. Accountable Algorithms. 165 U. Pa. L. Rev., 2017, 165: 641.