[编者按] 当代科技快速迭代，科技应用不断创新，技术与产业创新紧密结合，极大地改变了人类社会生活，也引发了一系列社会伦理问题，冲击人类传统的伦理观念。第二届世界科技与发展论坛高端对话环节，邀请美国国家工程院外籍院士、清华大学双聘教授沈向洋作为主持人，世界工程组织联合会主席龚克、清华大学苏轼民书院院长薛澜、中国工程院院士乔杰、中国科学院院士蒲慕名、微软首席科学家埃里卡·霍维茨、牛津大学教授卢西亚诺·弗洛里迪、联合国教科文组织人工智能伦理委员会召集人彼得·保罗·维贝克教授作为嘉宾，共同探讨新兴技术引发的伦理问题。

沈向洋：新兴科技发展引发哪些伦理问题，这些问题带来何种挑战与风险？

乔杰：应在道德制高点上共同讨论新兴科技发展引发的风险，才能让社会快速有序发展。

新兴科技对社会发展产生了重要推动作用，同时也带来了一些伦理挑战。伦理本身是哲学问题，是道德哲学，关于伦理知识体系的建设一直在推进中。

公元前4世纪，第一个伦理学概念《希波克拉底誓词》提出保证病人不受伤害的原则、保密的原则。1947年，第一部伦理法典《纽伦堡法典》颁布，要求医学研究必须经过受试者知情同意；1964年，国际卫生组织和医学科学大会联合颁布第二部法典《赫尔辛基宣言》，提出受试者有知情权、同意权。

无论哪种科技的发展，都应关注其在推动社会发展的同时对人类可能产生的影响，包括人的生理、心理、权益、尊严、法律道德等方面，并对其进行制约。因此伦理学产生的原则应在于科技推动的同时对社会有重要的保障。

基因编辑技术获得了2020年诺贝尔化学奖。确实基因编辑技术既廉价又高效，对研究领域产生了重要的推动作用，对植物育种、病虫害防御以及未来的癌症治疗（包括严重遗传病的治疗）等方面都给予了无限发展空间和治疗机会，但同时也产生了伦理问题。2020年诺贝尔化学奖获得者詹妮弗·杜德纳（Jennifer Anne Doudna）对此也非常担心，特意花费诸多时间与大家进行伦理、法律、道德的讨论。在2019年发生的基因编辑婴儿事件，就是技术在没有经过严格的伦理讨论、伦理审查，尤其是技术本身还存在相应的问题时应用于人类的研究，严重违反了伦理法则，当然产生的后果可能是人类不可预知的。

在生殖医学领域诸如辅助生殖技术等为无数不孕症患者带去了福音，但基因歧视、可能的筛选甚至婴儿定制等都值得深思，遗传学的父母和社会学的父母背后的伦理法律风险也需要讨论，遗传学父母、社会学父母造成的相应的社会伦理可能是法律层面需要进一步深入讨论的问题。

再如人工智能对智慧医疗的推动肯定会对人类健康产生重要影响，而且在这个过程中会极大推动检测、预测技术、远程医疗包括影像学的发展。但是在这个过程中对于医学的不确定性，对于诊断疑难疾病出现的问题包括是否真正能跟患者共情等，都存在问题。另外，合成生物学中，新合成的生物学有机体介于生命和非生命之间，对其他有机体造成怎样的影响等，这些都是面临的重要挑战，只有在道德制高点上进行共同讨论才能让社会快速有序发展。

埃里卡·霍维茨：未来应以公平的方式拥有技术，而不是使现今社会当中已经存在的偏见和歧视进一步加剧。

一些政府，特别是拥有大量企业的政府，非常关注伦理问题，认为需要有更多责任心来开发技术。就技术本身而言，它实际上一直定义着人类文明的发展，比如从蒸汽到电力，再到未来的新型能源，在过去几个世纪中，这些技术影响了现在的世界，包括日常生活、工作等，另外还影响到了生活质量，但是技术本身是中立的，可以用在很多地方，有些对于社会是有好处的，但有一些是成本很高而且是破坏性的。

要考虑如何应用这些技术，这就涉及价值观和伦理观的角度。同时，在发展和应用技术时，特别是涉及很多计算、数据、算法、感知及语言的人工智能技术时，技术的进步实际上给整个人类社会带来了巨大好处，与此同时也带来了一些值得关注的问题，例如这些技术将来会产生什么效应，如何影响到人的生活，是否可以产生人和人之间的信任，包括安全性、公平性、透明度等。

在人工智能的影响过程中，随着技术的发展，一系列的技术（如自动化）可能是历史上第一次加入到人工的智能生活中，代替人做一些工作，解决一些难题（如理性、推理等）等。人工智能已进入决策过程，带来了更高的准确度，但还需要考虑伦理的问题，需要通过讨论确定哪些是最佳的实践，在伦理方面是否应该出台一些法律和政策，以及体系是不是能够以公平的方式拥有技术，而不是使现在社会当中已经存在的偏见和歧视进一步加剧。在分类及决策过程中，会使用很多数据来进行判断，这也极有可能会进一步加剧歧视；当然还有法律方面的问题，涉及人的自主性、人生的目标、AI系统的问责性等。还有一些是跟人的利益息息相关，比如在医药领域，用了AI系统的决定或者建议之后到底会产生什么样的影响；在经济领域大家认为AI会取代工人，这就会影响到整个世界的公平性；军事方面的应用方面，大家并不放心完全让AI、让机器做决定。

不仅对于学术界，还有公民社会和组织、企业家都应该进行这样的讨论，让人们了解这些问题，把自己的专业知识和思想分享出来。当然政府部门也很重要，各国政府也要协调制定共同的原则、规范和最佳实践，能够更好地让技术融入人类的生活。

龚克：新兴科技面临不可控风险、侵权、责任等伦理问题。

新兴科技会遇到的伦理问题，可以归纳总结为以下3类：第一，是不可控的风险。基因编辑可能会解决面临的医疗问题，但它对人的未来身体各方面的影响，好多还不被人掌握，人类整体基因控制方面有很多不可控因素。第二，侵权的问题。人工智能数据保护方面潜在的风险也是非常值得关注的。技术应用有很多的好处，侵权的风险怎么权衡？第三，责任问题。无人驾驶过程中出了问题，责任如何归属？另外，还有很多社会性风险。必须去思考、判断这些综合因素，最后找到伦理、道德问题的解决方案。

沈向洋：一方面，探讨科技伦理的问题对社会产生的影响很重大；另外一方面，探讨科技伦理问题对科学发展本身也产生重大影响。同时，从文化角度来看，处在不同的文化传统背景，对科技的发展会有一些不同的认识，以机器人为例，不同的地区制造出来的机器人完全不一样，例如东亚制造出的机器人比较“萌”，而西方的机器人显得更加“暴力”。处在不同文化传统、发展阶段的世界各国对科技伦理的认识存在哪些差异？

蒲慕明：科技伦理问题因社会的文化传统和背景不同存在显著差异。

对科技伦理的认识受主观判断的影响，比如有些人认为人接触到空气，就算是生命开始，而有些人认为胚胎开始的时候，生命就开始了。科学家要开展前沿科学医学研究，就必须做出一个判断，要制定什么样的伦理规则来处理人类胚胎。这样的规则和思考，对于医学的进步非常重要。比如，在做科学实验时，必须要确保胚胎种植不受影响，不会影响到下一代的身体；另外，细胞内部有时候因为基因的缺陷会导致遗传性疾病，首先对有缺陷的基因进行修复，把修复后的胚胎再植入子宫中，保证后代生出的孩子是健康的，但目前这项技术还不成熟，没有办法治疗线粒体变异所造成的疾病。因此必须要做出判断，对于有遗传性缺陷的人，到底能够在多大程度上使用技术帮助他们。在解决问题的同时有可能会产生新的问题，在医学方面尤其明显。所以，在很多最前沿的科学领域都有伦理学方面的挑战。面对这些问题，必须要判断利弊，预判新技术、新设备使用可能带来的影响。

在人工智能领域也有类似的情况。与脑神经科学相关的技术发展非常快，包括脑机接口，这项技术分为无创和有创，它可以解读大脑中的活动，还可以通过脑机接口改变人的行为模式，甚至控制人的行为。另外，现在新药的研发也在加速。过去的药物是帮助人们治愈疾病，现在药物的功能发生了改变，它要提升人体的功能，比如说提升人的认知能力水平，让人们思维更敏捷、记忆力更好。这类药物会不会导致社会出现进一步的分化；这类药物如果商品化以后，会不会让服药的人可以更快地通过考试；这就像是运动员服用兴奋剂一样的性质，所以也需要出台相关的规则来规范此类药品的使用和研发。现在的药品不只是用来治病救人，而且还用于提升人体各方面的机能，这也是要加以规范的。这些问题都取决于社会的文化传统和背景。

谈到人工智能对社会产生的影响，应在社会层面上区分发达国家和发展中国家，处在不同发展阶段，各国对人工智能的需求不同。同时，还取决于行业的规则，可以看到在一些行业人力逐渐被人工智能所替代。如果没有充分的社会福利保护，没有伦理的约束，会导致劳动力市场失业率上升，而由于社会差异不同，这种现象在美国或其他发达国家不一定会出现。同时，对于人工智能的发展、机器学习的体系，要适应不同国家的社会体系，这是必须要解决的问题。

龚克：承认差距并广泛开展对话形成共识，在共识基础上发展技术和应用。

2019年世界工程组织联合会（WFEO）在首个世界工程日发布了立场文件《工程领域大数据和人工智能原则》（以下简称“原则”），其中比较了很多大学和国家的原则，发现有极大的相似性。最近几年，大家形成了共同的认识：由于发展阶段不同有很多差异。比如，有的国家特别强调数据的保护，有的发展中国家认为首先要开放，不开放共享，没有数据保护什么数据？因此在原则里面，同时谈到了“保护”“开放和共享”。所以要找到一种方法来适用不同的发展阶段，因为伦理不是保护某一部分人，伦理是人类共同的。这也就是说，在差异面前必须承认差异，但是要广泛对话，在广泛对话的基础上形成共识，在共识基础上发展技术和应用。

沈向洋：多数科技工作者一定要明白科技止步的目标，探索应用机制。特别要和国际同行一起，共同研究、相互交流、达成共识，这是需要大力推动的事业。如何加强科技伦理治理的国际合作？存在什么突出问题？

彼得·保罗·维贝克：影响的评估工具、治理框架是国际合作最为需要的。

科技伦理治理国际合作存在的问题主要有两个。第一，科技伦理治理的框架差异，或者对于彼此的框架不是很了解；第二，竞争导致国家很难达成共识。

首先，应看到不同框架之间的差异。个人价值和集体价值之间是存在差异的，在人工智能发展中也会出现这些差异，比如在个体的层面如何保持个人的自由和隐私，同时又要鼓励创新；在集体的层面如何鼓励创新，这会带来竞争的问题，东方国家和西方国家之间会存在一些竞争的关系。实际上更多需要一种共性的方式，做到可以相互了解并共同开发出一个框架，开发出一个好的伦理规则，能够适用于所有的技术和国家。对于伦理来说，它产生的影响并不是局限于某一个国家和地区，而是影响全球。人工智能会影响到人的思维方式如何理解这个世界，在全球范围内需要在这方面达成共识，这也是进行国际合作的方式。比如，可以组建一些平台更好地相互了解，像联合国教科文组织就是一个很好的平台，全球有180多个成员国，希望就一些基本的价值观达成一致。只有通过相互了解，才能实现这个目标，这是最主要的，国际合作必须从相互理解开始，必须要在同样的平台上相互理解，相互沟通。

第二，要克服竞争的问题。同时，从政府的层面帮助应对不同国家之间的差异。从全球的角度考虑竞争，这样可以开发一些相应的工具预测技术对社会产生的影响，不同的价值框架来量化它产生的影响，还需要了解现有的状态以及将来发展的程度。需要找到一些替代性的方式，在伦理的框架中，伦理并不是外部的评估商，比如评估员，对于技术进行评估；伦理更多像是规制，用以引导技术的发展，让技术在可接受的框架内开发和发展，通过这种方式进行技术的应用。

总体来说，影响的评估工具、治理框架是国际合作最为需要的。

薛澜：科技伦理治理需要开展更广泛的对话、科学团体发挥作用、更加包容的国际治理机制。

第二次世界大战后至今，尤其近几年，从事科学研究、技术开发及应用活动的人数剧增，如此大的群体、全世界的很多国家、不同的经济发展阶段、不同的价值观念、不同宗教等，必然会导致有不同的观念，同样的问题大家的看法不同。目前传统科技伦理问题治理机制已经失灵，尤其是医学伦理，原来比较传统的模式是，在西方国家一批德高望重的科学家聚在一起开会讨论，制定出一个宣言或准则，大家遵守执行。但是，当今形势已大大改变，原来的这种机制已经不起作用了。

基因编辑获得了2020年诺贝尔化学奖，这项技术确实带给人类的福祉潜力巨大，但也存在很多问题。经过相当一段时间的研究，发现基因编辑领域科研群体数量增加。关于基因编辑的论文在2012年只有7篇，2018年有2750篇，暴增400倍，作者超过36000人，分布在92个国家，分属于3600多个大学、研究机构。对作者进行了一些问卷调研，问卷回收率并不高，针对“是否了解基因编辑已经出台的60多个宣言”的问题，40%表示从来没有听说，仅有20% 表示真正研究过。这就是基因编辑领域在全球治理中存在的问题，人们可能还没有意识到。

当然人工智能也存在类似的问题。如何解决？

第一，需要更多的研究和对话。不管是文化、发展的差别背后，大家对这些问题的不同认识，需要有更深入的研究，需要持有不同的意见去讨论，进行更坦诚的交流对话。

第二，科学团体要发挥作用。需要在科学共同体内达成共识，科学共同体要发挥更大的作用。

第三，要有更加包容的国际治理机制。这个包容强调的是不同利益，企业也有地位，企业、社会组织、包括科学家团体都要参与讨论，同时要有让更多的发展中国家、不同文化的背景国家参与全球治理的机制，这样才能够有可能对这些问题达成一定的共识，求同存异，真正让科技为人类造福。

沈向洋：科技伦理治理是人类共同的责任，无论存在何种差异，国际合作都是必修课。推动构建全球科技伦理治理体系，我们应该做什么？

龚克：构建全球科技伦理治理体系，需要识别挑战及问题并形成解决办法。

第一，治理体系的前提是建立达成共识的机制，绝对不能孤立，要保持开放对话；第二，开展对话要识别面临的挑战及问题，特别是共同的最紧迫需要应对的问题；第三，在此基础上，建立一套解决办法。从技术角度来讲，需要用技术手段保持原则，要有标准及检测的办法。

乔杰：要构建全球科技伦理治理的体系，保证人力投入、健全科技伦理治理体制机制、加强相关从业人员道德、伦理、法律体系的培训。

第一，要保证人力投入。现在在科研方面投入的人力远远大于投入伦理研究的人力，一定要加大在科技伦理研究人员和管理队伍的投入，科研与伦理治理一定要两手抓，两手都要硬。

第二，健全科技伦理治理体制机制。2019年7月，中央全面深化改革委员会审议通过了《国家科技伦理委员会组建方案》，目的就是加强统筹规范和指导协调，推动构建覆盖全面、导向明确、规范有序、协调一致的科技伦理治理体系。事前申报、事中监督、事后追踪，需要落实好。

第三，加强相关从业人员的道德、伦理、法律体系的培训。知识的培训特别重要，像基因编辑的事件，研究者的出发点一定不是就想制造一个对婴儿未来产生很多不可预知的结果事件，但是它没有经过专家、伦理社会、法学家的充分讨论，以及患者充分的知情同意。相当于对整体的认识很不到位，产生了不好的国际影响。

第四，加强道德、伦理、法律体系中伦理所占的份额。不同的行业所占份额不同，特别是在人体实施要加强监管，研制执行伦理的充分知情同意、专家讨论，把病人利益、受试者利益放在前面。但也要特别注意不能一管就“死”，抑制了科学的发展。

薛澜：完全分裂的意见，反映相关从业者并没有对某些伦理问题深入思考，应重点关注。

要对相关的从业者、科研工作者加强伦理方面的科普。科技工作者是给别人科普相关领域的知识，关于科技伦理道德问题的思考，思辨方式应该予以加强。在对基因编辑科学家开展的调研结果显示，对于“是否要暂停基因编辑”这一问题，收回问卷中30% 的表示同意，超过50% 的表示反对，14% 表示中立。可见，作为科技工作者，意见完全分裂背后反映的是很多从业者对这个问题没有深入的思考。

埃里卡·霍维茨：搭建开放的平台，形成人工智能发展共识。

Partnership on AI指的是如何加强与人工智能相关的治理水平，作为一个研究平台供大家分享最佳实践。这项工作最重要的一点就是能够把不同领域的人召集起来，包括研究人员、学术界的代表、企业界的领导、决策者、政府官员等，一起对困难和挑战形成共识。Partnership on AI之所以能够成立，是因为人们对人工智能发展有很多忧虑，在20世纪50年代，人工智能研究人员就有这样的考虑。百度是第一个加入Partnership on AI的中资企业，通过这样的合作，可以了解人工智能基本发展趋势、原则，要确保人工智能的技术是尽可能赋权于人类，为人类造福，同时也发布了很多高质量的报告，包括人工智能相关的风险、刑事司法的问题等。希望更多伙伴参与到合作中来。

沈向洋：应该加快推进治理体系的前瞻性、系统性及权威性的智库建设；推进伦理意识的普及，倡导构建造福人类个体、社会和环境的科学技术的体系。事实上，科学发展的目的，是要发现真理，更要服务人类的社会福祉。科技伦理的治理是科学共同体的责任，从这个角度来讲更加需要公众的理解和参与。在科技伦理治理中，如何体现科学共同体的责任，如何促进公众理解与参与科技治理？

彼得·保罗·维贝克：科学共同体要搭建让科学家负伦理责任的框架，注重科学家与公众的结合。

科学共同体要做的就是把现有的工作进一步扩大，负责任地开展科研，要有一个框架让研究人员能够负起伦理责任。而且，也要在整个社会范围内将现有的框架进一步扩大。最有启发性的一点，就是让公民参与到科研工作中来，让他们能够了解最新的科学实务，也让科学共同体可以了解到新出现的科学维度和社会维度。在研究创新的过程中，要做好3点工作：把伦理纳入技术中，要在一开始就把伦理内化到科研和创新中，这样研究的成果本身就是符合伦理标准；伦理有可能产生正面的影响，也有一些可能会带来负面影响，必须要加以区分，在全球范围传播价值观，给予一个清晰的指引，哪些是该做的，哪些是不该做的；不但要自上而下地开展伦理工作，而且要自下而上地开展工作，因为很多人之前从事过科研工作，他们有非常丰富的经验，要让具有专业知识的公民参与进来，这样才能使创新和伦理更好地联系起来。

总之，一方面是科学家和专业人士发挥作用，另一方面公众也要参与进来，要把二者结合起来，才能产生一种新的科研方式。

蒲慕明：在新的争议技术上建立全球性伦理行为准则是可以实现的。

在伦理的发展过程中，会有一些非政府组织或者非营利组织来标准，比如像基因编辑，20世纪70年代第一个DNA序列被发现时，“基因编辑”概念就出现了。科学家深知它的危害，以及将来对社会产生什么样的影响和机制。实际上，当时采用的是一种自下而上的活动。基因编辑的科学家、社会科学家举行了相关的会议来讨论，什么时候需要对于基因工程/基因编辑进行约束？什么样的约束保证它的安全发展？最后形成了一份指南供英国国家卫生局使用，后来也在全球范围内使用，大家对要从安全的角度做基因编辑达成共识。

从基因编辑的角度来说，可以在全球范围内自下而上，由一些从事这个领域的科学家提出这个概念，提出将来有什么危害, 最后在全球建立一个统一的标准。对于全球的行为准则也达成了共识，比如动物实验方面的准则，包括替代性、毁灭性，以及对于动物实验当中的改进。对于基因编辑应该有地区性/全球性准则出台，大家普遍可以接受。通过这种方式，全球任何国家的人都能理解准则产生的约束力。同时，可以建立禁止动物实验当中虐待动物的行为，或者说像其他一些行为的区域性准则。在新的争议技术上建立全球性伦理行为准则是可以实现的。对于伦理的讨论，不仅要发达国家，还要发展中国家积极参与。

龚克：在新的争议技术上建立全球性伦理行为准则是可以实现的。

国际科学理事会正在做一件事情，要制定关于科学的自由和责任的文件，这个非常重要。过去总是强调“科学自由”，现在还是坚持“科学自由、百花齐放”，但是也要有责任。一方面强化创新意识，一方面也要强化伦理意识，要适应新技术带来的挑战，科学共同体不仅是技术创新走在前面，也要在伦理道德上走在前面。

薛澜：重建公众对科学界的信任是科学共同体的共同责任。

在过去几年，公众对科学界的信任受到了很大的影响和挑战。如何能够让公众的更多的参与，如何重建公众对科学界的信任，是科学共同体的共同责任。

沈向洋：高新企业对科技治理、伦理治理的认识如何？

埃里卡·霍维茨：AI企业应加强合作，共同完善AI系统的可信度、安全性、公平性、透明度等。

微软公司AI伦理治理委员会一直都努力引导伦理方面的讨论，4年前建立了一个工作组，目标是和合作伙伴共同开发相应的程序以及进行技术的应用；并且讨论未来的一些认知，可能会产生的工具和新的应用方式，以及如何能够应用在企业中等。这是一项整个公司范围之内的工作，包括和公司的各个部门协作。首先要通过领导层设立一个主要的委员会，建立相应的工作组，通过创新性的研究，目前共有6个工作小组在做这个工作，包括微软AI开源工作组、安全公平、包容、透明度、可靠性、安全性，人类和AI之间的协作等。

工作组专门讨论所涉及到的问题，特别是像一些高技术的领域当中，对于微软领导层来说，还制定了一个政策，将来如何使用人工智能，以及人工智能的应用范围，还包括人工智能使用的成本。这些年，积累了很多经验。首先，它需要很多团队团结在一起，才能够有效协作，建立一个负责任的AI团队，在这个过程中要考虑到公司的多个部门、产品、服务、业务的广度。第二，必须要有公司的管理层的参与。第三，从AI的伦理道德中，会有一些非常具体的问题，需要通过解决这些问题实现新的创新，比如说如何采纳新的想法，把想法转化为现实的产品和服务，包括治理方面的工作，建立原型，使它更加符合实用的要求。构建更透明的AI代码的网站，帮助理解AI应有程序中的数据集，克服偏见，实现多元的工具和案例。未来还有很多的工作要做，希望大家合作推进，不管是否远隔重洋，来自什么机构和政府组织，都必须加强合作共同努力。

沈向洋：哲学家康德曾经讲过“人是目的，不是工具”，科技应该也不是目的，应该体现人文，体现价值观。在科技快速发展和不断创新的今天，更加需要全球科学共同体，需要在科技伦理和科技治理领域有更多的讨论，做更多的交流，达成更多的共识，希望未来可以进行更多的、持续的、高质量的对话。