文章快速检索     高级检索
  科学与社会  2014, Vol. 4 Issue (4): 105-117  
0

引用本文 

胡明艳欧美纳米技术发展中的“上游参与”实践初评[J]. 科学与社会, 2014, 4(4): 105-117.
HU Ming-yan. Responsibility of Government and the Role of Scientists in Setting Environmental Standards -Taking Yokkaichi Asthma Episode as an Example[J]. Science and Society, 2014, 4(4): 105-117.

基金项目

国家社科基金青年项目(12CZX021);中央党校教学科研专项基金青年项目“新兴技术的伦理争议问题研究”

作者简介

胡明艳,中央党校哲学部讲师。研究方向为科技伦理、科技与社会

欧美纳米技术发展中的“上游参与”实践初评
胡明艳     
中共中央党校哲学部
摘要: 在转基因技术争议的社会背景之下,对于既蕴含巨大能力又潜存诸多风险的纳米技术,欧美各国在其发展伊始,就启动了相关的伦理和社会研究,开展了大量公众参与实践。由此,伦理考量在纳米技术发展过程中呈现出鲜明的“上游参与”倾向,不再仅仅扮演事后评判的角色,而嵌入了技术的实际发展过程,发挥了更加积极的角色。
关键词: 伦理考量    纳米技术    上游参与    

自2000年美国宣布启动“国家纳米技术计划”(NNI)之后,纳米技术迅速在全球范围内掀起了研究热潮,各主要国家都对纳米技术的研发给予了高额投资。然而,作为一项使能技术(enabling technology),纳米技术并非一个具体的技术领域,而是各种既有技术在纳米尺度汇聚的结果[1],其发展及其社会后果充满了不确定性。欧美公众对纳米技术各种潜在风险表示出了种种担忧。

为了避免重蹈转基因技术的覆辙,欧美发达国家在启动纳米技术发展计划不久,就将与之相关的社会和伦理问题早早地提上了议事日程。由于纳米技术自身发展尚在襁褓之中,公众对纳米技术的态度也尚未定型,于是,与以往相比,欧美纳米技术伦理和社会问题的研究与实践呈现出了鲜明的“上游参与”特征。

如果我们将包括对技术的伦理、社会和法律议题(Ethical,Legal and Social Issues,简称ELSI)研究以及相关的公众参与活动统称为与技术发展相关的“伦理考量”,那么,本文所谓“上游参与”中的“上游”,指的是各种旨在突破将伦理考量局限在产品应用阶段这一技术发展的“下游”、使之更早地嵌入技术发展过程的努力,“参与”意味着让伦理考量在型塑技术发展轨迹中扮演更加积极主动的角色,而不仅仅是技术后果的分析者。对此,传统地被作为科技发展被动接受者或评判者的公众、人文社会学者成了“上游参与”的重要角色。

那么,这种“上游参与”是否会带来更好的技术发展?换言之,更早的参与会带来更好的科技吗?本文将结合今年欧美纳米技术“上游参与”的实践给予阐述。

一、 公众到“上游”参与技术发展

自疯牛病危机爆发后,作为伦理考量嵌入技术发展过程的一个重要组成部分,公众意见的表达和反馈就受到了欧美各国政府的高度关注。这在英国尤为明显。可以说,英国政府组织开展的纳米技术“上游”公众参与活动是欧美纳米技术发展过程中的一个典型代表。

2000年,英国科技政策领域发布了两份重要的报告,即调查疯牛病的菲利普斯报告和英国上议院科学技术委员会发布的《科学与社会》报告。这两份报告都明确指出,英国科学政策的制定已经出现了信任危机。一个重要原因是传统的单向科学传播的“缺失模型”。[2]为了重获公众信任,两份报告都强调政府和科学共同体应该有更大的公开性和透明性。上议院的报告更是呼吁“同公众的直接对话应当从可选的附加物转向基于科学的政策制定和研究组织与学术机构的活动,而且应该成为这一过程的一个常规组成部分。”[3]

英国政府对此给予了积极回应,并在2003年夏组织了一个名为“转基因国家?”(GM Nation?)的全国性公众参与活动。此次参与活动本身被设计成“创新的、有效的和审议的”,同时“由公众形成的”,其目标在于“向政府就公众观点、尤其是草根阶层观点的性质和范围提供有意义的信息,以便为决策制定提供信息。”[4]组织方虽力求保持各方观点的平衡,但讨论开展前,各利益相关者立场已很明确,广为接受的公众话语也已形成。而且,转基因农业已处于投资和发展循环的晚期,产品都接近大规模商业化,所以,公众参与已不太可能影响转基因技术发展轨迹。

为了让科学技术政策的制定过程更加民主化,避免另一场疯牛病或转基因争议的发生,在纳米技术兴起之后,英国的公众参与机制有了新的体制化努力。

早在2003年,英国政府就委托英国皇家学会和皇家工程学院(RS/RAEng),让其“识别该技术的应用,在当前和将来,可能引发出什么健康和安全、环境、伦理和社会影响或者不确定性。”[5]

经过一年多的调研,2004年7月,代表RS/RAEng的独立工作组和秘书处以《纳米科学和纳米技术:机遇与不确定性》为题发布了调查结果和建议。报告从三个方面认为纳米技术还处在“上游”:一是很多影响纳米技术未来轨迹的重要决策,尤其是关于研发资助和基础设施的决策都尚未作出;二是纳米技术的社会和伦理影响尚不确定,很多都还是假设性的;三是公众对纳米技术的态度尚不固定,公众对纳米技术的认识程度还比较低。该报告建议,当技术的发展还处在“上游”时,需要对纳米技术未来开展建设性的和积极的讨论。此时,根深蒂固和极端化的立场尚未出现,公众讨论尚可以为技术发展的关键决策提供信息,使用公众的参与预期未来的相关争议,通过建立共识,可以减少冲突。[6]

2005年,英国政府对此报告做出了正式回应,原则上肯定了报告中开展上游公众参与的建议。此后,英国各种政策讨论开始关注要将公众参与置于技术创新过程的“上游”——一个公众参与可以影响研究决策、在技术发展路径已经锁定或者极端化立场出现之前的阶段。正如英国财政部报告中所指出的,“要让(公众)争论在科学技术发展过程的上游发生,而不是在技术等待被利用、却被由于缺乏公众参与和对话而导致的公众质疑阻挡住了的下游。”[7]

2005年以来,英国政府和民间已组织开展了10个有关纳米技术的公众项目。这些项目旨在形成和改善公众参与实践,促使并探究公众观点的形成,以及影响纳米技术政策和研究。其中,较有代表性的有以下6个项目,见表 1

表 1 英国纳米技术公众参与主要项目的情况简介[8]

虽然“上游”公众参与的倡议受到了英国政府、学界和产业界的肯定,但其具体实践始终伴随着种种质疑。

首先,仅仅在时间上的早期参与是否就意味着“上游”参与?这就涉及到上游参与的真正目标:是为了安抚公众对新技术的担忧,还是真正要摆脱传统的“下游”角色,变成技术未来发展轨迹的积极形塑者之一?的确,公众参与存在一个悖论:通常,在影响决策制定的余地最大的时候,公众对一项议题及其影响的意识恰恰最低。此时,人们有理由怀疑,政府推行上游参与可能是抓住机会向尚不清楚情况的公众灌输官方观点,从而限制公众所关注的话题范围(例如,只关注可以量化的风险和管制议题等),让上游公众参与变成一种新的“缺失模型”。力推上游公众参与的英国智囊机构Demos成员詹姆逊·威尔斯顿(James Wilsdon)等就指出,上游参与有时被描绘成应对技术影响的一种方式,而并不有助于型塑技术发展轨迹。人们希望公众参与可以用来阻截争议——一种我们早早地吞下然后不用再担心的预防药。对此,威尔斯顿认为,作为让技术决策更加民主化的努力,真正的“上游”参与不仅体现在切入的时间点,还需要避免将“下游”的问题直接搬到“上游”。这意味着不是仅仅询问人们是否接受某个产品,而是要求他们去探索更加宽广的议题,例如:为何要发展这个技术,不是其他的技术?谁需要它?谁在控制它?谁从中受益?我们可以信任它吗?它对我和我的家人将意味着什么呢?它会改善环境吗?[9]

其次,在公众意识较低的情形下,“上游”公众参与是否会造成风险的放大?有学者担心:上游参与中的社会科学议程将把我们更深地带入泥沼中。在那里,我们将没有确凿的证据基础去做出关于科学发展的决定。此时,技术决策将根据有关最新事件的公众观点之变化而变化。而这些事件将被媒体运动放大或调节。[10]所以,打开上游争论本身也许就会带来公共争议。然而,亲身参与了英国首个上游公众参与项目“纳米陪审团”(Nano Jury UK)的提·罗杰斯-海顿(Tee Rogers-Hayden)等的研究则表明,尽管风险放大在很多情况下是一个重要的现象,但只有随时间累积起来的因素综合起来时,才最有可能发生。风险放大在英国纳米陪审团自身的运行过程中没有出现。例如,绝大多数陪审团建议似乎都是平衡的。科学和商业共同体无需害怕早期的公众参与只会强调负面后果或者关于风险的担忧。伴随着对更加包容性的过程和与科学家更多互动的渴望,纳米陪审团最后提出的建议也显示出对双向科学-社会对话的热情。因此,至少当前,没有迹象表明各种因素的混合会导致风险的放大。[11] 再次,“上游参与”的提法本身蕴含张力。虽然公众的“上游参与”力图改变技术决定论对伦理考量在技术发展中的被动定位,但“游”这一线性流的比喻暗示技术选择是不可避免的,而且干预和形塑技术轨道相对容易。这一形象经常贯穿上游公众实践中。然而,这与STS共同体中广泛接受的一个理念——科学-社会关系是共同生产的、可变的和情境以来的——产生了冲突。[12] 此外,公众的上游参与对科技政策的实际影响力有多大?这其实是所有公众参与实践所面临的共同挑战。因为倘若无法产生实际效力,那么极易挫伤公众参与的积极性,甚至会带来公众的愤世嫉俗与疲劳。

二、 人文社会学者的“上游参与”

除了公众的上游参与,另一种形式的“上游参与”则体现为与人文社会学者开展的ELSI (亦作ELSA)研究和技术评估研究。

①在欧洲,“ELSI”既可被理解成“伦理的、法律的和社会的影响” (Ethical,Legal and Social Implications),也可被理解成“伦理的、法律的和社会的议题”(Ethical,Legal and Social Issues)。前者有让伦理和社会研究限于科技发展下游的嫌疑,后者则试图摆脱这种局限,所以,近年来,不少STS学者也倾向于使用“ELSA”(Ethical ,Legal and Social Aspects),即“伦理的、法律的和社会的方面”。

就ELSI研究而言,早在1990年,美国启动人类基因组项目(HGP)时,就开始拨专款研究与基因信息使用有关的ELSI问题,以应对和预期绘制和排列人类基因对个人和社会的影响,检验伦理、法律和社会的后果,激发对这些问题的公众讨论,并提出政策选择方案,从而确保基因信息得到有益的使用,希冀在问题出现之前就提出可以避免负面影响的建议。[13]从实际效果上来看,尽管ELSI研究产生了大量的出版物,但它常常因为缺乏对科学研究和科学政策制定过程的影响力而备受批评。有学者指责,由于研究经费受制于科学家管理者(scientist-adminstrator),缺乏独立的组织去决定何种研究需要探讨伦理的、社会的和法律的问题,所以,发表出来的ELSI的研究,在范围上总是由相应的科学家划定,只是关注技术发展的内部和下游问题,而无法反应公众的利益;在结果上,也总是与政策制定过程无关,而只不过是一大堆给其他学者、健康专家看的专业学术文献。[14]

可见,早期的ELSI研究没有很好地被整合进科学政策过程和研发过程。然而,欧美政府在发展纳米技术时对有关伦理和社会问题的高度关注,提供了既往ELSI研究中人文社会科学的被动角色的机遇。例如,有学者就兴奋地宣称:“(我们)要努力用社会科学打开科学和创新的‘黑箱’,以便那些塑造科学发展的默会假设向更广泛的公众监督敞开,将更强的反思意识引入科学家的专家世界,期待创新过程间接地增加对人类需求和期待的敏感度,从而获得更大的适应力与可持续性。”[15]

那么,怎样才能在纳米技术发展过程中实现上面各种关于新的ELSI研究的美好憧憬?

一个有代表性的做法是美国学者艾瑞克·费希尔(Erik Fisher)所提出的“中游调节”进路。费希尔认为,虽然实际的技术发展过程并不是一个上游(授权、资助)——中游(研究、制造)——下游(应用)的线性过程,但若借用“河流比喻”来表述研究政策、研发工作与末端应用这几个相互重叠又流动的阶段之间的关系,那么,“上游”并不限定在“研发的上游”,也包括“中游”,即实施或制定战略性愿景与目标的研发决策阶段。他通过让自然科学家和人文社会学者彼此合作探究,来拓展和改善技术研发的决策制定过程,将伦理考量嵌入实验室中。具体地,一名“嵌入的”(embedded)人文社会学者深入实验室,进行为期12周的参与研究,同与之合作的自然科学家讨论他们的日常科学活动,使之产生批判性反思。一份半结构的决策协议作为参与者对话的基础,来协调这些合作性的互动。随后,互动的结果按照“中游调节”的框架来评估。中游调节在三个反复的阶段中发生:(1)事实上的调节(de facto modulation)阶段:不论是在实验室做实验,还是在设计监管政策,自然科学家都很少系统地反思其所处的社会和伦理语境;(2)反思性调节阶段:自然科学家认识到和系统地反思了决策制定的社会和伦理语境,不过,除了对个人或组织所处的更广阔的语境的意识有所提升,什么也没有改变。(3)审议调节阶段:在研究或制定战略性决策时,自然科学家将上一步骤中被提升了的反思性意识置于工作中。这会改善产品或决策过程。[16]

就技术评估进路而言,始于美国的早期技术评估同样深受技术决定论影响,仅对技术可行性及可能后果的预测分析,但1980年代兴起的参与式技术评估则不再被单纯地看做向决策过程输入客观、中立的知识,利益相关者在技术发展过程中的实际介入越来越受到重视。1986年,荷兰学者里普(Arie Rip)等人创建的建构性技术评估(Constructive Technology Assessment,简称CTA),就是其典型代表。与以往技术评估将技术的影响看做技术对环境的被动作用不同,CTA将评估的重点从对技术后果的预测转移到技术设计与开发本身,认为技术发展各个阶段都与相关社会因素的参与密切相关。使用者和其他利益相关者从一开始便参与技术发展之中。技术的发展应是一个包括社会学习在内的不断反馈的过程。技术的影响是行动者主动寻求或避免的结果。[17]因此,CTA可被界定为:通过尽可能多的相关社会因素的持续参与,为实现技术与社会发展的最佳结合而扩展关于技术的决策过程。[18]

具体到纳米技术的社会和伦理风险,秉持CTA进路的荷兰学者Arie Rip强调,我们不仅要关注纳米技术的社会应用阶段,更要关注纳米技术早期政策制定过程和研发实施过程,让有关纳米技术的ELSA研究贯穿纳米技术发展的全程。这一理念在2003年启动的荷兰国家级纳米技术评估项目“TA NanoNed”中进行了初步的尝试。该项目旨在“弥合创新和ELSA之间的鸿沟”,不是从局外人的视角去研究科技的ELSA问题,而要密切关注正在进行之中的科技研发。由于纳米科学技术的很多应用都仍处在“科学幻想”状态,为了避免对其社会影响的分析不成为“社会科学幻想”,Rip等人采用了“社会-技术情景”(social-technical scenarios)的方法,创建该技术在不远的将来的发展、运用和反响的社会-技术情境,用在与纳米技术某个具体领域中的利益相关者一起召开战略阐述工作坊当中[19],以便让与会者共同探讨纳米技术潜在的风险,并反馈给技术政策制定者和科学家,从而让公众和社会的意见影响技术的实际发展。

上述人文社会科学家“上游参与”实践效果如何?从具体研究成效来看,费希尔认为,纳米科学家的研究决策受到了社会学家的影响。科学家们开始意识到调节其决策的可能性,而且并不认为他们所感受到的社会考量是强加在他们身上的“伦理限速坎”,相反,这些反思扩宽了他们的决策范围。研究实践本身改变了:一个实验设置被调整,处理方法被改变,另一种化学催化剂被引入,安全规则形成了。[20]

从宏观上看,德国学者阿明·格雷瓦尔德(Armin Grunwald)等则给出了不那么乐观的评判。他们将伦理考量形塑纳米技术未来发展的抱负分成强、弱两种版本。所谓“强版本”,即,直接影响纳米科学技术的研发;所谓“弱版本”,即,影响公众、科学家与利益相关者对纳米技术的认知。格雷瓦尔德等认为,强版本的直接干预技术议程的构想不成功,弱版本的干预对技术发展的感知与理解,得到了检验。具体而言,对纳米技术的伦理议题的研究影响到了公众对于纳米技术的理解、对有关潜在风险的政治和社会意识、毒理学的身份、新研究领域的建立和新资助机遇的产生等。例如,社会对于纳米颗粒风险的意识得到了增强,但没有产生拒斥、恐惧等氛围。风险议题已经成为纳米技术“身份”的一部分。资助机构日益要求受资助的项目明确考虑风险议题。纳米科研工作者意识到纳米实验室不再与社会相隔离,他们的研究处在伦理争论的“监督”之下。但是,除了CTA之外,产业界和科学界并未根据人文社会学者的“上游参与”来制定决策。以德国Karlsruhe研究中心的国家纳米实验室与该中心下属的技术评估和系统分析研究所(ITAS)的合作经历为例,在相关决策制定准备过程中,技术评估的结果和咨询的必要性获得了处理,但在其研究议程的体制化和实施层面,技术评估只扮演了次要的角色。[21]可以说,人文社会科学家以STS研究、技术评估和伦理反思等形式构成的“上游参与”帮助纳米技术以特有的方式嵌入了社会。它们是形塑纳米技术和社会之间交界面的那股力量,但并非形塑纳米技术自身的那股力量。[22]

那么,为何人文社会学者的努力未能强有力地形塑纳米技术自身?从显见的直接原因上看,恐怕与以下两大因素有关。

首先,近年来欧美政府制定的纳米技术发展战略存在双重目标。众所周知,上世纪60年代以来,随着科技发展所带来的各种环境、健康乃至社会的负面效应凸显,公众已经不再完全相信,科学能够负责任地进行自我管理。于是,科技政策的制定者和管理者面临着一个相互矛盾的新任务:既要推进科学技术的发展,又要设定界限以保护社会。这种矛盾鲜明地体现在美国《21世纪法案》中。一方面,该法案强调维系国际竞争力的重要性,认为“美国应该保持在纳米技术的发展和应用中的全球领袖地位”、“加速纳米技术研发在私人领域中的使用”。另一方面,该法案又规定在社会的考量必须在纳米技术发展的过程中得到考虑并被整合进来。这两个目标一个是求得纳米技术的快速发展以获取经济效益,一个则是追求负责任的发展以避免经济损失。同样,在欧洲,对伦理学的重视也是出于维系欧洲经济竞争力、塑造欧洲政治身份认同这样宏大的欧洲目标。伦理学被引入欧洲的政治议程,尤其是科技政策的政治议程,在很大程度上,是因为传统的刚性法律制定过程过于迟缓,无法及时应对公众参与的各种需求,亟需一种较之法律更为灵活、更为及时的规范性。欧盟的官方想法似乎是通过伦理专家决断式的规范,弥补法律反馈与社会需求之间的滞缓,省却民主审议的低效率,在应对、安抚了欧洲公众对作为欧盟世界竞争基础的科技创新的疑虑后,欧洲既具备了民心上的稳定、又获得了经济上的发展。可以说,尽管欧美政府层在发展纳米技术时,已经充分考虑了可能的伦理和社会影响,但是,作为新技术的推动者,他们对于伦理考量的重视依然存在着局限,甚至存在着陷阱——伦理考量仍然很难摆脱成为新兴科技发展的润滑剂的角色,其批判性的保持仍然比较困难。

其次,人文社会学家的“上游参与”对纳米科学共同体的影响有限。虽然人文社会学者与纳米科学家开展了不同层面的跨学科合作,但事实上,人文社会学者进入实验室的门槛很高。如果没有纳米科学家、尤其是位于管理层的资深科学家的主动邀请或同意,人文社会学者一般很难进入实验室开展参与性研究。更根本地,在现有科技运行模式下,发展科学与管制科学被分离成两个部分,种种“上游参与”的尝试相较于科学共同体而言,都是一种外界力量的侵入。面临“不发表即出局”的巨大科研竞争压力,科学工作者们并不享有宽阔的伦理反思空间。如果我们要让科学家、工程师真正自觉承担起相应的社会责任,恐怕还需要从科技体制上做出根本性的改变。如果有一天,我们的科研体制不仅鼓励科学家、工程师们勇攀科研高峰,也鼓励他们去关注其科研工作所带来的社会后果,科技发展才真正能够从内而外地变得“伦理”起来!

三、 结论与展望

由于纳米技术是新型的使能技术,它面临着技术的、商业的和社会的多重不确定性。在转基因生物技术发展的教训面前,欧美各国政府在发展纳米技术时,从一开始就对有关的伦理和社会影响给予了关注。不论是公众参与,还是人文社会学者对相关伦理社会问题的研究,都呈现出了“上游参与”的鲜明特征。由此,曾被排斥在科技决策过程之外的公众,曾被局限在科技后果的分析与预测角色的ELSI研究和技术评估,开始借由“上游参与”获得了整合进科学技术实际发展过程的可能。

虽然,伦理考量当前在欧美纳米技术发展中所扮演的角色并不能保证一定产生巨大实际影响——比如,有些纳米科学家和工程师可能觉得让人文社会学者去做伦理研究就已经尽了自己的责任了,不会重视人文社会学者或公众的建议——但即便被忽视了,如果伦理方面的考量被整合进了纳米技术的研发过程之中,或者成为了纳米技术研发的一部分,那么,来自公众和人文社会科学界的声音获得了更大可能性,被科技政策制定者、科学共同体和产业界听到,进而影响纳米技术的发展方向的可能性也仍然会大很多。

虽然,就实际操作过程和效果来看,近年来在欧美展开的各种“上游参与”实践尚处在实验探索阶段,还面临着种种质疑与挑战。但不可否认的是,各种贯彻“负责任的纳米技术发展”的尝试表明,人类面对科技大踏步迈进时已经变得愈发谨慎,科技发展也不再是仅凭技术力量本身单向度地推进,而是在科技与社会加深互动的情形下共同塑造着人类的未来。这是人类在科技文明进程中所迈出的值得称赞的一步!

总之,更早的参与,就其现状而言,可能并不必然给我们带来更好的科技,但是,它让我们以更加公开、包容、负责任的方式去发展科技,让我们更有希望获得更好的科技、更好的未来!

Responsibility of Government and the Role of Scientists in Setting Environmental Standards -Taking Yokkaichi Asthma Episode as an Example
HU Ming-yan     
Department of Philosophy, Central Party School
Abstract: Under the shadow of GMO controversy, Europe and USA have initiated relevant ELSI research and many public engagement practices from the outset of the development of nanotechnology, since nanotechnology is a kind of powerful and potentially risky emerging technology. Hence, ethical concerns have revealed an "upstream engagement" tendency in the development of nanotechnology. It is no longer only playing as the judge afterwards, but embedded in the actual technology development, playing a much more active role.
Key words: Ethical concerns    nanotechnology    upstream engagement    
参考文献
[1] Marion Godman. But is It Unique to Nanotechnology? Reframing Nanoethics. Science and Engineering Ethics, 2008(14): 391-403.
[2] Rogers-Hayden and Nick Pidgeon. Moving engagement “upstream"? Nanotechnologies and the Royal Society and Royal Academy of Engineering's inquiry. Public Understanding of Science, 2007(16): 345-364.
[3] House of Lords, Science and Society. 2000. http://www.publications.parliament.uk/pa/ld199900/ldselect/ldsctech/38/3802.htm
[4] GM Nation?The Findings of the Public Debate. 2003.www.defra.gov.uk/environment/gm/debate/index.htm
[5] Royal Society& Royal Academy of Engineering. Nanoscience and Nanotechnologies: Opportunities and Uncertainties. 2004. http://www.raeng.org.uk/news/publications/list/reports/nanoscience_nanotechnologies.pdf
[6] Royal Society& Royal Academy of Engineering. Nanoscience and Nanotechnologies: Opportunities and Uncertainties. 2004.http://www.raeng.org.uk/news/publications/list/reports/nanoscience_nanotechnologies.pdf
[7] HM Treasury. Science and innovation investment framework 2004-2014. 2004:105. http://news.bbc.co.uk/nol/shared/bsp/hi/pdfs/science_innovation_120704.pdf
[8] Gavelin K, Wilson R, and, Doubleday R. Democratic Technologies? The Final report of the Nanotechnology Engagement Group. 2007.http://www.involve.org.uk/assets/Publications/Democratic-Technologies.pdf
[9] James Wilsdon. Paddling upstream: New currents in European technology assessment.In /M. Rodemeyer, D. Sarewitz& J. WilsdonEds.,The future of technology assessment.Washington, DC: Woodrow Wilson International Center for Scholars.2005: 22-29.http://www.wilsoncenter.org/news/docs/techassessment.pdf
[10] JoyceTait. Upstream engagement and the governance of science. EMBO reports, 2009(10): 18-22.
[11] Tee Rogers-hayden, Nick Pidgeon. Reflecting Upon the UK's Citizens' Jury onNanotechnologies: NanoJury UK.Nanotechnology. Law &Business,2006, (3):167-178. https://www.researchgate.net/publication/283465988_Reflecting_upon_the_UK's_citizens'_jury_on_nanotechnologies_NanoJury_UK
[12] Ana Delgado, KamillaLeinKj?lberg and Fern Wickson. Public Engagement coming of Age: From Theory to Pracitce in STS encounters in Nanotechnology. Public Understanding of Science, 2010(1): 1-20.
[13] Department of Health, Human Services & Department of Energy (USA).Understanding Our Genetic Inheritence.1990. http://www.genome.gov/10001477
[14] Micheal S. Yesley. What's ELSI got to do with it? Bioethics and the Human Genome Project. New Genetics and Society, 2008,(1):1-6. https://www.researchgate.net/publication/254322508_What's_ELSI_got_to_do_with_it_Bioethics_and_the_Human_Genome_Project
[15] Phil Macnaghten, Matthew B. Kearnes and Brian Wynne. Nanotechnology, Governance, and Public Deliberation: What Role for the Social Sciences?. Science Communication, 2005,(27): 268-287.
[16] Erik Fisher, Roop L. Mahajan and, Carl Mitcham. Midstream Modulation of Technology: Governance From Within. Bulletin of Science,Technlogy& Society, 2006,(6):485-496.
[17] Arie Rip, Thomas J. Misa and Johan Schot. Managing Technology in Society: The approach of Constructive Technology Assessment. London: Pinter, 1995.
[18] Johan Schot, ArieRip. The Past and Future of Constructive Technology Assessment. Technological Forecasting and Social Change, 1996(54): 251-268.
[19] ArieRip, Harro van Lente. Bridging the Gap Between Innovation and ELSA: The TA Program in the Dutch Nano-R&D Program NanoNed. Nanoethics, 2013(7): 7-16.
[20] DaanSchuurbiers, Erik Fisher. Lab-scale Intervention. EMBO reports, 2009(5): 424-427.
[21] Armin Grunwald, Peter Hocke. The Risk Debate on Nanoparticles: Contributions to a Normalisation of the Science/Society Relationship? .In Kaiser M et al.Eds.Governing Future Technologies. Sociology of the Sciences Yearbook (27), Springer Science+Business Media B.V., 2010: 157-177.
[22] Armin Grunwald. Ten Years of Research on Nanotechnology and Society- Outcomes and Achievements. InZülsdorf B. T. et al. Eds.Quantum Engagements: Social Reflections of Nanoscience and Emerging Technologies, IOS Press, 2011: 41-58.