当前，我国科技评价改革正处于新的关键点上，破“四唯”之后怎么立新标成为社会普遍关注的问题，迫切需要在科技评价上有新的思路和新的方法。本文聚焦科技评价的国际实践，介绍《关于科研评价的旧金山宣言》(The San Francisco Declaration on Research Assessment, DORA)(以下简称“旧金山宣言”)以及受其影响，国际学术组织、资助机构、高校等在科技评价^①改革方面的实践与探索，旨在为我国深化科技评价改革提供参考与借鉴。

① 需要说明的是，我国惯用的“科技评价”措辞，更多是指政府所资助的大学和科研机构等的科研评价活动，与国际上的“research evaluation”(科研评价)内涵相似。为保持一致性，在文中谈到国内情况时，使用“科技评价”一词，在谈到国际情况时使用“科研评价”一词。

引文分析法是科学计量学的基础方法，也是定量评价的主流方法。从起源看，Schoenbach等^[1]提出利用参考文献追踪科学进展的引文分析方法。美国ISI信息研究所在1963年开始通过引文分析筛选期刊，形成SCI期刊库，为引文分析法的发展奠定基础和条件，促进引文分析法在科研评价的应用。引文分析法的引入，一方面促进科研工作，带来通过引文分析了解科学进展的积极作用；另一方面，引文分析法的不当使用，特别是在评价上的不当使用，如过度注重文章被引频次及高影响因子刊物上的文章，也产生日益增大的负面影响。在科研评价中如何避免引文分析法(在名称使用上，现在更多地用“文献计量学”取代)的不当使用成为国际学术界越来越关注的一个重要问题。“旧金山宣言”及其推进组织“DORA科研评价联盟”^①就是在这个背景上出现的。

① 参见https://sfdora.org/。

2012年，在旧金山召开的美国细胞生物学学会(ASCB)年会期间，时任美国细胞生物学学会总裁斯蒂芬·贝尔图齐和Elife期刊前执行董事马克·帕特森、PNAS前主编兰迪·舍克曼、MBoS主编大卫·德鲁宾、Science杂志前主编布鲁斯·阿尔伯茨等学术期刊负责人，讨论期刊影响因子在科研评价中不当使用的弊端，形成对此发表联合声明的共识，并由马克·帕特森执笔起草著名的《关于科研评价的旧金山宣言》初稿^[2]。“旧金山宣言”初稿以后经过修改在美国细胞生物学学会网站发布，很快得到来自全球的几乎所有科研领域的研究机构、资助者、政策制定者、文献计量学家和许多不同资历的科学家的认可与签名。经过近十年的努力，自发布以来，该宣言已经得到2 444家机构和18 540名个人的签署支持，包括Nature、Science等国际知名期刊以及Taylor & Francis出版商等。中国科学院副院长张亚平最早以中国学者身份签署宣言。事实上，“旧金山宣言”^①的签名是一直开放的，只要认同宣言内容，所有科研相关机构或个人都可以在网上随时签名。

“旧金山宣言”指出，科学研究的产出形式多种多样，基金资助机构、科研单位以及科学家自身都有对他们的科研产出质量和影响进行评估的愿望和需求，对科研产出进行准确地测度、明智地评估、经过思考的应用已势在必行。该宣言倡导科研评价要回归到科研工作本身的价值中去，而不是基于论文发表的期刊或影响因子。从内容上看，“旧金山宣言”从科研评价关键利益主体角度出发，就资助机构、研究机构、出版机构、指标提供机构以及科研人员等如何恰当使用论文、出版物、期刊影响因子，开展负责任评价等提出倡导性建议和禁止性清单^[3]。该宣言已被翻译成26种语言在全球范围内广泛流传。表 1列出“旧金山宣言”的部分内容。

表 1(Tab. 1)

表 1 “旧金山宣言”部分内容摘录 建议类别 具体内容 总体建议 禁止使用基于期刊的定量指标如期刊影响因子作为评价单篇论文质量的替代指标，来衡量科学家个人的研究贡献以及在人员聘用、晋升或资助决策中直接使用 对资助机构的建议 关于评价的标准，在评价项目申请者(特别是职业生涯早期研究人员)科研产出能力方面，要明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多 除学术论文之外，评价还应考虑所有科研成果(包括数据集和软件)以及更广泛的社会影响(包括定性指标)，如对政策和实践的影响，以更好地达成评价的目的 对科研机构的建议 关于评价的标准，在服务于人员招聘、终身聘用和晋升(特别是职业生涯早期研究人员)等方面的决策时，要明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多 除学术论文之外，评价还应考虑所有科研成果(包括数据集和软件)的价值和影响以及更广泛的社会影响的评价方法(包括定性指标)，如对政策和实践的影响的评价方法，以更好地达成评价的目的

表 1 “旧金山宣言”部分内容摘录

为持续宣传和实践“旧金山宣言”，不断优化科研评价方法，2016—2017年间，DORA科研评价联盟在美国细胞生物学学会的支持下正式成立。DORA科研评价联盟的目标包括四个方面：提高认识，即提请注意科研评估中的新工具和流程以及负责任地使用符合核心学术价值观的指标，并促进决策的一致性和透明度；促进执行，即帮助制定招聘、晋升和资金决策的新政策和做法；推动变化，即通过跨学科和全球合作，广泛推广科研评估改革；改善公平，即在设计直接解决学术界结构性不平等问题的科研评估实践中有更广泛代表性的研究人员的参与。来自全球高校、科研院所等27名科学家和科研评价领域专业人员组成的执行委员会负责DORA科研评价联盟重要事务的决策，来自中国科学院评估中心的李晓轩主任是执行委员之一。

根据DORA科研评价联盟2018年制定的最新路线图^[4]，其近年来活动主要聚焦于三个方面：一是提高对开发可靠的评估方案的认识，以避免在研究评估中不适当地使用量化指标；二是研究和推广促进科研评估最佳实践的工具和流程；三是在学术领域和相关领域中扩大“旧金山宣言”的影响力。2020年启动的“促进研究评估工具”项目^[5]作为DORA科研评价联盟近年来的重点活动，研究重点之一是跟踪学术机构在全球范围内用于人员招聘、晋升和任期决策的方法和标准，并遴选好的实践案例，为科研评估改革提供资源和实践指导。当前DORA科研评价联盟已经面向全球收集完成大量实践案例，正在计划开展用户反馈和大规模的问卷调查活动。

受到“旧金山宣言”的影响，国际科研管理学会联盟于2018年成立科研评价工作小组^[6]。该小组致力于更好地理解和发展负责任评价的最佳做法，目的是为从业者和高级领导人提供有效和负责任评价所需的工具。当前，该研究小组的重点包括两个方面：一是开发对全球大学排名进行评级的方法，试图引起人们关注并考虑如何使大学排名更公平和更负责任^[7]；二是提出负责任评价的SCOPE评估框架，如表 2所示，指导大学高层领导者和相关人员采用和实践负责任评价^[8]。SCOPE评估框架得到了Nature等知名期刊的认同与重视，并已被翻译成中文、丹麦语、冰岛语、挪威语、葡萄牙语等多种语言在相关领域内多个国际学术会议中进行宣传与交流。

表 2(Tab. 2)

表 2 国际科研管理学会联盟科研评价工作小组提出的SCOPE评估框架[3] 内容 具体含义 重视价值导向 而非不相干的他人的关注点 而非唾手可得的数据材料 情景考虑 你在评估谁？ 你为什么要开展评估？ 评估选项 同时考虑定性和定量方法 与被评者一起开展评估 把握评价背后的问题 你的评估可能会产生哪些意想不到的后果？ 评估成本是否超出效益？ 元评估 你的评估是否达到预期目标？ 不断检验和审查你的评估方法

表 2 国际科研管理学会联盟科研评价工作小组提出的SCOPE评估框架[3]

事实上，除国际科研管理学会联盟外，许多国际学术组织也积极投身推动科研评价改革。例如，全球研究理事会在2021年发布负责任评价的全球倡议，旨在动员资助机构在所在国家或区域内实现其负责任评价目标，制定有效的科研影响力评估框架^[9]。2021年，由全球青年学院、国际科学院组织和国际科学理事会联合发起一项全球科研评价改革调研，旨在为改进现有科研评价方法提供咨询意见。据悉，近期这三个国际学术组织将联合发布一项有关科研评价改革的倡议。

“二战”之后，同行评议作为科研资助经费的核心分配机制在科学基金资助机构得到普遍应用^[10]，形成由评议主体及其行为规范、评议程序、评议准则等所构成的相对成熟的同行评议系统，从而实现控制科研质量的目标^[11]。“旧金山宣言”对资助机构开展以同行评议为主的项目评审活动提出两条建议：“关于评价的标准，在评价项目申请者(特别是职业生涯早期研究人员)科研产出能力方面，要明确学术论文的科学内涵比出版物的计量指标或期刊等级重要得多；为了评价科学研究，除了发表的研究成果外，应考虑数据集和软件等所有研究产出的价值和影响，还应该考虑采用更广泛的影响测量指标，如对政策和实践的影响。”

“旧金山宣言”提出的倡议得到国际上许多基金资助机构的认同，推动了资助机构的项目评审改革。美国国家科学基金会率先修改科研基金申请指南，将指南中“出版物(publications)”一节的名称变更为“产品(products)”^[12]，寓意科学研究的产出不仅仅是论文和著作等出版物。同时，从形式和要求上对项目申请书作出改动，包括降低成果数量要求，即申请者最多提交5项与项目密切相关的成果清单以及不超过5项的其他重要成果(不限于是否与申请项目相关)^[13]。

爱尔兰卫生研究委员会在其资助计划中明确认可各种类型的研究成果，如同行评议文章、研究数据、研究材料、数据库、音频/视频产品、国家和/或国际报告、专利等^[14]。爱尔兰卫生研究委员会在2017年签署“旧金山宣言”后，推出一系列政策，旨在通过提高认识、员工培训和为评审专家制定额外指南来减少决策中的无意识偏见。例如，评审专家在评估研究方案的内容、质量和影响的同时，要考虑科研人员职业中断、灵活的工作安排以及研究领域变化等因素。爱尔兰卫生研究委员会还承诺，资助机构将采用开放研究指标和负责任的指标进行评估，并且奖励各种产出和具有更广泛社会影响的科研活动^[14]。

英国癌症研究所重视并奖励所有类型的研究成果，除出版物外，还包括预印本、培训、对联盟的贡献、专利和关键数据集的共享、软件、新的检测和试剂^[15]。英国癌症研究所研究制定同行评议的评审指南，以期引导专家在评审中加强对研究方式和科学贡献的重视。其中明确指出，专家在进行评审时，除去评估申请人的研究成果记录、主要研究成果及其是否支持所申请的研究时，还要重视研究成果的价值和影响。惠康基金会强调要考虑因学科不同产生的各种可能的研究成果，包括研究文章、数据、试剂、软件、知识产权和政策变化^[16]，同时在其修改后的项目申请表中，不再刻意要求研究人员的论文引用次数，而是要求研究人员列出具体成果^[17]。

我国基础研究的最大资助机构——国家自然科学基金委员会在2018年提出“负责任、讲信誉、计贡献”的项目评审机制，探索对专家评审的结果和行为进行记录和分析，以此规范专家评审行为并引导专家负责任地开展评审^[18]。这既符合我国当前发展需要，也与“旧金山宣言”的精神相契合。

在大数据时代，基于数据和指标等证据的决策制定方式促使科研管理人员更加关注对科研活动和发展趋势的跟踪与分析。量化评价模式因简单好操作，在一定程度上能够有效降低管理成本、减轻管理压力，因此，全球范围内一度形成了“指标潮”，科研人员面临“不出版就淘汰”的压力也越来越大。国际上一些高校纷纷开始寻求新的科研人员评价模式，并逐渐形成成熟的案例库。

受到“旧金山宣言”的影响，挪威大学协会构建了一个灵活的、结构化的国家级职业评估框架，它是评估一般学术活动(结果和能力)的框架，主要目标之一是比已有实践更加系统地评估多个专业领域。该评估框架可根据不同目的和需要进行组合，其评估方法更透明、更广泛和更全面，而非片面使用指标^[19]。这种扩大的评估方法旨在激励和奖励更广泛的学术活动，并最终改善学术文化和研究质量。该评估框架的构建参考了欧洲委员会针对开放科学职业评估模型的六大类内容：研究成果、研究过程、教育能力、影响力和创新性、领导力以及其他经验，如表 3所示。在此基础上，增设三个纵向要素，即结果和能力指标、标准文件资料及客观证据、具有反思性的自我定性估。挪威国家级职业评估框架已经根据自身国情进行调整，在挪威高校内推广开来并发展成为通用框架。

表 3(Tab. 3)

表 3 挪威国家级职业评估框架 六大类内容 结果和能力指标(示例) 标准文件资料及客观证据 具有反思性的自我定性估 研究成果 出版物 数据集 软件 方法论 艺术产品 研究报告 CRIS系统(如Cristin)和其他数据库 对结果的相关性和质量的反思 重点在于已发表的作品和其他成果的开放获取性，以及数据是否遵守FAIR原则 研究过程 在研究团队中的领导力和参与度 跨学科合作 科研诚信 期刊编辑活动 同行评议服务 外部资金获取情况 研究基础设施的发展 临床试验的领导力和参与度 CRIS系统和其他数据库 带有源数据链接的叙述性简历 对承担的职责和相关性的反思，学术界内外的各种参与者如何以及为何参与研究过程 重点在于研究过程中的透明度 教学能力 课程的计划、执行、评估和发展以及指导学生的情况 学术界教育标准的参与情况 学生指导 教学材料的设计和分享情况 带有源数据链接的叙述性简历 演讲活动的注册情况 教学档案 对正式和非正式能力和经验的反思 重点在于开放教育和教育资源的共享 影响力和创新性 创新性 创业精神和商业化程度 社会创新 公共部门的创新 公民科学 教科书 研究报告 研究在公共行政和工业中的应用 CRIS系统和其他数据库 Altmetrics数据 关于影响力的叙述性案例 专利和许可证 反思活动对社会的相关性和影响，以及对外部研究的贡献 重点在于与公众和其他人分享研究和教育成果 领导力 机构和部门的领导力情况 学术网络和项目中的领导力情况 学术界以外的领导力情况 领导小组和其他委员会工作 带有源数据链接的叙述性简历 CRIS系统和其他数据库 正式和非正式的领导力，是对角色、过程和效果的反思 重点在于对与开放科学有关的战略和政策发展作出的贡献 其他经验 来自学术界以外部门的经验和能力 课程和学科相关开发工作 带有源数据链接的叙述性简历 反思这些经验如何有助于提高能力

表 3 挪威国家级职业评估框架

与挪威相似，伦敦大学学院在签署“旧金山宣言”后，也受其影响并在科研人才评价方面作出新的探索，提出科教人员学术职业框架，通过从第7级(最低级)到第10级(最高级)科教人员在科学研究、教育、企业和外部联系以及机构参与度等方面的活动和影响力指标范例的描述，为科教人员规划职业生涯提供参考^[20]。该框架旨在支持选择不同类型科教人员职业生涯的发展，并以多种方式供员工和管理人员使用，比如可用于建立推广案例、评估晋升案例、讨论职业轨迹、考虑奖励和表彰情况等。

总体上，科研评价是国际学术界关注的热点问题，国际学术界正在多方面采取措施，形成丰富多彩的实践案例。具体来说，第一，“旧金山宣言”是近年来针对在科研评价中如何避免引文分析法的不当使用问题的一个有重要影响的倡议，得到包括中国在内的国际学术共同体的广泛响应，越来越多的科研相关单位和科学家签署该宣言。第二，为落实“旧金山宣言”，国际学术界成立以DORA命名的专门的科研评价联盟，我国也是该联盟的执行委员之一。国际科研管理学会联盟等国际学术组织也将改进科研评价方法作为一项重要工作，发挥各自优势开展改革科研评价的研究以及推广好的实践经验。第三，受“旧金山宣言”的影响，许多资助机构和科研单位(高校)正在积极对照该宣言精神改进科研评价工作，并探索形成一些好的科研评价方法。分别而言，科学基金资助机构以改进评审资助标准以及同行评议机制为着力点，高校机构将以人为本、更加综合全面的人才评价作为改革的主流方向。

多年来，改革科技评价一直是我国的一项重要任务，也是一块难啃的“硬骨头”。2018年以来，我国密集出台“三评”改革、“破四唯”等一系列政策，一些明显不合理的评价方法得到纠正。但是，“破”之后“立”什么的问题还远没有解决。结合以“旧金山宣言”为代表的国际科研评价改革实践来看，有如下几点启示：

第一，科技评价的问题不仅我国有，世界其他国家包括发达国家都有。就其本质而言，既是科学投入与科研队伍大规模发展带来的管理复杂化的体现，也是科学研究从个人兴趣发展到满足国家需求的趋势带来的适应性问题的体现。但是，我国因为科研起点低，近四十多年来发展快，科技评价方面的问题相比科技先进国家更多一些。为此，改革科技评价需要有打持久战的准备。

第二，科技评价改革需要有一个清晰的理念框架指导并有专业组织持续推进落实。比如“旧金山宣言”就是一个好的理念框架，DORA科研评价联盟就是持续推进宣言落地的组织。我国在科技评价改革方面虽然投入很大，但是清晰的理念框架和推进的专业机构尚不明确，需要进一步做好顶层设计。

第三，科技评价改革不能仅靠政府出台各种政策文件或者运动式整改，而是更加需要由科研单位探索形成各自的科技评价方法。比如，国际上许多学术组织、资助机构与高校都在根据“旧金山宣言”精神分头行动，完善各自的评价方法，而这些好的方法的交流推广则能推动整体科技评价的进步。为此，要进一步深化“放管服”改革，给科研单位下放足够的自主权，调动其积极性，让各单位结合自己的特点和需求不断探索好的评价方法，这是解决科技评价“硬骨头”问题的一条根本出路。