如何科学有效地从众多申请者中选拔出最优秀的研究生是招生考试改革的核心问题。中国教育部于2017年初发布的《学位与研究生教育"十三五"规划》指出, 应"进一步深化硕士研究生考试招生改革, 优化初试科目和内容, 强化复试考核, 加强能力考查, 注重综合评价, 建立健全更加科学有效、公平公正的考核选拔体系。"国外亦正积极探索优化研究生招生考试的途径, 美国研究生院理事会在2016年发布的报告《研究生入学中的全面审核》号召美国各高校的研究生院实行更加全面的考察方式, 不仅考察考生的认知能力, 更应关注考生的"非认知能力"。然而令人遗憾的是, 报告指出:限于体制、时间及有限的测量方法, 难以对考生进行系统全面的考察, 特别是在非认知能力的测量上, 存在着效度不高、适用范围较窄等问题。^[1]

基于此, 本研究将聚焦于研究生招生考试中的"非认知能力"测量, 着力考察:什么是非认知能力？它包括哪些方面？现有哪些测量方法？这些方法有何弊端？如何改进?这些问题的厘清对于优化研究生招生考试制度, 提高生源质量具有重要的意义。

一、什么是非认知能力

依据美国心理学家Alexander的观点, 非认知能力是指对人们的行为活动产生影响, 但并不包含在认知能力、专业水平两大范畴内的心理因素, 诸如创造力、责任心、职业道德以及行为动机等都属于非认知能力的范畴。^[2]

当与既定的行为或实践联系在一起时, 非认知能力具有较为明确的特定指向。在劳动经济学领域, 有学者从影响职业发展的角度将非认知能力分为沟通能力、动机、合作能力、领导能力和创造能力; ^[3]在人力资源管理领域, 有学者依据是否影响农村青年雇佣, 将非认知能力分为思维方式、沟通能力与处事能力; ^[4]在军事学领域, 有学者依据选拔军人的标准, 将非认知能力分为避免消极行为的能力、领导能力、管理能力; ^[5]在教育学领域, 有学者从影响学生学业成就的角度将非认知能力分为学生的投入度和学习策略。^[6]

在高等教育领域, 一项与研究生招生选拔密切相关的研究值得关注。Oswald和Schimitt在2004年开展了一项对35所高校的调研, 致力于回答"什么样的本科生具有学术潜质"这一问题。研究发现, 具有学术潜质的本科生大多拥有十二项能力:知识获取能力、持续学习的兴趣与好奇心、艺术文化欣赏力、多元文化的包容力、领导力、人际能力、社会责任感、身心健康、职业倾向、适应生活能力、毅力和伦理观。其中属于非认知能力范畴的包括:持续学习的兴趣与好奇心, 即寻求新观点和新技能的积极性; 领导能力, 即与他人协作、激励他人、作为团队的代表, 并担任管理角色的能力; 人际能力, 即与他人相处和沟通的能力; 适应生活能力, 即对环境的适应能力, 对突发事件的处理能力以及对每天工作核心问题的计划能力; 毅力, 即对自己目标的坚守能力。^[7]

综上, 非认知能力的外延就像一个庞大的舞台, 当不同研究者将各自研究目的作为"聚光灯"投向舞台时, 他所看到的舞台场景有所不同。在一个场景, 产生影响的可能是领导能力; 在另一个场景, 产生影响的却可能是沟通能力。非认知能力的确定与测量具有很强的"场景依赖性", 既依赖于研究目的这盏"聚光灯", 也依赖于研究者本人的主观"投向"。故下文将着重论述对研究生教育阶段的学业成就产生显著影响的非认知能力。

二、哪些是影响研究生学业成就的非认知能力？

近三十年来, 一些学者专门致力于考察影响研究生学业成就的非认知能力。早在1989年, Enright和Gitomer就对多位著名学者和导师进行调查, 探索影响研究生学业成就的重要指标, ^[8]发现有七项能力最为关键:沟通能力, 即与他人分享观点、知识和视野的能力; 创造力, 即构思新颖想法的能力, 也包括学者对事物的兴趣和批判性能力; 解释能力, 即对现象或结论给予推理和归因的能力; 动机, 即对所从事工作所展示出的兴趣、参与和责任水平; 计划能力, 即为实现目标制定规划并予以实施的能力; 专业化能力, 即在特定的工作或社交场合展示个人专业水准的能力; 综合能力, 即将不同专业知识进行关联并整合的能力。其中, 沟通能力、动机、计划能力以及专业化能力被作者归属为非认知能力。

2000年后, 美国教育考试中心(Educational Testing Service, ETS)启动了一项大型的研究课题——"地平线"项目, 该课题致力于提高研究生招生考试的信度和效度, 为研究生申请者的选拔提供科学依据。基于此, ETS的一些研发人员与相关研究机构建立联系, 携手开展系列研究。

2000年, ETS研究员Briel等人针对不同培养机构的院长和教师进行多轮开放性访谈和问卷调查以了解"成功"的研究生所具有的特质。调查过程中, 非认知能力被反复提到, 包括毅力、沟通能力和领导能力等。专家们一致认为非认知能力的重要性甚至高于其所接受的专业训练和教学能力。^[9]Walpole等人基于对研究生入学考试(Graduate Record Examination, GRE)用户的深度访谈发现, 能够有效预测研究生学业成就的变量包括:人际能力、沟通能力、毅力、个人性格和价值观(其中包含开放度、诚实度、可信赖程度)以及责任心等。但目前这些变量并未被GRE有效地测量。^[10]

2005年, ETS研究员Kyllonen等人对研究生教育领域中的非认知能力进行了全面分析, 他们认为非认知能力包括三大类型:(1) 性格变量, 包括外向程度、情感稳定性、亲和性、责任心等; (2) 态度变量, 包括自我认知、自我效能、动机、归因、兴趣和社会价值观; (3) 准认知变量, 包括创造力、情商、认知方式和元认知。^[9]他们指出这些非认知能力应在研究生招生考试中被重点关注。

2012年, Kyllonen等人再次提出应着重考察考生的非认知能力, 包括:(1) 创新力; (2) 沟通技能; (3) 团队合作; (4) 毅力和韧性; (5) 计划和组织能力; (6) 道德与诚信。^[11]美国研究生院理事会同年发布的报告《前方之路:美国研究生教育的未来》将上述能力统称为"软技能"(Soft Skills), 并提出重视"软技能"的培养和考察有助于研究生能够更好地适应市场需求。^[12]

除了ETS的研究员, 非认知能力研究领域的著名学者Sedlacek也曾在其2005年出版的专著《战胜挑战:高等教育领域的非认知评价》提出高等教育领域(含研究生教育)的八项非认知能力^[13](见表 1), 该观点被收入2010年出版的《教育国际大百科全书(第三版)》(International Encyclopedia of Education, Edition: 3rd)。

结合已有研究, 我们将影响研究生学业成就的非认知能力归纳为以下七条:(1) 沟通能力, 即与导师、同行分享知识的能力, 在各类情景中清晰并明智地表达个人观点的能力, 善于倾听并抓住关键信息; (2) 规划能力, 即制定研究生学业目标, 并为目标实现寻求支持和配置资源的能力; (3) 社会适应性, 即对所在环境的适应能力, 对学习、生活中所遇到的不均衡状态的处理能力; (4) 责任心, 即自觉对研究生学习和工作负责的态度; (5) 人际交往, 即与导师等学术团体人员交流的能力; (6) 领导力, 即激励他人、作为团队的代表, 并担任管理角色的能力; (7) 团队合作能力, 即与他人合作完成各类任务的能力; (8) 内驱的学习动机, 即由对知识的渴求和探究的兴趣所驱动的学习。

三、当前如何测量考研者的非认知能力

正如ETS研究员Oliveri和Ezzo在《高等教育入学考试中非认知能力测量的角色》一文中指出:"当前在高等教育领域非认知能力测量的方法主要包括量表测验、推荐信、结构化面试。"^[14]

(一) 量表测验

量表测验广泛用于学习动机、人格特质以及创造力的测量, 其主要做法有:(1) 让被申请者填答通过信度和效度检验的量表; (2) 计算申请者在各维度填答得分; (3) 将申请者填答的得分与常模进行总分和分项对比; (4) 确定申请者非认知能力的得分水平。

当前测量动机的量表中具有代表性的包括成就动机量表、工作与家庭取向量表和成就动机问卷。这些量表主要采用自陈报告的方式进行测查, 信度、效度较高。以成就动机量表为例, 被测者依据自身实际情况对选择题进行回答。(题目示例:面临我没有把握克服的难题时, 我会非常幸福、快乐。)被调查者从选项"非常符合""比较符合""比较不符合"和"非常不符合"中进行选择, 不同选项赋有不同得分(如4分、3分、2分和1分)。通过将类似题目进行分值统计并与常模对比, 得到被调查者的成就动机水平。

当前测量人格特质的量表中具有代表性的包括艾森克人格问卷、卡特尔16-PF人格问卷和大五人格测量量表等。以大五人格量表为例, 它主要测量人的外向性、友善性、谨慎性、情绪稳定性和开放性。被测者也是依据自身情况对题目选项进行选择。(题目示例:我不是一个容易忧虑的人; 有时候我感到愤怒, 充满怨恨。)

当前测量创造力的量表中具有代表性的包括托兰斯创造性思维测验以及远距离联想测验^[15]。以远距离联想测验为例, 被测者将回答相关问题(题目示例:给你三个词汇"时间-头发-弹力", 请选择你第一时间想到的下一个词汇)。此类测验使用普遍, 但存在预测信效度不足的问题, 且需要依据被试年龄、性别、文化和时代的不同不断更新模型。^[16]

但需看到, 研究生招生考试中使用量表测验存在诸多问题:(1) 量表的信度和效度不足; (2) 参考的常模代表性不足, 甚至不具有常模可供参考; (3) 社会称许性会在一定程度扭曲测量结果, 被调查者倾向于回答受到社会赞许的答案, 特别是在人格特质的测量中, Shweder和D'Andrade曾发现人格测验的评价结果与现实的观察结果一致性很低。^[17]

(二) 结构化面试

结构化面试是预设若干的相关问题, 通过考官提问与考生即问即答的方式来测量其非认知能力的水平。结构化面试并不专门针对某一项非认知能力来设置, 而是综合性的考察方式。

一般而言, 结构化面试的过程为:(1) 准备阶段:制定面试流程、规则说明及纪律规范; 选择和培训考务人员; 设定测评要素, 包括知识、能力、品质等多个方面; 设定问题和基准答案; 确定评分标准; (2) 实施阶段:考官提问、追问和评分; (3) 总分阶段:汇总得分, 统计总分。^[18]

现实中结构化面试采用现场面试的方式, 电话面试或视频面试也不鲜见。但面试过程中专家所提出的问题并非严格的"有章可循", 更大程度上是具有较强个性化的考察方式。Elam分析了医学院研究生招生考试中评委的笔记内容, 发现具有不同专业背景和面试经验的教授对于同一面试应有的目的和方式都有显著不同的看法; ^[19]即使持有相同的看法, 在实际的面试中, 教授们所提问题也并没有真正按照所需考察的维度来加以设定, 更大程度上是一种基于个人意愿的随机提问。^[20]国内某著名高校研究生院负责招生的老师也发现:不同研究领域的大学教师在教育价值观、教学定位以及生活方式等方面, 存在显著的差别, 从而影响面试环节的科学性。^[21]随之带来的后果是面试严重缺乏效度, 至少在医学领域, 这一结论更为普遍, Noeth^[22]、Giddins^[23]、Smith^[24]等学者的研究结果均显示:面试成绩与研究生学业成就并不呈显著的相关性。

(三) 推荐信

推荐信是通过了解他人对考生的评价从而测量非认知能力的重要方式。研究生的推荐信需要多位专家学者从学术潜质、学习动机、人格特质以及品行等多个方面进行评价, 其中非常重要的一条是对申请者与其可能攻读的专业、项目是否匹配(Fit)做出判断。一般而言, 撰写推荐信的专家学者:(1) 由推荐者自己选择; (2) 对申请者能力(或某一方面的能力)有较大程度的了解, 且最好具有共事经历; (3) 自身具备一定的学术水准(在中国, 往往需要推荐人具有高级职称)。

推荐信对于考生非认知能力的测量存在着以下问题:(1) 推荐人往往依据他所理解的院校对研究生的选拔要求来撰写推荐信, 并不真正了解院校的实际要求; (2) 推荐人对于申请者相关能力的描述不可避免掺杂个人理解, 难以兼顾事实判断和价值判断; (3) 限于推荐信篇幅, 内容难以完全覆盖考生所有的非认知能力; (4) 信息可编码程度较差, 且难以依据推荐信内容对不同的申请者进行对比; (5) 人情因素会影响推荐信的信度和效度。

基于此, ETS提出了标准化推荐信(Standardized Letter of Recommendation, SLR)的方式来改良现有的推荐信。SLR包括7个维度(知识、分析能力、创造力、沟通技能、团队合作、动机、自我管理以及职业操守), 各维度均有4道题目。以团队合作维度为例, 其题目包括:"申请者能够易于分享观念""申请者能够支撑别人的努力""申请者在团队中工作融洽"以及"申请者行为举止开放、友好"等。每个题目的评分包括5级(低于平均水平、处于平均水平、高于平均水平、优秀以及非常出众。^[25]

ETS认为, 其开发的SLR有三大优点:(1) 题目更加准确和情景化, 每一道题目都指向具体的能力, 且不会产生模棱两可的判断; (2) 设计的维度和项目具有坚实的理论基础, 全面涵盖了影响研究生学业成就的最重要的非认知能力, 且经过了科学的实证检验; (3) 只需网络填答28项选择题, 能够大大节省推荐人的时间。^[26]此外, 较之于普通的推荐信, 标准化推荐信能够依据推荐人对申请者的评分进行对比。

在所开发的SLR的基础上, ETS通过后期的深入研究对维度和题目进行了微调, 最终形成了个人潜力指数(Personal Potential Index, PPI)来评价申请者的非认知能力。

我们认为, 无论是推荐信还是标准化推荐信, 虽有助于更加全面地了解申请者, 但存在着三大亟待解决的问题:(1) 推荐人是由申请者提供, 故申请者可能在选取推荐人时存在着"趋利避害"的倾向; (2) 推荐人与申请者具有共事经历, 人情因素在一定程度可能会影响评价有效性; (3) 非认知能力评价标准的模糊性, 使推荐人可能倾向于选择一个"正确"或"漂亮"选项。一份对PPI进行效度分析的文献将400位申请者的个人潜力指数得分进行了描述性统计, 28道题目中有12道题目的得分均值在3分和4分之间(介于"高于平均水平"和"优秀"之间), 余下16道题目的得分均值均在4分以上(介于"优秀"和"非常出色"之间), 同时均值得分的标准差大多介于0.5左右, 这表明绝大多数的推荐人会较高地评价申请人, 且倾向于选择"高于平均水平"和"优秀"选项, 且区分度不大。^[27]

四、加强非认知能力测量的若干建议

展望全球, 目前在研究生招生考试中对考生非认知能力的测量仍处于"摸着石子过河"的阶段, 任何的探索都需要在一个更长的时间维度上进行检验。例如承载着ETS巨大希望的PPI被ETS自身叫停, 其原因在于PPI的打分系统存在着潜在的"偏见", 申请者的打分人可能会因为"宽容心"而给申请者高分。

但正如美国研究生院理事会所言, "加强对研究生院申请者非认知能力的测量有助于提高学生群体的多样性, 从而激发研究生创新的活力, 同时能够更有效地弥补单纯依靠考试来考察学生学习能力的弊端"。国内一些高校研究生院负责招生的老师也指出: "研究生招考应充分考察考生直觉、顿悟、灵感、想象等非智力因素, 因为这些因素恰恰是打开创新之门的一道道秘匙。"^[28]

有鉴于此, 加强非认知能力测量是优化我国研究生招生考试制度的重要一环, 有以下五点建议可供参考:

第一, 通过对国内著名导师、优秀研究生的访谈、调查, 进一步确定影响中国研究生学业成就的非认知能力。目前系统探讨影响国内研究生学业成就的非认知能力的研究仍然很少。同时, 中国研究生的培养也具有其独特性。立足本土, 探索中国研究生的培养规律, 挖掘影响中国研究生学业成就的非认知能力尤为重要。

第二, 优化量表测验, 纳入情景式、案例式的题目, 增强其科学性。例如, 可以引入情景判断测验的题目:假如你是一名博士二年级女学生, 得知自己意外有了身孕, 面对这种情况, 你认为最有效的一项措施(), 你认为最无效的一项措施(); A、继续学习, 直到将孩子生出来B、暂时休学, 生完孩子后再继续深造C、放弃孩子, 迅速回归读博状态D、放弃学位, 专心做孕期妈妈。诸如此类的情景式题目具有较高的仿真性, 能够提高测量的有效性并兼顾群体差异。

第三, 进一步加强面试环节的结构化。针对当前面试环节的缺陷, 院校研究生招生的实施部门需要:(1) 优化面试问题的设置, 既在凸显科学性和系统性的前提下增加问题的预设性, 又需要"随机应变"为现场针对性的提问提供空间, 正如清华大学研究生院负责招生的老师所指出的:"应根据学科共性素质要求和特殊素质要求设计考核内容和形式"; ^[29](2) 形成明晰的评分标准, 对于知识性问题, 可以根据回答问题的正确与否来进行评分, 对于开放性的问题, 要确定与自身专业实际情况相联系的评分等级原则。总而言之, 做到问题设计具有科学性和针对性, 评分标准有理可依, 避免出现不同考官对评分原则、等级理解不一致的现象。

第四, 试点采用标准化推荐信, 并进行改进。虽然美国ETS暂时取消了PPI, 但并不表明PPI一无是处, 相反一些学者已经提出了优化PPI的思路:(1) 确定常模。通过数据的累积, 提供各学校或院系学生非认知能力的分数以及每个具体维度的相对位次, 从而使招生机构更加恰当地基于推荐信进行决策; (2) 推荐人评价结果即时反馈, 通过数据库的建立, 在推荐人评价完后, 系统提供即时反馈(反馈示例:您对这位申请人的评价在您已有的评价中处于第20百分位数, 您确定吗？), 这种反馈有助于推荐人保持自身评价标准的一致性, 在评价过程中更加客观公正; (3) 推荐人宽严程度校正。当推荐信系统中汇集越来越多的评价信息, 就可以对推荐人的评分宽严程度进行评判, 并实现评分校正; (4) 推荐人效度校正。将推荐人的评分与其他申请人的研究生学业成就变量(例如研究生GPA)之间建立联系, 考察推荐信的预测效度, 对预测效度高的推荐人赋予更大的权重; ^[26](5) 将推荐信的打分结果保密; (6) 要求推荐人对远高出或远低于平均值的打分给予详细的解释。^[25]基于这些改进, 立足于我国实际、开发本土化的标准化推荐信是测量考生非认知能力的重要方向。

第五, 纳入传记数据法, 基于考生过往经历考察其非认知能力。传记数据通常是指人们将传记信息呈现在一个自我报告的、标准化的、多项选择形式的问卷中, 问卷要求考生描述过往经历以及能够推测或证实自己个性的材料等(题目示例:本科时期参与教师组织的科研项目个数; 是否有社区志愿服务经历)。通过对传记问卷填答的分析, 了解考生的非认知能力。但需注意, 招考人员必须对传记数据保持警惕, 因为处于实际的选拔场景时, 申请者有可能提供不实信息以增加申请成功的可能性。当然, 要求申请者提供详实的佐证材料有助于降低虚报的可能。^[30]此外, 在对传记数据进行评分时也可考虑采用双向匿名的评价系统, 从而降低招考中来自道德风险的逆向选择。^[31]