文章快速检索     高级检索
  社会工作与管理  2024, Vol. 24Issue (3): 12-21, 68.
0

引用本文 

曾守锤, 徐馨怡, 张欢欢. 社会工作师职业水平考试的内容效度研究[J]. 社会工作与管理, 2024, 24(3): 12-21, 68.
ZENG Shouchui, XU Xinyi, ZHANG Huanhuan. A Preliminary Test of the Content Validity of Social Worker’s Professional Level Examination[J]. Social Work and Management, 2024, 24(3): 12-21, 68.

作者简介

曾守锤(1974— ),男,汉族,教授,博士;主要研究方向:社会工作职业和职业化,社会工作教育及其与社会工作职业化的互动,儿童和青少年社会工作.

文章历史

收稿日期:2023-10-27
社会工作师职业水平考试的内容效度研究
曾守锤 , 徐馨怡 , 张欢欢     
华东理工大学社会与公共管理学院,上海, 200237
摘要: 从2008—2021年,社会工作师职业水平考试(简称社工师考试)已实施了14年,累计约20万人获得了相关证书。为了评估该权威性考试的内容效度,文章以布卢姆的教育目标分类学体系以及安德森对该体系的修订版本作为框架,采用量化的内容分析方法,对2008—2021年该考试三门科目(《社会工作综合能力(中级)》《社会工作实务(中级)》《社会工作法规与政策》)考题所考察的知识类型和认知过程进行量化研究。结果表明,社工师考试主要考察的是陈述性知识(社会工作理论知识)而非程序性知识(社会工作实务知识);社工师考试考察最多的是“记忆”这类层次较低的认知过程,而忽视了对更高级认知过程(如分析、评价、应用等)的考察。所以社工师考试实际所考察内容与其所欲考察内容之间的契合度(内容效度)有待提升。
关键词: 社工师职业水平考试    内容效度    内容分析    纵向分析    
A Preliminary Test of the Content Validity of Social Worker’s Professional Level Examination
ZENG Shouchui , XU Xinyi , ZHANG Huanhuan     
School of Social and Public Administration, East China University of Science and Technology, Shanghai, 200237, China
Abstract: Social Worker’s Professional Level Examination (SWPLE) has been administered for 14 years since 2008, with a cumulative total of approximately 200,000 people having earned the relevatn certificates. To examine the content validity of this authoritative test, this study draws on Bloom’s Taxonomy of Educational Objectives and Anderson and colleagues’ revisions as the frame. Adopting quantitative content analysis, this study analyzes the knowledge categories and cognition processes of the items of the three courses of SWPLE during 2008-2021, including the Intermediate Level Social Work Comprehensive Competence Test (ILSWCCT), the Intermediate Level Social Work Practice Competence Test (ILSWPCT), and the Social Work Law and Policy (SWLP). The results reveal that the SWPLE test mainly examines declarative knowledge (i.e., theorical knowledge) rather than procedural knowledge (i.e., practice knowledge); SWPLE mainly tests the cognitive processes at a lower level such as memorization, and ignores to examine more advanced cognitive processes (such as analysis, evaluation and application). These findings indicate that SWPLE does not examine what it claims to examine and is not a valid test. These findings have significant implications for the promotion of validity of SWPLE.
Key words: Social Worker’s Professional Level Examination    content validity    content analysis    longitudinal analysis    
一、问题提出

2006年,人事部(现为人力资源和社会保障部)和民政部联合发布了《社会工作者职业水平评价暂行规定》和《助理社会工作师、社会工作师职业水平考试实施办法》,标志着我国在建立社会工作者职业水平评价制度上迈出了重要一步。[1]2008年,全国助理社会工作师和社会工作师职业水平考试(以下分别简称助理社工师考试和社工师考试)首次实施,标志着社会工作者职业水平评价制度“落地”实施。截至2021年,累计约329.30万人次参加了社会工作者职业水平考试,累计通过人数约73.89万人。 1[2-3]助理社工师和社工师考试的通过率和历年累计通过人数详见表1图1。从助理社工师和社工师的人数增长来看,这是一个非常了不起的成就。这既是对中央2006年提出的“建设宏大的社会工作人才队伍”宏伟目标的推进和落实,也是对中国社会工作职业化和专业化的巨大推动。与此同时,关于社会工作者职业水平评价本身的科学性或有效性,研究者们也提出了诸多意见。

表 1 助理社工师和社工师考试历年通过率(2008—2021年) (单位:%)
图 1 助理社工师和社工师考试历年累积通过人数(2008—2021年)

比如,丁美方和齐芳认为,2008年社工师考试题目主要存在三个问题:(1)主观题被设置为名词解释,这变成了对考生死记硬背能力的考察;(2)考题过偏过细;(3)考题的覆盖面过于狭窄。[4]朱健刚和童秋婷对G省社会工作者职业水平评价制度改革的调查发现,该评价的效度存在三方面不足:(1)该评价主要考察的是社会工作个案和理论方面的内容,无法体现社区工作的实际情况;(2)该评价设置标准答案的做法与现实中社区工作不存在标准答案的真实情况不符;(3)该评价所提供的标准答案在现实中不适用。[5]还有研究发现,不管是助理社工师考试还是社工师考试,其历年通过率都非常不稳定(这从表1也可看出),这暗示两种考试的效度可能存在不足。[2]此外,曾守锤的量化研究发现,助理社工师考试的效度存在三个问题:(1)主要考察的是社会工作的理论知识,非实务能力,这背离了该考试的初衷;(2)有些年份某些考试内容模块的考题数量失衡;(3)《综合能力》科目与《实务》科目的边界不太清晰。[6]

美国社会工作者职业资格认证系统非常精细和复杂,其所开发的执照种类也比较多,比如,学会认证社会工作者、持证临床社会工作者,等等。[7]那么,一直走在国际发展前列的美国社会工作者职业资格考试的效度如何?通过查阅文献得知,尽管有些研究发现某些考试的效度比较理想[8],但更多研究发现,美国某些社会工作者职业资格考试的效度依然存在问题。[9-13]Marson等人的研究表明,社会工作理事会协会的职业资格考试的效度(和信度)非常理想。[8]但Cherry等人的研究均揭示,该考试的前身——美国社会工作理事会协会所开发的意在建立全国性社会工作者职业资格考试的效度不够理想。Cherry等人通过对美国39所高校242名教师的调查发现,72%的教师认为该考试无法真正考察出社会工作者的实务能力;[9]同时,Randall等人研究发现,美国临床社会工作者职业资格考试的内容效度和区分效度均不太理想。[11]此外,Thyer等人的研究也表明,美国临床社会工作者职业资格考试和美国社会工作者学会认证工作者协会考试的内容效度都存在一定问题。[11-12]面对美国社会工作者职业资格考试效度所存在的诸多问题,同时考虑到美国从事社会工作职业必须拥有社会工作专业教育背景这一事实,Johnson等人对这些考试的效度提出了严重质疑:如果这些考试既不考察社会工作专业所教授的知识,也不考察社会工作实践所使用的知识,那么,这样的考试有什么意义?[10]

综上可知,不管是国外的社会工作者职业资格考试,还是我国的社会工作者职业水平考试,均存在一些问题。这些问题的发现或提出为这些考试内容的改善或考试质量的提升提供了重要启示。如果该类考试能够借助这些实证研究结果持续性地改进考试命题,那么,可以预期的是,这些考试的科学性或有效性将日臻完善。

作为一项制度,社会工作者职业水平评价是一个整体,但在其实施过程中,助理社工师、社工师以及高级社工师考试是分别命题和独立阅卷的,因此,有必要对这三个不同水平考试的内容效度分别进行研究。将这些研究成果汇总起来,就形成了我国社会工作者职业水平的总体评价。鉴于目前还未见到关于社工师考试的科学性或有效性(效度)问题的研究,因此,本研究不失为一项有益尝试。

本研究关注的是社工师考试的内容效度。所谓内容效度,指的是一个测验实际测量内容与所欲测量内容之间的契合程度。[14]64社工师考试可以被看作是对某些考生是否具备社工师所应具备能力的考察或测量。只有通过该考试的考生,才能被认为具备了作为社工师的能力。但正如曾守锤对助理社工师考试有效性的研究所论证的那样,从本质上来说,社工师考试(与助理社工师考试一样)主要考察的是知识,而非能力。这主要是因为该考试采取的形式是纸笔测验,其主要考察的是应试者是否具备了正确行动的“实务知识”——他/她是否“知道”如何正确地提供服务,而未必在行为表现上具备做出这种行动的“实务能力”。[6]

根据布卢姆的教育目标分类学体系[15]以及安德森等人对该分类学体系的修订版本的观点[16]63-92[17]3-11,对应试者是否具备相关知识的测量或考试需要同时从内容(主要考察的是应试者掌握了何种知识)和认知过程(主要考察的是应试者在掌握知识时所涉及的认知过程)两个方面进行。[16]11换言之,就是从考察什么知识以及考题所涉及的认知过程两个方面来评价社工师考试的内容效度。

二、研究方法

(一) 研究对象

本研究的对象为社工师考试2008—2021年三门考试科目——《社会工作综合能力(中级)》《社会工作实务(中级)》《社会工作法规与政策》的考题。这三门科目在下文分别简称为《综合能力(中级)》、《实务(中级)》和《法规与政策》。 2

《综合能力(中级)》和《法规与政策》两门科目的试题类型均为客观题(考试时间为2小时),每份试卷80道题。其中,单项选择题60道(每题1分),多项选择题20道(每题2分)。即纳入本研究的《综合能力(中级)》和《法规与政策》两门科目的试题总数均为1120题(80题/年×14年)。

《实务(中级)》科目的试题类型为主观题,包括4道案例分析题和1道方案设计题(一般每题20分,考试时间为2.5小时)。 3其中,每道案例分析题所包含的小题数为2~4题不等,一般为2题;方案设计题则为1道大题。出于分析的需要,本研究会视情况将试题进一步切分为小题,以确保每道试题在编码信息上的单一性。2008—2021年《实务(中级)》科目的试题量依次为8,14,11,7,9,9,9,9,9,9,10,9,9,9,题目总量为131题。

(二) 数据分析框架和编码方法

本研究采用量化的内容分析方法进行数据编码和分析。

1. 对考题所考察知识类型的编码

参考曾守锤的观点[6],试题所考察的社会工作知识被划分为陈述性知识和程序性知识。陈述性知识也叫描述性知识,主要是关于“什么”和“为什么”的知识[18],在这里可以称之为社会工作的理论知识。比如《综合能力(中级)》2015年T16(第16题,下同):“8岁的小天把捡到的钱包交给了警察,被问及原因时,小天说担心不交会被批评。他的回答体现出科尔伯格的道德发展阶段论中(A惩罚与服从定向)阶段的特征。”《实务(中级)》2020年T2-1(第2大题第1小题,下同):“本案例中的‘社工信箱’与传统个案工作服务形式相比,有哪些创新点?”《法规与政策》2009年T2:“今后三年各级政府将投入8500亿元人民币用于医疗卫生事业。这体现了政府在该领域的(C资源提供者)角色。” 不难理解,由于以上3道考题涉及的是社会工作(关于“什么”和“为什么”)的理论知识,因此,应隶属于陈述性知识。

程序性知识则主要是关于“怎么做”的知识 4,即关于社会工作者在实务情境中“如何做”——既包括头脑内部的思维活动(如问题成因分析、需求判断、制订计划等),也包括可见的外部行动(如认知改变、行为干预、哀伤辅导等)的知识。比如,《综合能力(中级)》2008年T17:“高中生小丁缺乏学习动机,整天逃学,沉迷网络。如果运用认知行为理论开展服务,社会工作者的工作重点应该是(C改变服务对象的意志和信念进而改变行为)。”《实务(中级)》2021年T2-2:“运用参与式学习方法,社会工作者在参与能力培训时,应采取哪些策略促进这些妇女的改变。”《法规与政策》2009年T6:“居民陈某,身体虚弱,经常打针吃药,已参加城镇职工基本医疗保险;低保对象王某,身体健康,未参加城镇职工基本医疗保险;居民李某,因家中失火,财产损失殆尽,本人严重烧伤,欠下巨额医疗费用,已参加城镇职工基本医疗保险。上述三人中属于城市医疗救助对象的是(D陈某、王某和李某)。”很显然,以上3道考题由于涉及的是“如何做”的知识,因此,应属于程序性知识。

2. 对考题所涉及的认知过程的编码

本研究主要借鉴和改编安德森对布卢姆教育目标分类学体系的修订版本[16]63-92[17]63-92,对考题所涉及的认知过程进行编码。安德森的教育目标分类学体系将认知过程划分为记忆、理解、运用、分析、评价和创造六个从低到高的层级。在该认知过程的序列中,“运用”位于“理解”之后和“分析”之前。但考虑到社会工作学科是一门强调“做”或“实践(实务)”的学科,因此,对于社会工作者来说,运用即创造,为此,我们将“运用”和“创造”进行了合并。同时,在社会工作者的专业活动中,由于其最后的落脚点是提供服务,即运用社会工作相关知识(如理论、原理、方法、策略或程序等)解决问题或提供服务,因此,其他认知过程或认知活动(如记忆、理解、分析、评价等)可以被认为是为运用/创造服务的。从这个意义上说,运用/创造这一认知活动的复杂水平应处于该序列等级的最顶端。故本研究将“运用/创造”这一类目放置在该认知过程序列的最后,以表示其复杂水平最高。换言之,本研究所确定的认知过程从低到高依次为记忆、理解、分析、评价、运用/创造。 5下面,我们对这五个认知过程的含义稍作解释,并举例说明。

第一,记忆。记忆指的是从长时记忆系统中提取信息,包括再认和回忆。前者指的是当识记过的内容再次呈现在面前时,能被确认或辨认出来。如《综合能力(中级)》2008年T2:“在个案工作和小组工作中,社会工作者最基本的角色是(A服务提供者)。”后者指的是当识记过的内容不在面前时,能在头脑中重现。如《实务(中级)》2008年的T2-2简述“结构式家庭治疗模式”的定义。

第二,理解。理解指的是从所给的信息或材料中建构出意义,即是否理解所给材料或信息的意思或含义,具体又包括三种认知形式。(1)转化:将信息从一种表征形式(如数字、符号或图形)转化为另一种表征形式(如文字)。[17]63如《综合能力(中级)》2012年T45:“某社会工作机构计划启动流动人口劳动权益保护项目,社会工作机构在评估有劳动保护需要的流动人口的范围与程度时,形成了以下的人口结构图(图略)。该社会工作机构应首先将(D劳动权益受侵害的农民工)作为该项目的目标对象。”(2)示例/归类:为某个概念或原理提供具体例子或事例。[17]71-73如《综合能力(中级)》2008年T8:“社会工作者在实务活动中遭遇伦理难题时,应坚持‘最小伤害原则’。下列表述中符合‘最小伤害原则’的是(A社会工作者应尽可能避免对服务对象及相关人士造成伤害)。”(3)类目化:从具体事例或例子中发现(一般)概念或原理[17]64,也可以理解为对具体事例或例子的归纳、概括或抽象。如《综合能力(中级)》2008年T7:“在对彭老伯开展个案工作的过程中,社会工作者很耐心地倾听老人诉说自己的情况,不评价其言行和价值观,并根据彭老伯的实际情况探讨解决问题的方案。上述做法体现了社会工作的(C不批判、尊重、个别化)原则。”

第三,分析。分析指的是将材料分解为不同的组成部分,并确定各部分之间以及与整体之间的关系。如《实务(中级)》2013年T4-1:“分析导致小梅在结案时情绪回到以前状态的原因。”

第四,评价。评价指的是依据准则或标准做出判断,具体包括两种认知形式。(1)核查:对某操作或产品的内在不一致性或内在谬误进行检验。[17]73如《实务(中级)》2011年T4-1:“依据班都拉观察学习历程的要求,结合上述案例,分析该主题活动顺序中存在的错误。”(2)评判:依据外在准则或标准对某操作或产品进行判断。[17]73如《实务(中级)》2010年T1-1:“结合案例,指出该养老院服务存在哪些局限性。”

第五,运用/创造。根据Anderson 等人的定义,运用指的是利用社会工作相关知识(如理论、原理、方法、策略或程序等)提出解决问题的建议、方法、方案、计划。[17]77如《综合能力(中级)》2008年T4:“小赵学历不高,技能单一,失业多时,生活困难,情绪低落。社会工作者如果要提供间接服务,可以(B建议居民委员会举办就业技能培训班)”。而创造则指的是设计/确定服务目标,设计或提出解决某问题的建议、方法、方案、计划[17]84-88以及服务内容等。如《实务(中级)》2010年T1-2:“依据机构照顾理论,结合案例中方婆婆的问题和需要,提出改善该养老院服务的建议。”

(三) 研究程序

首先,本研究的第一作者提出数据编码的框架,并对两位社会工作专业硕士研究生(本研究第二和第三作者)进行培训;然后,两位编码者进行独立的数据编码;最后,两位编码者核对编码的一致性,并就不一致的编码进行讨论,确定最终的编码。

编码时各科目的先后顺序依次为《实务(中级)》和《综合能力(中级)》的考题所考察的知识类型,《实务(中级)》和《综合能力(中级)》的考题所涉及的认知过程,以及《法规和政策》的知识类型和认知过程的同步编码。

(四) 编码信度

对两位编码者编码一致性的分析结果表明,所有科目编码的一致性都非常高。《综合能力(中级)》知识类型编码的一致性为97.80%,认知过程编码的一致性为97.10%;《实务(中级)》知识类型编码的一致性为94.70%,认知过程编码的一致性为96.20%;《法规与政策》的知识类型和认知过程同步编码的一致性为94.90%。

根据量化内容分析法对编码人员编码的一致性应至少达到80.00%的标准[19],本研究数据编码的信度是非常理想的。

三、研究结果与分析

(一) 考题所考察的知识类型

1. 对《综合能力(中级)》科目的分析

图2给出了2008—2021年《综合能力(中级)》考题所考察的两类知识的比重分布。可以发现,尽管不同年份之间存在一定差异,但总体而言,陈述性知识类考题所占的比重均大于程序性知识类考题所占的比重,呈现出一种稳定性。从更细微的角度进行分析可以发现,这种稳定性背后隐藏着某种不稳定性——不同年份之间程序性知识类考题与陈述性知识类考题的比重差异波动巨大。

图 2 考题所考察的知识类型:对《综合能力(中级)》科目的分析(2008—2021年)

程序性知识类考题与陈述性知识类考题的比重差异最大的年份为2011年,二者相差高达70%;而在二者比重相差最小的2008年,相差仅为12.5%。而且,除了近4年外,在大多数相邻年份中,二者的比重差总是表现出较大的波动性。这意味着,任一年《综合能力》(中级)科目中两类考题所占比重的关系总是与前一年存在较大差异,可预测性较低。

采用二项式分布——与0.5的均匀分布比率进行“基于Z近似值”的差异显著性检验对两类考题所占比重的差异进行检验的结果表明,在14个年份中,有10个年份的考题中陈述性知识类题目的比重均显著超过程序性知识类考题的比重(p<0.05)。 6将历年的数据进行汇总统计分析后发现,《综合能力(中级)》科目中陈述性知识类考题的比重显著地超过程序性知识类考题的比重(66.34% vs. 33.66%,p<0.001)。

以上结果表明,《考试大纲》所规定的,通过《综合能力》(中级)科目考试“考察社会工作专业人员掌握和运用社会工作价值观、知识、工作方法,开展专业工作(以及指导助理社会工作师)的综合能力”的目的和要求[20],并未得到较好的贯彻和执行。换言之,《综合能力》(中级)侧重对社会工作理论知识的考评,不太重视对“开展专业工作”实务能力的评价。

2. 对《实务(中级)》科目的分析

图3给出了2008—2021年《实务(中级)》考题所考察的两类知识的比重分布的描述性统计结果。结果表明,除2017年和2018年外,其余年份程序性知识类考题所占的比重均大于陈述性知识类考题的比重。2017年和2018年程序性知识类考题的占比分别为44.44%(历年第二低)和10%(历年最低),而最高的3个年份(2009、2013和2021)这一比例分别为92.86%、88.89%和88.89%。这意味着,除了2017年和2018年外,《实务(中级)》科目更注重对程序性知识的考察,基本符合该考试科目所提出的“提供专业服务、处理解决各类复杂问题的能力”的考试目的和要求。[20]需要特别指出的是,2012年和2017年该科目还出现了与《实务(中级)》科目无关的考题,占比分别为22.22%和11.11%。

图 3 考题所考察的知识类型:对《实务(中级)》科目的分析(2008—2021年)

此外,从图3还可以看出,与《综合能力(中级)》科目相比,《实务(中级)》科目中两类知识考题的比重表现出更大的差异或波动性。这从程序性知识类考题比重线与陈述性知识类考题比重线出现交叉的情况就可以直观地看出。与图2相比,图3的形状更尖锐和更不规则,亦可为证。当然,对于图3或许也可以作如下解读:如果将2017年和2018年的结果替换为其他任一年份的结果——程序性知识类考题的比重高于陈述性知识类考题的比重,那么《实务(中级)》科目考题所考察知识的比重分布也表现出稳定性——尽管其稳定性稍差一些。《实务(中级)》科目中两类知识考题所占比重剧烈波动的原因是2017年和2018年更换了命题专家而导致的,还是同一批命题专家的想法发生了改变?这恐怕无从考证。

同样,为了从统计上对《实务(中级)》科目中两类考题比重的差异进行检验,笔者将历年数据进行汇总,并进行“基于Z近似值”的差异显著性检验。 7结果表明,《实务(中级)》科目中程序性知识类考题的比重显著超过陈述性知识类考题的比重(68.75% vs. 31.25%,p<0.001)。

3. 对《法规与政策》科目的分析

图4给出了2008—2021年《法规与政策》考题所考察的两类知识的比重分布的描述性统计结果。从图4可以看出,每一年陈述性知识类考题的比重均大于程序性知识类考题的比重。这与《综合能力(中级)》科目是一样的,不同之处在于,前者程序性知识类考题所占的比重要显著低于后者。

图 4 考题所考察的知识类型:对《法规与政策》科目的分析(2008—2021年)

基于Z近似值的差异显著性检验的统计结果表明,在14个年份中,陈述性知识类考题的比重均显著地超过程序性知识类考题(p<0.001)。将14个年份的数据进行汇总统计分析后发现,《法规与政策》科目中陈述性知识类考题的比重显著超过程序性知识类考题的比重(81.70% vs. 18.30%,p<0.001)。

4. 对三门科目的总体分析

表2给出了三门科目所考察知识类型的数据汇总结果。从表2可以看出,在任何一个年份中,陈述性知识类考题的比重均显著大于程序性知识类考题的比重;基于Z近似值的差异显著性检验的结果也揭示,陈述性知识类考题的比重极其显著地高于程序性知识类考题的比重(71.62%vs. 28.26%,p<0.001)。

表 2 社工师考试所考察的知识类型:三门考试科目的汇总分析(2008—2021年) (单位:题/百分比)

为了检验社工师考试所考察的两类知识的比重在不同年份的稳定性(是否存在差异),将“其他”设置为缺失值后进行年份与知识类型的列联表分析。表2的结果表明,程序性知识与陈述性知识的比重分布在不同年份之间并不存在显著的差异(χ2=17.81,p>0.05)。换言之,社工师考试所考察的两种知识类型(程序性知识与陈述性知识)的比重分布在不同年份之间非常稳定:陈述性知识的比重均显著高于程序性知识的比重,且二者之间的比重差异在不同年份之间是相当的。这一结果表明,社工师考试主要考察的是社会工作的理论知识,而非实务知识。

(二) 考题所涉及的认知过程

1. 对《综合能力(中级)》科目的分析

表3给出了《综合能力(中级)》考题所涉及的认知过程的题数及比重。可以看出,每年《综合能力(中级)》科目考察“理解”的考题比重均为最高(大多数年份都超过了40%),同时,考察“评价”和“分析”的考题比重最低(均不超过5%);考察“记忆”的考题比重,除了2008年(43.75%)、2009年(30.00%)和2011年(57.50%),其余年份的比重处于15.00%~26.25%之间;考察“运用”的考题比重除了2011年为8.75%外,基本都在22%以上。

表 3 考题所涉及的认知过程的题数及比重:对《综合能力(中级)》科目的分析(2008—2021年) (单位:题/百分比)

从纵向的角度来看,在 2016年之前,不同年份考题所涉及的不同认知过程的比重一直处于变动不居的状态;从2016年开始,不同年份考题所涉及的不同认知过程的比重及其高低关系就比较稳定——按照高低顺序依次为理解、运用、记忆、分析和评价。此外,自2015年开始,“记忆”类考题的比重开始呈现出逐年下降趋势,且均在25%以下,同时,“理解”(均超过40%)和“运用”(不低于30%)类考题的比重均较高。这表明,《综合能力(中级)》科目逐渐在摒弃主要通过单纯的机械记忆考察考生综合能力的做法,变得更加注重考察考生的理解和运用能力,同时考题也变得更加综合、更加灵活。

2. 对《实务(中级)》科目的分析

表4列出了2008—2021年《实务(中级)》科目考题所涉及的认知过程的题数及比重。总体而言,“创造”类考题最多,“理解”类考题次之,其余考题所占比重均不高。从纵向的角度来看,不同年份考题所涉及的不同认知过程的比重及其高低关系变化剧烈,表明其稳定性不高。

表 4 考题所涉及的认知过程的题数及比重:对《实务(中级)》科目的分析(2008—2021年) (单位:题/百分比)

3. 对《法规与政策》科目的分析

表5详细列出了2008—2021年《法规与政策》科目考题所涉及的不同认知过程的题数及比重。总体而言,记忆类考题最多,其中,“对条文或条款的记忆”题目的比重又大大高于对“概念或原理的记忆”考题的比重;其次为“法规/政策适用”类考题,大多数年份接近20%;最后为“理解”类考题(不超过10%)——其中,“对条文或条例的理解”类考题的比重高于“对概念或原理的理解”考题的比重。

表 5 考题所涉及的认知过程的题数及比重:对《法规与政策》科目的分析(2008—2021年) (单位:题/百分比)

笔者认为,《法规与政策》科目如果让记忆类考题达到或超过60%或70%,就基本上可以将该考试科目看作是考察考生死记硬背能力的科目。

举个简单的例子。在“对条文或条款的记忆”的考题中,有相当比例的考题纯粹是在考察考生对数字的记忆。为了提供令人信服的证据,本研究对单纯考察数字记忆的考题单独作了统计。这类题目有两类。一类为直接考察考生对条文条款中数字的记忆(再认)。如2014年T9:“根据《廉租住房保障办法》,新建廉租住房的单套建筑面积应当控制在(C50)平方米以内”。另一类为隐蔽的对条文条款中数字的记忆题。比如2009年T37:“前山村有选举权的选民数为1050人,本届选民数为1000人。村民委员会换届选举时,全村发的全部选票数为620张,收回的有效选票为600张。候选人要获得(A301张)以上赞成票,才有资格当选。”这道题从表面上看似乎是一道计算题,但由于它的计算极其简单(得票数要过有效选票数的一半:600÷2+1=301),所以考生不太可能会算错。再说,从考试科目名称来看,也不应该考察考生的计算能力,因此,笔者把这类考题也归类为是对法规条文(得票数过有效选票数的一半)记忆的隐蔽性考察,而不是对记忆基础上的“运算能力”(能否进行正确的运算)的考察。表6给出了历年《法规与政策》科目对数字记忆进行考查的题数及比重。可以看出,《法规与政策》每年至少要考5道这类题目,多的年份要考13道;14年来,这类考题的平均占比为11.52%。这种情况与司法考试的情况类似。[21-25]

表 6 《法规与政策》科目对数字记忆的考查(2008—2021年) (单位:题/百分比)

4. 对三门科目的总体分析

将三门科目的数据汇总后即可获得社工师考试题目所涉及的认知过程的总体情况。表7给出了社工师考试题目所涉及的认知过程的题数及比重。可以发现,在任何一个年份中,“记忆”类考题的比重都是最高的,其分布区间为39.05%~63.10%之间;“理解”类考题的比重次之,多数年份为30%左右;“运用/创造”类考题的比重再次之,多数年份为25%左右;“分析”和“评价”类考题的比重最低,均为1%左右。

表 7 社工师考试所涉及的认知过程的题数及比重:三门科目的汇总分析(2008—2021年) (单位:题/百分比)
四、研究结论与建议

(一) 研究结论

本研究得出两个结论。(1)从社工师考试所考察的知识类型来看,社工师考试更注重对陈述性知识而非程序性知识的考察。这意味着该考试更侧重于考察“什么”和“为什么”的理论知识,而非“怎么做”的实务知识或能力,这种模式在长达14年的时间里表现出了较强的稳定性。(2)从考题所涉及的认知过程来看,社工师考试考察最多的是“记忆”这类层次较低的认知过程,而忽视了对更高级的认知过程(如分析、评价、应用等)的考察。很显然,将考题所涉及的认知过程加入分析的维度,也极大地丰富了社工师考试内容效度的分析维度,是对已有关于社会工作者职业水平评价本身的科学性或有效性研究的超越。[6]

以上结果表明,社工师考试实际所考察的内容与《社会工作者职业水平评价暂行规定》[26]所规划的社工师应具备的职业能力,以及民政部在《全国社会工作师职业水平考试大纲》中所设定的“考试目的和要求”有一定的出入。这也就意味着,社工师考试实际所考察内容与其所欲考察内容之间的契合度(内容效度)有待提升。

(二) 对策与建议

本研究的开展绝非出于批评我国社工师考试之目的,更不是为了责难那些为社工师考试命题而劳心费力的专家。本研究的目的是为我国社工师考试的改善或改良提供些许意见或参考。

基于本研究的结果,笔者认为,我国社工师考试可以从三个方面作出尝试性改革。

1. 重新定位《综合能力(中级)》和《实务(中级)》两门科目的性质

本研究表明,《综合能力(中级)》和《实务(中级)》均考察了陈述性知识和程序性知识,导致这两门科目的边界非常模糊。笔者认为,应对这两门科目的性质进行重新定位。

考虑到《综合能力(中级)》科目考察陈述性知识的考题比重更高,因此,建议将该科目定位为社会工作的理论考试科目。比如,可以将《综合能力(中级)》科目的名称修改为《综合知识(中级)》,主要考察社会工作的基本原理和理论知识,并将该考试的目的和要求修改为,考察社会工作专业人员对社会工作专业理论知识的掌握,题型则依然可以是选择题。

《实务(中级)》科目则如其科目名称所表述的,可以将其定位为完全的社会工作程序性知识的考试科目,即该科目的所有考题都应考察考生如何开展“实务”的知识。考虑到现有的考试大纲未将“社会工作价值观与专业伦理”纳入其中,因此,建议将这一块内容放入其中。如此,《实务(中级)》的考试目的和要求可以修改为,考察社会工作专业人员掌握和运用社会工作价值观、知识、工作方法,为主要服务领域和不同工作对象开展专业工作以及指导助理社会工作师的实务能力。在题型设置上,建议设置为选择题加案例题的形式。这样既能够在题量有保证的基础上确保考试内容的覆盖面,又能够灵活综合地考察考生(书面地)应用社会工作专业知识解决特定情境下实务问题的知识或能力。

2. 加大《法规与政策》科目考试中法规/政策适用类考题的比例

《法规与政策》科目应增加法规/政策适用类考题的比例,减少考察记忆和背诵题目的比重,尤其减少单纯考察数字记忆题目的比重,要更加凸显“运用和执行社会工作法规与政策的能力”[20]。题型上也建议设置为选择题加案例题的形式。

3. 注重对更高级认知过程的考察

与助理社工师考试相比,社工师考试的级别更高,因此,社工师考试除了应设置一定比例(该比例不应太高)考察基础认知过程(如记忆和理解)的考题外,还应加大对考生更高级的认知过程(如分析、评价、运用/创造)进行考察的考题的比重。

为了实现以上目标,从技术的层面来说,应该摒弃“仅仅”采用客观的选择题进行考试的做法,而应尝试采用案例分析、服务方案设计等主观题的形式进行考试。

注释

1 由于高级社工师评价的办法比较特殊——它实行的是考试和评审相结合的办法,即“参加考试合格并通过评审,方可取得高级社会工作师资格”(参见《高级社会工作师评价办法》第三条,http://www.mca.gov.cn/article/zwgk/tzl/201803/20180300008108.shtml,2018年3月26日下载)。因此,本研究未将高级社工师考试的数据包含在内。

2 其中,2008—2019年的考题购自中国社会工作者微信平台,2020—2021年考题购买自华东理工大学出版社。

3 2008年是个例外。当年《实务(中级)》科目只有4道试题,且每题的分值为20~30分不等。

4 资料来源于https://baike.baidu.com/item/%E7%A8%8B%E5%BA%8F%E6%80%A7%E7%9F%A5%E8%AF%86/9696896?fr=aladdin,2019-11-21。同时,请参阅林崇德、杨治良、黄希庭:《心理学大辞典》,上海:上海世纪出版集团2003年,第137页。

5 在《综合能力(中级)》科目中,我们使用的是“运用”这一术语,而在《实务(中级)》科目中,考虑到语言表达的贴切性,我们使用的是“创造”这一术语。此外,对《法规与政策》科目的编码结果表明,该科目的考题仅仅涉及记忆、理解和运用(法规/政策适用)三种认知过程。

6 不存在显著差异的4个年份分别为2008、2013、2016和2017年。

7 由于任何一个年份的样本量都不大(详见“(一) 研究对象”部分关于《实务(中级)》科目历年试题量的说明),我们不对各年份之间的差异进行基于Z近似值的检验值检验,而是对历年数据进行汇总后进行统计检验。同样,在进行统计检验时,仅保留“程序性知识”和“陈述性知识”两个选项,“其他”选项作为系统缺失值处理。

参考文献
[1]
章长城. 我国社会工作人才评价的制度探索[J]. 人力资源管理, 2016(12): 37-39. DOI:10.3969/j.issn.1673-8209.2016.12.027
[2]
ZENG S, LI X, CHEN W. China social work professional level examination pass rates: chronological change and regional difference[J]. Research on social work practice, 2020, 30(3): 344-352. DOI:10.1177/1049731519875792
[3]
中华人民共和国民政部. 中国民政统计年鉴(2021/2022)[M/OL]. 北京: 中国社会出版社 [2023-01-15]. https://www.zgtjnj.org.
[4]
丁美方, 齐芳. 社工师考试出题的分析与建议[J]. 社会工作, 2008(13): 7-8.
[5]
朱健刚, 童秋婷. 反思社会工作的“证照化”[J]. 中国农业大学学报(社会科学版), 2017(3): 119-127.
[6]
曾守锤. 中国助理社会工作师职业水平考试有效性研究——基于2008—2019年国家真题的分析[J]. 社会工作, 2020(5): 63-82, 111.
[7]
季庆英, 任益炯, 陆杨, 等. 美国的社会工作职业资格认证制度[J]. 中国社会工作, 2017(18): 62-64. DOI:10.3969/j.issn.1674-3857.2017.18.013
[8]
MARSON S M, DEANGELIS D, MITTAL N. The association of social work boards’ licensure examinations: a review of reliability and validity processes[J]. Research on social work practice, 2010, 20(1): 87-99. DOI:10.1177/1049731509347858
[9]
CHERRY A, ROTHMAN B, SKOLNIK L. Licensure as a dilemma for social work education: findings of a national study[J]. Journal of social work education, 1989, 25(3): 268-275.
[10]
JOHNSON D A, HUFF D. Licensing exams: how valid are they?[J]. Social work, 1987, 32(2): 159-161. DOI:10.1093/sw/32.2.159
[11]
RANDALL E J, THYER B A. A preliminary test of the validity of the LCSW examination[J]. Clinical social work journal, 1994, 22(2): 223-227. DOI:10.1007/BF02190476
[12]
THYER B A, VODDE R. Is the ACSW examination valid?[J]. Clinical social work journal, 1994, 22(1): 105-112. DOI:10.1007/BF02190289
[13]
ALBRIGHT D L, THYER B A. A test of the validity of the LCSW examination: quis custodiet ipsos custodes?[J]. Social work research, 2010, 34(4): 229-234. DOI:10.1093/swr/34.4.229
[14]
戴海崎, 张锋. 心理与教育测量[M]. 4版. 广州: 暨南大学出版社, 2018.
[15]
布卢姆, 等. 教育目标分类学第一分册: 认知领域[M]. 罗黎辉, 等, 译. 上海: 华东师范大学出版社, 1986: 87-89.
[16]
安德森, 等. 学习、教学和评估的分类学: 布卢姆教育目标分类学[M]. 简缩本修订版. 皮连生, 主译. 上海: 华东师范大学出版社, 2008.
[17]
ANDERSON L W, KRATHWOHL D R, AIRASIAN P W, et al. A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives[M]. New York: Addison Wesley Longman Press, 2001.
[18]
林崇德, 杨治良, 黄希庭. 心理学大辞典[M]. 上海: 上海世纪出版集团, 2003: 127.
[19]
丹尼尔•里夫, 斯蒂文•赖斯, 弗雷德里克•G.菲克. 内容分析法: 媒介信息量化研究技巧[M]. 嵇美云, 译. 北京: 清华大学出版社, 2010: 150.
[20]
民政部. 全国社会工作师职业水平考试大纲(2018年修订版)[EB/OL]. [2018-03-05]. http://www.mca.gov.cn/article/xw/tzgg/201803/20180315007987.shtml.
[21]
丁相顺. 中国司法考试制度的创建和发展[J]. 中国司法, 2008(10): 26-29.
[22]
高一飞, 蒋稳. 法律职业资格考试改革的回顾与思考[J]. 公安学刊(浙江警察学院学报), 2020(3): 72-78.
[23]
李红海. 统一司法考试与合格法律人才的培养及选拔[J]. 中国法学, 2012(4): 54-72.
[24]
孙鹏, 潘俊. 我国现行司法考试制度存在的问题与对策[J]. 理论月刊, 2015(1): 83-89.
[25]
王健. 国家统一司法考试制度的完善与发展[J]. 华东政法大学学报, 2008(2): 125-134.
[26]
人事部, 民政部. 社会工作者职业水平评价暂行规定(国人部发[2006]71号)[EB/OL]. [2023-12-05]. http://www.studyez.com/shegong/kscs/all/201309/424860.htm.

1 由于高级社工师评价的办法比较特殊——它实行的是考试和评审相结合的办法,即“参加考试合格并通过评审,方可取得高级社会工作师资格”(参见《高级社会工作师评价办法》第三条,http://www.mca.gov.cn/article/zwgk/tzl/201803/20180300008108.shtml,2018年3月26日下载)。因此,本研究未将高级社工师考试的数据包含在内。

2 其中,2008—2019年的考题购自中国社会工作者微信平台,2020—2021年考题购买自华东理工大学出版社。

3 2008年是个例外。当年《实务(中级)》科目只有4道试题,且每题的分值为20~30分不等。

4 资料来源于https://baike.baidu.com/item/%E7%A8%8B%E5%BA%8F%E6%80%A7%E7%9F%A5%E8%AF%86/9696896?fr=aladdin,2019-11-21。同时,请参阅林崇德、杨治良、黄希庭:《心理学大辞典》,上海:上海世纪出版集团2003年,第137页。

5 在《综合能力(中级)》科目中,我们使用的是“运用”这一术语,而在《实务(中级)》科目中,考虑到语言表达的贴切性,我们使用的是“创造”这一术语。此外,对《法规与政策》科目的编码结果表明,该科目的考题仅仅涉及记忆、理解和运用(法规/政策适用)三种认知过程。

6 不存在显著差异的4个年份分别为2008、2013、2016和2017年。

7 由于任何一个年份的样本量都不大(详见“(一) 研究对象”部分关于《实务(中级)》科目历年试题量的说明),我们不对各年份之间的差异进行基于Z近似值的检验值检验,而是对历年数据进行汇总后进行统计检验。同样,在进行统计检验时,仅保留“程序性知识”和“陈述性知识”两个选项,“其他”选项作为系统缺失值处理。