基金课题
- 云南省哲学社会科学规划一般项目“铸牢中华民族共同体意识研究专项”项目“西南边疆民族地区铸牢中华民族共同体意识典型经验研究”(ZX2024YB21)。
作者简介
- 陈朝连(2000— ),女,汉族,硕士研究生;主要研究方向:社会工作(社会工作评估,妇女社会工作).
通讯作者
- 和虎(1986— ),男,纳西族,讲师,博士;主要研究方向:族群认同与文化多样性研究,边疆民族国家认同机制研究;Email:370476334@qq.com。.
文章历史
- 收稿日期:2024-10-22
《民政部 财政部关于政府购买社会工作服务的指导意见》对政府购买社会工作服务的监督管理提出了明确要求,指出要积极推进第三方评估,发挥专业评估机构、行业管理组织、专家等方面的作用,对服务机构承担的项目管理、服务成效、经费使用等内容进行综合评估。 [1-2]为建立一套制度化、专业化、本土化的评估体系和评估模式,学界积极将各类评估模型援引至社会工作服务项目进行实证研究。CIPP模型因其评估过程及评估理念都与社会工作服务具有很强的契合性,受到广大学者的关注。[3]本研究拟将CIPP模型应用于H机构农村学前儿童托管项目评估,以此验证CIPP模式在社会工作服务项目评估中的可行性,期望达到“以评促建、以评促改”的效果。
一、H机构农村学前儿童托管项目评估现状2023年10月至2024年5月,笔者通过实地调研收集H机构相关项目资料和数据。
(一)项目概况
H机构是云南省昭通市彝良县的一家县域社会组织。彝良县各乡镇平均海拔1 500—2 000米,距离县城较远,农村多为“三留守”人群。由于制度和经济因素,外出务工者没有能力举家搬迁,就将子女留在农村由老人照顾。在学前教育方面,虽然平均每个村设置了一个幼儿园,但村小组之间距离相隔较远(一般为20公里),且教育水平不高。因此,村中学前儿童大多选择不上幼儿园,到6周岁直接就读小学。H机构于2018年开始寻找合适的村庄,利用“撤点并校”后的闲置校舍建设儿童之家,招募志愿者,以彝良县各乡镇农村困难家庭的3—6岁学前儿童为服务对象,针对其因学前教育和社会支持资源缺失而导致的社会性发展问题,运用专业工作技能开展活动,并整合社会资源,以“社会工作者+乡村教育骨干+志愿者”共同协助的模式,回应农村学前儿童在托管、教育、发展方面的需求,增加其社会支持。如今,该项目已经建设6个社工站,每个站点配备2名志愿者、1名社会工作者、1名乡村骨干,平均每个站点每期服务20名学前儿童。在项目实施过程中,H机构和志愿者立足于学前儿童的多样化需求,以促进儿童全面发展为设计理念,设计了团体辅导、主题活动等服务形式。为了保证其顺利过渡到小学阶段,设计了课业辅导课程,主要教其学习拼音、数字、写字、阅读等,做好幼小衔接准备。针对学前儿童的发展需求,项目组设计了国学启蒙、兴趣培养、安全健康、个性发展、心理疏导、建构支持网等六个主题活动,以儿童社会工作为介入途径,开展相应的小组活动。
(二)评估现状
该项目的评估工作采取督导式评估,即由项目购买方中国乡村发展基金会牵头,邀请由社会工作督导专家(至少2名)及项目专员组成的社会工作项目服务评估小组每年11月进行集中评估。H机构的所有项目都是采取以结果为导向的社会工作评估方法,以现场评估和材料评估相结合的方式,从专业服务、服务管理和服务成效三个方面进行中期评估和末期评估。通过召开结项评估会对项目是否达到既定目标、服务内容数量和质量、财务状况等进行绩效评估,评估结果以百分制展示,分配权重为机构制度建设10分、服务数量和质量40分、项目执行情况30分、服务满意度10分、成本效益情况10分。具体评估方法为听取项目专员自评汇报、依据日常工作监测、查阅档案文件、财务检查、问卷调查、实地调查等,按照检查表所列内容逐项打分,最终生成一份综合性的评估报告。评估报告结果等级分为优秀、良好、合 格、不合格四个等级;评估分值90分以上为优秀,80分以上至89分以下为良好,60分以上至79分以下为合格,59分以下为不合格。
(三)现有评估体系的优势与不足
该项目现有评估体系的优势如下。第一,评估主体的多元化。项目购买方正式作为项目评估中的独立主体,而不仅仅是其中的访谈对象。购买方作为评估主体可以参与对社工站日常工作运营、项目管理和服务效果的评价,从而更深入地掌握社工站的运营状况,充分发挥监督管理作用。第二,评估方法与评估内容明确。评估方通过多种方式全面评估社工站的项目服务情况,包括查阅资料、电访或面访相关方、实地考察及问卷调查等。并且以材料评估和现场评估相结合的方式,对项目在不同阶段的服务计划、执行情况、质量及成效进行综合考量。
现有评估体系的不足如下。第一,评估指标未细化。现有评估体系使用的是适用于所有项目的一套笼统的指标体系,未设置二级和三级指标,缺乏对评估指标可测评性、评估对象特殊性及服务方式特别性的考量。由此,增加了评估的主观性和不确定性,无法为机构提供有针对性的改进建议。第二,以事后评估为主,缺乏动态监控与反馈机制。由于该项目采用的是结果导向的评估方式,中期和末期评估主要依靠文书材料对项目进行评价,无法对项目实施过程进行动态监控,也不能及时发现其中出现的问题并及时改善。第三,评估指标体系不完整。现有评估体系依赖于项目设计与实施之间的情况及具体的绩效指标来衡量项目的优劣,缺乏社会工作者专业能力提升等指标。第四,机构对评估结果的应用不足。相对于评估报告中的问题与建议,机构更加关注项目尾款拨付和评估结果是否影响来年项目承接,这使得评估结果难以起到激励和改进作用,难以实现“以评促建、以评促改”。
二、CIPP模型与儿童托管项目的适切性CIPP模型起源于教育领域,由背景评估(Context Evaluation)、输入评估(Input Evaluation)、过程评估(Process Evaluation)、结果评估(Product Evaluation)四项评估活动构成[4-6],其已发展成为一个成熟、科学的评估体系,并被多个领域广泛应用,在社会服务、公益领域也有一定的实践成果。本文采取CIPP模型对H机构农村学前儿童托管项目进行评估,主要从三个方面考虑其适切性。
(一)托管项目与教育项目存在共性
CIPP模型是发端于教育领域的评估实践,其核心理念与H机构农村学前儿童托管项目具有诸多契合之处。[4]该项目不仅包含学前教育模块,与教育项目有直接的相通性,还兼具教育服务与社区服务的双重非营利性质,即在公益性原则下,通过调动一定的资源(人力、物力等),从而实现个体需要和促进社会发展。这与CIPP模型最初产生于教育领域的目标基本一致[7],都强调了对项目进行全面、系统评估的重要性,以确保资源的有效利用和项目的可持续发展。
(二)CIPP模型具备系统性
CIPP模型巧妙地融合了过程评估与效果评估,既重视过程管理,也关注最终成效,实现了过程导向与结果导向的完美结合。[8]相较于传统的逻辑模型评估方法,该模型摒弃了单一、线性的评估路径,不再仅仅依赖于项目设计与实施之间的情况及具体的绩效指标来衡量项目的优劣。该模型从背景分析、资源投入、执行过程到成果评估,全面覆盖了项目的各个发展阶段,将评估活动嵌入项目生命周期,为项目决策提供持续、全面的支持。[9]更重要的是,该模型还能够兼顾非预期和难以量化的目标,使项目价值评估更加全面、深入。
(三)CIPP模型注重项目的改善
该模型的创始人斯塔夫比姆认为,项目评估最重要的目的不在于证明,而在于改进。[10]因此,CIPP模型亦被称为决策导向或改良导向评估模型。[11]换言之,CIPP模型是一种注重“改进”的务实评价模式,其核心目标是促进发展,利用该模型建立评价指数,帮助组织领导人及其员工有计划地获取和利用该评价机制。CIPP模型高度注重改善功能,能够助力项目决策者深化对服务对象的认知,指引其充分利用现有资源,并明确如何进行决策。[12]就H机构农村学前儿童托管项目来说,鉴于其处于执行阶段,应确保项目实施过程中的问题能够及时得到反馈,并据此作出恰当的策略调整,这一点极为关键。
三、基于CIPP模型的项目评估指标构建本文依据CIPP模型的四个核心要素、社会服务项目的实践应用以及农村学前儿童托管项目的独特特点,采用德尔菲法科学构建了评估指标体系。[13]在构建过程中,充分运用了德尔菲法的专家咨询优势,2023年11月至2024年1月通过两轮深入的专家咨询,对评估指标体系进行了细致的调整和完善。在指标体系的层次结构上,设立了清晰的一级指标、二级指标,并据此对三级指标进行具体的参考赋值。[14]在评分环节采用了每项指标的平均分值计算方法,以确保评估结果的客观性和准确性。评估指标体系具体构建流程如图1所示。
![]() |
图 1 评估指标体系构建流程 |
(一)专家选择
为保证评估质量,本文的评估指标体系设计共邀请4位专家,其中有从事社会工作行业多年的中级职称专业督导2名,开展项目管理的社会工作专业教师2名(见表1)。本文共进行了两轮德尔菲专家咨询,每次发送咨询问卷4份,回收率均为100%。两次的专家积极系数都比较高,说明其对咨询较为重视,认真负责。
![]() |
表 1 咨询专家基本情况 |
(二)第一轮专家咨询
在初步构建评估指标框架后,进行了第一轮专家咨询,向专家发送第一轮咨询问卷,邀请其对各项指标的重要性进行评判,按照非常重要5分、比较重要4分、重要3分、一般2分、不重要1分的标准打分,并对指标设计是否全面、有无遗漏、各层次划分是否清晰、赋值是否合理等提出意见。由表2可知,在第一轮咨询中,各位专家对于各项指标的重要性程度以及赋值判断呈现出较高的一致性。在对第一轮咨询问卷结果进行统计后,本文依据专家意见,对指标的部分内容予以修改。另外,按照专家提出的增加“制定风险预估方案”相关指标的建议,在输入层面增加“B6制定风险预估方案”这一指标。
![]() |
表 2 部分指标内容修改意见 |
(三)评估指标体系的确认
在第二轮专家问卷完成后,对指标进行删除、增加、修改,再基于德尔菲法确定指标权重,最终形成农村学前儿童托管项目的评估指标体系(见表3)。
![]() |
表 3 农村学前儿童托管项目评估指标体系 |
一是背景评估,主要关注社会背景的分析,特别是服务对象的问题、需求以及资源的明确情况。基于上述考虑,设立了内外资源情况与学前儿童问题与需求2个二级指标。并根据项目实施的实际情况,将其进一步划分为5个三级指标:社区资源分析与评估、执行机构内外资源分析评估、学前儿童托管需求的迫切性、问题产生的原因明确与服务对象具体数量。资源分析与利用具有举足轻重的作用,其不仅关乎服务对象的确定,还深刻影响目标的设定及整体方案的构思与形成。因此,在三级指标赋值时,对社区资源分析与评估赋值2分,执行机构内外资源分析与评估赋值3分,以此来评价机构是否充分且准确地评估了开展项目所具备的内外资源。需求分析与受益群体的明确对于项目的成功落地尤为关键,其直接指引项目的方向。因此,在构建指标体系时,特别重视学前儿童托管需求的迫切性这一指标,赋值5分,对问题产生的原因明确和服务对象具体数量分别赋值1分,这3个指标旨在衡量执行方在项目启动前对服务对象现状的掌握程度。
二是输入评估,主要关注项目策划方案的专业考察,确保项目能够在现实条件下有效且可持续实施。在这一阶段,设立了执行条件、项目优势与计划方案3个二级指标,以及8个三级指标来全面评估项目的可行性。在执行条件方面,主要考察执行机构是否具有相关项目的实践经验、团队人员的资质以及预算的合理性,这些条件直接关系到项目能否顺利启动和高效执行。因此,对执行机构具有项目相关实践经验和项目团队能力资质符合要求这2个指标分别赋值3分,对具有相应的物资预算赋值4分。计划方案是输入评估的核心部分,方案的可行性、是否符合服务对象需求是评估的重点。因此对项目方案切实可行、服务设计符合学前儿童需求这2个指标各赋值4分。风险管理是项目管理中至关重要的一部分,对制定风险预估方案这一指标赋值2分。此外,项目的创新性、可持续性是评估项目质量的关键要素,各赋值1分。
三是过程评估,确保项目顺利执行和达成预期目标。在这一阶段,设立了3个二级指标:执行概况、团队管理以及档案宣传与管理。这些指标旨在全面评估项目的执行情况,确保每一个环节都能得到有效监控,为此将其细化为8个三级指标。其中,执行概况包括服务过程中出现问题及时反馈并高效处理、项目服务开展符合预期进度、定期开展服务反思以及项目执行过程规章落实到位等4个三级指标,分别对其赋值4分。考虑到团队管理在项目执行过程中的重要性,对项目执行期间团队人员稳定无变化以及团队人员分工明确、责任落实到位这2个指标分别赋值4分和3分,以评估团队的稳定性和合作状况。项目档案是项目策划实施、活动开展过程的原始记录,也是项目验收和评估的直接凭证和依据,因此,对计划书、活动简报、签到表、图片等活动记录这一指标赋值4分。媒体报道能加强公众对项目的关注与支持,赋值1分。
四是成果评估阶段,侧重于对项目服务目标完成情况的深度剖析。在这一阶段,设立了3个二级指标:项目完成情况、服务对象满意度以及社会评价,并将其细化为12个三级指标。在赋值方面,特别重视项目目标的完成情况和项目实施对服务对象带来的影响,因此对项目如期完成、服务对象积极改变以及账目、票据符合规范这3个重点指标各赋值5分,对家长照顾能力提升和搭建社会支持网络这2个指标各赋值4分,对服务活动满意度和服务人员满意度分别赋值3分和2分。为体现此次评估的改进导向,设立提升建议这一指标,赋值2分。为评估项目实施带来的社会效益和影响,设立受到民政、教育等部门认可、与各村庄达成长期合作、获得市融媒体报道、因项目效益获得计划外支持等指标,各赋值2分。
在评估过程中,主要从访谈对象中挑选3位项目工作人员、1位核心家长代表以及2位长期服务的志愿者作为评估人员(见表4)。
![]() |
表 4 评估人员名单 |
CIPP模型对社会服务项目进行评估时普遍设立百分制[15],因此依照各位评分专家意见商讨确定以下评分区间。最终得分低于55分的项目被视为不合格,这意味着项目的实施效果与预期目标存在较大差距,未能充分满足项目要求。最终得分在65至75分之间的项目被视为一般水平,这表明项目虽然基本完成了既定任务,但在实施过程中遇到了不少挑战和问题,需要在多个方面进行改进和优化。最终得分在75至85分之间的项目被视为良好,这意味着项目在完成任务和指标方面表现较好,符合项目宗旨。得分超过85分的项目被视为优秀,这表明项目不仅成功完成了各项指标和任务,还实现了良好的效益,充分证明了其价值。
四、CIPP模型下对农村学前儿童托管项目的评估(一)背景评估
背景评估总分为12分,H机构农村学前儿童托管项目评估得分为10.50分(见表5)。
![]() |
表 5 背景评估得分情况 |
1.内外资源情况
各服务站点距离彝良主城区较远,经济水平发展相对落后,每个社区都有撤点并校后的闲置校舍可以利用,但因长久未使用,建筑、设备老化,卫生状况较差,可用活动物资较少,大部分需要依靠机构采购和爱心人士捐赠。H机构长期开展儿童相关服务,活动物资可重复利用,且积累了大量志愿者资源和公益资源。H机构与民政部门、社区等组织关系较为密切,可以为项目开展提供支持。
2.学前儿童需求评估
通过前期访谈观察,发现农村学前儿童的主要需求为学前教育、健康安全保障、能力发展、心理支持等四个方面。这四个方面存在如下问题。一是学前教育缺失,家庭教育质量低下,学前儿童照顾存在空窗期,出现无人照顾的情况。二是农村社区安全卫生条件不达标,多场所不设置安全措施,监护人缺乏相应的安全常识和意识,且不会科学地搭配饮食,导致儿童营养不均衡。三是由于监护人文化水平和家务、农活的限制,其对孩子的教育是“放养”状态,做不到言传身教,缺乏高品质的陪伴和引领,学前儿童各方面能力发展都有所欠缺。四是学前儿童多为留守或流动儿童,由于父母长期缺席,忽视了对孩子的陪伴,无法提供足够的情感支持,这导致许多孩子感到孤独,心理健康状况堪忧。
(二)输入评估
输入评估总分为22分,H机构农村学前儿童托管项目评估得分为18.67分(见表6)。
![]() |
表 6 输入评估得分情况 |
1.项目执行团队介绍
H机构于2017年12月在彝良县民政局登记成立,是由云南省连心基金会孵化的县域组织。该机构有多年儿童服务和社区工作经验,在当地有良好的群众基础,并且在服务过程中积攒了大量的公益资源,具有强大的资源整合力和公益传播力。关于农村学前托管项目的执行团队,依照项目设定的“社会工作者+乡村教育骨干+支教志愿者”三方共同协作模式,执行团队主要由两名全职社工,以及每个社工站一名乡村教育骨干和两到三名志愿者组成。其中两名全职社工具有丰富的项目执行经验,均已考取助理社工师证书。乡村教育骨干是在社工站所在村挑选的外聘村民,其主要任务是帮助机构了解当地情况,协助宣传,促进村民对机构的了解和信任,同时参与日常服务,减轻志愿者的负担。志愿者是通过在中华支教网发布招募公告,筛选简历,经过两轮严格面试,充分了解志愿者各方面的能力和专业素质后,决定是否招募。招募的志愿者具有爱心、较高素质以及相关实践经历,能够为项目服务开展提供充分条件。
2.物资投入情况
H机构当前拥有稳定且足以支撑其日常运营的经费来源,主要是源自多个基金会、99公益日活动以及政府购买服务的项目资金。H机构农村学前儿童托管项目受到中国乡村发展基金会“活水计划”支持,2022年乡村振兴公益日和99公益日活动期间在腾讯公益平台上筹款
3.服务计划方案
H机构的农村学前儿童托管项目服务方案高度契合项目核心理念,其策略规划详尽且具备可操作性,内容条理清晰、逻辑严密,同时预算安排具有合理性与科学性。服务内容贴近实际,充分考虑农村学前儿童的身心发展特点和学习接受能力,从儿童成长的不同维度出发,精心策划了相关内容。以小组、团体辅导的形式开展服务,具体包括学前知识课程模块和国学启蒙、兴趣培养、安全健康、个性发展、心理疏导、建构支持网等六个主题活动模块。在主题活动模块方面,以儿童社会工作为介入途径,针对不同主题开展不同活动(见表7)。
![]() |
表 7 主题活动内容 |
然而,经评估发现,该服务计划方案存在一个明显问题,即未制定相应的风险预估方案。管理风险对于项目实施具有重要意义,组织应针对项目实施中不可控的问题预先设立风险预估方案。然而,H机构农村学前儿童托管项目在推行之初就忽略了相应的考量与设计。风险预估方案的不足可能会致使管理措施存在漏洞,给项目带来诸多不利影响,甚至可能诱发一系列安全隐患和社会问题。
(三)过程评估
过程评估总分为28分,H机构农村学前儿童托管项目评估得分为21.83分(见表8)。
![]() |
表 8 过程评估得分情况 |
1.执行概况
通过调查发现,一期项目计划开展时间为2022年9月1日至2023年1月5日,但因不可抗力使活动于12月10日提前结束,部分线下活动未能开展,具体执行情况如下。各社工站除开展日常的学前知识辅导外,围绕国学启蒙、兴趣培养、安全健康、个性发展、心理疏导、建构支持网等六个主题平均开展主题活动98次,其中,国学启蒙10次、兴趣培养45次、安全健康12次、个性发展21次、心理疏导6次、建构支持网4次。总体来说,项目执行情况符合预期。
项目运行初期出现的主要问题是,各社工站日常提供的服务以幼小衔接知识学习为主,以主题活动为辅,给孩子们造成了一定压力。此外,各社工站的志愿者服务观念不同,服务能力层次不齐,导致各站点服务质量不平衡、不稳定。机构工作繁忙,机构人员未能长期持续驻村跟进服务,志愿者缺乏相关经验,导致在项目开展过程中出现沟通不及时、团队人员存在信息差、未高效处理问题等情况。
2.团队管理
在团队管理方面,H机构在服务开展之前会组织志愿者开展培训,这对志愿者遵守规章制度起到了一定作用,但难免有少数志愿者自我约束能力较低,无法遵守规定。目前机构正在编写志愿者手册,在今后的服务中这个问题将会得到改善。
团队成员的稳定性很难保障,往往会有志愿者因为无法适应农村条件、身体原因、个人私事或社工站与预期不符而中途放弃。招募志愿者并不简单,任何一位志愿者的突然离开都会极大地增加机构工作人员的负担。而孩子们要和一位新老师熟络、信任、建立起良好的关系是需要时间的,志愿者的频繁更换对儿童的影响极为不利。
3.档案管理与宣传
H机构非常注重记录完整真实的活动资料,并要求志愿者每次开展活动都要做好服务计划表和总结,并在活动过程中以照片、视频等形式记录孩子们的表现,用于机构存档及向家长反馈。对于机构而言,档案管理不仅是整理和保存资料的过程,更是在专业领域不断积累资产、沉淀关键数据,为机构持续发展奠定坚实基础的重要工作。[16]然而,在档案的实际应用上,H机构却存在一些问题。机构只是将档案整齐地分类存档,完成了收集和整理工作,但没有充分挖掘档案的价值来进行应用分析,档案的利用率和分析深度显得不足。这种做法可能导致机构错失了从档案中提炼经验教训、优化服务策略、提升工作效率等宝贵机会。目前机构正在尝试线上档案管理方案。在宣传方面,机构公众号会不定时报道特色活动,并开展志愿者访谈。
(四)结果评估
社会工作服务项目执行后的产出结果以及项目目标的实现程度是结果评估的主要内容。结果评估是项目成果最直观和真实的表现,直接反映了项目成效。[17]结果评估总分为38分,H机构农村学前儿童托管项目评估得分为33.67分(见表9)。
![]() |
表 9 结果评估得分情况 |
在目标完成方面,H机构严格按照服务计划如期完成了服务内容,对农村学前儿童开展社区照顾服务,促进其成长,获得了服务对象的认可。在满意度调查层面,学前儿童及家长对H机构所提供的服务以及团队人员的表现都比较满意(此调查问卷由乡村骨干发放);在社会评价层面,农村学前儿童托管项目在推行过程中与民政、教育部门、村委会等建立了良好的合作关系,为未来发展奠定了基础,项目得到了各个部门认可,并受到社会爱心人士和市融媒体的关注,带来了较好的社会效益。
1.农村学前儿童积极改变
笔者结合特定问卷,挑选全程参与项目的12名农村学前儿童开展了服务前后测的调查,旨在全面了解他们在能力发展、心理支持及社会适应性等方面的变化。为了更有效地分析调查结果,笔者对问卷中的各个问题选项进行了量化处理,具体赋分如下:“非常不符合”计1分,“不符合”计2分,“一般”计3分,“比较符合”计4分,“非常符合”则计5分[18],以便直观地观察到访谈对象在各个维度上的正向变化程度。分数越高,就意味着其在能力发展、心理支持及社会适应性等方面的正向变化越显著。利用SPSS23对前后测数据进行配对样本T检验,分析其显著性,得出儿童改变情况。
(1)农村学前儿童整体变化情况。由图2可知,后测平均分较前测平均分增加1.02分,同比提升33.22%。其中,涉及“情绪管理”“积极回答问题”“学会分享”“兴趣爱好培养”“自信心提升”“建立良好友谊”“合作精神”这7个题目的后测平均分均比前测平均分提高了1分及以上。这一显著变化表明,项目服务在推动儿童多元智能的发展以及增强其社会适应能力方面发挥了积极的正向作用。
![]() |
图 2 农村学前儿童整体变化情况 |
(2)农村学前儿童前后测显著性分析对比。由表10 可知,总分维度Sig<0.01,这意味着前后测得分之间存在显著差异,说明在H机构对农村学前儿童开展服务后,服务对象在各方面均展现出了比较明显的正向发展趋势。其中,想学习新的知识、会用正确合理的方式表达情绪和想法、懂得尊重别人、做一个讲文明懂礼貌的小孩、能在课堂上积极回答老师的问题、愿意和别人分享自己的东西、知道自己的兴趣爱好是什么、对自己很有信心、有很多好朋友、喜欢和大家一起完成任务、喜欢认识不同的人、喜欢参加手工创意类活动等维度的Sig<0.01,即前后测得分有非常显著的差异;能够独立完成自己事情维度的Sig<0.05,前后测得分有显著差异。这说明通过项目服务的开展,学前儿童的学习兴趣、行为习惯、自我认知、社会交往及自信心提升比较显著。
![]() |
表 10 农村学前儿童前后测显著性分析对比 |
(3)农村学前儿童个体变化情况。由表11和表12可知,每位参与项目服务的访谈对象,其后测的平均分均较前测平均分有所提升,其中有6位的提升幅度达到了1.08分及以上,这充分说明项目服务对每位访谈对象都产生了积极的正向影响。特别值得一提的是F12,其后测平均分较前测平均分提升了1.38分,增长率高达47.26%,变化最为明显。在各项题目中,F12在题11上的提升最大,达到了3分,同时在题4、6、8等题目上也有2分的提升,这表明项目服务极大地促进了F12在尊重他人、学会分享、自信心提高以及阅读兴趣增强等方面的进步。相比之下,F8的进步幅度虽然较小,后测平均分较前测仅提升了0.46分,增长率为11.95%,但在题9上仍有2分的提升,这显示出项目服务对其人际交往能力提升有所帮助。然而,F8在题1、2、3、7、8、10、11等题目上的前后测分数相差不大,甚至持平,这可能与活动开展频次较少有关。值得注意的是,其在题12的后测分数较前测分数出现了负增长,这需要进一步关注并分析原因。
![]() |
表 11 农村学前儿童个体变化明细情况 |
![]() |
表 12 农村学前儿童个体变化概览情况 |
2.满意度调查情况
为了全面评估项目服务的成效,服务对象的满意度被视为一个至关重要的衡量标准。此次调查共发放100份问卷(由乡村教育骨干帮忙发放及回收),经过仔细筛选和统计,最终回收了有效问卷87份。笔者对问卷收集的数据进行分析,其结果如图3所示。由此可知,项目活动的整体安排得到了服务对象的高度认可和赞赏。所有问题的得分均高于4.5分,说明参与本次问卷调查的服务对象对工作人员的表现感到十分满意,对整个活动的整体表现给予了高度评价。
![]() |
图 3 满意度调查结果 |
3.社会评价
根据访谈内容和阶段性服务总结会议的记录可知,项目服务及其成效得到了来自多方主体的高度认可,这其中包括了村委会代表、捐赠方、民政部门、媒体代表、服务对象及其家长。他们一致认为,项目服务不仅在实质上帮助了服务对象,还在更广泛的层面产生了积极的社会影响。
(五)最终评估结果
综上所述,H机构农村学前儿童托管项目最终评估得分为84.67分(见表13)。
![]() |
表 13 评估结果统计表 |
本文基于CIPP模式对H机构农村学前儿童托管项目进行评估,对整个项目实践情况与内容进行评估与分析,相关结论如下。在项目启动之初,团队对服务对象的需求、农村社区照顾的现状以及内部资源进行了详尽的调研和分析。项目团队还积极为农村学前儿童提供良好的社区照顾,并协助家长提升照顾能力,这些努力得到了相关部门的认可。然而,我们也发现项目在执行过程中存在一些问题。首先,社区可利用资源相对匮乏,这在一定程度上限制了项目的实施效果。其次,项目方案在风险预估方面存在不足,未能充分预见可能出现的风险并制定相应措施。此外,项目团队人员的稳定性和配合度存在问题,影响了项目的执行效率和效果。最后,项目在监管流程和制度建设方面存在不足,导致项目后期监管流于形式,各社工站效果参差不齐,且问题未能得到及时反馈和高效处理。虽然在项目执行过程中存在一些不足,但是总体来讲,H机构有效地完成了项目计划目标,并取得了良好的效果。
(六)项目改善建议
1.增加社会工作者专业能力提升经费预算
在项目经费中用于社会工作者专业能力提升的预算开支仅占1%,而H机构的工作人员全部是非社会工作专业科班出身,因此应增加其专业能力提升的经费预算,为其提供专业技能培训和知识更新机会,使其掌握最新的社会工作理论、方法和技巧,从而提升服务质量和效率,这有利于培养社会专业人才,推动社会工作的专业化发展。
2.深化需求调研
H机构调研所得的需求报告是在对村寨、社区简要了解的基础上,结合驻站社会工作者经验形成的需求报告,并不能够完全真实地反映农村学前儿童的需求,难以形成合乎实际需求的分析结果,不能在此基础上为服务对象提供具有针对性的专业服务。因此,应深化需求调研,使需求分析落到实处,确保服务计划的有效制定和活动的顺利开展。这包括优化调研工具和方法,确保调研设计的科学性和有效性,根据调研结果优化项目设计,确保服务内容紧密围绕服务对象的核心需求展开。同时,要理顺服务逻辑,确保服务流程顺畅、环节衔接紧密,以提高服务的整体效果。
3.重视服务质量
为了应付评估,项目人员有过分重视服务过程的文字记录而忽视服务实际过程的倾向,“记录主义”和“留痕主义”泛滥,服务过程重“量”轻“质”。为避免注重痕迹管理带来的弊端,应重视服务质量,提高社会工作者专业能力,围绕服务对象的实际需求提供真正有效的服务。
4.提升督导效能
社工站虽有定期进行团体督导的举措,但存在临近评估时通过密集督导来补齐次数的情况。这不利于加强社会工作人才队伍建设及提升社会工作者专业化水平。为了充分发挥督导团队的作用,社工站应充分利用督导资源,加强社会工作者专业技能培训,如深化专业领域知识、提升专业语言的表达能力等,从而提升社会工作服务的精准度和专业性。
五、思考与总结(一) CIPP 模型与项目现有评估模式对比分析
从评估方法的角度来看,H机构农村学前儿童托管项目当前采用的评估模式主要侧重于结果导向,方法相对单一,主要依赖于项目中期和末期的活动数量达成情况来评判服务质量。然而,这种模式忽视了项目实施过程中可能出现的问题,导致无法及时发现问题并解决。相比之下,CIPP模型更加全面,它根据项目各阶段的实际需求,灵活运用四种不同的评估方法来全面评估项目。
从评估内容来看,H机构目前使用的评估指标较为笼统,缺乏细化指标和完整性,并且缺乏动态监控与反馈机制,未能充分考虑儿童项目的特殊性,因此难以准确反映实际服务的成效。评估过程通常仅依据社工站提供的文书资料,评估结果往往滞后,难以及时解决服务过程中的问题,也无法在周期内有效应用评估结果优化项目。而CIPP模型能够贯穿整个服务过程,在每个阶段都能通过有效评估及时反馈信息,改进项目。该模型强调评估的目的是为了改进,将评估重点聚焦于提供更高质量的服务和专业能力的提升。同时,针对评估结果应用不足的问题,CIPP模型能够将每个阶段的评估结果反馈给社工站,使H机构及时根据评估结果改进服务。综上所述,相较于H机构当前采用的评估模式,CIPP模型在评估方法和内容上均展现出显著优势,能够更全面地评估项目,及时发现并解决问题,提升服务质量和人员专业能力。
(二)对社会工作服务项目评估的建议
1.健全反馈性评估机制
在社会工作服务项目执行过程中,面对可能出现的各种预料之外的问题,及时反馈和调整对于提升服务质量至关重要。首先,完善评估反馈的形式是关键。评估方应及时将服务过程中值得保持和需要改进之处反馈给被评估方。对于存在争议之处,评估方应详细解释判断的依据,而被评估方应积极提供相关资料进行解释沟通,确保双方对评估结果达成共识。其次,建立评估申诉渠道必不可少。当被评估方认为评估结果与实际不符时,可以通过这一渠道提出申诉,以获得更合理、更公正的评估结果。这有助于增强被评估方对评估过程的信任感和参与度,促进评估工作的顺利开展。再次,反馈信息的有效性同样重要。评估方应规范化撰写评估报告,详细呈现各项指标得分情况,以便被评估方全面了解其在每个部分的优势与不足。这有助于被评估方更加清晰地认识到服务改进的方向,从而有针对性地提升服务质量。最后,评估人员在给出评价时,应避免空泛模糊的评价,并且针对服务的不足之处提出具体有效的建议。这些建议应具有可操作性和针对性,能够帮助被评估方切实改进服务,提升专业水平。
2.重视社会工作的专业发展
现行的评估指标过分强调评估的科学范式,致力于将价值类成效转变为规范、清晰、可操作的绩效评估,对指标数量的完成执行审核式检查,难以体现社会工作的专业内涵,忽视了社会工作服务本身价值的特殊性,导致社会工作机构的短视行为。[18]而且过于注重社会工作服务中的经验事实而忽视其中的理论内涵,可能造成社会工作实务只是在低水平经验层次不断重复,不利于社会工作专业的深度发展。[19]因此,应该改善目前破案式、资料审核式的评估方式,在考察效率的同时要兼顾专业发展的诉求,对社会工作服务项目运用个性化的评估方式,强调对评估方法的灵活应用,以彰显专业价值,拓展社会工作机构自我成长的空间。[20]为了使评估结果能够真实反映服务主体的服务成效,要不断完善评估内容,提高指标体系的信度与效度。评估方应该发挥评估的发展功能,超越被动式的服务指标检查,重视社会工作的专业发展,强调社会工作从业者在专业能力上的提升以及专业服务的有效性。
3.由审核式评估转向增能评估
整齐划一的审核评估模式在强化行业监管与组织规范方面确实发挥了显著作用。然而,其固有的局限性日益凸显,如标准过于僵化、评估对象参与度低、评估流程缺乏灵活性以及评估结果应用不充分等。这些问题限制了“以评促建”作用的发挥,难以有效适应社会工作持续发展的需求。在当前的审核式评估中,评估往往被视为一种“例行检查”,导致被评估方倾向于在评估前通过突击准备资料来达标。这种应对方式不仅未能激发被评估方的工作积极性,反而可能损害服务质量。绩效评估的价值取向应该实现从检查逻辑向增能取向的转变,实现从“维持活命”到“践行使命”的目标。[21]回顾以往的审核式评估实践,不难发现其多由政府和评估机构等外部力量推动,其虽起到了监督作用,但也导致社会工作服务机构在评估过程中缺乏主动性和主体性。因此,有必要转变评估模式,从被动接受审核式评估转向增能评估,加强内部评估与外部评估的合作与交流。为此,被评估方应主动将评估纳入工作计划,积极提升项目服务质量、文书写作能力以及应对评估能力。同时,应坚决杜绝资料造假和形式主义行为,确保评估的真实性和有效性。通过内外部评估的有机结合,共同推动社会工作服务机构的能力提升和服务质量优化。
[1] |
民政部 财政部关于政府购买社会工作服务的指导意见[EB/OL]. [2024-03-28]. https://www.gov.cn/gongbao/content/2013/content2361580.htm. 民政部 财政部关于政府购买社会工作服务的指导意见[EB/OL]. [2024-03-28]. https://www.gov.cn/gongbao/content/2013/content2361580.htm. |
[2] |
杜元钰. 政府购买资产评估专业服务研究[J]. 中国资产评估, 2015(8): 29-32. DOI:10.3969/j.issn.1007-0265.2015.08.008 |
[3] |
李秀峰, 祝军. 共青团“青年之家”实体平台的评估指标体系研究——基于德尔菲法和层次分析法的应用[J]. 中国青年社会科学, 2021(2): 28-39. |
[4] |
胡志利. 基于CIPP的本科院校应用型人才培养评价模式研究[J]. 河北科技师范学院学报(社会科学版), 2022(1): 124-128. |
[5] |
NEHE A, SATYAWATI S T, DWIKURNANINGSIH Y. Evaluation of comprehensive guidance and counseling program using the CIPP model[J]. Inovasi kurikulum, 2024, 21(3): 1633-1648. DOI:10.17509/jik.v21i3.69941 |
[6] |
STUFFLEBEAM D L. The CIPP model for program evaluation[J]. Evaluation models, 1983(6): 117-141. |
[7] |
武茜璇. CIPP模型在社区教育项目评估中的应用及思考——基于全国“终身学习品牌项目”的个案研究[J]. 高等继续教育学报, 2023(1): 29-35, 71. 武茜璇. CIPP模型在社区教育项目评估中的应用及思考——基于全国“终身学习品牌项目”的个案研究[J]. 高等继续教育学报, 2023(1): 29-35, 71. |
[8] |
王宇红, 吴迪茵. 社会工作视角下的公益性儿童托管服务项目之社会生态系统分析. [J] 南京理工大学学报(社会科学版), 2013(3): 80-86. 王宇红, 吴迪茵. 社会工作视角下的公益性儿童托管服务项目之社会生态系统分析. [J] 南京理工大学学报(社会科学版), 2013(3): 80-86. |
[9] |
方巍, 祝建华, 何铨. 社会项目评估[M]. 上海: 格致出版社, 上海人民出版社, 2012. 方巍, 祝建华, 何铨. 社会项目评估[M]. 上海: 格致出版社, 上海人民出版社, 2012. |
[10] |
STUFFLEBEAM D L, SHINKFIELD A J. Systematic evaluation [M]. Boston: Kluwer Nijhoff Publishing, 2017 : 170-171.
|
[11] |
STUFFLEBEAM D L, SHINKFIELD A J. The CIPP model for evaluation[A]//STUFFLEBEAM D L, KELLAGHAN T. The international handbook of educational evaluation. Boston: Kluwer Academic Publishers, 2003: 85-138.
|
[12] |
殷世东. 中小学劳动教育课程评价体系的建构与运行: 基于CIPP课程评价模式[J]. 中国教育学刊, 2021(10): 85-88, 98. |
[13] |
曹伟军, 赵周洁. 整合导向的社会工作服务项目评估指标体系建构研究——基于济南市槐荫区的实践经验[J]. 社会政策研究, 2019(2): 149-161. |
[14] |
赵传达. 利用几种不同的评估工具进行社会工作项目服务成效评估的比较研究——以新公民社工”流动儿童全面发展项目”的评估为例[D]. 北京: 中国社会科学院, 2013: 1-10. 赵传达. 利用几种不同的评估工具进行社会工作项目服务成效评估的比较研究——以新公民社工”流动儿童全面发展项目”的评估为例[D]. 北京: 中国社会科学院, 2013: 1-10. |
[15] |
石晓霞. 基于CIPP模式的心智障碍儿童融合教育项目评估研究——以D社工机构为例[D]. 兰州: 兰州大学, 2021: 5-9. 石晓霞. 基于CIPP模式的心智障碍儿童融合教育项目评估研究——以D社工机构为例[D]. 兰州: 兰州大学, 2021: 5-9. |
[16] |
夏志英. 档案管理理论现代化与实践方法研究——评《档案管理理论与实践》[J]. 人民长江, 2024 (11): 257-258. 夏志英. 档案管理理论现代化与实践方法研究——评《档案管理理论与实践》[J]. 人民长江, 2024 (11): 257-258. |
[17] |
朱晨海, 曾群. 结果导向的社会工作评估指标体系建构研究——以都江堰市城北馨居灾后重建服务为例[J]. 西北师大学报(社会科学版), 2009(3): 63-68. 朱晨海, 曾群. 结果导向的社会工作评估指标体系建构研究——以都江堰市城北馨居灾后重建服务为例[J]. 西北师大学报(社会科学版), 2009(3): 63-68. |
[18] |
徐道稳, 唐达婷. 责信理论视角下社会工作机构绩效评估研究——以 S 市社会工作机构绩效评估为例 [J]. 社会工作与管理, 2020(4): 28-36. 徐道稳, 唐达婷. 责信理论视角下社会工作机构绩效评估研究——以 S 市社会工作机构绩效评估为例 [J]. 社会工作与管理, 2020(4): 28-36. |
[19] |
刘江, 顾东辉. 方法为本、理论驱动与机制分析——社会工作服务效果评估的三种策略[J]. 社会工作与管理, 2021(6): 5-13. 刘江, 顾东辉. 方法为本、理论驱动与机制分析——社会工作服务效果评估的三种策略[J]. 社会工作与管理, 2021(6): 5-13. |
[20] |
姚进忠, 崔坤杰. 绩效抑或专业: 我国社会工作评估的困境与对策[J]. 中州学刊, 2015(1): 73-78. DOI:10.3969/j.issn.1003-0751.2015.01.013 |
[21] |
陈天祥, 等. 政府绩效评估与管理: 政治、过程与技术 [M]. 广州: 中山大学出版社. 2015: 39. 陈天祥, 等. 政府绩效评估与管理: 政治、过程与技术 [M]. 广州: 中山大学出版社. 2015: 39. |