为推动中国突发公共卫生事件应急机制建设,提高疾病预防控制专业队伍的应急现场处置与实验室检测能力,2004年在国家财政部和卫生部的支持下,中国疾病预防控制中心组织开展了突发公共卫生事件应急机制建设培训项目(应急培训项目),培训内容涉及11个公共卫生专业领域,接受培训学员1255人次。为规范培训管理,保证培训质量和效果,我们运用Delphi专家咨询调查法,针对培训工作的计划、组织实施、即时效果和持续效应等4个方面,构建了在职培训综合评价指标体系^〔1〕。本研究利用该体系中的培训实施过程评价和即时效果评价指标系统,在开展培训调查评估工作的基础上,对应急培训项目的培训实施质量及即时效果进行评价,探讨两者间相关关系,为各级疾病预防控制机构更好地开展在职培训管理和评价工作提供参考。

1 材料与方法 1.1 资料来源

收集2004年8-12月6个国家级和11个省级疾病预防控制机构以及6所高校公共卫生学院承担的24个应急培训项目培训班相关资料。

1.2 方法 1.2.1 资料收集

(1)查阅资料:应急培训项目现场督导与评估组在培训实施期间,对每个培训班的档案和记录资料进行现场查阅,内容包括培训的组织机构、管理机制、保障制度、经费使用、教学资料、计划执行情况、学员出勤登记等;(2)现场观察:包括培训设施和食宿条件、领导参与情况、师资教学准备、教学内容、教学资料使用、授课方法等;(3)问卷调查:运用项目专家组研究制定的调查表,调查240名师资(每个培训班10名)对教学保障、学员素质、学习积极性的反应等;调查1083名学员对培训组织管理、条件保障、师资教学、培训收获满意度的评价等;(4)培训测试:由各专业的项目专家组研究命题、编制测试试卷,对学员进行培训前后理论测试、实践环节测试等。

1.2.2 评价内容

(1)实施质量评价:以培训班的管理措施、组织实施、师资教学情况、学员情况等4个方面17个主要指标构成评价指标系统;(2)即时效果评价:以学员考核结果、学员对培训效果的满意度、师资对受训学员的反应等3个方面11个主要指标构成评价指标系统^〔1〕。

1.2.3 综合评分 采用各指标评分的算术均数作为该指标测量值,用加权求和法计算综合评分值(gradeindex,GI)^〔2〕。GI值计算公式:〔式中W_j为各二级指标权重系数,X_j为其评价测量值,n为指标个数(实施质量评价17项,即时效果评价11项)〕。调查采用5分法,即:非常同意5分、较同意4分、同意3分、不同意2分、很不同意1分。GI值按百分计(评分标准最高分值为5,因此乘以常数项20)。自行设定评价界限值,将24个培训班的实施质量和即时效果分为优秀(GI值%90分)、良好(80分&GI值＜90分)、合格(60分&GI值＜80分、较差(GI值＜60分)4个评价等级。 1.2.4 综合评判

将培训实施质量评价GI值作为横坐标(X),培训即时效果评价GI值作为纵坐标(Y),以GI值均数为界限,将24个培训班划分为A、B、C、D4个象限,采用四象限分析法原理^〔3〕,建立综合评判模型,运用该模型对培训班质量和效果进行综合评判。其中,A象限为理想区域,表示培训质量和效果均较好;B象限为低回报区域,表示培训班实施质量较高,但即时效果相对较差;C象限为高回报区域,表示培训班实施质量相对较低,但即时效果较好;D象限为有待改进区域,培训质量和效果均相对不高。

1.3 统计分析

采用Excel2003录入数据,进行逻辑检错,应用SPSS13.0和Excel2003软件进行统计分析。对评价等级划分进行方差齐性检验(Levene检验)、单因素方差分析(F检验)及最小显著差t检验(LSD-t检验);对培训实施质量及即时效果评价GI值进行相关与回归分析。

2 结果 2.1 各培训班综合评分值比较(表 1)

培训实施质量GI值最高91.8分,最低75.68分,平均85.38分;即时效果GI值最高90.76分,最低75.43分,平均84.62分。表 1可见,应急培训项目24个培训班的实施质量和即时效果评价全部达合格以上(GI值均>75分),合格率为100%。培训实施质量评价达到良好以上(GI值≥80)有22个培训班,占91.67%;即时效果评价达到良好以上有20个培训班,占83.33%;其中食物中毒与食源性疾病控制班(二)(代码018)的实施质量和即时效果评价均达到优秀(GI值>90)。培训实施质量评为优秀、良好、合格的GI值均数分别为91.30,85.57,77.60分,即时效果评为优秀、良好、合格的GI值均数分别为90.76,85.50,77.58分,各等间均存在明显差异(P＜0.05)。

2.2 培训实施质量与即时效果的相关与回归分析

经正态性检验,培训实施质量和即时效果GI值均服从正态分布(偏度均P>0.20,峰度均P>0.50)。将培训实施质量作为自变量(X),即时效果作为因变量(Y),利用24个培训班的GI值进行直线回归与相关分析,结果表明,回归系数b=0.51,截距a=41.41(直线回归方程:Y^=41.41+0.51X)。回归系数(b)方差分析结果,F=6.4,P=0.02,表明培训实施质量与即时效果存在直线关系(α=0.05);相关系数r=0.47(t=2.50,P=0.02),决定系数R²=0.22,即培训实施质量对即时效果变异的解释能力为22%,提示培训实施质量是影响培训即时效果的重要环节之一。

2.3 培训质量和效果的综合评判

实施质量和即时效果均较好的培训班(A区域)有10个,占41.67%;实施质量较高,但即时效果相对较差的培训班(B区域)有4个,占16.67%;实施质量相对较低,但即时效果较好的培训班(C区域)有3个,占12.50%;培训实施质量和即时效果均相对不高的培训班(D区域)有7个,占29.16%。

3 讨论

培训评估能够为持续改进培训质量提供决策依据,对培训工作的良性循环起关键促进作用^{〔4, 5〕}。本研究结果表明,应急培训项目24个培训班的实施质量和即时效果评价合格率为100%,其中综合评判培训质量和效果均较好者占41.67%;单从培训即时效果综合评判看,培训效果较好者占54.17%(13个培训班);同时也可看出,培训实施质量不高者也占41.67%,提示应进一步分析和总结培训工作的相关环节,提高培训管理能力,指导今后更好地开展培训,提升后续培训质量和效果。对于即时效果相对较差的培训班(11个,占45.83%),培训管理者需重新审视需求分析、培训设计等环节的针对性和有效性等。

培训工作是一个动态发展、各环节有机衔接、相互影响和促进的系统工作,每个环节的工作质量都将影响到培训的整体效果。本研究用定量方法分析了培训实施质量与即时效果之间的直线相关关系,结果表明,提高培训工作的实施质量有助于增强培训效果。同时,也要切实抓好培训前的需求分析、设计和策划等工作^〔6〕。只有规范培训管理,切实提高培训各个环节的工作质量,才能确保培训效果,使培训工作真正达到加强公共卫生人才队伍建设的目的。

(致谢:应急培训项目现场督导与评估组的全体专家和工作人员)