社会工作与管理  2021, Vol. 21Issue (6): 5-13.
|
在日益追求服务效率、效益、效力的背景下，效果的呈现是社会工作服务责信(accountability)最重要的体现。因此，研究应该着力于如何科学有效地呈现社会工作服务效果。何谓社会工作服务效果？一般而言，社会工作服务效果包含两层含义：“其一是目标是否达成，其二是目标达成是否归因于服务本身”[1]。根据这两层含义，效果评估包含了因果律(causality)。效果评估就是要“检验社会工作服务与其目标(之间)的因果关系”[2]。“效果评估必须清楚地阐明社会工作服务实现服务目标的具体机制(mechanisms)”[3]。
在社会科学研究中，因果联系的本质通常具有两种本体论层次的假定。第一种假定通常将因果联系理解为一种“规则性经验联系模式(patterns of regular empirical association)”[4]。这种假定意味着“因果联系的确立在于检验原因和结果之间有规则的联系”[5]。因果规则(或规则性联系)可以通过“检验原因和结果之间的模式化关系来进行分析”[6]25。在实际操作中，主要检验经验事件之间可观测或可测量的规则性联系。第二种假定通常“将因果联系理解为一种机制”[7]。作为机制的因果联系，“它对从原因到结果传递的理论过程感兴趣”[6]25。“基于机制的因果本体理解，经验层次原因和结果之间有规则的联系并不是必要的，必要的是原因产生结果的深层机制。”[8]
因果联系本体论的两种假定决定了社会工作服务效果评估两种不同的操作方法。其一是方法为本的效果评估法，其二是理论驱动的效果评估法。在方法为本的效果评估法中，为检验社会工作服务与服务目标之间的因果联系，评估者通常需要从众多可能的干扰要素中，识别并确定所提供的社会工作服务是实现目标的唯一前置性要素，并在此基础上确定原因和结果之间存在的规则性关联(如相关关系)。社会科学研究方法中的质性和定量方法(比如实验法、准实验法、统计分析法、案例比较法等)通常用于方法为本的效果评估。
社会工作服务效果评估仅仅确定原因与其结果之间的规则性关联还不够。原因在于“规则性联系只是揭示了结果产生的经验性过程，但是该过程为何如此仍然是亟待解释的黑箱”[6]25。为解释这一黑箱，需要将评估从经验规则引向更加抽象的理论分析。由此，社会工作服务效果评估至少应该包括两个层次：其一是在经验层次上说明社会工作服务与结果之间的联系(也即服务与目标之间的规则性联系)；其二是解释经验层次联系的内在机制(也即服务如何实现目标)。如果第一层次是说明“是什么”，且可以借助社会科学研究方法来回应，那么，第二层次就是对“是什么”进行解释。第二层次的解释需要借助超越经验的理论分析来实现。
根据上述分析，社会工作服务效果评估的含义就不仅仅是目标是否达成和目标达成是否归因于社会工作服务本身，还包括经验与理论之间的跃迁。如何实现这种跃迁是社会工作服务效果评估需要回应的问题。为回应这一问题，本文拟采取四种策略展开分析：一是分析方法为本的效果评估策略及其特征；二是分析理论驱动的效果评估策略及其特征；三是对方法为本的效果评估和理论驱动的效果评估的解释类型进行分析；四是以实用主义因果律(pragmatic causality)的内涵作为指导，融合经验层次的规则性联系和理论层次的机制性因果，并形成两条整合了“理论−方法−经验材料”的效果评估策略。
二、方法为本的效果评估法根据规则性因果本体论假定，效果评估通常要求评估者对社会工作服务经验层面的因果联系进行检验。其任务是在排除所有干扰因素的情况下，确定目标实现归因于所提供的服务。为实现这一任务，评估者通常借助社会科学研究方法展开效果评估，如测量、研究设计、调查研究(质性与定量)等。
(一) 测量与效果评估
测量(measurement)是第一代评估的显著形式，具有明显的工具性和技术性特征。它认为“任何指定的调查变量都可以被测量”[9]。它要求根据服务目标(或测量的目标变量)编制科学合理的测量工具。评估者需要使用这些科学合理的测量工具对服务目标进行直接测量。那么，测量对服务效果进行衡量的逻辑是什么？测量运用于效果评估的核心在于其能否体现出测量客体的水平。而测量客体水平的高低又暗含了比较的思想。这种比较通常是将服务对象的测量结果与服务对象所属类别群体的一般状况(也即通常所讲的“常模”)进行比较。在社会工作服务领域，正因为个人或群体与其所属群体类别(“常模”)之间存在某种差距，才导致他们形成某种“匮乏”，产生某种“需求”。社会工作服务效果就集中体现于解决“匮乏”和满足“需求”，以使其能够与“常模”保持一致或者优于“常模”。测量参与社会工作效果评估的前提就在于通过科学的方法获取某个特定领域的“常模”，以及建构有效的测量工具。
测量的优点是能够用相对统一的、符合大众一般水平的标准对服务对象的状况进行评定。但是，仅是标准化测量工具的使用还不足以说明社会工作服务的效果。原因在于，标准化测量工具无法确定在排除干扰因素的情况下，社会工作服务与结果之间的联系。
(二) 研究设计与效果评估
根据效果评估的第二层含义，控制(或排除)社会工作服务以外的干扰项是实现规则性因果联系检验的重要前提。有效的因果推论(或因果检验)还涉及比较的议题。和测量中与“常模”的比较不同，因果推论中的比较通常是与自身的反事实(counterfactual)状态比较。所谓反事实，“就是和我们能够观测到的现实情况相反的一种状态”[10]5。根据反事实理论，两个变量之间的规则性因果联系可以理解为：“一个变量A对于另一个变量B的因果效应，就是A成立时B的事实状态与A不成立时B的反事实状态之间的差异”[10]5。差异显著则说明A和B之间具有因果联系。这一反事实的因果推论在社会工作服务效果评估中主要体现为：服务对象O在接受社会工作服务S时的状况P，与服务对象O不接受社会工作服务S时的状况P之间的差异。
根据反事实的因果推论，事实和反事实都必须发生在同一个对象身上。在进行效果评估时，需要考虑同一个服务对象在接受社会工作服务与不接受社会工作服务时表现出来的实际状况是否具有显著差异。这个要求为效果评估带来困境，因为任何一个服务对象所能观测的都是其接受或者不接受服务的情况，而无法观测其接受且不接受服务的情况。受这一困境的影响，进行社会工作服务因果检验的前提又转变为，找到(或建构)与接受服务的对象相似的，但又不接受社会工作服务的对象。由此，社会工作效果评估的基本任务就是构建出与服务对象高度相似的案例，以保证事实案例和反事实案例之间的差异源自是否接受社会工作服务这一唯一要素。
就具体评估策略而言，与反事实理论最为贴近的方法是实验法。“实验法的基本要素包括：随机分配、实验组、控制组、干预、前测、后测”[11]166。其中，实验组和控制组就是反事实理论中所指的事实案例和反事实案例。前者接受社会工作服务，后者不接受社会工作服务。随机分配的作用就是保证进入实验组和控制组的服务对象在总体上保持相似性，也即在基本特征上不具有显著性差异。前测是在进行社会工作服务之前，对服务对象的目标状况进行有效测量。后测是在社会工作服务结束之后，对服务对象的目标状况进行有效测量。社会工作服务效果即为实验组和控制组后测结果的差异。如果有差异，且差异显著，则说明社会工作服务具有效果。
从反事实因果推论的角度看，实验法是最佳的方法。但是，实验法用于社会工作评估时会面临严重的适用性困境。首先，反事实组别(控制组)设定难。受服务伦理的限制，社会工作服务无法将目标群体随机分成两组，并让其中一组接受服务(实验组)，另外一组不接受服务(控制组)。在此情况下，基于实验组和控制组的效果评估便不可能成功。其次，缺乏前测。受社会工作服务重视实务的影响，专业的社会工作评估者通常是事后的总结性评估(summative evaluation)。效果评估通常被安排在社会工作服务完成之后，对项目的效果进行总结性评价。这使得社会工作评估通常缺乏可供比较的前测。
针对第一个困境，以单案例(single-subject design)为主的研究设计得以引入社会工作服务效果评估。单案例设计有三个核心要素：“基线阶段A、干预阶段B、重复的测量”[11]223。具体而言，单案例设计从简单的“A—B”设计，到相对复杂的“A—B—A”设计和“A—B—A—B”设计。其中，重复的测量主要用于控制潜在的干扰项，进而提升内在效度。在具体使用过程中，“基线阶段通常通过多次(至少三次)测量，以确立有关服务对象在干预目标上的稳定模式”[11]224。“这种稳定模式或者表现为三次测量结果呈现稳定的水平线，或者表现为持续上升或下降的趋势，或者表现为一种稳定的上下波动”[11]224。当测量结果呈现稳定的模式之后，则可以确定已经排除多种干扰要素，进而可以进入干预阶段的测量。干预阶段的测量通常与基线的测量使用同样的测量工具。然后，通过可视化(如曲线图)的方式将阶段A和阶段B的模式进行呈现并比较，以确定社会工作服务是否有效。
根据上述分析可知，不论是严谨的实验法，还是单案例设计，基本上都以确立社会工作服务与结果之间在经验层次的规则性联系为目标。它们一方面能够完成服务结果测量之要求，另一方面也能完成将服务结果归于社会工作服务本身之要求。即便如此，这些设计也可能因为不关注其他“干扰”要素，而降低了对社会工作服务复杂运作过程的了解与把握。
(三) 调查研究与效果评估
在多数情况下，社会工作服务效果评估是一种事后的总结性评估。此时，调查研究的应用范围更广。而质性研究和量化研究是使用最多的方法。①在社会工作服务事后评估中，质性研究和量化研究可以单独使用，也可以混合使用。二者的选择取决于评估者对社会工作服务项目本质的假定。
社会工作服务项目在本质上有两种假定。第一种假定认为：“社会工作服务的目标是提前预定的，服务内容和目标之间存在某种线性联系，并且项目具有恒定性，不因项目运作的情境和项目运作的时间发展而产生变化。”[12]第二种假定认为：“社会工作服务项目具有较强的情境性和时间性，项目运作所在的情境及其成长变化都会使得项目具有强烈的动态性特征，由此社会工作服务项目运作具有不可预测性。”[13]两种社会工作服务项目的假定决定了社会工作服务效果评估使用研究方法的偏好。
在第一种假定的支持下，评估者通常会使用量化研究方法。由于假定社会工作服务项目具有情境恒定性、线性因果律，评估者通常会根据项目方案，按照特定的逻辑(如逻辑模型、CIPP模型等)在社会工作服务及其预设的目标之间建立因果逻辑。在具体评估过程中，评估者或者根据因果逻辑的各个部分对社会工作服务的运作情况进行检核，或者将因果逻辑进行操作化处理，形成可供验证的研究假设，并借助问卷调查和统计分析对研究假设进行检验。在第二种假设的支持下，评估者通常使用质性研究方法。由于假定社会工作服务具有情境变异性、时间变异性，项目的实际运作状况无法与预定的项目方案完全匹配，甚至会产生很多意外性结果。评估者无法根据预定的项目方案来指导评估，转而“以项目实际产生的结果为焦点来展开回溯性研究”[14]。在这一思路指导下，“首先，评估者使用多种不同的方法(如资料查阅、利益相关者焦点访谈等)来确定社会工作服务项目产生的实际结果(非项目预定结果)；其次，评估者在众多资料中识别和分析产生实际结果的服务，并在服务和结果之间建立起联系；最后，在确定社会工作服务与实际结果之间的联系之后，评估者继续寻找与服务有关的新的资料来确定(或检验)二者之间的联系。”[14]这一过程直至评估资料中不再有新的联系出现而停止。
此外，质性与量化方法的混合使用也是一种可供选择的方法。在混合方法中，质性研究扮演探索的角色，量化研究扮演假设检验的角色。首先，使用质性研究在各类与服务有关的资料中建立起服务与实际结果之间的联系；其次，将这一联系转化为可供检验的研究假设、设置调查问卷、收集量化资料；最后，使用恰当的统计技术对量化资料进行分析，以检验社会工作服务与结果之间的联系是否具有显著性。
调查法用于效果评估的优势在于能够在没有任何事前设计的情况下，对社会工作服务的效果进行事后评估。即便如此，其不足也非常明显。通常情况下，一个特定的社会工作服务项目的服务对象是个体或群体。这意味着服务对象通常是小样本。这对样本量有一定要求的量化研究产生了较大阻碍。虽然可以使用质性研究代替量化研究，但是在实证主义主导范式下，质性研究因其缺乏统计检验功能而在评估结果的效度上受到质疑。
总体而言，在方法为本的效果评估中，基于测量、研究设计和调查研究方法所获得的因果联系属于经验层面的联系。其对象是特定的经验层面的社会工作服务和结果之间的规则性联系。这种规则性联系属于经验因果，与韦伯所言的“意义因果”[15]相去甚远。它无法对服务为何产生特定的结果进行有效解释。
三、理论驱动的效果评估法根据因果联系第二种本体论假定，理论驱动的评估(theory-driven evaluation)作用(或目的)之一是解释社会工作服务效果产生的机制。社会工作效果评估通常具有两种理论，“其一是实施理论(implementation theory)，其二是项目理论(program theory)”[16]72。
(一) 实施理论与效果评估
实施理论要回应的问题是，“项目预定的目标是否会在项目具有足够质量保证的情况下实现”[16]72。实施理论关注项目运作的过程以及指导这一运作过程的逻辑，其中程序逻辑模型(PLM)、CIPP模型最为常见。从项目运作质量管理的角度看，项目实施理论中使用的逻辑通常以项目发展的阶段性特征进行设计。具体而言，社会工作服务项目的设计通常根据其发展阶段可以分为准备阶段、运作阶段(或生长阶段)、结果阶段。其中，准备阶段主要包括项目的投入(如人力、物力、财力等投入和安排)，运作阶段主要指项目的具体运作(如针对服务对象开展的各种干预策略)，结果阶段主要包括项目的产出、效果、影响等。项目发展阶段潜藏了一种因时间先后而定的线性因果逻辑。这种线性因果逻辑的作用通常被视为社会工作服务质量和服务效果的重要保障。社会工作项目开发者只需根据这一线性因果逻辑认真设计项目各个板块的内容，而实务工作者只需按照这一逻辑及其各个板块的内容认真执行，便可保障项目的质量和效果。社会工作服务效果的评估只需检核项目实施的实际投入、过程、产出、结果和影响等内容是否与项目预定的计划相匹配。如果匹配，则说明社会工作服务有效果；如果不匹配，则无效果。本质而言，这类理论是一种形式理论。其各个板块之间的因果联系通常只是在形式上用带有方向性的箭头“→”表示。这种因果表达形式并非项目各个部分之间的实质关系，它并不能揭示服务与结果之间真实的逻辑联系。
(二) 项目理论与效果评估
项目理论要回应社会工作项目目标为何得以实现，其目标是进行解释。项目理论包括“规范理论(normative theory)和因果理论(causal theory)”[17]。其中，因果理论的作用是提供项目缘何运作的因果假设。与实施理论注重社会工作服务项目的形式逻辑不同，项目理论(尤其是因果理论)聚焦于项目运作的实际情况，帮助厘清项目中“如果A那么B”的链条。[18]项目理论对社会工作服务实际情况关注的目的在于探索潜藏于项目实际运作表层之下的深层因果。相对于经验层次的规则性联系，项目理论所探索的深层因果更加抽象，甚至不可见。对这种抽象层次的因果进行理解的关键，是借助社会科学理论，对特定的社会工作服务与其结果之间的规则性联系进行升华式理解。根据这一思路，社会工作服务效果评估就必须回到项目的实际运作，首先探索其在经验层面的规则性联系，然后探索其背后潜藏的因果机制(或社会科学理论)。也可以从理论出发，经过操作化处理并建立好因果逻辑关系之后，再开展实务和评估工作。
比较两种评估中的理论，实施理论用一种高度概化的逻辑来理解社会工作服务的运作。它并不能真正获知社会工作服务缘何实现特定目标。因此，实施理论既不能提供经验层次的规则性联系，也不能提供理论层次的因果机制。项目理论(尤其是因果理论)本质上关注超越经验层次因果机制的理论解释。一方面它能够从经验层面呈现社会工作服务运作的实质逻辑，另一方面它又能从深层的理论角度对社会工作服务与目标之间的关系进行解释。项目理论(尤其是因果理论)在一定程度上超越了朴素的经验主义，更贴近于韦伯所谓的“意义因果”的内涵。
四、两类评估方法的解释内涵本质而言，方法为本的效果评估和理论驱动的效果评估，分别属于两种不同的解释类型。前者属于统计学解释，后者属于机制性解释。
(一) 统计学解释与方法为本的效果评估法
统计学解释的重要特征是，“如果我们找到一个能够对被解释事件的概率造成影响的因素，我们就有了解释”[19]22。在使用统计学解释的学者看来，如果一个要素和某个特定结果的条件概率之间具有系统性关联，那么就可以确定这个要素是原因。统计因果通常使用各种统计模型以确定原因和结果之间的关系。一个结果必定有多个原因，因此，统计模型通常使用“控制”的方式来确定核心因素与结果之间的联系。比如，网络游戏成瘾青少年的网瘾行为之改变，可能受到很多因素的影响：一是社会工作者使用的服务技术，二是社会工作者与服务对象之间的专业关系，三是网瘾青少年与父母的关系，四是网瘾青少年朋辈群体特征……在众多因素中，要确定哪一个或哪几个因素对网瘾行为改变产生影响，就需要对其他不关注的因素进行“控制”。“控制”的方式有很多，比如实验组和控制组，回归分析中的控制变量等。使用“控制”得到的实际上是在排除(或控制)其他因素的前提下，某个特定因素对结果的影响。这一思路恰巧符合了社会工作服务效果评估的第二层含义。值得注意的是，在社会工作服务中，服务对象的任何改变都是一个高度复杂的社会过程，是不同因素综合作用的结果。因此，在社会工作服务中，使用统计控制以获取单个因素对结果产生的净影响并不一定可取。
从统计分析、由理论出发形成可供检验的假设，并将假设中的概念操作化为可以用经验材料测量的变量的角度来看，“统计分析本身不是因果解释，而是对因果解释的测量和检验”[19]25。统计方法直接作用的对象是经验层面的社会工作服务与结果，以及二者的规则(统计)性联系。其本质是使用概率的方式，对经验层次的不同事件(或事实)之间的联系进行归纳，而非解释。总之，统计学解释的内涵体现为第一种因果本体论假定，与方法为本的效果评估契合。
(二) 机制性解释与理论驱动的效果评估法
关于机制(mechanism)的理解随研究者所在领域的不同而具有差异。以往有关机制的界定可以分成三类：“一类认为因果机制是将因果力(causal forces)从原因传递到结果的系统；一类认为因果机制是串联原因和结果之间的一系列经验事件；一类认为因果机制就是原因和结果之间的某种干预变量”[6]32。关于机制的分歧的焦点在于机制是否具有可见性、可测性。[20]一种观点认为：“机制是一种不存在于现实世界中的分析性构念，是行动主体一种不可测的身体、社会、心理过程，因此只有通过推理的方式来认识因果机制。”[21]另外一种观点认为：“机制具有可观测性、稳健性和现实性，它是现实世界的一部分，可以通过观察而来。”[22]两种对立的观点对基于机制的解释性研究造成阻碍。为了弥补两种不同理解给机制性解释的运用带来的困境，Beach和Pedersen从实用主义的立场出发，认为：“在使用机制进行分析时的目标是尽可能地接近潜在的因果机制，某些因果机制可以通过细致地观察实际机制的方式进行概念化或操作化，在辅以大量证据的支持下接近潜在的因果机制。”[6]44
“机制虽然难以通过直接观察或经验感知而获得，但是它定位于比变量(或事件)更抽象的层次，可以用于解释变量之间的统计关系。”[23]在进行社会工作效果评估时，“不能简单地对经验层次的现象进行重复观察(或测量)，而是深入经验和统计关系的表层之下，以识别偶发事件发生规律的潜在机制”[24]。在操作上，“对机制的认识可以通过引入可观察的效应来确定潜在机制的存在，而且这些效应正是由潜藏的机制所引起”[25]。理论驱动的效果评估法中对理论的强调，体现出机制性解释中对抽象于经验层次的潜藏的机制的追求。总之，机制性解释的内涵体现为第二种因果本体论假定，与理论驱动的效果评估契合。
根据上述分析可知，统计学解释本质上揭示的是经验层次事件之间的联系。机制性解释在统计学解释的基础上往前一步，对经验层次的事件(或变量层次)之间的联系进行抽象理解。机制性解释期望通过探索经验层次(或变量)背后更深层次的意涵，进而打开社会工作服务与结果之间的因果黑箱。如果说经验层次的规则性联系回答是什么的问题，那么机制回答的就是为什么的问题。它既关注社会工作服务运作的实质性因果逻辑(经验性逻辑)，又要超越经验，探索深层次的理论意涵。方法为本、理论驱动、统计学解释、机制性解释四者之间的关系如表1所示。
|
表 1 不同因果联系解释的关系 |
前文已述，机制性解释下的社会工作服务效果评估应该是从经验层次到理论层次的跃迁。由此，社会工作服务效果评估应该将经验层次的规则性联系与理论层次的因果机制进行整合。在实用主义机制内涵的指导下，经验的规则性联系与理论的因果机制的整合可以借助过程追踪(process tracing)的方法来实现。过程追踪运用于社会工作服务效果评估至少包含两层含义。一层含义是，在经验层面探索原因(X)到结果(Y)的运作过程。这个过程要求评估者从社会工作服务运作的实际状况中识别服务与结果，以及二者中间可能的其他要素(或干预事件)，进而形成经验层面的规则性联系。另一层含义是，在理论层面探索可以解释经验层面规则性联系的理论。在具体评估过程中，可以使用基于理论建构的过程追踪法(theory-building process tracing)或基于理论检验的过程追踪法(theory-testing process tracing)来整合规则性联系和深层机制(或理论)。
(一) 基于理论建构的过程追踪与机制分析的效果评估法
“基于理论建构的过程追踪起始于经验材料，并且对经验材料进行结构化分析来探索原因(X)和结果(Y)之间可能存在的机制”②[6]16。虽然以经验材料作为起点，但是该方法要求要确定地知道原因(X)和结果(Y)是什么，以及二者之间存在某种关联。该方法的具体操作过程见图1。
|
图 1 基于理论建构的过程追踪法 |
第一，“根据社会工作服务项目的资料确定原因(X)和结果(Y)”[6]16，并借助相关理论对原因(X)和结果(Y)进行界定。原因(X)和结果(Y)可以通过对项目申报书、服务计划书、服务的利益相关者访谈等资料进行分析来确定。在确定经验层面的原因和结果之后，需要将社会工作服务与其对应的研究领域相结合，对已经确定的原因和结果进行概念化，并对二者之间的关联进行理论化(theorization)理解。
第二，收集经验证据，“以经验证据作为原因(X)和结果(Y)之间因果机制在经验层面的线索”[6]18。在以实践为导向的社会工作服务项目中，结果通常由工作者提供的服务，以及其提供服务的方式来实现。因此，因果机制的经验线索可以通过梳理项目计划书，关注项目所提供的各种服务，以及其服务的传递方式来获得。这个阶段的工作量较大，需要评估者或者研究者收集大量与项目有关的经验材料。并从经验材料的对比分析中，归纳出一个较为稳健的包含原因→过程→结果的经验性规则联系(也即原因和结果之间不断重复出现的模式)。
第三，“从经验层次的规则性联系中推断该联系可能蕴含的潜在因果机制”[6]17。这个步骤的核心任务在于从经验层次的规则性联系，跃迁至理论层面的因果机制。研究者和评估者不能仅仅停留于对经验层次规则性联系的归纳总结，还需将形成的经验层次的规则性联系置于特定的学术研究领域中同理论进行对话，与该领域中不同的理论进行来回分析，以寻找最适配的理论。这一过程直至经验层次的规则性联系与理论之间实现逻辑自洽而结束。
(二) 基于理论检验的过程追踪法与机制分析的效果评估法
与基于理论建构的过程追踪不同，基于理论检验的过程追踪起始于特定的理论及因其而形成的因果机制假定。在该方法中，评估者通常“预先拥有原因(X)和结果(Y)之间存在某种合理机制的猜想(或假设)，或者根据现有理论通过逻辑推理来建构因果机制”[6]14。该法虽然从理论的角度揭示了原因(X)和结果(Y)之间的因果机制，但是这类因果机制因其抽象性质而难以获得对社会工作服务项目运作的直观认知。因此，该方法需要从理论(或抽象)层次的因果机制转向经验层次。该方法的具体操作过程见图2。
|
图 2 基于理论检验的过程追踪法 |
第一，确定项目中的原因(X)和结果(Y)，并“根据项目所在领域的研究成果对原因和结果进行概念化处理，然后确定概念化的原因和结果之间是否存在假设③的(或可供检验的)因果联系”[6]14。其作用是从理论的角度对项目实际运作的因果逻辑进行预先假定。其所得结果是一个理论化的因果机制。
第二，对理论化的因果机制进行操作化(operationalization)处理。其目的是“将理论层面的因果机制，转化为可观测的实质因果联系”[6]14。这种转换要求评估者能将理论层次的因果与项目运作的实际内容、传递过程等进行对接。其关键点在于理论概念和项目的实际服务、传递过程等经验资料之间的有效调适。
第三，收集经验证据，“确定项目中是否存在假设的因果机制，以及该机制是否发挥了预期的作用”[6]14。由于基于理论层次而形成的理论化的因果机制具有不可观测性，因此，需要对操作化的经验层次的规则性联系进行检验。这要求评估者以项目的利益相关者为对象收集项目信息，然后检验经验层次的规则性联系，进而确定理论层次的因果机制是否存在。
(三) 机制分析的本质
不论是基于理论建构的过程追踪，还是基于理论检验的过程追踪，虽然两者的逻辑起点不同，但是其最终的归宿都是获得项目的因果机制。两种方法均假定因果机制具有抽象性和不可见性。两者都持实用主义的观点，认为抽象的机制具有其现实或经验的表现形式。在这种假定下，抽象的和不可见的因果机制可以借助理论获得理解，同时借助经验资料获得实质性把握。借助对因果机制的假定、理解及探索，这两种方法成功地将理论、方法和经验资料进行有效结合。在基于理论建构的过程追踪中，从经验资料到规则性联系，再到理论(或潜在因果机制)建构，将得益于各种不同的质性研究方法之有效使用(如扎根理论等方法)。在基于理论检验的过程追踪中，从理论到因果联系，再到可供观测的经验资料的收集和检验，将得益于各种不同的量化研究方法之使用(如概念化、操作化、测量、统计分析等)。由此，方法为本和理论驱动的效果评估法就得到有效整合。
六、结论与讨论社会工作服务效果评估的核心是探索或检验社会工作服务与结果之间的因果联系。在这一核心的指引下，以往关于效果评估的研究通常朝着两条进路不断发展。一条以社会工作服务经验层次的规则性联系为研究对象，将各种不同的社会科学研究方法运用于社会工作服务效果评估之中。另一条以社会工作服务潜藏的因果机制为研究对象，并借助不同学科的理论来解释这种机制。虽然两条进路都以探索社会工作服务与结果之间的因果联系为主要目标，但是因为各自所坚持的因果本体论假定不同而存在较大差异。前者认为，因果联系在本体上是一种规则性经验联系模式，可以通过经验观察、统计检验等方式确定原因和结果之间的规则性联系。这种规则性联系揭示的是经验事件之间的事实联系。后者认为，因果联系是一种超越经验层次的机制，是从原因到结果的一种不可见，甚至不可测的潜藏机制。这种机制只有通过理论推论的方式才能得以认识。两种效果评估方法因其背后的因果假定和解释类型不同，导致二者呈现平行发展的特征。
社会工作服务既是一个经验运作过程，也是一个理论应用过程。因此，效果评估需要思考如何将经验运作和理论使用进行有效整合。本文在对因果联系的本体论假定、解释类型等做了分析之后，以实用主义的机制性解释(pragmatic mechanism)作为指导，将经验、方法、理论三者进行整合。本文形成了两种可能的整合策略。一种是以经验层次的规则性联系作为起点，通过归纳、概念化等方法最终走向理论解释。另一种是以理论性因果联系作为起点，通过演绎、操作化等方法最终走向经验层次的因果联系。虽然起点不同，但是两种方法都以整合理论和经验为核心目标。
长期以来，社会科学研究方法的不断发展和社会工作对实务的强调，共同推动了社会工作服务的评估朝向方法为本的方向发展。研究方法的便捷性、经验资料的易理解性通常使得隐藏在社会工作服务背后的深层机制(或理论过程)被忽视。社会工作知识的积累过程应该是经验和理论两个方面共同发展的过程。过于重视社会工作服务中的经验事实，而忽视其背后的理论内涵，可能会导致社会工作实务在低水平的经验层次不断重复，这又阻碍了社会工作专业的深度发展。结合本文的研究结果，在社会工作服务效果评估中，应该将实务经验和理论进行整合。这种整合或者以经验联系为起点，或者以理论联系为起点。如何选择则与社会工作服务项目的特征及评估者的素养有关。鉴于社会工作服务效果评估的重要性和复杂性，建议第三方评估应该超越简单的以指标为主导的检查式评估，转而以尊重项目独特性，运用本文提出的两种整合性方法展开效果评估。
注释
①在有的研究方法书籍中通常将调查研究与量化研究等同，将调查等同于问卷调查。本文认为，调查并非只包括问卷调查，质性研究中常用的个案访谈、焦点小组访谈、专家德尔菲法等均属于调查。因此，本文将质性研究和量化研究均置于调查研究之列。
② 本文虽然借用了实用主义的机制本体论假定，但是依然倾向于认为机制(mechanism)是超越经验层次的、不可见的、与理论有关的要素。因此，这里所说的基于经验材料的机制，在本质上是社会工作服务、中间要素、结果之间的规则性关联。可以表述为X→n1→n2→……Y。
③ 这里的假设不是源自社会工作服务，也不是源自评估者的经验，而是在原因和结果概念化的基础上，从与之对应的理论而推演出来的假设。
| [1] |
罗希, 弗里曼, 李普希. 项目评估: 方法与技术[M]. 邱泽奇, 等, 译. 北京: 华夏出版社, 2002: 20
|
| [2] |
刘江. 社会工作服务效果评估: 基于定性与定量方法的混合评估法[J]. 华东理工大学学报(社会科学版), 2016(6): 36-43,83. DOI:10.3969/j.issn.1008-7672.2016.06.005 |
| [3] |
KHANDDER S R, KOOLWAL G B, SAMAD H A. Handbook on impact evaluation: quantitative methods and pracitces [M]. Washington DC: The World Bank Publication, 2010: 3.
|
| [4] |
BRADY H E. Causation and explanation in social science [C]// JANET M BOX-STREFFENSMEIER, HENRY E BRADY, DAVID COLLIER. The Oxford handbook of political methodology. Oxford: Oxford University Press, 2010: 217-270.
|
| [5] |
MARINI M M, SINGER B. Causality in the social sciences [J]. Sociological methodology, 1988, 18: 347-409. Doi:10.2307/271053.
|
| [6] |
BEACH D, PEDERSEN R B. Process-tracing methods: foundations and guidelines [M]. Ann Arbor: The University of Michigan Press, 2013.
|
| [7] |
BENNETT, ANDREW. Process-tracing: a bayesian perspective [C]// JANET M BOX-STEFFENSMEIER, HENRY E BRADY, DAVID COLLIER. The Oxford handbook of political methodology. Oxford: Oxford University Press, 2010: 702-721.
|
| [8] |
BOGEN J. Regularities and causality: generalizations and causal explanations[J]. Studies in history & philosophy of biological and biomedical sciences, 2005, 36(2): 397-420. |
| [9] |
古贝, 林肯. 第四代评估[M]. 秦霖, 等, 译. 北京: 中国人民大学出版社, 2008: 5.
|
| [10] |
胡安宁. 社会科学因果推断的理论基础[M]. 北京: 社会科学文献出版社, 2015.
|
| [11] |
ENGEL RAFAEL J , SCHUTT RUSSELL K. The practice of research in social work. [M]. 3rd ed. Clifornia: SAGE Publication, 2013.
|
| [12] |
刘江. 自由目标评估: 一种可行的社会服务项目效果评估法——兼论社会服务项目效果评估的新转向[J]. 华东理工大学学报(社会科学版), 2019(4): 57-64. |
| [13] |
FITZPATRICK J L, SANDERS J R, WORTHEN B R. Program evaluation: alternative approaches and practical guidelines[M]. 3rd ed. Boston: Pearson Education, 2004: 41.
|
| [14] |
YOUKER B W. Goal-free evaluation: a potential model for the evaluation of social work programs[J]. Social work research, 2013, 37(4): 432-438. DOI:10.1093/swr/svt032 |
| [15] |
马克斯•韦伯. 社会学的基本概念[M]. 顾忠华, 译. 桂林: 广西师范大学出版社, 2010: 36
|
| [16] |
WEISS C. Theory-based evaluation: past, present and future[C]//ROG D J, FOURNIER D. Progress and future directions in evaluation: perspectives on theory, practice and methods. San Francisco: Jossey-Bass, 1997.
|
| [17] |
CHEN H-T, ROSSI P H. The Theory-driven approach to validity[J]. Evaluation and program planning, 1987, 10(1): 95-103. DOI:10.1016/0149-7189(87)90025-5 |
| [18] |
王海萍, 许秀娴. 我国社会工作干预项目评估流程与方法回顾[J]. 社会工作与管理, 2018(5): 15-20. DOI:10.3969/j.issn.1671-623X.2018.05.002 |
| [19] |
彼得•赫斯特洛姆. 解析社会: 分析社会学原理[M]. 陈云松, 等, 译. 南京: 南京大学出版社, 2010.
|
| [20] |
ASTBURY B, LEEUW F L. Unpacking black boxes: mechanisms and theory building in evaluation[J]. American journal of evaluation, 2010, 31(3): 363-381. DOI:10.1177/1098214010371972 |
| [21] |
GEORGE A L, BENNETT A . Case studies and theory development in the social sciences [M]. Cambridge: MIT Press, 2005: 137.
|
| [22] |
BUNGE M. Mechanism and explanation[J]. Philosophy of the social sciences, 1997, 27(4): 410-465. DOI:10.1177/004839319702700402 |
| [23] |
PAWSON R. Invisible mechanisms[J]. Evaluation journal of Australasia, 2008, 8(2): 3-13. DOI:10.1177/1035719X0800800202 |
| [24] |
BHASKAR R. A realist theory of science [M]. Sussex, Brighton: Harvest Press, 1975: 13.
|
| [25] |
SAYER R K. The mechanisms of emergence[J]. Philosophy of the social sciences, 2004, 34(2): 260-282. DOI:10.1177/0048393103262553 |