查看原文
其他

数字指标之外,衡量影响的另一种可能

SSIR中文版 斯坦福社会创新评论 2024-03-12
导读
 Foreword



现有的影响力评估多以一系列量化指标为核心,在项目完成后进行。许多人似乎理所当然地认为,某项指标的数字大幅增长了,就是“好”的,是“有影响”的。本文作者来自慈善基金会,她的组织反思了现有的影响力评价体系,并要求合作伙伴分享他们眼里的影响力是什么。通过归纳分析,作者以可感知性和结果落地速度为核心指标,定义了4种不同形式的影响。进一步,她提出了组织的4个前进方向。





图片由DALL·E生成
几个月前,我们收到了一封来自某非政府组织创始人的内部信,该信反思了发展部门资助者和创办者之间的关系。其中一件轶事引人瞩目:当(该组织服务的)社区被问到组织的干预措施引起了何种改变时,创始人预期社区会谈到该组织以改善民生和收入为目标的王牌项目。但在一个又一个村庄,社区伙伴给出的回应是:“恐惧消失了,我们不再害怕了。”

如何衡量恐惧或不恐惧?如何衡量无价的东西?

这个故事促使我们思考哪些假设可能限制了我们对影响力的看法。在制造业等领域,投入和产出之间的关系相对直接且具备因果关系。相比之下,确定社会项目的影响力是棘手的,这使得向我们的合作伙伴学习这件事变得更加重要。毕竟,社会问题存在于系统中,而系统不是静态的,而是具有内在反身性的:干预行为会改变系统,反过来,系统要求干预行为做出调整。然而,发展部门的衡量和评价方法往往没有反映这一现实:大多数情况下,评估是在项目结束时进行的,而不是随着项目的发展同步发展的。从实施到评估通常是一条直线,然而社会变革工作是以周期循环推进的。评估通常侧重于指标,而没有充分认识到这些指标的变化可能对相邻变量产生的二阶或三阶影响。

这就是为什么传统评估(由专业评估者来判断干预措施的价值)正在被一种新的思路所取代。正如艾米丽·盖茨(Emily Gates)在CECAN(译者注:The Centre for the Evaluation of Complexity Across the Nexus,跨关系复杂性评估中心)最近举办的一次网络研讨会上所描述的,评估者应该是一个开发价值的共同学习者。随着罗西尼·尼勒卡尼慈善基金会(Rohini Nilekani Philanthropies,RNP)越来越有兴趣尝试更好地理解和阐明我们所有赠款的影响力(和学到的知识),我们开始要求我们的合作伙伴分享他们如何看待自身工作的影响力。他们认为一家慈善机构应该如何评价自己的表现?

我们的合作伙伴在许多不同的领域开展工作,包括气候行动、生物多样性和保护、性别、公民参与、司法、媒体和青年参与等,遍布农村、城市和部落地区,他们每年的运营预算从5万美元到1000万至1500万美元不等,团队有些精简有些庞大。通过在线调查的方式,我们从这些分布广泛的组织中获取反馈,试图全面了解全部门作为一个整体的想法和需求。

当我们开始分析来自大约80个组织分享的影响力数据时,我们意识到,在将结果报告为“影响力”时,我们的合作伙伴做了各种未明确说明的假设,将某些事情视为不言自明的。为了弄清楚这一切,我们决定后退一步,剖析深层原因。在第一次阅读和讨论所有反馈、并写下反思笔记以记下我们自己的想法和反应后,我们开始按照参与、合作、具体行动和政策变化对我们的受助人的流程、产出和结果进行了分类。分类结果呈现为两个大轴,框架如下图所示。

影响力是一个光谱。在Y轴上,我们认为导致明确政策变化的尝试是可感知的结果,非政府组织为了实现政策变化而建立的合作生态则是难以感知的。类似地,X轴描绘了非政府组织报告的带来成果的速度,从左至右代表着影响力从迅速出现到缓慢出现。疫苗接种或儿童入学等量化的行动将被纳入具体行动象限中,然而,在政策转变或扩大关心非政府组织事业的行动者网络方面取得的任何进展,都是缓慢出现的。

通过对数据进行分类可以清楚地看出,(如果不是全部组织),大多数组织同时处于四个象限中,并且在不同象限的行动或结果没有等级差异。具体结果的重要性或“战略意义”并不亚于政策推动;“可量化”的结果为在实地得到支持的个人增加了有形的价值。实地行动也会产生洞察和创新,最终形成政策。同样,虽然参与象限(包括“报告下载次数”、“网站/视频观看次数”和“网络召开频率”等结果)可能会让人感到短暂,但一致的参与是长期深入合作的理想快速出现的先决条件(长期深入合作被放在X轴的缓慢出现一侧)。

例如,我们在司法领域的一个合作伙伴采取了具体行动,为触犯法律的儿童提供免费法律援助。他们也与围绕其他问题与儿童接触的网络组织合作。通过一系列线上和线下的拓展活动和宣传品(以及吸引志愿者),该组织推动人们参与他们的工作。最后,由于在该领域建立的信任、关系和洞察力,他们有能力倡导对青少年司法法案进行改革(而这些改革将影响成千上万的儿童)。

X轴和Y轴是连续的,组织的工作沿着这些轴上下左右移动。因此,比起专注于单个孤立的指标,查看不同的维度和指标如何在组织工作中相互影响至关重要。

定义不同形式的影响

1.具体行动:大多数非营利组织都有一个与之合作的“社区”,然而,非政府组织经常感到压力,要在地理上或战术上(通过伙伴关系或政策变化)扩大他们的工作,因为他们希望看到系统性的、而不是单点式的变化。因此许多领导者发现很难在战略(通过筹款、建立组织、推动伙伴关系和推动宣传)和最初把他们带到这个行业的最初原因之间取得平衡。具体的行动是很重要的,因为与社区和人民一起工作是一种是无法替代的、关系上的回报。有形的单位层面的行动一直并将永远是社会工作的核心,因为这是这项工作的乐趣和良心所在。

2.参与:合作伙伴通常报告参与指标作为进展的标志,认为兴趣、认知和参与的增加对任务来说是好兆头。无论是网页分析、报告下载、数字内容的点赞/点击量、网络规模等的增加、网络成员之间互动频率的增加,还是其他类似的指标,大多数组织都认为与更大的生态系统(或公众)接触是理想的。然而,根据组织的目标,较少(但重复)的参与可能比大量一次性使用/参与更可取(反之亦然)。在营利领域,付款是反映需求或一个人对产品或想法感兴趣的一个良好指标。但是在非营利的世界里,产品/服务不是用付款来衡量的。是否应该根据利益相关者花费的时间、精力或社会资本来衡量他们是否买账?

3.协作:伙伴关系是最难定义的影响力指标。组织将合作和伙伴关系报告为积极的结果,但他们对合作的定义往往非常不同。对于一些人来说,这意味着数字——更多网络中的成员、更多平台上的参与者、更多的合作者,或者发起更多的联合组织;而对另一些人来说,协作意味着不同组织朝着同一个目标进行的共同努力。当问到为什么需要伙伴关系和合作时,我们听到最多的回答是:问题的规模太大,任何一个组织都无法独立承担。而合作带来了不同的方法,形成了群聚效应或集体行动。即使认识到真正的集体协作的困难,这个理由还是经常被当作公理。但是,网络往往最终是竞争性的,伙伴关系可能一直是肤浅的、反复无常的(而不是一致的、稳定的)。

4.政策变化:一些非营利组织更注重政策变化,这是一个来之不易、值得高度评价的结果。这当然可以理解,政策变化会影响数百万人,为社会部门组织支持新政策的实施开辟了空间,使其成为一个受人青睐的目标。同时,许多组织将自己视为其他正在接受政策变化的主力组织的盟友和伙伴。然而,实地执行与政策和宣传之间的关系密不可分,组织的重点或许会在两者之间转移(也可能同时包括两者)。在影响政策方面,慈善机构也以不同的方式定位自己。我们自己的合作伙伴数据的分析表明,我们倾向于支持那些渴望或正在扮演系统召集者角色的组织。


慈善事业如何衡量自身的影响力?

在80个组织中,某些关键点一次又一次地出现。当我们试图重新想象什么是有影响力的行动时,我们提出了四种主要的前进方向,这四个方向将不同形式的影响力联系起来,每种形式都可以映射到前文的影响力象限中。

· 通过多年赠款,维持和发展公民社会组织大多数社会部门组织似乎认为,慈善机构有责任促进和建设公民社会组织的健康发展。在实际行动中,慈善机构可以:提供更多核心的多年期赠款,让更多的捐助者进入一个专题领域,资助更多元化的草根组织和领导人。这些行动是可量化的,并且可以相对快速地部署。

· 召集会议,在领域层面上建立意识我们的合作伙伴认为,慈善组织有一个优势,可以看到项目组合和具体领域之间的交叉点,这有助于在解决系统性问题时产生主题或地理上的一致性。聚会能推动各项目方参与合作伙伴生态,也促进成员之间的接触;随着时间的推移,可以产生更多的协作和融合。团结起来将推动与合作伙伴生态系统、以及合作伙伴之间的接触,随着时间的推移,这将带来更多的合作和融合。我们将其划分成一个快速出现的难以感知的指标。

· 以学习为目的的评估正式的“以学习为目的的评估”可以带来更丰富的视角和共同的理解,被视为慈善工作的延长线。通过以学习为目的的评估,合作伙伴、资助者和评估者可以更清楚地看到整个系统。帮助各方看清整个系统所带来的价值是难以量化的(难以感知的),也需要时间(缓慢出现),但值得投入时间和精力。

· 推动关于影响力更丰富的对话 在许多论坛上,人们都在讨论估算项目影响的困难。特别是,捐赠组织在推动高度以度量标准为中心的方法上起到(负面)作用,特别是,组织有时认为一个指标比另一个更有价值。这引起了许多非政府组织的不安。正如莫娜·莫舍德(Mona Mourshed)所说,“非营利组织经常从资助者和董事会成员等利益相关者那里获得(善意的)指导,不成比例地专注于单一目标:为最大数量的受益者服务。”鉴于这种权力动态,我们的合作伙伴强调,罗西尼·尼勒卡尼慈善基金会和其他慈善机构可以探索如何丰富和扩展关于影响力的讨论,从而更好地启发未来的慈善事业。这无疑将是一场集体之旅(缓慢出现)。

当我们寻找更好的方法来衡量进展时,一个位于班加罗尔的、致力于通过工具使系统思考具有可操作性的组织视场(Fields of view)通过区分“事件”和“过程”展示了可能的方法。事件类似于我们所说的“具体行动”:招收X名儿童,重新种植Y英亩,分发Z份配给包等等。监测和评估已经成熟到可以很好地捕捉这些指标,但它没有考虑到首先让人们陷入这些问题的过程;如果一个人能更好地理解系统,从而在过程层面进行干预,我们就能改变目前陷入循环的人和问题的轨迹。

当涉及到捕获和解释现场动态时,我们可以通过利用系统意识,多种方法,来提高出现的图像的分辨率。当然,这并不是说做这件事很简单。以学习为目的的评估的确很耗时,而且需要参与和共同创造。但是通过新兴技术,我们可以开始开辟新的检测方法。拥有更好的影响力检测工具也使资助者能够提供更多资金,因为这种方法揭示了更多需要支持和资金的空间。视场说得对:“(就像)大多数捐助者会说的那样,我们不想30年后再资助同样的东西了。”


娜塔莎·乔希是一位发展领域的专家,曾与印度、墨西哥和新加坡的多边组织、基金会和政府合作,目前担任罗希尼·尼勒卡尼慈善基金会副主任。

来源:《斯坦福社会创新评论》英文网站2022年8月17日

原标题:Plotting Impact Beyond Simple Metrics


推荐阅读

往期回顾



继续滑动看下一个

数字指标之外,衡量影响的另一种可能

SSIR中文版 斯坦福社会创新评论
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存