查看原文
其他

怎么给受助机构设KPI?这五大陷阱要留心 | 测量与评估

SSIR 斯坦福社会创新评论 2021-09-05

 


"

对资助者(例如资助型基金会)而言,确定如何最优分配基金会有限的资源,真正所需的,是适当的绩效指标与合理的测量。


绩效衡量固然重要,却也“陷阱”重重,要完全避开它们并非易事。想要试着规避,就需先通过分析来增进对种种“陷阱”的了解。


下文就是一篇立足于分析的文章;并且,该文还结合分析提供了一些实践经验。在评估当中,“核心但难以把握”的元素和“易测量但处于外围”的元素常常是并存的。好的评估者,往往要在“可测”和“值得测”之间做好平衡。虽说“运用之妙、存乎一心”,但评估本质上还是一门贴近实践的学问。


本文分享的实践经验,或能帮助各基金会、评估者、顾问等找到一点平衡的“感觉”,供各位参考。

"
 

议题编辑:林夕、姚森

议题顾问:汪伟楠

作者:马克·霍利、切丽·瑞奇亚、瓦莱丽·博克斯特特

翻译:冷鸿翱

校对:耿爽



现今,各基金会、评估者以及顾问投入了大量时间,倡导(人们)在处理复杂问题、系统变革方案时,用新的方式来衡量进步、衡量“产出”。同时,在任何系统性变革的背后,都是日常的资助决策在发挥着支撑的作用。确定如何最优分配基金会有限的资源,真正所需的是制定可靠的绩效指标,以推动资助的问责、学习和影响力——针对每一笔资助都这么做。

绩效衡量标准,即出资方与非营利组织受助方之间通过合同建立的产出或成果指标说明,应反映出受助方、出资方和评估方之间对于如何达到成功的共识。该标准要求每位参与者在项目进行过程中和结束时,对项目的进展和应汲取的教训进行客观评估。但是,重要的是,要对严格的绩效评估系统可能带来的不良激励有所意识,并对其进行规制。根据休利特基金会的丹尼尔·斯蒂德的观察,我们发现当项目官员和受助者陷入我们指出的五个绩效衡量陷阱(如下所示)时,他们的学习过程就可能会受到干扰。

其中,前三个陷阱会导致太多毫无意义的衡量标准被创建出来;而后两个陷阱则会导致人们没能或者不愿意尝试去衡量项目中那些对工作而言最重要的要素。

▲图片来源于摄图网

 
无意义的衡量

01“微观管理” 陷阱

有时,慈善项目的工作者和受助者希望详细规划他们在赠予期内需要完成的每一步工作。虽然规划是必不可少的,但是制定过量的绩效指标可能会导致我们忽视真正重要的内容。

例如,近日,我们的基金会向一家非营利校长培训学校提供了一笔师资建立补助。此前,这家非营利组织已进入了分析其受训人员对学校内部绩效影响的阶段。该资助要求的可交付成果包括:起草并公布首席学术干事的职位描述、聘用到符合职位描述的人以及购买新数据系统。以上皆为必需完成的任务,但都不能表明新员工是否能有效地工作。因此,能被我们采取的更契合绩效目标的指标描述可以是:“该组织需在年底之前增强其数据分析能力,并通过受训校长所领导的学校的学术表现报告来证明。”

可交付成果的数量应在一定程度上与资助款的规模成正比。但若数量过多,则会使工作的中心目的模糊不清。各基金会需要相信,受助者能作为其所在领域中的专家来执行各事项;资助者不必去监控整个过程中的每个步骤。

02 “对冲” 陷阱

次要绩效指标(如与行政行为有关的指标)经常被用来降低那些质量较差的评估所带来的风险(注:这种做法所包含的思路是,即使评估的质量不易保证,但通过要求受助方完成一定的规定动作,至少可以保证受助方完成了一定的工作量。)但是,由于在事实上保证了受助者对这些次要指标的完成,反而有可能使得受助者因此而无法达成更有意义的指标。

例如,笔者最近正在与一家非营利组织受助方一起工作,尝试提高其组织的可持续性。(那家组织自设的绩效评价)原始提案囊括了包括潜在资助方的识别流程、制定和提交资助的请求流程在内的大量指标。尽管我们对受助方的工作进程感兴趣,但是,我们认为资金筹集的多元化和资金基础的多元化是更具意义的指标。因此,我们帮其进行了相应的调整。

绩效指标应是可达成的,但同时也需要是有野心的。我们期望受助者达到某些绩效指标,同时又达不到或仅部分达到其他指标。事实上,若受助者达到了所有指标要求,我们可能会怀疑目标是否设置得太低。相反,即使他们没有达成任何一项指标(尤其是当我们从不断推进的工作中学到了重要的经验时),我们也并不一定会判断此次资助失败。
 
03“至少是可衡量的” 陷阱

“可衡量的”和“有意义的”并非一回事。通常来说,非常容易衡量的项目不如难以衡量的项目重要。

例如,与提高组织知名度以证明其影响力不断扩大相关的衡量指标设定建议可能是:“在该组织的博客、Facebook和Twitter账号上分别发布5条、20条和30条有关野生动植物栖息地和水质保护重要性的内容, 其阅读人次分别达到2,000、30,000和45,000人。” 

然而,这些活动的重要性和目标的意义并不清楚。一个更好的、可交付的成果指标应去关注这些活动的预期结果;例如,组织成员的增加。

为确定绩效指标是否有意义,我们提出以下4个问题:

1. 产出和成果是否紧密联系?2.指标评价的对象是一项不必评价的例行活动,还是一项值得关注的根本性的(相对于项目目标而言)产品或服务?3.我们是否优先考虑了那些(关键的)、因其成功或失败可能会导致我们在将来采取不同的行动的,包含有用信息的可交付成果)?4.受助方的产出是否与我们基金会追求的最终影响相关?




不愿参与衡量真正关键的事项

04“完全控制” 陷阱

通常,我们作为资助者,工作的最终目标(无论是提高学生的学习成绩还是为其营造更健康的环境)都超出了受助者的直接控制范围。因此,受助者可能不愿意被纳入与更高目标相关的成果绩效指标评价体系。

最近,一名致力于学校财政改革的受助者提议为决策者提供技术援助,并制作了旨在影响制度改革的白皮书。但是,这个组织同时也担心,资助方会要求他们对因其援助和建议所导致的政策变化负责。

非营利组织无法完全掌控很多结果(包括政策改进)。 不过,为组织提供资金的目的,在于支持他们利用自身的影响力去解决那些困难的问题。仅仅致力于努力是不够的。资助者和受助者应对结果负有一种责任感,并且不应该避开大胆的想法。(因此,“无法完全掌控”结果,并不是一个我们不试着将结果纳入衡量的充分理由。)
 
05“无法客观衡量的复杂性” 陷阱

许多受助者会参加各种倡导活动,其中一些受助者正尝试推动新的系统变革方法。通常,应用新方式的过程中人们会对策略进行调整,而其复杂性和相对不可预测性可能会导致参与者不愿建立有意义的绩效指标。但是,根据我们的经验,严格的绩效衡量标准可轻松调整至适用于此类工作。我们认为即便是在解决复杂问题时,也必须根据已明确的指标来计划来评估进度。

例如,我们可以衡量公众对政策变革的认识和支持度,或者衡量受助者与政策制定者和意见领袖间的接触。评估公众意愿是否在转变或首选的政策方案在政策议程中的作用是否日益突出,可以表明我们的投资和伙伴关系是否正在发挥作用。值得注意的是,建立严格的绩效衡量标准不会将受助者桎梏于因情况变化而不再有意义的工作中,且资助者和受助者可在资助过程中携手同行以改进绩效指标。
 
有时,我们会担忧衡量复杂系统中的细微变化是没有用的,因为系统级的变化毕竟需要多个小组的长期共同努力。这些论点在某种方面是成立的。并且,为了解决这些问题,我们已开始将“联盟和集体影响”评估工具作为绩效指标的补充应用于我们的评估中。然而,在面对复杂系统变革时,我们并没有放弃有用且客观的评估。

例如,在支持墨西哥湾环境恢复工作的相关投资中,我们评估了受助者网络。这些受助者为达成目标共同努力,但其中的每个小组都各自肩负明确的、由绩效指标确定的、与自身相关的职责。
 
总的来说,虽然导致这五个绩效衡量陷阱的因素合乎情理,但这些陷阱会使我们对错误的激励作出反应。良好的绩效评估可能不容易执行,但它可以帮助受助者和资助者了解哪些事项是有效的,哪些是无效的;在理想情况下,还能帮助他们深入了解“无效”、“有效”背后的原因。




作者:

马克·霍利博士为沃尔顿家族基金会评估部主任;

切丽·瑞奇亚博士为沃尔顿家族基金会评估部副主任;

瓦莱丽·博克斯特特为FSG的董事总经理。





专题回顾


 


1. 创新的效果如何测量?善用不确定性


2. 5个步骤打造一个令人信服的影响力评估

3. 如何做好慈善事业的监测与评估?这三个要素最重要 

4. 诺奖得主的“扶贫行动实验室”有什么新思路?

5.影响力投资中的“影响力”怎么衡量?

6. 一个好的影响力评估要考虑哪些问题?



: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存