通过数据来证明组织的影响力，有时候是一种浪费 | 测量与评估

许多组织声称其实施的方案和政策有利于世界上的穷人，但除了传闻之外，它们并没有证据证明其影响。例如，小额信贷组织多年来一直宣称其方案是解决全球贫穷的办法。有了信贷，人们可以开始新的生活和新的事业，增加收入，送孩子上学。然而，最近对世界各地（包括墨西哥、摩洛哥、印度、印度、菲律宾、波斯尼亚和黑塞哥维那、蒙古和埃塞俄比亚）的小额信贷方案进行的随机化评估表明，这些项目的成效有好有坏。例如，由 "创新扶贫行动 "（Innovations for Poverty Action）在墨西哥开展的一项评估发现，接受贷款的妇女总体来说变得更加快乐，并能更好地渡过困难时期。但是，她们的总体经济状况并没有改变；无论是用收入还是用其在新事业上的投资情况来衡量，结论都是如此。

归根结底，影响力评估应该是比较性的。它不只是看某个项目是否有效，而是看如何用稀缺的资源发挥最大的效益。我们以入学率为例。传闻中的说法表明，提供校服和奖学金等基本必需品会使孩子们更有可能去上学。但是，事实证明，在投入相同数额的资金下，给孩子们吃驱虫药在提高学校出勤率上比校服有效28倍，比奖学金有效56倍。然而，要获得关于影响力的可靠信息并不容易——许多组织都在努力衡量他们的工作成果，但是往往使用的方法和数据都是不可靠的。在可行的情况下，我们赞赏人们对影响力的关注。但是，有时影响力是无法以可靠的方式来衡量的，而人们（组织，或者说他们的捐赠者）却仍然努力要去衡量它，（这时我们是否支持这种做法，却又另当别论了）。

尽管随机影响力评估可以提供关于实施哪些方案的宝贵证据，但并非所有方案都能进行这些评估。在两种情况下，组织不应该寻求关于影响力的证据：

说得更宽泛一些：只有当评估计划能够缩小知识的缺口时，我们才应进行影响力评估。

例如，“对（已知）疫苗疗效的检测”符合第一种情况（幸好如此）。关于麻疹疫苗的疗效，我们是否存在知识上的空白？也许我们对医学文献并不熟悉，但我们仍然知道答案是否定的：麻疹疫苗的疗效早已被医学证明了。因此，一个为儿童接种疫苗的非政府组织不需要进行随机试验来衡量麻疹疫苗的效果，这违反了 "适当性原则"，即研究人员只有在影响力确实存在不确定性的情况下才应该进行评估实验。事实上，检测疫苗疗效将会是一项不道德的开支，因为这些钱可以用来支付更多的疫苗费用！

当严格的证据根本不可能或不适合收集时，上述第二项要求（“证据收集需具备可操作性”）就会失效。有时，这种情况的出现是我们所检视的问题带来的结果(例如，宏观经济层面的政策，如贸易协定，其证据本来就不好收集)；有时这种缺乏操作性的情形则与问题的规模、阶段、我们的能力范围以及特定的问题设置有关。然而，这一要求并不像许多人认为的那样具有限制性。很多时候，我们会发现，只要有一点创造力，被认为是不可能的设定其实是可行的，过去10年来的许多进步都来自于学习对社会科学问题进行随机试验的新方法。但在很多情况下，要很好地回答影响力问题仍然是不可行的。

不幸的是，许多组织仍在收集影响力数据，即使是在不可能或不可行的情况下。如果一味地把重点放在衡量影响力上，我们可能会付出很高的代价，这既体现于收集数据时所花费的金钱 (这些钱本可以有更好的用途)，也体现于消耗的时间(管理层关注不良数据所花的时间vs. 运行项目所花的时间)。

相较于浪费资源的数据收集，各组织应努力建立适当规模的数据收集战略和系统，以对资助者尽责，并为决策者提供及时和可执行的业务数据。

我们在即将出版的《金发女孩问题》（The Goldilocks Problem）一书中制定了一套准则，所有的组织——无论其评估影响力的能力如何——都可以用这套准则建立强大的数据收集系统。

注：the goldilocks problem，the goldilocks principle可以译作“金发女孩问题”、“金发女孩原则”或“适度问题”、“适量原则”。这一说法引申自英国19世纪的“金发女孩与三只熊”的童话。在原童话中，那个金发女孩品尝了三种不同的粥；最后她喜欢的粥既不太热也不太冷，有着恰到好处的温度。后来“the goldilocks principle”就成了“适量原则”的代称，并作为一个习惯用法被用于心理学、经济学等学科。

我们将这些准则称为CART——可靠的（credible）、可执行的（actionable）、负责任的（responsible）、可推广的（transportable）数据收集。

研究人员和组织正在努力扩大我们可以严格评估的方案范围。即使随着时间的推移，影响力可能会更容易被了解到；但是无论在何种情况下，注重成本效益高、决策驱动的数据收集，而不是僵化地看重影响力，组织都能更好地服务于自己的使命。