为什么证据没在决策中被使用？

插图:查德·哈根(Chad Hagen)

2003 年，戴维与露西尔 · 帕卡德基金会(David and Lucile Packard Foundation) 资助了一项为期十年的倡议，以推进那些支持加利福尼亚州儿童高质量学前教育的政策。基金会的儿童、家庭和社区项目组知道倡导战略将在没有预设大纲的情况下展开，因此他们聘请了外部评估人员，由本文的共同作者之一茱莉亚 · 柯夫曼领导，帮助团队跟踪进展，支持他们的学习和决策。资方和评估者在一开始就共同制定了评估问题并确定了评估方法。

随着倡议和评估的启动，一切似乎都在按计划进行，直到评估人员在 2007 年提交了一份中期报告。在报告的讨论会上，项目总监这样开场:“谢谢你们的报告。它文笔流畅，包装得也很好。但说实话，它并没有告诉我任何我不知道的事情。我不知道拿它做什么。”

这一幕以不同的形式在基金会的会议室里定期上演。将评估、研究和其他数据驱动的项目的发现用于慈善决策为何如此困难?证据引发的问题为何往往多于答案?社会部门的领导者如何才能更好地弥合知识与行动之间的差距?

因为身处社会领域之中，我们被训练成了相信明智的决策是建立在证据之上的，所以很容易认定搜集证据与否直接决定了决策是明智的还是错误的。然而，在慈善事业中，这种假设却一次一次地被推翻。

在对基金会、决策者和非营利组织的研究中，最引人注目和不断被验证的结论之一是，即使得到了证据，也很少有人使用它。例如，对世界银行在 2008 年至 2012 年期间发表的政策文件的研究表明，其中近三分之一的文件从未被下载，超过 70%的文件被访问的次数不到 100次。关于慈善事业评估的基准研究发现，超过四分之三的受访基金会很难 获得能为基金会、被资助方或这个领域带来“有用的经验”或“有意义的见解”的评估。因此，不出人们意料，在德勤公司摩立特研究所(Monitor Institute)的“重构测量倡议” (Reimagining Measurement initiative)中，超过 125 名受访的社会部门领导者认为，“更有效地将决策置于中心位置”是该部门未来十年的首要任务。

▍为什么证据没被使用?

慈善事业中关于证据使用的研究指出，对证据更为广泛地使用仍然面临一系列阻碍。比如，资助专员和决策者一直表示时间很紧张。威廉和弗洛拉 · 休利特基金会(William and Flora Hewlett Foundation)委托编写的一份关于基金会工作人员知识传播的报告指出，一些受访者工作太忙，以致他们习惯性地删除新研究的消息提醒，根本不去审视新研究(与项目)的相关性。

另一个经常提到的阻碍是缺乏数据分析的能力。一项对巴基斯坦和印度1600多名受过高等教育和经过竞争性选拔的公务员的研究表明，许多人仍然认为他们缺乏足够的培训来对数据进行解释和背景说明。同时，他们中的大多数人在被问常规的数据分析问题时，都难以正确回答。

还有一个阻碍是，证据的使用可能并不总是占据决策者心中的首要位置。Mathematica 政策研究(Mathematica Policy Research)的一篇文献综述指出，包括“政治可行性、个人优先事项、公众舆论、社会影响和预算限制”在内的更紧迫的事项，经常迫使对研究和评估发现的考虑被置于次要的位置。

此外，仅仅克服时间、培训和动机这些实际阻碍，还不足以消除证据与决策过程之 间脱节的问题。这种脱节也是组织设计、对数据的作用和价值的误读以 未能优先考虑 与决策相关的问题所导致的结果。根据决策分析文献，以我们与基金会和其他社会部门实体的合作，我们列举了其中四个较少被讨论，但同样重要的原因，概述为什么证据经常无法释放其潜力。

问题的出现并不总是因为缺乏信息 | 自从半个世纪前慈善事业中有了测量和评估的职能，社会部门的领导者一直在努力推动组织中对证据的使用。迄今为止，最常见的策略是增加可用信息的供应和增强方法上的严谨性，从而填补知识上的空白。这一策略导致了社会部门研究和评估的爆炸性增长和为成果编目的学术数据库的激增，以出现了大量综合了各种主题相关证据的、提供有效解决方式的信息交流中心。但是，尽管今天的证据比人类历史上的任何时候都更容易获取，但社会部门的领导者在做出许多最艰难的决策时却并不参照证据。

是什么导致了这种意图和行动之间的差距?一种可能性是，社会部门的领导者对证据在决策过程中所能提供的价值有着不切实际的期望。对“数据驱动”或“以证据为基础”的决策的老生常谈，隐含着这样的假设:有效决策过程中的所有其他因素都不重要，或非常容易实施。

但决策分析文献揭示了一些能改善决策的机会，其中并不直接涉及证据。例如，斯坦福大学商学院教授奇普 · 希思(Chip Heath)和他的弟弟，杜克大学社会创业促进中心(Duke University’s Center for the Advancement of Social Entrepreneurship)高级研究员丹 · 希思(Dan Heath)，提出了一个名为“WRAP”的四步启发式方法来帮助思考。WRAP 的意思是“扩大你的选择”(Widen Your Options)，“用现实测试你的假设”(Reality-Test Your Assumptions)，“在决策前拉开点距离”(Attain Distance Before Deciding)，并“准备好迎接错误”(Prepare to Be Wrong)。这种方法提供了一些建议，使人们能扩大所考虑选项的数量和种类，采取措施应对常见的认知偏见，并计划多种情况以对冲风险。由斯坦福大学教授和决策分析先驱罗纳德 ·A . 霍华德(Ronald A. Howard)参与创办的咨询公司——战略决策集团(Strategic Decisions Group)开发的决策质量框架，包含了“明晰价值和得失”和“致力于行动”等考虑因素。

该框架包括的另一个要素是“设定正确的范围”。可以说，对一个基金会或非营利组织其所服务的社区来说，没有什么决定比选择一个使命、确定关注的范围(例如：一个特定的地理区域)以阐明组织的基本价值观(包括谁有权做出决策以组织对谁负责)更为重要。虽然证据可以在这些讨论中发挥作用——例如，有效利他主义运动根 据其成员对需求和机会的分析来寻找和推广“高影响力”的事业——但决定使用什么证据和相信什么证据，则不可避免地反映了他们自身的价值体系和知识理论的选择。

这些对决策过程更全面的建构表明，证据在良好决策中的作用往往是间接的或次要的。事实上，忽视决策中任何一个与证据无关的维度，都会让原本有力的信息收集工作变得毫无价值。

我们渴望确定性，但这往往是证据所无法提供的 | 领导者经常寻求证据，用来消除决策中固有的不确定性所带来的焦虑。但是，即使是设计得最好、执行得最严格的评估或研究，也不能确保在此基础上做出的决策会产生预期的结果。首先，任何涉及人口抽样的方法都会有统计学上的误差，更不用说对数据质量、样本代表性和所用测量指标的相关性的潜在怀疑了。对第三方项目的评估不能避免“外部有效性”的问题，或者说，这是当把结果应用在超出其语境的外部环境时，(基于证据的决策和最终结果之间的) 相关性如何的问题。

另外，还存在着另一个更根本的脱节问题，但它却没有像上述问题那样受到关注。那就是，研究和评估是为了回答关于过去和现在的问题，而决策则是对未来的预测:它们要求我们想象并比较我们采取的行动可能带来的不同效果的可能性和可取性。即使是关于过去或现在的最佳证据，也不能保证未来的情况会保持稳定。

所有的决策都被不确定性笼罩。虽然扩展我们的知识边界可能是提高我们决策质量的最明显的方法之一，但在我们对不知道和不可能知道的东西有充分了解之前，这样做的价值是有限的。事实上，承认不确定性甚至可以帮助我们更好地利用所知道的证据，因为它可以帮助我们减少偏见，对我们所拥有的信息更加开放。

提出不相关的问题是很容易的 | 问题驱动着包含从设计和方法论的选择，到最终知识产品的框架在内的一切。但如果它们不是使用证据的人需要回答的问题，那么证据就不会被使用。

挑战在于，决策问题与评估问题有着本质的区别。决策问题是“应然”性的，体现形式为 “在这种情况下我们应该做什么?”。相比之下，评估和研究问题是“实然”性的，询问发生了什么以及为什么。

例如，如果决策问题是“我们是否应该再次资助某一项目?”，那么像“在接受了我们资助的人(被资助方，即所服务的目标受众)中，有多大比例的人因我们的活动而改变了他们的行动?”这样的评估问题很可能提供有用的背景。但是，决策者不应期望第二个问题的答案能解决第一个问题。这个例子中的评估问题没有解释目标受众的行为变化要达到什么程度，才应该继续延长资助。它也没有说明产生这种行为变化所涉的成本，而且没有检视所有可能对资助者很重要的额外目标或相关目标。延长资助的决定通常涉及许多这样的变量，权衡每个变量的相对重要性是一个困难的分析工作，咨询或创造单一的证据很难解决这个问题。

学习和决策在组织层面上是孤立的 | 评估和决策通常是管理周期中的不同步骤，每个步骤都涉及独特的实践、技术和考量。因此，基金会通常将评估和决策的责任分配给不同的团队。项目组制定和执行战略并提供资助，而监测、评估和学习组(MEL)则跟踪这些战略的进展，并与项目组的同事分享调查结果。基金会通常会把最终的决策权留给项目组或监督项目组的主管，并期望监测、评估和学习组的工作人员仅提供信息，但不参与决策过程。

这种责任分工会破坏一个组织的学习和决策功能之间的关系。例如，科罗拉多州健康基金会(Colorado Health Foundation)的一位评估官员聘请了外部评估人员，帮助基金会了解如何安排资助来提高组织的能力，从而去倡导地方政策的改变，以带来一个更为健康的环境。随着时间的推移，该项目官员选择资助广泛关注健康的社会决定因素 (social determinants of health)的各类倡议——这与该倡议本身所宣称的只专注于健康饮食和积极生活的目标相悖。基金会的团队在与外部评估人员沟通这些变化时不够积极主动，因此外部评估人员并没有意识到这些变化。

经过近一年的努力，外部评估承包商回到基金会说，由于基金会的实际拨款情况，原来的评估问题不再符合基金会的发展方向，也不能帮助基金会做出后续决策。随之而来的就是大家争先恐后地对评估进行改造，但基金会已经就这一战略的下一步行动做出了一些重要决策，最终，已经收集的数据失去了与基金会的未来方向的关联。除非评估团队和项目团队定期相互沟通，并与任何相关的咨询伙伴就思路、行动或决策的最后期限的关键转变进行交流，否则在一个项目开始时制订的监测和评估计划很可能会随着时间的推移而失去意义。

▍五个更有效地使用证据的方式

尽管证据只能对有效的决策做出部分贡献，但它仍然是改善社会部门成果的一个重要机制。幸运的是，一些工具和策略可以帮助我们更好地使用信息。这些工具和策略在 慈善事业中很少被有效使用，但在其他专业群体中却被长期使用。

尝试决策清单 | 团队经常深入到评估和其他分析项目中，因为他们知道这类项目在主题上与他们的工作有关系，但他们很少花时间来阐明这些分析究竟指向哪些具体的决策。出现这种情况的部分原因是，大多数组织没有记录决策过程的习惯。因此，当这些组织完成一个冗长的研究或评估项目后，发现自己所收集的信息并不像最初想象的那样可以指导行动时，结果并不令人意外。幸运的是，一个叫作 “决策清单”的简单实践可以帮忙。

决策清单包括从团队成员个人那里引导出他们即将面临的决策困境，然后将决策划分优先级，其中更复杂、更不确定、风险更大的决策会得到更多关注。这种做法有两个好处。首先，它将决策变得明确，而不是隐晦。其次，它有助于确保用于分析每个决策的资源水平，与该决策的风险、机会和难度相匹配。

虽然没有一个通用的决策清单方法论，但各种决策分析师，如战略决策集团，已经开发了他们自己的版本。围绕特定的证据收集项目建立决策清单也是可行的。想象一下这个过程是如何运作的，例如，本文开头所讨论的对帕卡德基金会的倡导型倡议的评估。根据到目前为止的结果，该项目是应该继续、修改、扩大或结束?该计划的设计所依据的战略是否需要调整?如果是的话，如何调整?摆在面前的选择有哪些，每条路径的相关考虑是什么?

演练决策 | 可以说，在证据和决策过程之间建立更紧密联系的最明确的方法是“演练” 决策，就像通过排练为重要的演讲或活动做准备一样。一旦所有人都很明确即将到来的决策困境，就没有什么能阻止团队成员一起分解和分析这些决策了。以这种方式进行演练，可以起到两方面的作用。第一，提前模拟决策行为能帮助团队确定在做出真正的决策时，哪些信息是最有用的。第二，为团队在确定与决策有关的问题和回答这些问题之间创造了一个时间空隙——这是一个让有创新精神的评估者或 MEL 团队填补空缺的黄金机会。

雄心勃勃的决策者可以进一步使用决策树或蒙特卡洛模拟(Monte Carlo simulation)，这是一种统计方法，根据被确定为对决策最重要的因素，想象出成千上万种可能性。这些方法不仅可以估计出各种决策结果的可能性、可行性，还可以帮助团队确定哪些特定的额外信息可以最有效地减少(决策的)不确定性，从而判断出正确的下一步行动。

例如，如果要决定是否投资一个新的影响力风险基金，为该决策建立一个定量模型后可能会发现:一方面，投资建议的制定取决于该投资能从化石燃料能源转移（到新能源所生产）出来的预期千瓦时数;另一方面，缩小（对于各类决策结果出现的可能性的）估计的不确定性范围将增加对正确路径的把握。决策分析学科甚至提供了一个方便的计算方法——信息的预期价值(expected value of information，EVI)，来决定我们究竟愿意花多少钱来收集这些信息。这也将新证据所带来的不确定性减少的好处，转化为经济术语——这也就是决策者在决定是否委托研究或评估项目，以为其提供多少预算时必须进行的转化。

这种决策方式已经在能源和医药行业得到了广泛使用。例如，决策科学家道格拉斯 ·W. 哈伯德(Douglas W. Hubbard)开发了一种方法，用于对包括国际发展在内的多种情况下的高风险投资建模。在《数据化决策》(How to Measure Anything)一书中， 哈伯德解释说，在一个典型的决策模型中，许多变量的信息价值为零，这并不是因为拥 有这些信息并不有趣，而是因为即使有这些信息，也不会改变(投资)建议。他写道:“价值最高的测量方式几乎总是让客户有点吃惊，这意味着测量计划与他们现有的做法有很 大的不同。”他把这种现象称为“测量倒置”。因此，对我们的决策进行建模，可以阻止决策者去追逐那些不太可能有意义的信息，从而节省大量的时间和金钱。相反，那些具有高信息价值的因素可以构成强大的(有效)问题的基础，几乎可以确保任何试图回答这些问题的研究或评估与之的相关性。

将利用战略学习议程作为桥梁 | 弥合回顾性评估问题和前瞻性决策问题之间的鸿沟，可以增加由评估问题产生对决策有用的答案的概率。

例如，试想一家基金会支持被资助方在社区内更好地获得精神健康服务。该基金会致力于这项工作，并对如何更好地解决当地获得精神健康服务机会不均等的问题产生了特别的兴趣。在基金会准备决定如何解决问题的时候，项目工作人员希望利用对现有项目组合的评估结果来指引他们的思考。他们如果这样做，很可能会感到失望，因为该评估的目的并不是研究被资助方如何解决服务获取方面的差异。相反，它考察了现有被资助方是否以及如何更广泛地寻找机会。虽然这也是一项重要的调查，但它可能没有展示出基金会如何提高其能力，以解决未来机会不均等问题的相关信息。

基金会常用一个学习议程工具，将证据与决策更紧密地联系在一起。它是一套帮助战略规划者实现预期结果的问题集，其中蕴含了有效开展工作所需要知道的相应信息。遗憾的是，基金会通常使用的学习议程往往是穷尽式的研究问题清单，清单代表了工作人员认为他们需要了解的，包含关于某个地点、某个问题、参与者、一项研究或潜在解决方案在内的最广泛的内容。例如，一个正在尝试用不同方法支持托儿所的基金会可能 会有一些学习问题，其中包括:哪些实验最有希望获得成果?哪些实验可以规模化，以及如何规模化?怎样才能确保进展得以持续?然而，这样的问题很少与基金会需要做出的具体决策联系在一起，问题的规模和范围可能过于庞大，以至于工作人员无所适从，对前进方向感到困惑。对于学习议程组织方式的两个简单转变，可以明确证据收集和决策之间的联系。

首先，学习议程应该围绕前瞻性的问题来组织。这些问题则应该来自未来当战略实施时需要做出的决策。这样一来就可以将决策和未来可能的行动放在首位，而不是事后才想到。它还提醒决策者和评估者，仅靠评估不能回答下一步该做什么。相反，评估仅是决策中众多信息输入中的一个。

此外，一份精炼的、用于指导信息和证据的收集的研究问题清单——无论是全景扫描、证据审查、社区 / 利益相关者反馈机制、综合评估，还是工作人员的经验见解——应该基于总体决策问题，并根据总体决策问题来检验其效用。在决策者演练决策时，他们可以细化这些研究问题，来确定需要通过评估、证据审查、利益相关者反馈或其他数据收集方法来发现的具体信息，从而为决策提供指引。下文中科罗拉多健康基金会的例子将说明前面提到的基金会学习议程架构，该基金会正在想办法解决当地在精神健康服务获取方面的差异。

学习议程中产生的一些问题可能需要正式的研究或评估来回答。预测性练习，如情景规划或决策建模，则可以回答另一些问题。而对于某些问题，非正式的观察、对话和思考可能就足够了。但每个问题都要与需要做出的决策有关。这种学习议程的方法有助 于将各种来源的信息整合到决策过程中，让决策者和评估者都不再认为仅靠某项研究或评估就能提供所有的答案。

▍学习议程的结构

下表提供了一个学习议程的例子，用以支持一个对精神健康进行投资的基金会所面临的决策问题。这个结构假定该基金会已经在这项工作上投资了数年，因此有机会运用从自身经验得来的见解和证据，以从其他来源得来的额外证据。这些问题按关键决策的考量维度进行分类，而额外信息则可以帮助考量过程的展开:基金会认为哪些目标和价值最重要，基金会需要了解系统的哪些方面，有哪些潜在的行动，以这些行动方案相较起来如何。这只是每个类别中可能出现的问题的一个小样本，研究和评估问题的最终选择应该通过文章中描述的决策“演练”来产生。

确保支持人员把自己的角色看作批判性思考者 | 大多数基金会雇用项目人员是为了 他们在某一特定学科或领域的专业知识。根据社会和人格心理学家的研究，所有人在个 人和职业生活中都有一套“角色认同”，代表了他们对自己职责的看法，以及做好这些职责意味着什么。我们认为自己的主要角色是什么很重要，因为它调节着我们的行为方式。

那些认为自己的主要角色是专家的人，可能会认为他们应该知道关于他们专业领域的大多数问题的答案，他们应该更多地基于过去的经验和现有的知识来做出决策，而不是基于获取的新数据或挑战自己思维的实践。把他们与那些认为自己的主要角色是批判性思维者的人做一个对比，批判性思维者更有可能质疑自己的假设，对不同的观点持开放态度，并时常承认自己拥有的知识的局限性，想要扩大知识储备，而不是假设他们已经拥有这些知识。

因为这有助于人们寻求和接受传入的信息，特别是当信息质疑了他们的观点时，那些将员工的主要角色设定为批判性思考者，而不是课题专家的组织，更有机会弥合评估 和决策之间的脱节。

一些资方已经在进行这种转变。例如，科罗拉多健康基金会在其最近的战略改革中， 开始直接在当地社区工作，来实现该州的健康公平。基金会的项目人员将他们的角色和 责任从专家转变为批判性思考者，对社区实地发生的事情有了深入的了解。项目官员被重新分配到新的问题领域和地理区域，几乎所有人都留下了在特定工作领域的专业知识和人脉关系。因此，项目人员不再是主要在办公室工作的专家，而是至少有 40%的时间进行实地工作，与社区成员接触，收集有关社区需求、机会和动态的证据。他们现在认为自己更多的是负责收集证据，了解这对基金会支持社区的意义，而不是简单地提供答案。

▍决策问题

我们应该如何调整投资的组织和战略，以便支持有需要的人更公平地获取精神健康服务?

不要把决策当作职责交接 | 为了在评估和决策之间建立更好的联系，我们建议把过程专家(例如，MEL工作人员和顾问)和内容专家(项目工作人员)聚集在一起。评估员，不管是工作人员还是顾问，通常都会向项目工作人员提供信息，然后将决策权交给项目工作人员。但研究表明，让评估员参与决策，实际上会得到更好的决策。

类似基金会中的项目组的小型团体，通常会通过情况讨论，并由投票或共识得出结论，来做出大多数的组织判断和决策。但根据法学教授卡斯 · 桑斯坦(Cass Sunstein)和行为科学家里德 · 哈斯蒂(Reid Hastie)的观点，通过这种方法做出的团体判断不一定比个人判断更准确，在某些情况下甚至更容易产生偏见。例如，审议小组比个人更有可能陷入规划谬误(倾向于低估项目和倡议所需的时间)、基数忽视(倾向于过度关注一个案例的细节，而不是它所属的一般大类的整体属性)和框架效应(根据一个任意的参考点，认为一个结果更好或更坏)。桑斯坦和哈斯蒂对研究文献的综述表明，在群体环境中，达成共识的压力往往会压制不同的声音，导致参与者难以说出可能使决策问题达成更丰富共识的相关信息或观点。

为了避免这种令人惊恐不安的判断发生，应在决策过程中为其他观点留出空间。桑斯坦和哈斯蒂建议高管和其他拥有正式权力的领导者在决策会议的早期对自己进行监督，避免让小组其他成员偏向于他们的观点。事实上，一系列的文献都支持这样的观点，即我们所称的“有意的促进”，对于促进群体环境中的批判性思维至关重要。这种引导包括明确强调批判性思维和战略性学习，努力提高参与度，促进信任，鼓励不同观点，模拟现实的假设情况和多种潜在结果。由于创造反思和学习的空间往往已经是他们任务的一部分，MEL 的工作人员或顾问非常适合在审议小组决策环境中扮演这样的角色。

▍应用所学

对戴维与露西尔 · 帕卡德基金会的儿童、家庭和社区项目团队来说，为了确保评估结果更有针对性，并能够用于决策，自 2007 年以来发生了很多变化。该项目团队正在将这些变化应用于其当前的十年倡议——2014 年启动的“聪明有力的开始”(Starting Smart and Strong)。该倡议致力于确保所有加州儿童健康、自信地成长，并做好入学准备。这是一个以本地为基础的新兴战略，其中三个社区正在就如何利用基金会资源，实现儿童入学准备做出决策。

首先，项目组在发展阶段规划了该倡议，估计出在每个阶段需要做出的决策，而不是过于超前。在第一阶段，团队主要决定如何支持社区的能力建设，制订和执行一项计划，来改善成年照料者与儿童的互动和照料方式。在第二阶段，团队主要决定如何支持社区的测试和实验。在未来阶段，团队的决策将侧重于如何支持社区对有效的实践进行规模化。

该基金会还决定从 Engage R+D 咨询公司聘请一个发展性评估团队来支持其决策。发展性评估非常适合处于复杂或不确定环境中的社会变革战略，因为它有利于持续地收集数据、反馈和学习。发展性评估对决策有着天然的关注，它的目标是帮助评估用户决定下一步该怎么做。

发展评估员帮助项目团队提出棘手的评估问题，发掘有关变化如何发生的未经检验的假设，收集并阐释证据，为广泛的战略问题以及具体的决策困境提供信息。他们定期与基金会和被资助方沟通，以便及时了解正在发生的事情，以及他们可能需要如何改变应对方法。评估小组具有定期调整计划所需的灵活性，来确保评估工作能在正确的时间 与正确的决策问题对齐。评估人员会将用于调查一个问题的资源，与调查可能提供的信息价值做匹配。

项目工作人员现在认为他们的角色是社区的合作伙伴，而不是推动社区决策的专家。由于社区与项目人员合作领导工作，所以基金会领导层会强调项目人员作为批判性学习者和思考者的重要性，欢迎提出不同的观点，并允许他们在工作中留出反思的空间。

项目工作人员还在日常工作中构建了学习习惯和例行程序，以便他们能够定期获取并使用包括但不限于评估人员所提供的证据。例如，他们正在提出更多尖锐的问题，让所需要做出的决策得到证据支持。

每年，项目工作人员都会制定新的学习议程，特别关注他们在未来 12 个月内需要做出的决策。其中包括以下问题:被资助方要如何规划并开始在每个社区里推进规模化的工作?围绕提高社区内数据的质量、一致性和使用，需要什么来发展实践?在年底，他们会有一个年度“回顾会议”，讨论他们学到了什么，以及将如何应用这些信息。

由于项目和评估小组的关系发生了这些变化，评估小组的工作与项目小组以社区正在发生的问题、正在进行的决策联系了起来。证据经常以多种形式进入他们的战略讨论，而不仅仅是偶尔出现在书面评价报告中。

拥有一个强大的证据生成和学习实践，对战略制定至关重要，而这需要定期决定下一步该做什么来实现长期目标。自2014年以来，该项目团队根据他们从证据中所学到的东西，做出了许多战略调整。例如，在2018年，他们测试、挑战并修订了关于社区需要何种技术来推动规模化的假设。这一过程促使基金会改变了关于如何在规模化进程上支持社区的决策。

构建明智的决策习惯需要领导层的承诺与合作，员工个人或顾问很少有能力独自实现这一目标。出于这个原因，我们建议从自己的影响范围内的改革开始。一位首席执行官可能会采取更加积极地行动，在领导会议上树立反思的榜样，并为反对意见留出空间，而一位项目官员则可能会在试验决策清单和提前演练部门级决策方面取得更大的成功。一个人因其在组织内或组织外的不同角色，应采取的最有成效的措施也会相应有所不同。最重要的经验是，明智的决策需要一种合作文化，在这种文化中，组织的期望、价值观和经验会指导决策行为。正如我们都有责任让工作场所安全、快乐、富有成效和公平，我们也有责任确保它们是明智的。