【世界银行】设计和分析强大的实验-应用研究人员的实用技巧(英)

世界银行近日发布了一份名为《Designing and Analyzing Powerful Experiments: Practical Tips for Applied Researchers》的报告。这份报告由David McKenzie撰写，主要提供了如何通过在设计、实施和分析阶段做出的选择和行动来提高随机实验的统计功效的实用建议。报告强调，实验的功效并不是一个固定的属性，而是可以通过研究人员的决策在给定样本大小下显著提高的。报告中详细介绍了多种方法，包括改变研究对象、选择合适的处理方式、减少方差和内群相关性等，以及在实施阶段如何通过提高遵从性和减少流失来增强功效。此外，报告还探讨了在分析阶段，通过使用不同的检验统计量、选择控制变量以及纳入贝叶斯分析中的信息先验来提高功效。这些内容对于应用研究者来说是非常宝贵的资源。

在经济学研究中，随机实验是一种评估政策效果的强大工具。然而，许多实验因统计功效不足而难以检测到关键结果的影响。《Designing and Analyzing Powerful Experiments Practical Tips for Applied Researchers》这篇报告提供了如何在设计、实施和分析阶段提高随机实验统计功效的实用建议。

统计功效是指在零假设为假时拒绝零假设的概率。如果实验功效不足，我们可能无法检测到实际存在的效应，导致研究资源浪费和政策制定失误。报告指出，许多经济学研究领域的结果有高达90%的功效不足问题。例如，商业培训的效果被普遍认为不显著，可能就是因为大多数研究的功效不足以检测到实际存在的小幅改善。

提高实验统计功效的一个方法是增加样本量，但这并非唯一途径。报告强调，研究人员可以在实验的不同阶段通过不同的选择和行动来提高功效。在设计阶段，研究人员可以通过选择研究对象、处理方式和减少残差方差及聚类相关性来提高功效。例如，在哥伦比亚的一项旨在提高企业出口的实验中，通过筛选掉可能退出研究的单位、不太可能遵守处理的单位或异常值，可以提高研究的功效。

在实施阶段，研究人员可以通过提高对处理的遵从性、减少流失和改进结果测量来增强功效。例如，通过使用激励措施、提醒和等待名单等手段，可以提高遵从性并减少非遵从性。减少流失可以增加有效样本量和功效。对测量的仔细关注可以减少残差方差，更容易检测到处理效应。

在分析阶段，通过使用不同的检验统计量或估计量、选择控制变量和在贝叶斯分析中纳入信息性先验，可以增加功效。例如，使用单侧检验而不是双侧检验可以增加检测某一方向影响的功效。当处理的遵从性低或控制组中的非遵从性高时，研究人员可能能够精确估计意向性处理效应（ITT）接近零，但处理效应对遵从者（TOT）的估计可能不够精确。在这种情况下，可以使用机器学习方法来预测遵从性，然后构建一个加权的工具变量估计器，以提高估计的精确度。

报告还讨论了如何在研究资助申请、预分析计划和注册报告中进行功效计算。建议研究人员在功效计算中明确假设遵从率、遵从性、聚类相关性和其他决定功效的参数，并提供足够的细节，以便读者了解正在改变的内容，并尝试将最小可检测效应（MDE）与成本效益阈值和/或现有文献进行基准比较，以展示MDE在何种水平上是值得检测的。

总之，即使在固定样本量的情况下，研究人员也可以通过在设计、实施和分析阶段的不同选择来提高统计功效。这意味着我们不能简单地谈论“实验的功效”，因为不同的估计量和结果可能需要不同的样本量来实现相同的功效水平。通过精心设计和分析，我们可以从给定的样本量中获取尽可能多的信息。

这篇文章的灵感来自于《Designing and Analyzing Powerful Experiments Practical Tips for Applied Researchers》这份报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。