更好的政策评估方法
看呀，太阳下山了
Moby — The Last Day
在高中时，我清晰地记得问我的历史老师，“如果罗马帝国没有崩溃会怎样？我们的技术会多先进？”她并不特别欣赏我的问题。事实上，历史学家经常对“如果”问题表示保留，有时被称为反事实历史。他们更喜欢按照事实、来源和证据解释事件，而不是按照可能发生的事件。他们的工作根植于事实、来源和证据，而“如果”场景可能会导致推测或臆测，从而削弱对历史现实的严格分析。
作为一个自省的白日梦者，我在青少年时期一直在想如果我们没有经历中世纪会发生什么。实证主义科学会更早地发展吗？战争会在几个世纪中发生得那么频繁吗？我们会更好地照顾我们的星球吗？
这些问题仍然存在，因为一旦出现一个发展，就不可能经历一个发展没有发生的替代现实。这基本上是因果推断的根本问题，因果关系研究的科学背后。例如，如果政府决定实施禁止饮酒的政策，是否会导致车祸死亡率下降？理想情况下，这个因果关系问题将通过比较我们实际世界中没有禁令的车祸死亡率，和一个唯一的区别是实施该政策的平行世界中的车祸死亡率来回答。在这种理想的情况下，政策的影响将是没有政策观察到的死亡率和政策下死亡率之间的差异。显然，这是不可行的，因为我们只能接触到我们自己的现实。
给市长的激励是否能改善教育？
我一直对教育和公共政策的动态特别感兴趣，尤其是它们如何相互作用以塑造一个社会的未来。当我选择我的硕士论文题目时，我渴望探索一些相关的、有影响力的，并且在实际中有根据的东西。我想深入探讨一个可能提供对巴西教育系统改进见解的话题，不仅是在理论上，而且在实践中也是如此。就在这个过程中，我发现了在巴西塞阿拉州实施的两项有趣的教育政策。
第一个政策是为市长提供税收激励(TI)来改善市政教育。这是一种创新的方法，将市政税收转移与教育成就联系起来，鼓励地方政府更多地投资于他们的教育系统。第二个政策是向市政府提供教育技术援助(TA)的计划，为他们提供改进教育实践所需的资源。
一些描述性图表表明，即使相对于其他州投资更少，塞阿拉州正在取得更多的改进，如下图所示。y轴显示数学和葡萄牙语测试中学生的积极得分变化，x轴显示教育平均支出。
为确保政策确实导致了这些改进，我不得不更深入地分析这些政策，再次遇到了因果推论的根本问题：如果塞阿拉州没有采用这些政策，他们的教育指标会更差吗？换句话说，这些政策是否对教育成就产生了积极的影响？我没有一个完美的反事实，一个没有采用这些政策的塞阿拉州的替代现实。幸运的是，因果推断提供了一些逼近反事实的方法。其中之一是合成控制方法。
合成控制方法
合成控制方法是一种统计技术，主要用于评估政策变化或其他干预措施的效果，当控制组不可用时。该原则基于通过组合未经历政策变化的多个州来创建单位的合成版本(在这种情况下是塞阿拉州)。这个“合成控制”作为反事实的替代——它是我们可能期望在兴趣单位中发生的，如果政策没有实施。
为了构建这个合成控制组，我们必须选择一组未受政策影响的州，这些通常被称为捐赠单位。然后，合成控制组被创建为这些捐赠单位的加权组合，选择的方法是使合成控制组与受治疗单位（Ceará）的治疗前特征相匹配。本质上，合成控制组代表了一个假设的Ceará，即没有采取教育政策。这个解释简单地概述了这种方法的基本思想。为了更全面地理解，请参考Alberto Abadie（2021）²的“使用合成控制组：可行性、数据要求和方法方面”。
一旦建立了合成控制组，我们就比较了治疗单位（Ceará）和其合成对照组的治疗后结果。这两者之间的差异可以解释为干预或政策的影响。
在下面的图表中，我描述了Ceará和未受政策影响的人工构建的Ceará的数学和葡萄牙语成绩趋势。请注意，在政策实施之前，合成和实际趋势非常接近，但之后明显分歧。根据这个方法，在没有政策的情况下，Ceará的分数将遵循黄线所代表的轨迹。受政策影响下的Ceará的实际分数则由绿线表示。这两条线之间的区别表明了这些政策的积极影响。
这两种政策的组合导致了小学葡萄牙语考试成绩稳定增长了12％，初中教育的成绩增长了6.5％。结果表明，设计良好的政策可以在教育成果上产生重大影响。数学方面的结果没有统计学显著性。在我的博士论文¹中，我提供了一些原因的解释。
然而，我的分析也揭示了一个问题。尽管在小学和初中教育方面取得了这些进展，但不受新政策直接影响但从低水平接受到更好准备的学生的高中学校没有显示出显着的改进。这一发现突显了政策实施中的一个关键差距，并引发了对将教育政策的好处扩展到高中学校以及其他巴西州的进一步讨论。
合成控制组方法在R中的应用
我使用了R synth库来实现合成控制组。这个库是R中估算合成控制组的一个非常强大的工具。它提供了两个主要的功能：
dataprep()：将捐献池和治疗单位的特征以及它们的感兴趣的结果准备成矩阵。这些矩阵可以传递给synth()；synth()：优化权重集合以形成合成单位。
该软件包还提供了使用基本R绘制结果的功能，但您也可以准备synth()提供的数据以在ggplot2中绘制图形，就像我上面所做的那样。查看代码：https://github.com/bruno-ponne/Better-Incentives-Better-Marks
最终思考
合成控制组给了我一个独特的机会来研究这些政策对Ceará教育成就的因果影响，为“如果”这个问题提供了一个量化的维度。通过这种方法，我的研究超越了理论推测的范畴，实现了基于数据和统计方法的严谨分析。
我一直相信，教育是促进发展中国家宽容、机会和民主的关键因素。我的使用合成控制组的旅程揭示了设计良好的政策在显著提高教育成果方面的潜力。我希望这些发现为决策者提供有价值的见解，以便为我们的教育未来做出明智的选择。
引用的文章：
¹Ponne, B. G. (2023). Better Incentives, Better Marks: A Synthetic Control Evaluation of the Educational Policies in Ceará, Brazil. Braz. political sci. rev., 17 (1), e0005. https://doi.org/10.1590/1981-3821202300010005
²Abadie, Alberto (2021), Using synthetic controls: feasibility, data requirements, and methodological aspects. Journal of Economic Literature . 59(2), pp. 391–425.