深入探讨p-hacking的动机和后果
最近《纽约客》的标题写道：“They Studied Dishonesty. Was Their Work a Lie?”背后的故事是什么？行为经济学家丹·阿里利和行为科学家弗朗西斯卡·吉诺，两位在各自领域崇高的人物，面临对其研究不端行为的审查。坦率地说，他们被指控捏造数据以获得统计学上显著的结果。
可悲的是，这样的情况并不罕见。科学研究中存在着欺诈行为。P-hacking的实践，例如操纵数据，当p值达到显著水平时停止实验，或仅报告显著结果，长期以来一直受到关注。在本文中，我们将反思一些研究人员为何会试图调整他们的结果。我们将展示其后果，并解释您可以采取哪些措施来防止在自己的实验中进行p-hacking。
但在我们揭开丑闻和秘密之前，让我们先从基础知识开始——进行“假设检验101课程”。在我们探索p-hacking世界之前，这些知识将会有所帮助。
假设检验101
让我们回顾一下您需要了解的关键概念，以更全面地理解这篇文章。如果您熟悉假设检验，包括p值、I型/II型错误和显著性水平，您可以跳过这部分。
最佳披萨测试
让我们前往那不勒斯，这个以其披萨而闻名的意大利著名城市。两家披萨店，Port’Alba和Michele’s声称自己制作的是世界上最好吃的披萨。您是一个好奇的美食评论家，决心找出哪家披萨店真正值得这个称号。为了得出结论，您决定举办“最佳披萨测试”（本质上就是一个假设检验）。
您的调查从两个假设开始：
- 零假设（H0）：Port’Alba和Michele’s的披萨味道没有差异；任何观察到的差异只是由于偶然因素。
- 备择假设（H1）：Port’Alba和Michele’s的披萨味道存在显著差异，表明其中一家更好。