数据驱动的决策和产品设计指南
导论
如果你曾经对实验设计和A/B测试感到好奇，那么你来对了地方。本文将为你提供建立第一个实验的指导路线，从定义问题陈述到做出重要的发布决策。
现在，假设你站在一个繁忙的十字路口，有两条不同的转弯可选。一条是你通常选择的路线（路径A），而另一条是一条新的未知路线（路径B）。你的朋友告诉你路径B是一条更好的上班路线。你如何决定选择哪条路？这正是数据科学家试图通过A/B测试解决的问题。然而，我们需要选择两个产品版本，而不是路径（路线），而我们的朋友则是产品经理。
在本文中，我将逐步介绍设计和进行成功的A/B测试所需的8个主要步骤：
- 问题陈述
在这里，你将与利益相关者，如产品经理（PM）会面，以定义实验的目标。想象一下，OrderNow（我们的虚构打车公司）的PM在监控用户旅程仪表板时发现，约有40%的用户打开应用程序，添加目的地，但从未预订行程。现在，PM相信，如果我们将立即预订按钮的颜色从红色改为绿色，我们可以吸引更多用户完成订单。
- 定义指标
在定义问题陈述后，我们需要定义实验中要跟踪的指标。定义你的关键指标的一个好方法是了解业务目标。对于我们来说，业务目标是看到完成打车过程的用户数量增加。在选择指标时要考虑三个因素。
- 你想要衡量的行为：在我们的例子中，那就是打车行程预订。
- 分析的单位：例如每天、每周、每月等。对于我们的实验，我们将使用每周。
- 统计函数：例如计数、平均、最大值等。对于本例，我们将使用每周。因此，我们的指标可以是每周总打车数量或者…