时间派对优化 – 四海吧

你知道通过电子邮件发送时间优化（STO），可以将打开率提高达到93%吗？太棒了！或者可能只有10%。根据一项稍微可信的案例研究，准确发送消息会导致55%的打开率，30%的点击率和13%的转化率。如果有正面回报率的话，我会立刻接受这样的提高。

优化可以被应用到各种问题上。它可以同样适用于内容，对客户有利，也可以应用于价格，优化可以为商家带来最高可能的价格。

不幸的是，没有办法提前知道任何特定优化的结果，除非有正确的数据。获取这些数据的唯一途径是通过科学！

科学 + 数据 = 利润

让我们考虑电子邮件转化率的案例。如果我们考虑发送给付费客户的电子邮件（不用担心传递性或“消息来自”文本），影响客户行为的因素如下表所示。将这五个因素视为算法中的变量，其中某些因素可能有无限范围的可能值，当我们将它们整合在一起时，会得到一组非常复杂的潜在相互作用。

上述提到的数据表明，变化特定电子邮件的发送时间可能会对转化率产生重大影响，转化率是打开电子邮件并在邮件内点击所需行动链接（购买、销售、加入等）的客户百分比。那么我们如何确定最佳发送电子邮件的时间呢？

问题：你和我在一家经常向客户发送电子邮件的公司工作。我们的SaaS应用程序允许用户告诉我们最佳发送时间，但并非所有人都利用了这一优势，尤其是我们的新客户。如何确定未配置偏好的用户的最佳发送时间？

在我们的案例中，最佳发送时间意味着“能产生最高转化率”。在我们的角度来看，我们称之为“发送时间”。从客户的角度来看，我们称之为“传递时间”。

科学！

看看你手机和电脑上的电子邮件应用程序。我的手机Gmail账号显示六条消息，滚动查看其他消息之前（根据是否有附件）。桌面版本显示16条信息。我使用的另一个手机电子邮件应用程序显示十条信息。Office 365的桌面邮件Web应用程序显示十条信息。

我们有一个未经验证的假设，即电子邮件发送/传递给客户的时间会对转化率产生影响。换句话说，未读消息列表中消息的位于位置越高，被打开的机会就越大，这是至关重要的第一步。

如果我们对STO问题提出解决方案，我们希望同事们对我们的建议有信心。

我们将我们的普通假设构建成一对假设：零假设和备择假设。零假设是指两组数据或正在分析的变量之间不存在关系的声明（我们试图反驳这个假设），备择假设是我们试图证明的假设，如果我们有足够的证据来拒绝零假设，备择假设就被接受。

零假设（发送时间没有影响）：

转化率与发送时间之间没有关系。

备择假设（发送时间有影响）：

转化率因电子邮件发送时间的不同而不同。

转化率是打开电子邮件并在电子邮件内点击行动链接的客户百分比。

零假设和备择假设涉及两个变量：

独立变量是电子邮件发送时间。
依赖变量是转化率指标。

还有一组变量，如果不仔细控制，将使我们的实验变得毫无意义：

混杂变量影响依赖变量和独立变量，导致虚假的关联。

在我们的案例中，混淆变量如下所列：

客户段
主题
信息内容
行动内容

可能还有更多的混淆因素，比如桌面或移动应用程序，但我们能够控制的只有这四个变量。

专家提示：使用可能具有高开启，阅读和转化率的混淆变量，这是非常理想的，低摩擦力，免费或低成本。当您在进行真正的报价时，我们的目标是确定最佳发送时间。

请注意：在实验过程中，重要的是确保混淆变量不会发生变化。

实验

我们将使用科学方法或类似方法来测试我们的假设。我们的起点是独立变量：在实验期间何时发送消息？我们有两种方法来解决这个问题：使用直觉或使用数据。

如前所述，我们的SaaS应用程序允许用户设置电子邮件发送时间的偏好。如果我们使用用户的当地时间查询偏好数据，我们将得到类似于正态分布的结果：

图1 偏好电子邮件发送时间的正态分布；中位数：本地时间 07:30。

根据具有偏好的用户，交付的中位数时间是早上7:30左右。不幸的是，偏好时间有如此广泛的范围；五个小时是一个很大的窗口。理想情况下，我们希望将消息发送时间间隔设置为一个小时。有五个小时的时间窗口意味着至少拥有每个客户段的1,000个客户。

要测试多少个独立变量（发送时间）的选择取决于能够参与实验的新客户数量。在这种情况下，我们是一家每月约有30,000名新客户的全球公司，通常需要一个完整的月份才有一半的客户选择了偏好时间。这样我们就有了分布在全球范围内的15,000名客户，其中大约一半在美国。7,000名客户足以测试三个独立变量。理想情况下，最低客户数量应为1,000，在实验结果上我们可以相当自信。

请注意：所有时间均为当地时间。

我们将发送消息三次：t1，t2和t3。

其中：

t1是初始电子邮件发送时间：当地时间 05:00（在当地时间 07:30峰值时间之前两个半小时）。
t2是t1之后两小时。
t3是t2之后两小时。

图2 三个队列，每个队列有两小时的时间窗口。

这将为我们提供一个六小时的交付时间窗口，涵盖了我们现有客户的正态分布很大一部分。由于美国涵盖了六个时区，因此我们需要进行一些时间运算，为每个队列中的每个客户找到正确的数据中心或云发送时间，以便消息在正确的当地时间发送。

重要提示：请不要在队列的时间窗口内将发送时间分散开；请尽量发送所有消息，使其尽可能接近t1、t2和t3的三个时间。

客户细分，又称队列工程

在创建客户队列时，我们应考虑其他几个标准。我们以前的人口统计学工作显示，我们的客户中90%居住在大都市地区。我们可以使用邮政编码或地理位置来创建位置断言，并将每个大都市分为三个群体。还有其他哪些标准可能有用呢？

移动用户与桌面用户
Android与iOS
Windows与Mac
用户代理
组织规模
SaaS订阅计划

我将让您决定如何处理，但请记住，如果可能，使用您拥有的任何人口统计学或心理统计学数据，并确保这三个群体都能够良好地平衡。这将在我们希望对结果进行一些分析探索时避免麻烦。

在3、2、停！

在我们开始发送信息之前，我们需要确保我们有正确的可观察性。我们需要知道更多关键事件，比如消息已打开和消息已转化。我们还必须知道任何地方顾客/实验旅程中的任何问题。如果满足某些失败条件，我们还必须收到警报，以便在浪费我们真正的顾客接受的真实报价之前停止实验。确保包含实际发送时间。

还有一组可能在某些时候会有用的信息是网络和地理位置数据。也许有很多顾客在喝咖啡或

当一切准备就绪时，只剩下的事情就是按下大红的“开始”按钮并收集数据。你应该等多久呢？

数据探索和分析

从这三个图表中可以看到，实验开始后的48小时内结果减少到了很少。这些信息也是非常有价值的。可以安全地假设随着时间的推移，每个顾客收到的信息越多，试验的消息就会被推到列表中的下方。这就是追踪每个用户的应用程序或用户代理将允许你将电子邮件应用程序窗口大小与消息打开率相关联的地方。

除了单独查看每个组的情况，还要查看所有三个组合是否具有共同的模式。例如，也许所有被跟踪的顾客数据（打开、点击网页链接、点击行动呼叫链接）在午餐前会下降，并且一直保持较低状态直到一天结束。

其他模式可能与订阅计划或顾客的手机型号有关。也许iPhone用户在开始他们的一天之前的15分钟里忙于购买一杯双倍豆奶拿铁，这是他们最仔细检查电子邮件应用程序的时间。

最后，不管邮件何时被发送，无论何时都存在着固定的开启邮件高峰，大约在本地时间早上8:30或8:00或9:00。每个人的情况可能有所不同。

结果

最后，结果出来了，你有一个明确的结果。你可以清楚地看到新顾客喜欢在早上8:24阅读邮件。从今天起，你可以将新顾客的默认邮箱发送时间设置为这个时间。太棒了！

现在只剩下的事情是写一篇论文，分发给你的同事，并获得更改默认发送时间的批准，除非业务部门负责人或产品所有者希望开会讨论结果 – 所有结果 – 包括分析探索和假设。假设？

讨论/假设

我们都在做假设，或者至少我是这样认为的。关于这个问题，我从未见过任何研究。在撰写结论并发送论文之前，现在是一个思考所作的任何假设并将它们包含在讨论部分的好时机。例如，在准备小组时，我们尽可能平衡我们所了解的所有明确顾客属性，比如订阅计划、公司规模等。然而，我们知道公司文化可以有很大的差异。一些公司 – 也许大多数公司 – 可能已经完全采用了在家办公。

深度学习的运营存储发生器

假设你的实验结果在每个组中或是所有组合中都没有显示出足够强的信号。或者，也许在你研究实验结果数据时，你注意到洛杉矶的顾客使用他们的iPhone时有一个强烈的信号。他们希望在上午稍后的时间查看他们的电子邮件 – 也许是在海滩上跑步或在405号高速公路上堵车时。

然后你查看有表达喜好的现有顾客数据，他们也来自洛杉矶，也使用他们的iPhone。这个群体也强烈偏好在上午9点到10点之间接收电子邮件。也许你的客户数据库中还有其他类似的强相关性 – 如果是这样，你可能能够训练一个机器学习模型来预测向新用户发送电子邮件的最佳时间。当你以前从未进行过机器学习训练时，你该如何做到这一点？这有可能吗？

当然可以！像大多数中级到高级的程序员一样，我在解决困难问题时取得了很多胜利，我相信我可以用代码做任何事情。所以，让我们试一试。即使你的组织的数据集不适合训练一个机器学习模型，你将能够获得对数据科学和工程同事所做的艰苦工作的重要见解，了解我们通过发送糟糕的数据给他们使他们的工作变得多么困难，并且你将学到一些重要的概念和词汇，这将成为未来几年每个程序员工作描述中的重要一部分。

两种方法：有监督学习和无监督学习

这个问题的核心是预测：新用户最有可能选择哪个十分钟或十五分钟的发送时间段？这个问题可以通过两类机器学习模型来解决：有监督学习和无监督学习。也许对你来说，最好的选择是使用无监督聚类来探索和理解你的数据，并帮助你寻找数据中的相似性（聚类）。如果是这样，你可以使用聚类来预测发送时间。或者你可以继续尝试有监督学习的路径。那么关键的区别是什么？对于你来说，有监督学习需要标记数据，而无监督学习不需要，所以无监督学习相对简单一些。幸运的是，如果你的客户数据包括他们的首选电子邮件发送时间（或者对于你的用例来说是等效的），那么你已经完成了一半的标记数据。

使用XGBoost进行有监督学习

XGBoost是解决这个问题的一个很好的选择。有许多与我们问题直接相关的Python和R实现教程。它不需要大量的计算资源，也不需要参数优化或调整。非常适合像你和我这样的初学者。

在这篇文章中，我没有足够的空间来逐步介绍每一步，但是我强烈推荐以下Python教程：在Python中使用XGBoost。该教程围绕预测（分类）钻石价格的问题展开。完成该教程不会超过一个小时。钻石价格和客户首选电子邮件发送时间有什么相似之处？实际上，业务或数据领域对机器学习模型来说并没有太大的影响。

钻石数据

在这两种情况下，领域对于问题并不重要。我们有一些数据字段，其中一些与问题相关，一些可能不相关。在钻石数据中，我们希望预测价格，而在客户数据中，我们希望预测首选发送时间。是的，你和我都知道可以使用钻石数据属性进行计算，但是机器学习模型不知道，也不需要知道来达到一个可靠的价格预测。

关键在于数据 – 或者没有。

重要的是数据中的属性。你的客户数据中是否有足够的属性/字段/列来回答一个基本问题：给定一个新客户的数据是否与任何现有的客户群体足够相似，以至于新用户可能会选择现有用户的电子邮件发送时间？我们的第二个机器学习模型可以帮助你回答这个问题。

完成XGBoost教程后，尝试在你的数据上进行相同的操作。你可能需要尝试多种数据变体。如果效果不好，可以尝试聚类。

使用聚类的无监督学习

什么是聚类？Datacamp.com有一个非常好的介绍聚类的入门教程。

“聚类是一种无监督的机器学习技术，具有模式识别、图像分析、客户分析、市场细分、社交网络分析等许多应用…

…它是一个迭代的信息发现过程，需要领域专业知识和人为判断，并经常用于对数据和模型参数进行调整以达到期望的结果。”

基本上，你的聚类模型使用选择的算法处理数据，并为数据中的每条记录生成二维向量的结果集：X和Y坐标。这些可以呈现为表格或可视化形式，如下所示，这样更容易看到聚类：

先从K均值聚类算法开始，这是一种广泛应用于聚类任务的算法，因为它直观易懂、易于实现。它是一种基于质心的算法，用户必须定义要创建的簇数。在我们的情况下，簇数就是我们希望进行预测的发送时间段数，例如从早上7点到早上10点，每15分钟一个时间段，所以有12个簇 (K = 12)。

我强烈建议先从教程开始，然后再转向您的客户数据。我强烈推荐来自Kaggle的这篇教程：K均值的客户分割。

一旦您准备好使用您的数据，整个工作流程如下:

探索您的数据，并尝试直观地识别可能与现有用户首选发送时间相关的特征。您可能有太多的现有数据和没有喜好的数据。

反复迭代属性/列/字段，直到出现一些聚类。

不断优化，直到您有足够多的簇来覆盖大部分首选发送时间。

如果您的数据显示发送时间绝对没有聚类相关性，您有两个选择:
1. 尝试识别和收集可以帮助区分首选的数据或
2. 优雅地接受失败; 有时，零假设会赢。
如果您的任何数据集显示与发送时间相关的聚类，恭喜您获得了黄金门票!
接下来，您必须推导出聚类质心 (找到每个发送时间簇中心的实际或合成向量)。
收集一组未表达发送时间喜好的新用户数据。对于每个新用户，使用与创建聚类向量相同的方法计算其向量。
测量每个用户向量与 #7 中的每个聚类质心之间的差异 (余弦相似度或欧氏距离)，具有最小差异的质心将是您的新的最佳发送时间。
在接下来的几周中，检查该组新用户，看看他们的首选发送时间是否与预测时间匹配。
您还可以针对一组具有首选发送时间的现有用户数据进行此方法的测试。
如果某种神奇的方式，这一切非常顺利，那么恭喜您获得了黄金门票!
再试一次实验; 只是这一次，使用预测的电子邮件发送时间发送一封新的实验性电子邮件，并查看转化率是否高于第一次实验期间。

结论

如果您在网上对此主题进行了一些调研，您可能会注意到有很多公司专门提供解决此问题的解决方案; 对于那些能够解决问题或提高转化率以证明其支出的人来说，这可能非常有价值。

除了为您的组织可能带来的经济效益外，您还将能够在您的简历中添加一个新的重要部分：在消息发送时间优化领域进行了创建和实施数据科学实验，结果使转化率增加了27%，ARR增加了4%。

现在，这是一个值得努力的目标。祝你好运!