如何有效地构建数据科学项目

使用PSW工具的简要说明

介绍

我过去曾经参与了很多数据科学项目，帮助客户处理各种回归和分类任务：相似模型和推荐系统，自然语言处理问题，预测分析等等。

通常情况下，客户都很忙于日常工作，所以无法安排长时间的会议详细描述他们想在项目中看到的内容。因此，拥有详细和结构良好的议程非常重要。

在与专家通话时，我经常使用PSW（或问题陈述工作表）方法来充分了解客户的需求。

PSW是一种主要用于咨询的业务任务描述模板，但也非常适用于几乎任何IT项目。

在本文中，我将向您展示如何使用PSW工具更好地了解数据科学项目的关键要点，并通过使会议更加一致和简洁来充分利用客户会议。

PSW通常包含六个主要模块：

• 背景。该模块包含有关项目当前状态和引发其启动的挑战的简要信息。
• 成功的标准。在这里，重要的是了解解决项目任务的可能决策将如何评估，并按重要性对所有标准进行排序。
• 解决方案空间的范围。该模块提供了解分析的边界在哪里。最好与客户明确哪些区域不再包括在考虑范围内。
• 解决方案空间内的限制。在这里，我们概述可能在决策空间中出现的障碍。这可能是使用特定编程语言，某些模型要求或严格的预算限制。
• 利益相关者。这是一个将影响决策和项目成功的人员列表。这些人可以分为决策者、帮助者和阻碍者。
• 关键洞察来源。该模块旨在回答“如何获取解决项目任务的数据？”的问题。最好将信息来源划分为相关群组，例如：1）书籍、相关研究文章；2）最新的行业报告；3）类似的项目等。

下面我将分别考虑每个模块，并给出填充它们的示例信息。

1. 背景

这是第一个模块，通常在相互问候之后自然发生。在这里，我经常要求客户提供关于项目的更多背景信息：为什么项目出现，对公司而言为什么重要等。一方面，这些细节将为更深入地了解项目的细微差别创造坚实基础，另一方面，它们将有助于明确项目的主要目标。

如果您能用一句话定义项目目标，那么您就非常了解该项目。

以下是根据一位客户提供的输入的背景部分的典型示例：

任何移动应用程序都必须考虑到用户的需求，以便为他们提供最便利的解决方案。众所周知，用户进入应用程序是为了特定目的，执行特定操作。但是，通过向屏幕添加推荐，例如更快地向其他用户进行交易，可以缩短此序列。这就是机器学习（ML）基于推荐系统的帮助之处。

作为项目的一部分，有必要为每个用户对联系人进行排名，这取决于所进行的转账金额。已经尝试过训练该模型，因此基准已经可用，但现在的任务是在应用ML推荐算法时将其准确度提高5%或更多。

如您所见，背景模块有助于将项目任务与业务的整体背景融合在一起（使应用程序更加用户友好），并且在必要时可以根据整体目标进行调整（应用基于机器学习的推荐系统）。

2. 成功的标准

在这里，您可以询问客户项目将如何评估以及用于确定“项目成功”的标准。这些可以是财务指标（如成本降低）和非财务指标（例如应用程序的活跃用户数量，构建模型的准确性等）。除了具体的标准外，了解客户的所有无法衡量的需求也很重要。也许您的客户将通过您提出的措施改变企业文化（为什么不呢？！）。

继续以移动应用程序和推荐系统为例，以下是该项目的可能成功标准：

1）为系统选择了一个ML模型，并对其进行了适当的解释。 2）基准模型的改进幅度达到5%或更高。3）从启动到获得结果的时间不超过6小时的模型运行速度。4）使用可用数据对模型性能进行检查——测试集上的准确性应达到85%以上。

3. 解决方案空间的范围

在这里，了解项目的边界非常重要。很多时候，PSW的这一部分包括项目的简要背景——为什么项目的主题现在是重要和相关的，市场上已经存在的解决方案和基准可以进一步修改以满足客户的需求。

如果我们谈论推荐系统，应该记住有几种方法可以创建它们。

我们可以考虑基于内容（基于内容的）、基于知识（基于知识的）、使用协同过滤（协同过滤）或混合方法的方法。混合系统结合了几个系统的优点，使它们成为一个一站式推荐工具。

4. 解决方案空间内的限制

在这个模块中，我们希望概述可接受和不可接受的解决方案范围。您可以直接向客户询问这个问题。“我们有哪些限制？”这个问题可能会有所帮助。在这里，您可能会了解到有关方法/技术/编程语言使用的限制。在我们分析的项目中，使用开源数据集进行训练ML模型的限制以及通过提供详细的项目描述的README文件来实现结果的可复现性。

1. 限制使用第三方数据源：在开发推荐系统时，不要使用开放数据进行模型预训练。2. 实施方法的可复现性：在另一台计算机上重新启动模型时，应该获得相似的结果。

注意

PSW中的第3和第4块可能会引起混淆。实际上，如何理解解决方案空间和限制之间的区别呢？让我们看一个例子。

想象一下，您找到了一封您祖父写的很久以前藏在家庭房屋后院的一封信。他没有具体说明他在哪里藏了一箱金子，所以整个后院都是一个解决方案空间。一旦您读到这封信，您想尽快找到这个宝藏，并考虑使用一个扶梯来找到它。不幸的是，后院被围起来，无法通过扶梯进入。在这种情况下，无法使用扶梯将是解决方案空间内的明显限制。

5. 利益相关者

这段PSW内容提供了在项目实施时应考虑哪些人的意见。通常，利益相关者是对项目结果感兴趣的人。他们可能是项目团队成员、项目经理、高管、项目投资者、客户和最终用户。

利益相关者是在项目的任何阶段都会受到影响的人，他们的意见可以直接影响结果。在开发推荐系统的情况下，将其整合到应用程序中将对两个主要人群有益：

1) 使用该系统节省时间的移动应用用户。2) 通过使产品更加功能化，提高用户忠诚度的应用程序开发人员。

6. 关键见解来源

通常，此块包含任何相关信息，以便充分了解主题，例如链接到开源API库[1]、教程[2]、存储库、研究文章等。

在此，询问客户关于在此项目之前已经完成了什么工作非常重要。如果有的话，不要犹豫请他们分享在项目初始阶段执行时哪些方面做得好和做得不好的。这将为您提供关于可能的进一步行动和项目可采取的方向的一些提示。

对于考虑使用推荐系统的数据科学项目，使用包括机器学习和预测分析领域的文章在内的任何材料都是可以的，例如，综合评估这一行业最新成就的文章可能是一个很好的起点[3]。

关注解决类似排名和推荐问题的最新方法。

结论

希望本文的信息能帮助您在任何客户会议上做好充分准备，并向他们提出适当的问题。

下面我将总结有关PSW方法的主要见解：

1. 在应用PSW时，别忘了记录客户告诉您的所有时刻。我通常将所有信息总结到一个单独的跟进文件中，在数据科学项目实施过程中使用。
2. PSW工具不仅对于客户会议有用，还可以帮助新手更快地融入数据科学项目组，向更有经验的项目组成员提出有价值的问题。
3. 请记住，尽管PSW是一个很好且易于使用的工具，但它并不是一个神奇的“一刀切”的解决方案。在某些情况下，它可能不起作用。

总的来说，PSW方法对于数据科学项目效果很好，其中对任务有清晰的愿景，并从客户和解决任务的初始尝试中获得了一些输入。在这种情况下，客户可以与我分享这些信息，以便在PSW的帮助下共同解决他们的挑战。然而，在项目具有许多未知见解和不明确前景的情况下，将很难应用PSW工具。例如，如果客户要求为尚未开始的数据科学项目进行一些创意生成，则PSW方法将不适用，需要选择其他方法。

感谢阅读，祝您的项目顺利！

参考文献列表

1. 提供推荐的推荐REST API：https://github.com/recommender-system/reco-api?ysclid=lll99344l9788228410
2. Python推荐系统初学者教程：https://www.datacamp.com/tutorial/recommender-systems-python
3. 多模态推荐系统的综合调查：分类、评估和未来方向：https://arxiv.org/pdf/2302.04473.pdf