人工智能（AI）和机器学习（ML）近年来在全球范围内迅速崛起，成为几乎所有行业的重要组成部分，从零售和娱乐到医疗保健和银行业。这些技术具有通过分析大量数据来自动化操作、降低成本和提升决策能力的能力。近年来，AI和ML项目的数量急剧增加，这导致了有效的ML项目管理的困难。正是因为如此，MLOps进入了科技行业的中心舞台。
什么是MLOps？
MLOps，或者机器学习运营，是一种优化ML生命周期的方法论，旨在加速创建基于AI的应用程序。它采用类似DevOps的技术，以便在ML领域进行快速可靠的软件开发。像DevOps一样，MLOps鼓励协作思维，实现数据科学家、软件工程师和数据专家之间的持续沟通。它涵盖了ML过程的所有方面，包括数据收集、模型创建、最终部署和持续项目改进。
AI和ML到底是什么？
尽管AI和ML之间存在着密切的关系，但它们是两个不应混淆的概念。AI是一个总称，涵盖了让计算机系统模仿人类智能的各种方法和技术。而ML则是AI的一个子领域，允许计算机自动从结构化数据中学习。它专注于使用大量数据集来训练算法，创建能够执行复杂任务的复杂ML模型，例如分析大数据、排序图像和生成人类语音。
ML生命周期包括什么？
几乎所有的ML项目在其循环生命周期中经历以下阶段：
- 数据收集：创建高质量的数据集是ML生命周期的重要组成部分，其中包括收集文本、图像、声音或视频等数据。
- 数据准备和整理：随机排序、将数据组织成数据集、删除错误和重复项，并将其转换为可用格式。
- 模型开发：选择有效的模型架构，创建模型，对数据集进行训练、调优和评估。
- 模型部署：将经过训练的机器学习模型引入实际系统，并通过可用数据确定它是否改善了性能。
- 监控：观察系统，通过早期检测和修正来确保和维持所需的性能水平。
MLOps如何改进ML生命周期？
MLOps利用DevOps技术来创建一个优化且标准化的ML方法。它在ML过程的所有阶段都广泛依赖以下实践：
- 版本控制：它在软件工程中被广泛应用，涉及跟踪、存储和管理对代码的变更。在ML中，它更进一步，注重关键的ML组件 – 数据和模型 – 以确保可追溯性、可重现性、回滚、调试和协作。数据版本控制对于模型开发至关重要，模型版本控制对于整个模型的生命周期也至关重要。
- 持续集成和持续部署（CI/CD）：这些实践围绕着对ML模型进行持续的审查、重新评估和识别问题的过程，使得模型在接收到新数据时可以进行修改。持续集成和持续部署（CI/CD）还自动化了ML流程的部分，如开发、构建和测试阶段。
- 监控和日志记录：ML模型监控负责在生产环境中不断跟踪部署模型的性能，提供关键反馈，确保模型在时间上准确预测并提供价值。日志记录创建了应用程序事件的记录，可用于识别在模型开发的任何阶段发生的性能问题的源头。
- 模型治理和合规：这些实践旨在降低与模型性能不佳相关的风险，这些风险可能导致诸如糟糕的决策和客户体验、违反国家和国际法律法规等问题。例如，许多企业必须遵守许多国家的严格个人数据安全法规。
- 基础设施和可伸缩性：所需资源、工具和流程的组合用于构建、训练和运行ML模型被称为ML基础设施。它通过协助数据科学家和工程团队管理和操作各种资源，并优化训练和部署流程，确保成功实施ML工作流的每个阶段。ML的可伸缩性指的是ML应用程序在处理任意量的数据时保持成本效益和节省时间的能力，同时为数百万用户提供服务。
- 自动化测试：通过自动化单元测试和集成测试，MLOps从业者可以产生长期影响。自动化加速了基于将代码分成块并分别测试每个块的概念的单元测试。它还改善了集成测试，用于查看组件如何相互作用。它的主要目标是确保组合单元相互作用，并确保系统符合所有模型标准。
如何开始MLOps职业？
2023年，任何想将自己的职业引向这个充满活力的AI领域的人都应该熟悉MLOps中使用的基本实践、概念、工具和平台。以下是它们：
- 数据工程、机器学习和软件开发：了解Python编程语言的基础知识以及ML框架TensorFlow和PyTorch非常重要。
- DevOps：学习DevOps原则、版本控制系统、CI/CD流水线和像AWS或Google Cloud这样的云平台非常关键。
- MLOps工具：熟悉用于管理端到端ML工作流程的工具至关重要，包括MLflow、Kubeflow和Apache Airflow。
- 实践：要在MLOps中取得成功，就必须在实际场景中构建、测试和部署机器学习模型。从小型个人项目开始可以为进入大型技术公司铺平道路。
- 社区：沉浸于社区生活，参加比赛和黑客马拉松，与其他专业人士合作，对于及时了解MLOps的进展、学习新技能和取得成功至关重要。
- 认证：获得云服务提供商关于ML和DevOps的认证，可以建立强大的简历，实现梦想工作。
结论：为什么MLOps很重要？
MLOps是一套高效的实践方法，代表了优化ML生命周期的转变，加快了AI应用程序的开发、测试和维护的速度和敏捷性。其主要好处是效率、可扩展性和风险降低。