这是一篇由ICL和AWS员工共同撰写的客户帖子。
ICL是一家总部位于以色列的跨国制造和采矿公司，其产品基于独特的矿物质，并满足人类的基本需求，主要在农业、食品和工程材料三个市场上运作。他们的采矿场地使用需要监控的工业设备，因为机械故障可能导致损失收入甚至环境破坏。由于极其恶劣的条件（低温、高温、振动、盐水、灰尘），在这些采矿设备上附加传感器进行远程监控是困难的。因此，大多数设备需要由现场工作人员进行手动或视觉连续监控。这些工作人员经常通过摄像头照片来检查设备状态。尽管此方法在过去有效，但无法扩展，且成本相对较高。
为了应对这一业务挑战，ICL决定开发内部能力，利用机器学习（ML）和计算机视觉（CV）来自动监控他们的采矿设备。作为一个传统的采矿公司，他们在数据科学、CV或ML方面的内部资源有限。
在本文中，我们将讨论以下内容：
- ICL如何开发内部能力，构建和维护CV解决方案，以实现采矿设备的自动监控，提高效率和减少浪费
- 使用AWS原型机计划支持开发的用于采矿筛选器的解决方案的深入剖析
使用本文介绍的方法，ICL能够在AWS上构建框架，利用Amazon SageMaker基于约30个摄像头获取的图像数据进行其他用例的开发，并有潜力扩展到他们生产现场的数千个摄像头。
通过AWS原型机计划构建内部能力
构建和维护面向业务关键工作负载的ML解决方案需要足够熟练的员工。因此，外包此类活动通常是不可能的，因为需要结合业务流程的内部知识和技术解决方案的构建。因此，ICL寻求AWS的支持，以建立CV解决方案来监控他们的采矿设备并获得必要的技能。
AWS原型机计划是一项投资计划，AWS将专家嵌入到客户开发团队中，共同构建关键用例。在此过程中，客户开发团队在构建用例的过程中了解基础AWS技术，并获得实际帮助，该过程通常持续3至6周。除了相应的用例外，客户所需的是3至7名开发人员，他们可以超过80%的工作时间用来构建上述用例。在此期间，AWS的专家全程支持客户团队，通过远程或现场合作。
ICL的计算机视觉应用案例
对于原型机计划的参与，ICL选择了用于监控他们的采矿筛选器的用例。筛选器是一种大型工业采矿机器，用于处理水中的溶解矿物。水从机器的顶部流入几条通道。每条通道的流入都会被单独监测。当某个通道的流入用尽时，就会发生溢出，这表明机器负荷过大。溢出的矿物质是未经处理且丢失的。需要通过调节流入来避免这种情况。在没有ML解决方案的情况下，需要由人类监控溢出情况，并且可能需要时间来观察和处理。
下面的图片显示CV模型的输入和输出。原始摄像头图片（左侧）经过语义分割模型的处理（中间），检测出不同的通道。然后模型（右侧）估计覆盖率（白色）和溢出（红色）。
 |
 |
 |
尽管原型设计专注于单一类型的机器，但使用摄像头并自动处理其图像同时使用CV的一般方法适用于更广泛的采矿设备范围。这使得ICL能够将原型设计中获取的专业知识推广到其他位置、摄像头类型和机器，并且可以在不需要任何第三方支持的情况下维护ML模型。
在合作过程中，AWS专家和ICL开发团队每天会面并逐步共同开发解决方案。ICL的数据科学家可以独立完成分配的任务，也可以从AWS的ML专家那里获得实践性的协作支持。这种方法既确保了ICL的数据科学家能够系统地使用SageMaker开发ML模型的经验，也能够将这些模型嵌入到应用程序中，并自动化整个模型的生命周期，包括自动重新训练或模型监控。在这次合作的4个星期之后，ICL能够在不需要进一步支持的情况下在8个星期内将该模型投入生产，并且此后还为其他用例构建了模型。下一节将描述这次合作的技术方法。
使用SageMaker进行CV模型监控挖掘筛机
SageMaker是一个完全托管的平台，可以全面管理ML模型的生命周期：它提供支持团队在SageMaker Ground Truth中标记数据、进行训练和优化模型以及为生产使用托管ML模型的服务和功能。在合作之前，ICL已经安装了摄像头，并获取了之前显示的图片（最左边的图片），并将其存储在Amazon Simple Storage Service（Amazon S3）存储桶中。在可以训练模型之前，需要生成训练数据。ICL-AWS团队分三个步骤解决了这个问题：
- 使用SageMaker Ground Truth中的语义分割标注作业对数据进行标注，如下图所示。
- 使用图像增强技术对标记图像进行预处理，增加数据样本数量。
- 将标记图像分割为训练、测试和验证集，以便在训练过程中能够充分衡量模型的性能和准确性。
为了实现ML工作负载的生产规模，自动化这些步骤对于保持训练输入的质量至关重要。因此，每当使用SageMaker Ground Truth对新的图像进行标注时，预处理和分割步骤会自动运行，并将生成的数据集存储在Amazon S3中，如下图所示的模型训练工作流程。类似地，模型部署工作流使用SageMaker的资产，在有可用的更新模型时自动更新端点。
ICL正在使用多种方法将ML模型应用于生产中。其中一些涉及到他们当前的名为KNIME的AI平台，该平台允许他们将在开发环境中开发的模型快速部署到生产环境，并将其转化为产品。他们分析了多种使用KNIME和AWS服务的组合方式，前述的架构是适应ICL环境的最合适的方式。
使用SageMaker内置的语义分割算法对筛选网格区域进行模型训练。通过选择内置算法而不是自建容器，ICL无需处理卷积神经网络（CNN）的繁重工作，同时能够在他们的用例中使用该CNN。在尝试不同的配置和参数后，ICL使用了一个具有金字塔场景解析网络（PSPNet）的全卷积网络（FCN）算法来训练模型。这使得ICL能够在原型设计的1周内完成模型构建。
模型经过训练后，必须部署才能用于筛选监控。与模型训练一致，这个过程完全自动化，使用AWS Step Functions和AWS Lambda进行编排。在成功部署到SageMaker端点后，摄像机拍摄到的图像会被调整大小以适应模型的输入格式，并通过Lambda函数传递给端点进行预测。语义分割预测的结果以及溢出检测结果会被存储在Amazon DynamoDB和Amazon S3中，以供后续分析使用。如果检测到溢出，可以使用Amazon Simple Notification Service（Amazon SNS）或Lambda函数自动缓解溢出并控制受影响的筛选监控的相关通道。下图显示了这种架构。
结论
本文介绍了以色列矿业公司ICL如何使用摄像头开发了自己的计算机视觉方案来实现采矿设备的自动化监控。我们首先展示了如何从组织角度来解决这样的挑战，重点放在赋能方面，然后详细介绍了如何使用AWS构建模型。尽管监控的挑战可能是ICL独特的，但是与AWS专家一起构建原型的通用方法可以应用于类似的挑战，特别是那些没有必要的AWS知识的组织。
如果您想了解如何构建生产规模的用例原型，请联系您的AWS账户团队讨论原型化合作。