Best Practices – 四海吧

在Amazon SageMaker上使用RLHF来提高您的LLMs

Published September 26, 2023 by 四海吧

在本博客文章中，我们演示了如何在Amazon SageMaker上使用RLHF进行实验，通过使用流行的开源RLHF仓库Trlx通过我们的实验，我们展示了如何使用公开可用的由Anthropic提供的Helpfulness and Harmlessness（HH）数据集来增加大型语言模型的帮助性或无害性使用这个数据集，我们在一个运行在ml.p4d.24xlarge实例上的Amazon SageMaker Studio笔记本上进行了实验最后，我们提供一个Jupyter笔记本来复现我们的实验

Leave a Comment

使用Amazon SageMaker编排基于Ray的机器学习工作流程

Published September 22, 2023 by 四海吧

随着客户尝试解决越来越具有挑战性的问题，机器学习（ML）变得越来越复杂这种复杂性通常会导致对分布式ML的需求，即使用多台机器来训练一个模型尽管这可以实现跨多个节点的任务并行化，从而加快训练时间、提高可伸缩性和改进[…]

Leave a Comment

使用亚马逊Rekognition、亚马逊SageMaker基础模型和亚马逊OpenSearch服务进行文章的语义图像搜索

Published September 15, 2023 by 四海吧

数字出版商不断寻求简化和自动化媒体工作流程的方法，以便尽快生成和发布新内容出版商可能拥有包含数百万张图片的存储库，并且为了节省费用，他们需要能够在文章中重复使用这些图片在这样规模的存储库中找到与文章最匹配的图片可能是一项耗时、重复、手动的任务，但可以通过自动化来完成这还依赖于存储库中的图片被正确标记，这也可以通过自动化来实现（有关客户成功案例，请参阅Aller Media Finds Success with KeyCore and AWS）在本文中，我们演示如何使用Amazon Rekognition、Amazon SageMaker JumpStart和Amazon OpenSearch Service来解决这个业务问题

Leave a Comment

在Amazon SageMaker Studio上托管Spark UI

Published August 9, 2023 by 四海吧

亚马逊SageMaker提供了几种运行Apache Spark分布式数据处理作业的方式，Apache Spark是一种流行的用于大数据处理的分布式计算框架您可以通过将SageMaker Studio笔记本和AWS Glue交互式会话连接起来，在Amazon SageMaker Studio中交互式地运行Spark应用程序，并使用无服务器集群运行Spark作业通过交互式会话，您可以[…]

Leave a Comment