关于有史以来最全面的嵌入式架构的详细信息。
最近，我开始了一个专注于人工智能的教育通讯，已经拥有超过160,000个订阅者。TheSequence是一份没有华而不实的（即没有炒作，没有新闻等）面向机器学习的通讯，需要5分钟的阅读时间。我们的目标是让您了解最新的机器学习项目、研究论文和概念。请在下面订阅试试：
TheSequence | Jesus Rodriguez | Substack
关于机器学习、人工智能和数据发展的最佳来源…
thesequence.substack.com
在最近几个月的时间里，嵌入式已经成为大型语言模型（LLMs）应用中最重要的组成部分之一。整个市场细分，如向量数据库，已经成为支持嵌入式架构的一种机制。然而，嵌入式架构仍处于非常早期的阶段，只有少数几家组织成功地将其大规模应用。这就是为什么从这些公司学习这些组织使用的最佳实践和技术非常重要。最近，LinkedIn公开了一些关于他们如何使用基于嵌入式检索（EBR）技术来改进其搜索和推荐系统的细节。如果您曾经看到过“您可能感兴趣的工作”功能，或者在LinkedIn Feed和通知中注意到了定制内容，那么您就看到了EBR的运作。
那么，什么是EBR？简单来说，它是推荐系统早期阶段使用的一种技术。它扫描大量的项目（例如工作发布或推文文章），并根据与给定请求的相似性识别出最相关的项目。可以将其视为在数字空间中找到“附近”项目的过程。一旦识别出这些项目，另一个人工智能模型将对它们进行排序，以向用户呈现最相关的内容。
为了简化EBR的使用，LinkedIn推出了几种新的工具和功能：
1）复合和多任务学习模型
LinkedIn现在支持创建复合模型，将各种目标合并到一个模型中。这加快了学习过程并增强了迁移学习。例如，一个嵌入可以根据用户的个人资料和互动来捕捉他们的兴趣。然后，该嵌入将为搜索和推荐系统提供信息，确保用户看到真正 resonates 的内容。
2）特征云平台
LinkedIn推出了一个名为“Feature Cloud”的平台，该平台将离线和实时嵌入式生成合并起来。该平台利用现有服务，协调各种任务，为EBR索引和特征存储准备嵌入。可以使用特征云平台在LinkedIn的搜索应用程序中提供各种类型的嵌入。
3）升级的托管搜索系统
与Lucene兼容的LinkedIn搜索系统现在支持自动嵌入版本管理和一系列EBR算法。这种适应性在不断发展的EBR世界中至关重要。搜索系统与前面描述的特征云紧密集成。
4）自动嵌入版本管理
确保内容与搜索查询的意图匹配至关重要。但是管理嵌入版本可能很复杂。例如，如果团队更新了一个嵌入模型，即使维度保持一致，它也可能与现有的项目嵌入不一致。LinkedIn的特征云支持原生版本控制，以更好地管理其生命周期。
5) 模型云 – 图形编排的简化推理
领英的“模型云”现在支持使用由 Ray Serve 提供的嵌入来进行推理图。这简化了推理图的执行，减少了复杂工作流的需要，并确保版本的一致性。结果呢？这使得 AI 专家可以更专注于提升用户体验，而无需过度关注基础设施的管理。
6) 提升职位搜索的精确性
搜索任务，尤其是职位搜索，需要用户数据、查询和上下文的精确结合。在 EBR 之前，领英的职位搜索主要依靠文本匹配。虽然它提供了结果，但缺乏个性化和语义匹配的深度。随着 EBR 和新工具的介绍，领英提升了其匹配能力，为用户提供了更个性化和准确的职位搜索体验。
领英推动人工智能和 EBR 的边界，以确保用户获得最相关的内容，无论是职位推荐、动态内容还是通知。该平台致力于创新，通过不断改进和提升用户体验来显现其创新的承诺。