Press "Enter" to skip to content

四海吧 Posts

使用多头注意力机制理解注意力机制

介绍 深入了解Transformer模型的好方法是学习注意机制。在这方面,特别是在学习其他类型的注意机制之前学习多头注意力也是一个不错的选择。这是因为这个概念往往比较容易理解。 注意机制可以被视为可以添加到常规深度学习模型中的神经网络层。其目的是使模型专注于使用分配的权重来关注输入的特定部分,从而权衡它们的价值。我们将进一步详细了解注意机制,使用多头注意力机制。 学习目标 注意机制的概念 多头注意力的含义 Transformer中多头注意力的架构 其他类型的注意机制简介 本文是数据科学博客马拉松的一部分。 了解注意机制 我们可以从人类心理学的角度开始看这个概念。在心理学中,注意力是集中意识在某些事件上,以便排除其他刺激的影响。这意味着即使有其他干扰,我们仍然会专注于我们选择的事物。注意力有选择地集中在整体的一个离散部分。 这个概念是Transformer中使用的。它们能够集中精力关注其输入的目标部分,并忽略其余部分。这可以使它们以非常有效的方式行动。 什么是多头注意力? 多头注意力是Transformer中的一个中心机制,类似于ResNet50架构中的跳跃连接。有时需要关注序列中的多个其他点。使用找到整体平均值的方法将不会使权重分布,因此不会给予多样化的值作为权重,这就引出了创建多个独立的注意机制以形成多个注意力机制的扩展的想法。现在的实现在单个特征上呈现多个不同的查询-键-值三元组。 来源:Pngwing.com 计算是这样进行的,注意模块在多次迭代中执行,组织成称为注意头的并行层。每个独立的头独立处理输入序列和相关输出序列元素。每个头部的累积分数然后组合以获得最终的注意分数,其中包含输入序列的每个细节。 数学表达式 具体而言,如果我们有一个关键字和一个值矩阵,我们可以将值转换为ℎ个子查询,子关键字和子值,这些将独立地通过注意力传递。连接将给出一个头,并使用最终的权重矩阵将它们组合起来。 可学习的参数是分配给各个头部的注意力中的值,其中各种参数称为多头注意力层。下面的图示说明了这个过程。 让我们简要地看一下这些变量。其中X的值是单词嵌入矩阵的连接。 矩阵解释 查询:它是一个特征向量,提供有关序列中目标的洞察力。它在序列上提出请求,需要关注哪些部分。 关键字:这是描述元素中包含的内容的特征向量。它突出显示提供元素的身份,并通过查询提供注意力。 值:处理输入序列,每个输入元素使用一个值来知道提供平均值的内容。 评分函数:创建评分函数时,我们将查询和关键字指定为其输出的权重,称为查询-关键字对。…

Leave a Comment

谷歌云帮助麦格理银行增强人工智能银行能力

麦格理银行和金融服务集团已与谷歌云合作,利用人工智能(AI)和机器学习(ML)的力量,革新银行业。这个合作旨在通过开发预测分析模型和自动化银行流程来增强客户银行体验。麦格理和谷歌云共同致力于创新,旨在向全球银行客户提供无缝、直观和个性化的数字体验。 麦格理的技术进步和数字化转型 麦格理银行一直处于银行业技术进步的前沿。在过去的十年中,该银行在构建云端优先和完全数字化的零售银行平台方面进行了重大投资。通过利用其技术堆栈并与谷歌云合作,麦格理准备在其数字和数据平台上迈向AI优先的方法。这将使该银行通过整合AI和ML功能向所有个人银行客户提供增强的数字体验。 还阅读:2023年银行和金融领域的机器学习和人工智能应用 谷歌云在麦格理数字基础设施中的重要角色 谷歌云是麦格理银行和金融服务集团数字客户界面和流程的支撑。该银行依赖谷歌云进行战略和分析数据平台和基于ML的应用程序。通过利用谷歌云的能力,麦格理成功将AI和ML嵌入其数字银行和技术生态系统中。这赋予了运营和客户体验界面更多权力。该银行每天分析超过10亿笔交易,利用AI和ML模型为客户提供直观的功能。 麦格理数字银行中具有变革性的AI和ML功能 麦格理和谷歌云的合作将在麦格理数字银行产品中推出各种AI和ML功能。这些功能旨在进一步增强客户的银行体验,提供个性化和主动的金融解决方案。以下是一些将推出的关键功能: 1. 现金流量预测功能 利用谷歌云的BigQuery,麦格理的现金流预测功能将为客户提供未来12个月的个性化现金流预测。这个强大的工具甚至会在客户的现金流有望变负时提供主动提示。这样,客户就能做出明智的金融决策。 2. 转账预测 利用BigQuery,麦格理将分析以前和即将发生的转账,预测、通知和提醒客户到期日期和相关信息。这个功能确保客户掌握自己的财务承诺,减少漏付款项或忽略交易的风险。 3. 流程自动化 麦格理认识到自动化在简化银行流程方面的价值。通过即将推出的AI驱动的流程自动化功能,客户将收到主动、个性化和可行动的通知,轻松地自动化常规账户活动。例如,客户可以选择自动将每月工资的固定百分比转入储蓄账户。 4. 增强的贷款申请和支付欺诈检测 为加强安全措施,麦格理计划实施额外的AI功能算法,以增强贷款申请中欺诈文档的检测和识别可疑的付款活动。这些先进的功能将保障客户的财务利益,保护他们免受潜在的欺诈者。 还阅读:使用机器学习进行银行客户流失预测 将AI和ML功能扩展到客户服务之外 麦格理银行和谷歌云之间的合作不仅限于面向客户的功能。麦格理打算在其客户服务功能中整合AI和ML,专注于其联系中心的生成式AI用例。这种创新的方法,包括“智能代理”功能,将增强客户互动,并确保及时、高效的服务。此外,麦格理还计划在各种风险管理流程中采用AI和ML,进一步加强保护其180万澳大利亚客户的措施。 具有远见卓识的长期合作 澳洲麦格理银行与谷歌云的合作关系建立在多年的互信和共同目标的基础上。谷歌云的受管行业主管…

Leave a Comment

红猫和雅典娜AI开发了具有夜视功能的智能军用无人机

领先的军事技术公司Red Cat Holdings, Inc.在与Athena AI的合作中实现了一个里程碑。合作带来了人工智能(AI)和计算机视觉技术在Teal 2军用无人机上的显著进展。利用最先进的技术,Red Cat和Athena AI赋予指挥官在战场上前所未有的决策支持,特别是在夜间。这一突破性发展承诺彻底改革军用无人机操作,确保增强态势感知并为战士提供不公平的优势。 另请参阅:Palantir推出军事决策人工智能平台 第二阶段成功:夜间目标识别和战斗跟踪 Red Cat最初于三月宣布与Athena AI的合作,专门针对Teal 2军用无人机。在最近完成的第二阶段中,Athena AI的先进技术已成功处理了Teal 2热成像传感器记录的夜间测试飞行视频。结果是一个出色的目标识别和战斗跟踪能力。在人工智能的帮助下,指挥官们现在可以在战斗的白热化阶段迅速做出明智决策,从而在战场上获得显著的优势。 另请参阅:战场革命:英美澳通过AI无人机试验推动界限 Teal 2的夜间计算机视觉能力:划时代的改变 Red Cat子公司Teal Drones的创始人兼首席执行官George Matus对支持夜间计算机视觉能力的新Teal 2附加组件表示热情洋溢。此功能专为需要在夜间任务期间获取关键数据的用户设计。Matus赞扬Athena AI的技术为提供出色的图像和洞察力。…

Leave a Comment

2023年最佳人工智能工具——产品经理必备

人工智能市场的快速扩张令人惊讶和惊叹。除了提高产品经理的生产力外,新开发的技术还可能促使完全新的职业的出现。然而,当有成千上万的工具可以使用,而每周还有更多的工具到来时,很容易感到不知所措。 ClickUp  ClickUp是一款全能的项目管理工具,可以促进各种规模和领域的团队之间更好的沟通。ClickUp是领先的产品管理解决方案,因为它的适应性和简单易用性,可以用于产品创建和规划等任务。它是一个高度灵活的平台,具有许多预制的产品团队模板,用于产品规划、路线图和新产品发布。ClickUp的适应性和有用的工具使得任何团队都可以将平台定制为自己的需求和工作流程的细微差别。 Jam  JamGPT是一款尖端的人工智能工具,帮助产品经理理解问题并找到潜在的解决方案,他们可以将其传达给工程团队。他们的生产力增加,他们对技术讨论的获取也扩展了。JamGPT提供上下文给非技术产品经理的能力,无论是通过深入的解释还是快速的TLDR,都有助于在各个级别推出功能。它通过将智能AI助手和主要错误报告功能收集的有价值的数据与项目管理工具(如ClickUp、Slack或Github)集成,简化了产品改进的共享和工作流程。 Motion Motion是一款聪明的工具,利用人工智能创建每日日程表,考虑到您的会议、任务和项目。告别计划的麻烦,迎接更加高效的生活。 ChatGPT  通过提供与大多数问题相关的答案,ChatGPT成为产品经理中最受欢迎的自然语言处理(NLP)工具之一,提供比搜索引擎查询更好的体验。由产品经理进行的测试表明,结果对他们提出的问题非常敏感。 ChatGPT的适应性是一个主要卖点。回答独特问题以增强产品增长、客户服务等。它对产品经理很有帮助,因为它可以分析提交的数据,识别客户痛点,提供下一个要开发的产品的想法,并进行情感分析。 Canva  Canva的免费图片生成器使得产品经理在日常工作中更容易看到它的用处。在与利益相关者的会议、产品发布等场合,寻找适当的视觉效果一直很困难。通常情况下,你有一个清晰的心理画面,但可用的库存照片需要进行修改。借助Canva的AI驱动编辑器,您可以进行主题头脑风暴并调整搜索结果,直到找到理想的视觉效果,所有这些都基于您的输入,以保持一致的高质量内容安排。 TLDV  说实话:作为一个产品经理,你的大部分时间都会花在会议中。无论是向利益相关者推销新的产品特性,还是试图向工程团队销售它,一个强有力的演示文稿都至关重要。TLDV是一个AI程序,通过将会议记录和摘要总结为要点,帮助您更加高效地工作。如果您想从用户的访谈中获得最大的收益,您需要能够专注于他们而不必担心做笔记。TLDV可以让你做到这一点。 Notion  最受欢迎的笔记应用程序之一Notion最近进行了升级,拥有了尖端的人工智能功能。这意味着产品经理可以通过利用能够提高沟通效率并减少在总结等重复性工作上花费的时间的能力,建立业务wiki和产品路线图来享受他们的日常工作流程。 Otter.AI Otter.ai是一个人工智能驱动的平台,可以促进会议和讨论的准确记录和转录。它利用人工智能即时转录对话,并创建可搜索、可访问和加密的笔记,可以轻松共享。Otter可以自动加入和记录Zoom、Microsoft Teams和Google Meet会议。重点突出,任务分配,生成可轻松共享和回忆的摘要。在iOS、Android和Chrome上使用Otter的用户都认为它是一个有用的时间节省器。许多用户赞扬它的准确性、多样性(它可以从不同的发言人转录)和节省时间的自动幻灯片捕获功能。 Collato 你的团队在大量纸质文件中无法追踪特定产品信息吗?Collato 是你的团队的人工智能助手,跟踪所有需要随时可用并仅需一键点击的信息。产品经理可以将各种技术同步和集成到单个可视化地图中,从而减少信息孤岛。与每次必要的产品路线图文档丢失浪费 30 分钟不同,你将在一个方便的位置访问到所需的一切。…

Leave a Comment

H1B签证是否基于数据分析的见解获得批准?

介绍 H1B签证计划为全球技术人才提供了进入美国的机会。每年,成千上万的才华横溢的专业人士通过该计划进入美国,为各个行业做出贡献,推动创新。让我们深入H1B签证数据的世界,了解外国劳工认证办公室(OFLC)提供的有趣信息和背后的故事。本文揭示了H1B签证数据分析的结果,我们从中获得了洞见和有趣的故事。通过特征工程,我们从外部来源增强了数据集的信息。通过精细的数据整理,我们仔细组织数据,以便更好地理解和分析数据。最后,数据可视化揭示了关于2014至2016年间美国熟练工人的有趣趋势和未被告知的见解。 探索并分析外国劳工认证办公室(OFLC)提供的H1B签证数据,并了解其在吸引熟练外国劳工来美国方面的重要性。 了解数据预处理的过程,包括数据清洗、特征工程和数据转换技术。 检查和分析H1B签证申请的接受和拒绝率,这可能会影响这些率。 熟悉数据可视化技术,以有效地呈现和传达发现结果。 注:🔗 您可以在Kaggle上找到这个分析的完整代码和数据集,以探索分析背后的整个过程:H1B Analysis on Kaggle 本文是数据科学博客马拉松的一部分。 什么是H1B签证? H1B签证计划是美国移民政策的关键组成部分,旨在吸引高技能外籍工人填补各个行业的专业职位。它解决了技能短缺问题,促进了创新,推动了经济增长。 要获得H1B签证,必须按照以下关键步骤: 找到一家愿意为该外籍工人赞助签证的美国雇主。 雇主代表外籍工人向美国移民局(USCIS)提交H1B申请。 该申请受到年度配额的限制,如果申请数量超过可用名额,则可能通过抽签程序。 如果被选中,USCIS将审核申请的合格性和符合性。 如果获得批准,外籍工人可以获得H1B签证,并开始在美国为雇主工作。 该过程涉及满足特定要求,例如持有学士学位或同等学历,并处理其他考虑因素,例如最低工资确定和雇主-雇员关系的文件记录。遵守和准备充分对于成功的H1B签证申请至关重要。 数据集 外国劳工认证办公室(OFLC)提供的2014年、2015年和2016年组合数据集包括案件编号、案件状态、雇主名称、雇主城市、雇主州、职位名称、SOC代码、SOC名称、工资率、工资单位、最低工资、最低工资来源、年份等列。 这些列提供了关于H1B签证申请的基本信息,包括案件细节、雇主信息、职位名称、工资率和最低工资数据。 使用OFLC官方网站https://www.foreignlaborcert.doleta.gov/performancedata.cfm上提供的数据集和数据布局,以完全了解所有可用列及其描述。…

Leave a Comment

世界上第一次编织非阿贝尔任意子

由Google量子AI团队的Trond Andersen和Yuri Lensky研究科学家发表 想象一下,你被展示了两个完全相同的物体,然后被要求闭上眼睛。当你睁开眼睛时,你看到了相同的两个物体在同一位置。如何确定它们是否被交换了?直觉和量子力学的法则认为:如果这些物体真的相同,那么就无法分辨。 虽然这听起来像是常识,但它只适用于我们熟悉的三维世界。研究人员预测,对于一种特殊类型的粒子,称为任意子,它只能在二维平面内移动,量子力学允许出现完全不同的现象。任意子彼此之间无法区分,其中一些非阿贝尔任意子具有一种特殊属性,使得在交换下共享量子状态出现可观测的差异,尽管它们在彼此之间是完全无法区分的。虽然研究人员已经成功地检测到了它们的亲戚——阿贝尔任意子,但由于控制和检测方面的挑战,实现“非阿贝尔交换行为”更加困难。 在发表于《自然》杂志上的“超导处理器中的非阿贝尔编织图顶点”一文中,我们首次报告了这种非阿贝尔交换行为的观测结果。非阿贝尔任意子可能为量子计算开辟一条新的道路,其中通过彼此交换粒子来实现量子操作,就像交换字符串来创建编织物一样。在我们的超导量子处理器上实现这种新的交换行为可能是一种替代路线,被称为拓扑量子计算,它具有抗环境噪声的优势。 交换统计和非阿贝尔任意子 为了理解这种奇怪的非阿贝尔行为是如何发生的,将两个字符串编织在一起的类比是有帮助的。取两根完全相同的字符串并将它们平行放置在一起。交换它们的末尾以形成双螺旋形状。这些字符串是相同的,但因为它们在末端交换时缠绕在一起,因此很清楚当两个末端被交换时。 非阿贝尔任意子的交换可以以类似的方式进行可视化,其中字符串是通过将粒子的位置延伸到时间维度中形成“世界线”。想象一下绘制两个粒子的位置与时间的图表。如果粒子保持不动,绘图只是表示它们不变的两条平行线。但是,如果我们交换粒子的位置,世界线就会缠绕在一起。第二次交换它们,你就做成了一个结。 虽然有点难以想象,但在四维空间中(三个空间加一维时间),结总是很容易被解开的。它们是平凡的,就像鞋带一样,只需拉一端就可以解开。但是,当粒子被限制在二维空间中时,结在总共三个维度上(如我们日常的三维生活所知)并不总是容易解开。非阿贝尔任意子世界线的编织可以用作量子计算操作,以转换粒子的状态。 非阿贝尔任意子的一个关键方面是“简并性”:几个分离的任意子的完整状态没有被局部信息完全指定,允许相同的任意子配置表示多个量子态的叠加。将非阿贝尔任意子缠绕在一起可以改变编码状态。 如何制造非阿贝尔任意子 那么,我们如何在Google的量子处理器上实现非阿贝尔编织?我们从熟悉的表面码开始,我们最近利用它实现了量子纠错的里程碑,在棋盘图案的顶点上排列了量子比特。棋盘的每个彩色正方形代表可以对正方形四个角上的量子比特进行的两种可能的联合测量值之一。这些所谓的“稳定器测量值”可以返回+1或-1的值。后者被称为平面违规,可以通过应用单量子比特X和Z门对角线移动——就像在国际象棋中的象一样——来创建和移动。最近,我们表明这些类似象的平面违规是阿贝尔任意子。与非阿贝尔任意子相比,阿贝尔任意子的状态在交换时只发生微小变化——如此微小,以至于不可能直接检测到。虽然阿贝尔任意子很有趣,但它们不具有非阿贝尔任意子的拓扑量子计算的承诺。 要产生非阿贝尔任意子,我们需要控制简并度(即,导致所有稳定子测量结果都为+1的波函数数)。由于稳定子测量返回两个可能的值,每个稳定子将系统的简并度减半,有足够多的稳定子后,只有一个波函数满足标准。因此,增加简并度的简单方法是将两个稳定子合并在一起。在此过程中,我们会移除稳定子网格中的一条边,从而产生两个仅有三条边相交的点。这些点被称为“三度顶点”(D3Vs),预测它们是非阿贝尔任意子。 为了编织D3Vs,我们必须移动它们,这意味着我们必须拉伸和挤压稳定子成新的形状。我们通过在任意子和它们的邻居之间实现双量子比特门来实现这一点(如下图中的中间和右侧面板所示)。 稳定子代码中的非阿贝尔任意子。a:编织两个任意子世界线的结。 b:单量子比特门可用于创建和移动稳定子(值为-1的红色正方形)。像国际象棋中的主教一样,它们只能对角线移动,在正则表面码的一个子晶格中受到限制。引入D3Vs(黄色三角形)时,这种限制被打破。 c:形成和移动D3Vs(预测为非阿贝尔任意子)的过程。我们从表面码开始,每个正方形对应于其角落上的四个量子比特的联合测量(左面板)。我们移除一个分隔相邻正方形的边,因此现在有所有六个量子比特的单个联合测量(中面板)。这样就创建了两个D3Vs,它们是非阿贝尔任意子。我们通过在相邻站点之间应用双量子比特门来移动D3Vs(右面板)。 现在,我们有了一种创建和移动非阿贝尔任意子的方法,我们需要验证它们的任意子行为。为此,我们检查了三个非阿贝尔任意子应具有的特征: “融合规则”——非阿贝尔任意子相互碰撞时会发生什么? 交换统计——它们相互编织时会发生什么? 拓扑量子计算基元——我们能否在非阿贝尔任意子中编码量子比特并使用编织来执行双量子比特纠缠操作? 非阿贝尔任意子的融合规则 我们通过研究一对D3Vs与上述引入的类似主教的棋盘格缺陷的相互作用来研究融合规则。特别地,我们创建一对任意子并将其中一个绕过D3V,方法是应用单量子比特门。 虽然国际象棋中的主教规则规定棋盘格缺陷永远不会相遇,但棋盘格的失调使它们可以打破这个规则,与它的合作伙伴相遇并与其相消。现在,棋盘格缺陷已经消失了!但将非阿贝尔任意子再次接触,任意子突然变形成缺少的棋盘格缺陷。尽管这种行为看起来很奇怪,但它确实是我们预期这些实体服从的融合规则的表现。这建立了D3Vs是非阿贝尔任意子的信心。…

Leave a Comment

DeepMind研究人员开源TAPIR:一种新的人工智能模型,用于跟踪视频序列中的任何点(TAP),有效跟踪查询点

计算机视觉是人工智能领域中最受欢迎的领域之一。使用计算机视觉开发的模型能够从不同类型的媒体中提取有意义的信息,无论是数字图像、视频还是其他视觉输入。它教会了机器如何感知和理解视觉信息,然后根据细节采取行动。随着一种名为追踪任何点(TAPIR)的新模型的推出,计算机视觉取得了重大进步。TAPIR的目标是有效地跟踪视频序列中的特定兴趣点。 TAPIR模型由Google DeepMind、VGG、工程科学系和牛津大学的研究人员团队开发,其算法包括两个阶段——匹配阶段和精炼阶段。在匹配阶段,TAPIR模型单独分析每个视频序列帧,以寻找适合查询点的候选点匹配。这一步旨在确定查询点在每个帧中的最可能相关点,为了确保TAPIR模型能够跟踪查询点在视频中的运动,这个过程是逐帧进行的。 在确定候选点匹配的匹配阶段之后,TAPIR模型使用精炼阶段。在这个阶段中,TAPIR模型基于局部相关性更新轨迹(查询点所在路径)和查询特征,因此考虑到每个帧中的周围信息,以提高跟踪查询点的准确性和精度。通过集成局部相关性,精炼阶段提高了模型精确跟踪查询点的能力,并调整视频序列中的变化。 为了评估TAPIR模型,该团队使用了TAP-Vid基准测试数据集,它是用于视频跟踪任务的标准化评估数据集。结果显示,TAPIR模型的表现明显优于基线技术。使用称为平均Jaccard(AJ)的度量衡量的性能改进显示,TAPIR模型在DAVIS(密集注释视频分割)基准测试中的AJ相对于其他方法实现了约20%的绝对改进。 该模型旨在便于快速并行推理长视频序列,即它可以同时处理多个帧,提高跟踪任务的效率。该团队提到,该模型可以实时应用,使其能够处理和跟踪添加新视频帧的点。它可以在256×256视频上跟踪256个点,速度约为每秒40帧(fps),还可以扩展以处理更高分辨率的电影,使其具有处理各种大小和质量的视频的灵活性。 该团队为用户提供了两个在线Google Colab演示,以尝试TAPIR而无需安装。第一个Colab演示允许用户在自己的视频上运行模型,提供交互式体验以测试和观察模型的性能。第二个演示重点介绍如何在线运行TAPIR。此外,用户可以通过克隆提供的代码库,在现代GPU上跟踪自己的网络摄像头上的点并实时运行TAPIR。

Leave a Comment

人工智能会自我消亡吗?这篇人工智能论文介绍了一种称为模型崩溃的现象,它指的是一种退化的学习过程,模型随着时间的推移开始遗忘不太可能出现的事件

使用稳定的扩散技术,可以仅凭文字生成图片。在许多语言挑战中,GPT-2、GPT-3(.5)和GPT-4表现出色。公众首次通过ChatGPT接触到这些类型的语言模型。大型语言模型(LLMs)已经成为永久性的组成部分,并有望极大地改变整个在线文本和图片生态系统。只有在得到应有的考虑时,从大规模网络抓取的数据才能得以维护。事实上,随着LLMs生成的内容被包含在从互联网中抓取的数据中,关于真实人类与系统交互的数据价值将会增加。 来自英国和加拿大的研究人员发现,在一个模型从另一个模型生成的数据中进行学习时,模型崩溃会发生。即使没有变化,这种退化过程会导致模型随着时间的推移失去对真实基础数据分布的追踪。他们通过提供高斯混合模型、变分自编码器和大型语言模型的案例研究来说明这种现象。他们展示了随着后续世代的到来,获得的行为会收敛到一个极小方差的估计值,并且这种对真实分布的知识丧失始于尾部的消失。此外,他们还证明了即使在具有长期学习的近乎最优条件的情况下(即没有功能估计误差),这种结果也是不可避免的。 研究人员通过谈论模型崩溃的更大影响来做出结论。他们指出,拥有原始数据以确定基础分布的尾部在哪里非常重要。因此,人类与LLMs交互的数据将变得越来越有用,如果用于在互联网上大规模发布材料,从而污染数据收集以对其进行训练。 什么是模型崩溃? 当一代学习生成模型崩溃为下一代时,后者会因受到污染数据的训练而出现错误解释世界的情况。根据其发生的时间,模型崩溃可以分为“早期”和“晚期”。在模型崩溃的早期阶段,模型开始丢失有关分布尾部的信息;在晚期阶段,模型缠绕在原始分布的不同模式之间,并收敛于一个与原始分布几乎没有相似之处的分布,通常具有非常小的方差。 在这种考虑了许多模型的方法中,模型不会忘记先前学习的数据,而是开始通过加强自己的观点来错误地解释真实世界,这与灾难性遗忘过程相反。这是由于两个不同的错误源,当它们在不同世代中相结合时,会导致偏离原始模型。其中一个特定的错误机制对此过程至关重要,它将在第一代之后存活下来。 模型崩溃:原因 模型失败的基本原因和次要原因如下: 最常见的错误是统计近似误差,当样本数量有限时会出现,但随着样本大小趋近无穷大而减少。 由于功能逼近器不足够表达(或偶尔过度表达超出原始分布),导致的次要错误称为功能逼近误差。 这些因素中的每一个都可能加剧或减轻模型崩溃的可能性。更好的逼近能力可能是一把双刃剑,因为更大的表达能力可能会放大统计噪声并减少它,导致更好地逼近基础分布。 据研究人员称,递归地训练生成模型会导致模型崩溃,影响每一代模型。他们制定了基本的数学模型,这些模型在应用于实际数据时会崩溃,但可以用于推导感兴趣的值的分析方程式。他们的目标是在最终逼近原始分布时,将各种误差类型的影响量化。 研究人员表明,对另一个生成模型的数据进行训练可能会引发模型崩溃,导致分布发生变化。因此,模型会错误地解释训练问题。长期学习需要保持对原始数据源的访问,并随时准备好保留其他非LLMs生成的数据。目前仍在确定如何在大规模跟踪由LLMs生成的内容,这引发了有关从互联网抓取的内容的真实性问题,以及区分它与其他数据的必要性的问题。社区范围的协调是确保参与LLM开发和部署的所有各方进行沟通和共享必要数据以解决真实性问题的一种方法。通过从技术广泛应用之前从互联网上爬取的数据或直接获取规模化的由人提供的数据,可能会越来越容易地训练后续版本的LLMs。 查看论文和参考文章。别忘了加入我们的24k+ ML SubReddit、Discord 频道和电子邮件通讯,我们在这里分享最新的人工智能研究新闻、很酷的人工智能项目等等。如果您对以上文章有任何问题或我们漏掉了什么,请随时发送电子邮件至Asif@marktechpost.com与我们联系。

Leave a Comment

进入Omniverse:针对Marvelous Designer的通用场景描述支持让用户为3D角色量身定制数字资产和服装

编辑注:本文是Into the Omniverse系列的一部分,该系列每月聚焦于艺术家、开发者和企业如何利用最新的Universal Scene Description和NVIDIA Omniverse的进展来转变他们的工作流程。 无论是为数字角色制作鱼鳍动画还是设计时尚服装,创作者都可以使用Marvelous Designer软件来组合和定制资产、衣服和其他材料以用于他们的3D工作流程。 Marvelous Designer最近推出了Omniverse Connector,这是一款增强协作工作流程的工具,用于在其软件和NVIDIA Omniverse之间连接和构建3D工具和应用程序的开发平台。 该连接器通过支持通用场景描述框架(OpenUSD),使用户能够显著加快和简化设计流程。OpenUSD是3D工具之间的通用语言。 在一个典型的计算机图形管道中,艺术家需要在不同的软件之间来回切换以完成他们的工作。新的Omniverse Connector使得创作者通过OpenUSD的改进的导入和导出功能节省时间。 在最近的一次直播中,3D设计师Brandon Yu分享了他如何使用新的连接器和OpenUSD来改进他的协作工作流程,提高生产力,扩展创意可能性和简化设计过程。 拥有超过15万个订阅者的MH Tutorials YouTube频道的Mike Shawbrook在以下教程中演示了如何使用新的连接器。Shawbrook演示了如何在Marvelous Designer和Omniverse之间设置实时会话来创建一个简单的布料毯子。 想了解更多,请查看使用新连接器的教程,以及了解OpenUSD如何改进3D工作流程: 改进的USD兼容性 使用Marvelous…

Leave a Comment

使用 AWS CDK 部署 Amazon SageMaker Studio 生命周期配置

Amazon SageMaker Studio是第一个完全集成的机器学习(ML)开发环境(IDE)Studio提供了一个单一的基于Web的可视化界面,您可以在其中执行准备数据所需的所有ML开发步骤,以及构建、训练和部署模型生命周期配置是由Studio生命周期事件触发的shell脚本,例如启动[…]

Leave a Comment

50+全新前沿人工智能工具(2023年7月)

AI工具正在快速发展,新的工具不断推出。查看下面一些可以增强您日常工作的AI工具。 tl;dv 这个工具由GPT模型提供动力,是Zoom和Google Meet的会议记录器。 tl;dv 为用户转录和总结通话。 Otter AI Otter.AI使用人工智能,为用户提供实时会议笔记转录,这些笔记可共享、可搜索、易于访问和安全。 Taskade Taskade是一款AI生产力工具,可帮助用户高效地管理任务和项目。 Notion AI Notion AI是一款写作助手,可以帮助用户在Notion工作区内写作、头脑风暴、编辑和总结。 Bing 微软推出了AI驱动的Bing搜索引擎,就像在搜索网络时拥有研究助手、个人计划师和创意伙伴。 Bard Bard是由Google开发的聊天机器人,可帮助提高生产力并将想法变为现实。 Forefront Forefront AI是一个平台,提供GPT-4、图像生成、自定义角色和可共享聊天等免费访问,从而为企业提供了改进的效率和用户体验。 Merlin Merlin是一个ChatGPT扩展程序,可帮助用户在任何网站上完成任何任务,提供博客摘要和Gmail AI写手等功能。…

Leave a Comment

使用丰田的人工智能技术设计电动汽车变得更快了

丰田研究所(TRI)在汽车设计领域宣布了一个消息。他们推出了一种革命性的生成式人工智能(AI)技术,以改变电动汽车(EVs)的设计方式。通过这项新技术,丰田旨在克服常常阻碍手动开发EV设计的限制。让我们深入探讨这个令人兴奋的突破。 还要阅读:Tech Mahindra CEO接受Sam Altman的AI挑战 增强创意过程 设计师现在可以利用公开的文本到图像生成AI工具作为他们创意过程的早期步骤。TRI的创新技术允许设计师将初始设计草图和工程限制纳入这个过程,大大减少了调和设计和工程考虑所需的迭代次数。这不仅节省时间,而且提高了设计过程的效率。 还要阅读:Meta推出“人类化”设计师AI以用于图像 更快、更高效的设计 实现TRI的新技术有可能彻底改变电动汽车的设计。通过直接将工程限制纳入设计过程,这个工具使丰田能够比以往更快、更高效地设计电气化车辆。减少设计时间是一个重要的优势,让丰田保持在EV创新的前沿。 还要阅读:zPod,印度第一辆AI驱动的自动驾驶汽车 优化性能指标 EV设计的一个关键方面是优化性能指标。例如,减少阻力对于提高电池电动汽车(BEVs)的气动性能和最大化它们的续航里程至关重要。TRI开发的新AI技术考虑了这些性能指标。丰田汽车公司的BEV工厂总裁加藤武,强调减少阻力对提高BEV的效率至关重要。这项新技术允许丰田优化性能指标,如阻力、乘坐高度和车厢尺寸。 融合工程和AI 传统上,生成式AI工具被用作设计师的灵感来源。然而,它们通常无法处理实际汽车设计中涉及的复杂工程和安全考虑。TRI的人机交互驾驶(HID)部门主任Avinash Balachandran强调,将丰田的工程专业知识与现代生成式AI能力融合起来的重要性。这种融合提供了先进的工具,同时确保工程和安全不会受到影响,最好两全其美。 还要阅读:梅赛德斯-奔驰汽车通过ChatGPT变得更加智能 纳入工程限制 TRI的研究人员发布了两篇论文,阐述了新技术如何将精确的工程限制纳入设计过程中。诸如影响燃油效率的阻力和底盘尺寸,例如乘坐高度和车厢尺寸等关键限制现在可以隐含地整合到生成式AI过程中。这一突破打开了设计不仅美观,而且高度功能的汽车的无限可能性。 还要阅读:Jeep的下一代AI和自主越野驾驶技术,让您开启未来之旅 优化理论和生成式AI的融合 TRI团队将广泛应用于计算机辅助工程的优化理论原则与文本到图像生成式AI相结合。所得到的算法使设计师能够在保留文本样式提示的同时优化工程限制。这种无缝融合优化理论和生成式AI使设计师能够在设计中平衡形式和功能。 了解更多:加入我们,体验非凡的学习体验!在DataHack Summit 2023的即将举行的研讨会上,利用扩散模型开启生成式AI的无限世界。…

Leave a Comment