Press "Enter" to skip to content

四海吧 Posts

NVIDIA H100 GPU在首次发布的MLPerf基准测试中为生成式AI设定了标准

主流用户和行业标准基准测试都认为:NVIDIA H100 Tensor Core GPU 提供了最佳的 AI 性能,特别是在驱动生成式 AI 的大型语言模型(LLM)方面表现出色。 H100 GPU 在最新的 MLPerf 训练基准测试中的所有八个测试中都创下了新记录,尤其是在生成式 AI 的新 MLPerf 测试中表现出色。这种卓越的性能在单个加速器和大规模服务器上都能得到体现。 例如,由创业公司 Inflection AI 和专门从事 GPU 加速工作负载的云服务提供商…

Leave a Comment

微软研究院推出phi-1:一款专门针对Python编码的大型语言模型,比竞争模型更小,具有显著的优势

自从Transformer设计被发现以来,训练大型人工神经网络的技术已经取得了巨大进展,但支撑这一成就的科学仍处于萌芽阶段。在Transformer发布的同时,一种秩序感逐渐形成,这种秩序在同一时间的大量复杂结果中展现出来,表明性能随着计算量或网络规模的增加而可预测地提高,这种现象现在被称为缩放定律。这些缩放规则成为后续深度学习规模研究的指南,而对这些定律变化的发现导致了性能的大幅提升。 在本文中,研究者探讨了如何通过不同的方式提高数据质量。高质量的数据可以产生更好的结果;例如,数据清洗是创建当前数据集的关键步骤,可以使数据集相对较小或能够通过更多迭代运行数据。最近针对TinyStories的研究表明,高质量数据的好处远不止于此。通过大幅改变缩放定律,改善数据质量可能使得能够用更瘦的训练/模型匹配大规模模型的性能。 在本研究中,微软研究的作者证明了高质量的数据可以进一步提高大型语言模型的最先进技术,同时显著减少数据集的大小和训练计算量。较小的模型需要更少的训练,可以大大减少LLM的环境成本。他们从文档字符串中构建了特定的Python函数,使用LLM进行编码训练。HumanEval是后一篇论文中建议使用的评估标准,常用于比较LLM在代码上的性能。 他们通过对1.3B参数模型进行大约8次7B令牌(略大于50B总令牌数)的预训练,然后对少于2亿个令牌进行微调,展示了高质量数据违反现有缩放规则的能力。总的来说,他们在“课本质量”的数据上进行预训练,包括人工创造的(使用GPT-3.5)和从网络来源筛选的,然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级,但他们在HumanEval上获得了50.6%的pass@1准确率,在MBPP(Mostly Basic Python Programs)上获得了55.5%的pass@1准确率,这是仅使用一个LLM生成的最佳自我报告数字之一。 通过对1.3B参数模型进行大约8次7B令牌的预训练(观察总令牌数略大于50B),然后对少于2亿个令牌进行微调,他们展示了高质量数据违反现有缩放规则的能力。总的来说,他们在“课本质量”的数据上进行预训练,包括人工创造的(使用GPT-3.5)和从网络来源筛选的,然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级,但他们在HumanEval上获得了50.6%的pass@1准确率,在MBPP(Mostly Basic Python Programs)上获得了55.5%的pass@1准确率,这是仅使用一个LLM生成的最佳自我报告数字之一。

Leave a Comment

8个关于大型语言模型LLMs的潜在惊人事实

近几个月,由于大规模语言模型(LLMs)的广泛公开部署,倡导者、政治家和来自各个学科的学者都表现出了极大的兴趣和活动。虽然这种关注是有道理的,因为新技术带来了紧迫的问题,但它也可能忽略了一些关键因素。 最近,大规模语言模型以及基于它们构建的产品,例如ChatGPT,引起了来自记者、政策制定者和跨学科学者的广泛关注。然而,由于这种技术在很多方面都是出人意料的,简明扼要的解释很容易忽略关键细节。 这其中有八个意想不到的方面: LLMs的能力将随着更多的投资而可预测地增加,即使没有刻意的创新。 LLMs的研究和投资的最近增加可以在很大程度上归因于规模定律的结果。当研究人员增加将来模型中输入的数据量、模型的大小(以参数为单位)以及用于训练它们的计算量时,规模定律允许他们精确地预测这些模型将具有多么有能力(以FLOP为单位)的某些粗略但相关的指标。因此,他们可能做出一些关键的设计决策,例如在特定预算内的最佳模型大小,而无需进行大量昂贵的实验。 在当代人工智能研究的背景下,预测的准确率是前所未有的。由于它使研发团队能够提供数百万美元的模型培训计划,并确信这些项目将成功开发出经济上有益的系统,因此它也是推动投资的有力工具。 尽管最先进的LLMs的训练方法尚未公开,但最近的深入报告暗示这些系统的基本架构甚至没有改变。 随着资源不断注入LLMs,常常会出现意想不到的关键行为。 在大多数情况下,模型正确预测未完成文本的延续能力(根据其预训练测试损失衡量)只能通过缩放规则来预测。 尽管这个指标平均上与模型在许多实际活动中的实用性相关,但很难预测模型何时开始展示特定的才能或成为执行特定任务的能力。 更具体地说,GPT-3的能力执行少量样本学习——也就是在单次交互中从少量示例中学习新任务——以及思维链推理——也就是在请求时写出其推理,如同学生在数学考试上所做的那样,并展示出更好的表现——使其成为第一个现代LLM。 未来的LLMs可能会开发出所需的任何功能,并且很少有被普遍接受的界限。 然而,LLMs所取得的进展有时比专家预期的要少。 LLMs经常获取并使用外部世界的表示。 越来越多的证据表明,LLMs建立了世界的内部表示,使它们能够以对文本的特定语言形式不敏感的抽象层次进行推理。这种现象的证据在最大和最新的模型中最为强烈,因此应该预计在更大规模的系统中,这种现象将变得更加强大。 然而,当前的LLMs需要更加有效地做到这一点。 以下发现基于各种实验技术和理论模型,支持这种说法。 模型的内部颜色表示与人类感知颜色的实证发现高度一致。 模型可以推断作者的知识和信念,预测文档的未来走向。 故事用于告诉模型,然后模型会改变其对故事中所代表的对象的特征和位置的内部表示。 有时,模型可以提供如何在纸上描绘奇怪事物的信息。 许多常识推理测试都被模型通过了,即使是像Winograd Schema Challenge这样的测试,也没有任何文本提示答案。 这些发现反驳了传统智能模型仅仅是统计下一个词的预测器,并且无法推广其学习或推理超越文本的普遍观点。…

Leave a Comment

最佳AI工具——艺术家和创作者之选(2023)

Otter.AI Otter.ai 是一款基于人工智能的高效会议和对话录制和转录平台。自动语音识别用于实时记录加密、易于访问和共享的笔记,以记录任何讨论。Otter 可以立即参加和记录 Zoom、Microsoft Teams 和 Google Meet 等流行平台上的会议。我们创建摘要,可以轻松共享和回顾,突出重点主题并分配责任。Otter 是一款节省时间的应用程序,适用于 iOS、Android 和 Chrome,人们在商业、教育和个人环境中使用。它因其准确性、适应性(可以转录来自不同发言人的内容)和节省时间的自动幻灯片捕捉功能而获得高分。 Runway  人工智能(A.I.)驱动 Runway,这是一个内容创作平台,让人们可以发布、编辑和协作创作内容。无限照片、文本到图片生产、擦除和替换、文本到色彩分级、超慢动作和 A.I. 训练只是其 A.I. 驱动的创新功能之一。绿屏、修补和运动跟踪只是它擅长的视频编辑功能之一。Runway 简化了内容创作和视频编辑繁琐和重复的过程,同时为用户提供了对最终产品的完全控制。该软件还包括协作工具,允许用户安全地共享他们的组合、资源和项目数据。此外,Runway 为客户提供了一个专业设计的模板库,可以在几分钟内进行修改。 DreamStudio  DreamStudio…

Leave a Comment

什么是AI幻觉?AI聊天机器人出了什么问题?如何识别出幻觉的人工智能?

AI幻觉并非新问题。人工智能(AI)在过去几年取得了显著进展,变得更加熟练,可以执行以前只能由人类完成的活动。然而,幻觉是一个对AI构成了巨大障碍的问题。开发者已经警告,AI模型产生完全错误的事实并用虚构的答案回答问题,似乎这些答案是真实的,这可能会危及应用程序的准确性、可靠性和信任度,因此幻觉是开发和部署AI系统的严重障碍。因此,从事AI工作的人正在积极寻求解决这个问题的方法。本文将探讨AI幻觉的影响和影响,以及用户可能采取的减少接受或传播不正确信息的危险的措施。 什么是AI幻觉? 所谓人工智能幻觉的现象是指AI模型产生了预期之外的结果。请注意,一些AI模型已经被教导了有意地制造没有与现实世界输入(数据)相关联的输出。 幻觉是用来描述当AI算法和深度学习神经网络创建结果不是真实的、不匹配算法接受过的任何数据或没有遵循任何其他可辨别的模式的情况。 AI幻觉可以采取许多不同的形式,从制造虚假新闻报道到虚假的关于人、历史事件或科学事实的断言或文件。例如,像ChatGPT这样的AI程序可以制造一个有完整传记和从未真实存在的成就的历史人物。在当前社交媒体和即时通信的时代,一个单一的推文或Facebook帖子可以在几秒钟内达到数百万人,这种不正确信息传播的潜力尤其令人担忧。 为什么会发生AI幻觉? 具有欺骗AI程序使其误分类的输入数据——对抗性示例——可能会导致AI幻觉。例如,开发人员使用数据(例如图像、文本或其他类型)来训练AI系统;如果数据被改变或扭曲,应用程序将以不同的方式解释输入并产生不正确的结果。 使用编码器-解码器(输入-输出)序列,AI中的变压器是一种深度学习模型,它利用自我关注(语句中单词之间的语义联系)创建类似于人类写作的文本。对于幻觉而言,如果语言模型的训练数据和资源充足且准确,那么预期输出将是虚构的和错误的。语言模型可能会产生一个故事或叙述,没有不合逻辑的间隙或模糊的联系。 发现AI幻觉的方法 作为人工智能的一个子领域,计算机视觉旨在教会计算机从视觉输入(例如图片、绘画、电影和现实生活)中提取有用的数据,它正在培训计算机像人类一样看待世界。但是,由于计算机不是人类,它们必须依靠算法和模式来“理解”图片,而不是直接接触人类感知。因此,人工智能可能无法区分薯片和落叶。这种情况也经过了常识测试:与人类可能看到的相比,AI生成的图像。当然,随着AI变得更加先进,这变得越来越困难。 如果人工智能没有迅速融入日常生活,这一切都会显得荒谬和有趣。自动驾驶汽车已经采用了人工智能,其中幻觉可能导致死亡。虽然这还没有发生,但在实际世界中开车时误认物品是一场灾难,只等发生。 在使用流行的AI应用程序时,以下是几种识别AI幻觉的技术: 1. 大型语言处理模型 像ChatGPT这样的大型处理模型生成的信息中的语法错误是罕见的,但当它们发生时,你应该对幻觉持怀疑态度。同样,当生成的文本内容不合理、不符合提供的上下文或与输入数据不匹配时,应该对幻觉持怀疑态度。 2. 计算机视觉 人工智能有一个子领域叫做计算机视觉,机器学习和计算机科学,它使机器能够像人眼一样检测和解释图像。它们依赖于卷积神经网络中的大量视觉训练数据。 如果用于训练的视觉数据模式发生变化,就会出现幻觉。例如,如果计算机还没有接受过网球的图像训练,它可能会错误地将网球识别为绿色或橙色。如果计算机错误地将站在人类雕像旁的马识别为真实的马,它也可能会产生AI幻觉。 将产生的输出与人类预期观察到的输出进行比较,将帮助您识别计算机视觉幻觉。 3.   自动驾驶汽车 由于人工智能的推动,自动驾驶汽车在汽车工业中越来越受欢迎。自动驾驶汽车的先驱们,如福特的BlueCruise和特斯拉的Autopilot,推动了这一计划。通过查看特斯拉Autopilot感知的方式和内容,您可以了解一些关于人工智能如何支持自动驾驶汽车的知识。 幻觉对人类和人工智能模型的影响是不同的。人工智能幻觉是错误的结果,与现实极不一致或在提供的提示的情况下毫无意义。例如,AI聊天机器人可能会因噪声或其他结构问题而以语法或逻辑上不正确的方式回答,或错误地识别一个对象。…

Leave a Comment

什么是数据管理,为什么它很重要?

介绍 数据在商业世界中扮演着至关重要的角色。可以说,没有数据分析、预测和精细规划,很难想象这个世界。95%的C级高管认为数据是业务战略不可或缺的一部分。毕竟,这需要深入了解,释放出更大的可能性,这对任何组织来说都是改进决策必不可少的。但要拥有这一切,你必须了解数据管理在其中不可或缺的作用。什么是数据管理?继续阅读,了解所有相关内容! 组织中的数据管理是什么? 数据管理是为组织的数据分析操作收集、组织、转换和存储数据的过程。该过程仅确保各种目的(如获取见解和规划营销活动)的干净、良好管理的数据。当数据易于查找、可视化和调整时,它有助于组织获得可操作的见解,并做出知情的决策。 关键组成部分和目标 有效的数据处理和控制是数据管理的几个组成部分和目标的产物,其中每个因素都鼓励特定的计划或下一步行动。因此,现在你已经知道了它是什么,以下是不同的方面和目标,它们将其实践付诸行动: 数据质量 确保数据的质量和准确性是主要目标之一。这涵盖了实施过程和控制来验证和清理数据、识别和纠正错误以及消除不一致的记录。高数据质量标准增强了准确信息的可靠性,有助于决策、报告和分析。 数据安全 谈到数据管理是什么,就不能不提安全。防止未经授权的访问、侵犯和丢失数据是数据管理的重要目标。这包括实施安全措施,如加密、用户身份验证、访问控制和数据备份策略。保护数据使组织能够保持客户的信任、遵守数据保护法规并应对潜在风险。 数据治理 数据治理意味着在组织内部管理和控制数据资产。它旨在建立定义管理数据的角色、责任和流程的政策、程序和框架。实行数据治理的组织比不实行数据治理的组织更有信心(增加了42%)。它包括定义数据所有权、建立数据标准并确保遵守法规。 数据可访问性 在数据管理中,一个很好的关注点是确保数据易于授权用户访问和使用。组织建立高效的数据存储和检索机制,实施数据归档和备份策略,并优化数据基础设施和系统,使可用性和可访问性变得简单。这导致了提高运营效率和改进决策。 数据管理生命周期 数据管理生命周期是在不同阶段管理数据。它涵盖了各种实践,以发挥数据的最大潜力。下面是生命周期的概述: 数据收集:在基础阶段,从各种来源(如内部系统、外部合作伙伴或公共存储库)收集数据。可以执行数据质量检查和验证过程,以确保数据的准确性和完整性。 数据存储:现在,数据已经收集完毕,是时候存储和组织数据了。这个阶段涉及确定适当的数据存储工具和技术、数据库设计、数据建模和索引策略。此阶段还实施数据安全措施,如访问控制和加密。 数据转换:往往需要将数据集成和转换为全面的格式,以进行适当的分析。此DMLC阶段包括数据清洗、数据集成、数据转换和数据丰富流程。 数据归档:在数据发挥其主要作用后,最好将其归档或保留以供将来使用或遵守合规要求。此过程涉及制定数据保留政策、确保存储期间的数据安全以及实施不同的长期数据保留策略。 数据处理:数据不再需要了吗?它已经完成了它的目的吗?如果是,那么现在就是时候舍弃它了。在最后阶段,组织处理不相关的数据,这主要是为了保护隐私和遵守数据保护法规。 关键概念 在数据管理中,有各种重要的概念结合在一起,以确保组织、处理和利用数据的有效性。以下是四个基本概念: 数据治理 数据治理涉及组织内数据资源的整体管理。它包括定义数据政策、设置数据标准、维护数据质量和完整性以及分配责任。…

Leave a Comment

SiMa.ai将把世界上最强大的人工智能芯片带到印度

美国人工智能芯片初创公司 SiMa.ai 宣布其第一代 AI 芯片进入量产,取得了重大突破。SiMa.ai 利用 TSMC 16 纳米技术,旨在将 AI 革命带到工业世界。SiMa.ai 的 MLSoC(芯片上的机器学习系统)与传统方法不同,它专门为边缘计算而设计,而非采用一刀切的芯片。这一重大进展为工业领域的变革未来奠定了基础。 也可阅读:一家台湾公司如何成为现代 AI 的支柱? 通过 AI 和机器学习推进工业世界进入 21 世纪 SiMa.ai 的创始人兼 CEO Krishna…

Leave a Comment

认识PyRCA:一个开源的Python机器学习库,专为AIOps中的根本原因分析(RCA)而设计

人工智能和机器学习领域正在快速发展,这要归功于它们在几乎所有行业中的惊人能力和用例。随着人工智能逐渐被整合到不同领域中,并且愈发受到欢迎,也出现了与之相关的问题和限制。根本原因分析(RCA)是一种发现问题根本原因以找到最佳解决方案的方法。它有助于确定模型中事件或故障的深层原因。在IT运营、电信等领域,尤其是在人工智能领域,模型的复杂性经常导致事件降低了产品系统的可靠性和有效性。通过RCA的帮助,该方法寻找多个因素并建立它们之间的因果关系,以期为这些情况提供解释。 最近,Salesforce AI的一组研究人员推出了PyRCA,这是一个针对人工智能运维(AIOps)领域的根本原因分析(RCA)的开源Python机器学习库。PyRCA提供了一个全面的框架,使用户能够独立地找到指标和事件根本原因之间的复杂因果关系。该库提供了图形构建和评分操作,并具有支持多种广泛使用的RCA模型的统一接口,同时提供了快速模型创建、测试和部署的简化方法。 这个根本原因分析的全面Python库提供了一个端到端的框架,包括数据加载、因果图发现、根本原因定位和RCA结果可视化。它支持多个模型来创建图形和评分根本原因,并帮助用户快速加载相关数据并识别各种系统组件之间的因果联系。PyRCA带有一个GUI仪表板,使交互式RCA更加容易,从而提供了更流畅的用户体验,并更好地与实际情况相适应。该GUI的点和点击接口具有直观性,并赋予用户与库进行交互并将他们的专业知识注入RCA过程的能力。 有了PyRCA,工程师和研究人员现在可以轻松地分析结果、可视化因果联系,并通过GUI仪表板在RCA过程中前进。该团队分享的PyRCA的一些关键功能如下: PyRCA旨在提供一个标准化和高度适应性的框架,以流行的pandas.DataFrame格式加载度量数据并基准测试各种RCA模型。 通过一个单一的接口,PyRCA提供了访问各种模型的机会,用于发现因果网络和定位根本原因。用户也可以选择完全自定义每个模型以适应其独特的要求,包括GES、PC、随机漫步和假设测试模型。 通过结合用户提供的领域知识,库中提供的RCA模型可以被加强,使其在处理嘈杂的度量数据时更具韧性。 通过实现一个从RCA基类继承的单个类,开发人员可以快速将新的RCA模型添加到PyRCA中。 PyRCA包提供了一个可视化工具,使用户能够比较多个模型、审查RCA结果,并快速包含领域知识,而无需任何代码。 该团队详细解释了PyRCA的架构和主要功能。它提供了该库设计和核心能力的概述。

Leave a Comment

从零开始学习注意力模型

介绍 注意力模型,也称为注意机制,是神经网络中使用的输入处理技术。它们使网络能够分别关注复杂输入的不同方面,直到整个数据集被分类。其目的是将复杂任务分解为小的关注区域,逐步处理。这种方法类似于人类思维如何通过将问题分解为简单任务并逐步解决它们来解决新问题的方式。注意力模型能够更好地适应特定任务,优化其性能,并提高其关注相关信息的能力。 NLP中的注意机制是深度学习在过去十年中最有价值的发展之一。Transformer架构和自然语言处理(NLP)(例如Google的BERT)已经导致了最近的进展。 学习目标 了解深度学习中注意机制的必要性、工作原理及其如何提高模型性能。 了解注意机制的类型和使用示例。 探索应用程序以及使用注意机制的优缺点。 通过按照注意力实现示例来获得实践经验。 本文是Data Science Blogathon的一部分。 何时使用注意力框架? 注意力框架最初是用于增强编码器-解码器型神经机器翻译系统和计算机视觉性能的。传统机器翻译系统依赖于大型数据集和复杂的功能来处理翻译,而注意力机制简化了这一过程。注意力机制不是逐个单词翻译,而是分配固定长度的向量来捕捉输入的总体含义和情感,从而实现更准确的翻译。注意力框架在处理编码器-解码器翻译模型的限制时特别有用。它能够精确对齐和翻译输入短语和句子。 与将整个输入序列编码为单个固定内容向量不同,注意力机制为每个输出生成一个上下文向量,从而实现更高效的翻译。需要注意的是,虽然注意力机制提高了翻译的准确性,但它们可能并不总能达到语言完美。然而,它们能够有效地捕捉原始输入的意图和一般情感。总之,注意力框架是克服传统机器翻译模型的限制,实现更准确和具有上下文感知的翻译的有价值工具。 注意力模型如何运作? 从广义上讲,注意力模型利用一个函数将查询和一组键值对映射为生成输出。这些元素,包括查询、键、值和最终输出,都表示为向量。通过加权求和值来计算输出,权重由一个兼容性函数确定,该函数评估查询和相应键之间的相似性。 在实际应用中,注意力模型使神经网络能够近似于人类使用的视觉注意机制。类似于人类如何处理新场景,该模型强烈关注图像中的特定点,提供“高分辨率”理解,同时以较少的细节感知周围区域,类似于“低分辨率”。随着网络对场景的理解越来越好,它会相应地调整焦点。 使用NumPy和SciPy实现通用注意力机制 在本节中,我们将研究利用Python库NumPy和SciPy实现通用注意力机制的实现。 首先,我们定义一个四个单词序列的单词嵌入。为了简单起见,我们将手动定义单词嵌入,尽管在实践中,它们将由编码器生成。 import numpy as np #…

Leave a Comment

通过AWS CDK使用Amazon SageMaker角色管理器在几分钟内定义自定义权限

机器学习(ML)管理员在维护ML工作负载的安全性和完整性方面扮演着至关重要的角色他们的主要重点是确保用户以最高安全性操作,遵守最小权限原则然而,满足不同用户角色的多样化需求并创建适当的权限策略有时会妨碍灵活性[…]

Leave a Comment