Press "Enter" to skip to content

7458 search results for "t"

ChatGPT的代码解释器:GPT-4高级数据分析用于数据科学家

介绍 ChatGPT是由OpenAI开发的强大语言模型,凭借其理解和对人类输入进行对话回应的能力,席卷了全球。ChatGPT最令人兴奋的特点之一是其能够生成包括Python、Java、JavaScript和C++在内的各种编程语言的代码片段。这个特性使得ChatGPT成为开发人员的热门选择,他们可以通过它快速原型设计或解决问题,而不需要自己编写整个代码库。本文将探讨ChatGPT对数据科学家的高级数据分析代码解释器以及它的工作原理和生成机器学习代码的用途。我们还将讨论使用ChatGPT的一些优点和限制。 学习目标 了解ChatGPT的高级数据分析如何工作以及如何用它生成机器学习代码。 学习如何使用ChatGPT的高级数据分析来为使用Python的数据科学家生成代码片段。 了解ChatGPT的高级数据分析生成机器学习代码的优点和限制。 学习如何使用ChatGPT的高级数据分析设计和实现机器学习模型。 了解如何预处理机器学习数据,包括处理缺失值,编码分类变量,对数据进行归一化和缩放数字特征。 学习如何将数据拆分为训练集和测试集,并使用准确率、精确率、召回率、F1分数、均方误差、绝对误差、R平方值等指标评估机器学习模型的性能。 通过掌握这些学习目标,人们应该了解如何使用ChatGPT的高级数据分析生成机器学习代码并实现各种机器学习算法。他们还应该能够将这些技能应用到现实世界的问题和数据集上,展示他们在使用ChatGPT的高级数据分析处理机器学习任务方面的熟练程度。 本文作为”数据科学博客马拉松”的一部分发表。 ChatGPT的高级数据分析是如何工作的? ChatGPT的高级数据分析基于一种称为Transformer的深度学习模型,该模型经过大量文本数据的训练。Transformer使用自注意机制来理解输入文本的不同部分之间的上下文和关系。当用户输入提示或代码片段时,ChatGPT的模型根据训练数据学到的模式和结构生成响应。 ChatGPT的高级数据分析可以通过利用大量的在线代码来生成代码片段。ChatGPT的模型可以通过分析开源存储库和其他代码源学习各种编程语言的语法、语义和习惯用法。当用户请求生成相关且可行的代码片段时,ChatGPT的模型可以利用这些知识生成代码。 使用ChatGPT生成机器学习代码 机器学习是ChatGPT的高级数据分析最有前景的应用之一。随着深度学习和机器学习应用的兴起,它们越来越成为研究和开发的重要领域。然而,设计和实现这些模型可能复杂且耗时,需要在线性代数、微积分、概率论和计算机科学等方面具备专业知识。 ChatGPT的高级数据分析可以通过生成机器学习代码片段来简化这个过程,用户可以将这些代码片段集成到自己的项目中。例如,用户可以要求ChatGPT生成一个基于提供的以.csv格式输入的加利福尼亚州房价训练数据的线性回归技术的代码片段。ChatGPT的模型可以根据用户的输入生成包含必要导入、数据预处理步骤、模型架构和训练过程的代码片段。 将数据集上传到ChatGPT中的代码解释器,并在下面的提示框中输入。 提示: 使用sklearn对上述数据集执行线性回归,并显示所有步骤的Python代码。数据中的预测变量是median_house_value。 回答: 使用sklearn在“housing.csv”数据集上进行线性回归的步骤,以“median_house_value”作为目标变量,如下所示: 数据探索:加载数据集并快速检查其结构。 数据预处理:处理缺失值,对分类变量进行编码(如果有),并对数值特征进行缩放。 数据拆分:将数据集拆分为训练集和测试集。…

Leave a Comment

令人震惊的现实:ChatGPT对数据泄露的脆弱性

最近一份名为“从ChatGPT中提取训练数据”的研究论文揭示了一项重大发现,这个广泛应用的语言模型存在一个令人震惊的漏洞。研究团队的调查显示,仅需两百美元就可以提取数兆字节的ChatGPT训练数据,揭示了一次前所未有的数据泄露。 研究强调,像ChatGPT这样的自然语言理解模型是通过从公共互联网获取的数据进行训练的。该论文揭示了一种攻击方法,可以通过查询模型来提取其所接受训练的精确数据。令人震惊的是,研究人员估计,通过进一步的财务投资,可能可以提取高达一千兆字节的ChatGPT训练数据集。 这次数据泄露具有重大意义,因为它针对的是一个“对齐”的生产模型,旨在避免披露大量的训练数据。然而,研究人员表明,通过一种开发的攻击方法,可以迫使模型披露其大量的训练数据。 训练数据提取攻击及其对你的重要性 揭示这一发现的研究团队多年来一直致力于“训练数据提取”项目。当ChatGPT这样的机器学习模型保留其训练数据的随机方面时,就会发生训练数据提取,使其容易受到攻击。这篇论文首次揭示了一个对一个已上线的对齐模型——ChatGPT的训练数据提取攻击。在图片中,您可以看到电子邮件和联系信息是被分享的。 这个漏洞的影响是深远的,尤其是对那些拥有敏感或原始数据的人士而言。除了数据泄露的担忧,该论文还强调了模型记忆和重复训练数据的风险,这对依赖创新性的产品来说是一个关键因素。 从ChatGPT中提取数据 这项研究提供了成功从ChatGPT提取训练数据的证据,即使该模型只能通过聊天API进行访问,并且可能已经对抗数据提取进行了对齐。该攻击发现了一个绕过隐私保护的漏洞,使ChatGPT脱离了其微调对齐并恢复到其预训练数据。 研究团队强调,ChatGPT的对齐隐藏了记忆功能,当受到特定攻击时,数据输出的频率显著增加。尽管外表看起来不是这样,但该模型的记忆能力是传统攻击的150倍。 对测试和红队模型的影响 该论文提出了对ChatGPT广泛使用的担忧,该模型已经产生了超过十亿人小时的交互作用。然而,数据输出的高频率仍然未被注意到。语言模型中的潜在漏洞,以及区分表面上安全和真正安全模型之间的挑战,都存在重大挑战。 现有的记忆测试技术无法揭示ChatGPT的记忆能力,因为对齐步骤对其进行了隐藏。这凸显了需要增强的测试方法来确保语言模型的安全性。 还可阅读: 导航隐私问题:ChatGPT用户的聊天标题泄露解释 我们的观点 揭示ChatGPT对数据泄露的漏洞,凸显了对机器学习模型的演变中的安全性分析的重要性。需要进一步的研究来确保这些系统的安全性。在当今技术驱动的时代,ChatGPT对数据泄露的敏感性提醒了保护先进语言模型面临的挑战。

Leave a Comment

鸭子AI推出DuckTrack:一款多模态计算机交互数据收集器

准确追踪用户交互行为是促进计算机智能能力提升的基石。这项任务在开发和训练智能系统中起着至关重要的作用。这些系统的有效性取决于对用户交互行为的仔细检查和系统记录。 Duck AI的研究人员开发了DuckTrack,以准确记录各种输入,以便能够将这些数据用于正确训练计算机智能代理。DuckTrack通过与主要操作系统兼容的用户友好型桌面应用程序提供了一种同步收集鼠标、键盘、屏幕视频和音频数据的方法。 此外,DuckTrack启动了社区数据收集倡议。这一开源努力邀请贡献者参与收集多样化的计算机交互数据。DuckTrack在所有主要操作系统上运行流畅,并且使用Python创建。DuckTrack的特色概述展示了其对鼠标和键盘动作的精确记录和回放能力。研究人员表示,将屏幕录制与OBS集成可以进一步提升其多功能性。 对于DeepTrack,在绘图任务中结构相似性指数(SSIM)始终超过0.9。每个事件都以0.03ms ± 0.4ms的较低误差范围进行记录,超过了市场上现有跟踪器的准确性。DuckTrack在性能指标方面具有卓越的表现,这使其成为追求顶级跟踪和回放解决方案的可靠选择。 但DuckTrack也存在某些限制。在回放过程中模拟双击或三击实际上是一个挑战,影响了这些动作的准确性。此外,DuckTrack无法记录触控板手势,并且在涉及原始信息(如游戏)的情况下存在一些限制。开发人员正在积极努力解决这些限制,并通过持续与社区互动来提高DuckTrack的功能。 研究人员在不同系统上进行了DuckTrack的测试,包括运行macOS Sonoma 14.0的M2 Pro MBP 14以及运行PopOS! 22.10(基于Ubuntu)和Windows 10 22H2的Intel i7-10510U System76 Lemur Pro 9。他们在ReCAPTCHA任务上测试了DuckTrack,这是人类运动的代理,结论是它在十次尝试中表现出100%的成功率。虽然硬件差异可能会略微影响性能,但跨操作系统的准确性一致性强调了DuckTrack的可靠性。 研究人员将很快宣布有关贡献和设置数据收集的详细指南,鼓励集体努力来改进和完善DuckTrack的功能。 DuckTrack在收集计算机交互数据方面被证明是一项革命性的工具。凭借对精度的执着、不断的社区参与和对改进的重视,DuckTrack成为寻求卓越回放和跟踪功能的个人和企业的首要选择。DuckTrack正在为更精密和无缝的多模式计算机交互体验铺平道路。 在此处下载适用于您的系统的预构建应用程序。

Leave a Comment

理解GPT-4V(ision)的概念:新的人工智能趋势

OpenAI一直处于人工智能领域的最新进展前沿,拥有像GPT和DALLE这样高效的模型。GPT-3推出时是一种独特的模型,具有出色的语言处理能力,如文本摘要、句子补全等等。其继任者GPT-4的发布标志着我们与人工智能系统互动方式的重大转变,它提供了多模态能力,即能够处理文本和图像。为了进一步增强其功能,OpenAI最近发布了GPT-4V(ision),允许用户利用GPT-4模型分析图像输入。 近年来,多模态LLM的发展越来越多,这些模型能够处理不同类型的数据。GPT-4就是这样一种模型,它在许多基准测试中展示了与人类水平相媲美的成果。GPT-4V(ision)建立在GPT-4现有特性的基础上,提供可视化分析以及现有的文本交互特性。使用上限,需要通过订阅GPT-Plus才能访问该模型。此外,还必须加入API的等待列表才能获得访问权限。 GPT-4V(ision)的关键特性 该模型的一些关键能力包括: 它可以接受用户的视觉输入,如屏幕截图、照片和文档,并执行各种任务。 它可以执行对象检测,并提供有关图像中不同对象的信息。 另一个引人注目的特点是它可以分析以图表、图形等形式表示的数据。 此外,它能够阅读和理解图像中的手写文字。 GPT-4V(ision)的应用 数据解释是GPT-4V(ision)最令人兴奋的应用之一。该模型能够分析数据可视化,并根据其提供关键洞见,从而提升数据专业人士的能力。 该模型还可以根据网站设计编写代码,这有望极大加快网站开发的过程。 ChatGPT已被内容创作者广泛使用,以帮助他们克服缺乏灵感并快速生成内容。然而,GPT-4V(ision)的出现将事情推向了一个完全不同的水平。例如,我们首先可以使用该模型创建提示以生成DALLE 3的图像,然后使用该图像写博客。 该模型还可以帮助处理多种条件处理(如分析停车情况)、解密图像中的文本、对象检测(以及对象计数和场景理解等任务)等。该模型的应用不限于上述提到的点,几乎可以应用于各个领域。 GPT-4V(ision)的局限性 尽管该模型具有高度的能力,但需要记住它容易出现错误,并且有时可能基于图像输入产生不正确的信息。因此,在处理数据解释时应避免过度依赖,并且在复杂推理的领域,例如数独问题,GPT-4可能面临挑战。 隐私和偏差是使用该模型所涉及的另一组主要问题。用户提供的数据可能被用于重新训练该模型。与其前身一样,GPT-4也会强化社会偏见和观点。因此,考虑到这些限制,处理高风险任务(如科学图像和医疗建议)时应避免使用GPT-4V(ision)。 结论 总之,GPT-4V(ision)是一种功能强大的多模态LLM,为人工智能能力树立了新的标杆。通过处理文本和图像的能力,它为使用人工智能的应用开辟了新的可能性。尽管仍然存在一些局限性,但OpenAI一直在努力使该模型安全可用,我们可以将其用于增强分析能力,而不是完全依赖它。 本文《理解GPT-4V(视觉)的概念:新的人工智能趋势》首次出现在MarkTechPost。

Leave a Comment

这项来自麻省理工学院和Meta AI的AI研究揭示了一种创新且价格实惠的先进手持物体重定向机器人控制器

来自麻省理工学院和Meta AI的研究人员开发了一种物体重新定向控制器,可以利用单个深度摄像机实时重新定向各种形状的物体。这项开发所解决的挑战是需要一个多功能且高效的物体操纵系统,能够适应新条件,而无需保持不同物体之间关键点的一致姿态。该平台还可以拓展至其他熟练操纵任务,未来研究还在进一步改进方面存在机会。 目前用于物体重新定向研究的方法存在一些局限性,例如侧重特定物体、操纵范围有限且操纵速度慢、依赖昂贵的传感器以及只能产生模拟结果。这些方法必须有效地解决从模拟环境到真实环境的转移挑战。成功率通常由误差阈值决定,而该阈值因任务而异。学生视觉策略网络已经经过训练,以解决这些局限性,并且已经证明在数据集之间存在最小的泛化差距。 本研究提出了一种提高机器手灵活性的方法,解决了手中物体重新定向的挑战。以往的方法会施加限制,并需要昂贵的传感器,从而限制了它们的多功能性。为了克服这些限制,通过强化学习在模拟环境中训练了一个控制器,并成功地实现了对新形状的真实世界泛化。还讨论了使用视觉输入训练控制器和实现有效的模拟到真实环境转换的挑战。 所提出的方法涉及利用强化学习在模拟环境中训练基于视觉的物体重新定向控制器,然后直接在真实世界中进行零样本转移。训练使用具有增强容量的卷积网络和门控循环单元,在Isaac Gym物理模拟器的桌面设置中进行。奖励函数包括成功标准和额外的形状术语。为了评估该方法的有效性,进行了在3D打印和真实世界物体上的测试,并基于误差分布和成功率对比模拟和真实世界的结果,以定义的阈值进行评估。 在真实世界上,单个在模拟中训练的控制器成功地重新定向了150个物体,并在三指和修改后的四指D’Claw操纵器上实现了实时性能,使用了标准工作站以12 Hz的速度。采用OptiTrack运动捕捉系统进行的评估展示了其准确的物体重新定向能力,并且能够推广到新的物体形状上。通过对误差分布和成功率在定义的阈值内的分析,证明了该系统在解决模拟到真实世界转换的挑战和潜在精度改进方面的有效性,而无需额外假设。 总之,该研究成功地通过强化学习开发了一个能够在真实世界中有效重新定向物体的实时控制器。尽管系统的中位重新定向时间约为七秒,但它引发了关于在重新定向任务中形状信息的重要性的问题。它强调了从模拟结果到真实世界的转移挑战。尽管存在这些挑战,该控制器在手中灵巧操纵方面具有潜在应用,特别是在不太结构化的环境中,并强调了在不做额外假设的情况下需要精度改进的需求。 未来研究的一个潜在方向是探索如何将形状特征纳入控制器,特别是在精细操纵和对新形状的泛化方面,这可能会提高控制器性能。值得探索通过视觉输入进行训练的可能性,这可以解决当前依赖于完整状态信息模拟的强化学习控制器的局限性。最后,与先前作品的比较研究可以帮助将研究结果置于现有文献中的背景中,并且还需要进一步研究使用开源硬件进行灵巧操纵的问题。

Leave a Comment

“Bing聊天如何在提供最新实时知识方面超越ChatGPT?认识检索增强生成(RAG)技术”

随着近年来大语言模型(LLMs)的发展,这些模型在人工智能和机器学习领域带来了范式转变。这些模型引起了大众和人工智能社区的极大关注,推动了自然语言处理、生成和理解方面的显著进展。最著名的LLM示例是基于OpenAI的GPT架构的ChatGPT,它已经改变了人类与基于AI技术的科技互动方式。 虽然LLMs在文本生成、问答、文本摘要和语言翻译等任务中显示出强大的能力,但它们仍然有自己的缺点。这些模型有时会产生形式不准确或过时的输出信息。甚至缺乏正确的来源归属也会使验证LLMs生成的输出的可靠性变得困难。 什么是检索增强生成(RAG)? 一种称为检索增强生成(RAG)的方法解决了上述限制。RAG是一种基于人工智能的框架,它从外部知识库中收集事实,让大语言模型获得准确和最新的信息。 通过集成外部知识检索,RAG已经能够改变LLMs。除了精确性,RAG通过透明地揭示LLMs的生成过程细节,为用户提供透明度。RAG解决了传统LLMs的局限性,通过平稳地结合外部检索和生成方法,确保了更可靠、具有上下文意识和知识的基于人工智能的通信环境。 RAG的优势 提高响应质量 – 检索增强生成着眼于LLM生成的响应不一致性问题,保证更准确和可信的数据。 获取最新信息 – RAG将外部信息集成到内部表示中,以确保LLMs获得当前和可信的事实。它确保答案建立在最新知识之上,提高模型的准确性和相关性。 透明度 – RAG的实施使用户能够检索基于LLMs的问答系统中模型的来源。通过使用户能够验证陈述的完整性,LLM促进了透明度,并增加了对其提供的数据的信心。 减少信息丢失和产生虚像 – RAG通过基于独立、可验证的事实建立LLMs,降低了模型泄漏机密信息或产生错误和误导性结果的可能性。它通过依赖更可靠的外部知识库,减少了LLMs对信息的错误解释的可能性。 降低计算开销 – RAG减少了对不断变化的条件进行参数调整和训练的需求。它减轻了财务和计算压力,提高了LLM驱动的聊天机器人在商业环境中的成本效益。 RAG如何工作? 检索增强生成(RAG)利用所有可用的信息,如结构化数据库和非结构化材料(如PDF)。这些异构材料被转换成一种通用格式,并组装成一个知识库,形成一个生成人工智能系统可以访问的存储库。 关键的一步是使用嵌入语言模型将该知识库中的数据转换为数字表示。然后,使用具有快速高效搜索功能的向量数据库来存储这些数字表示。一旦生成人工智能系统发出提示,这个数据库可以快速检索到最相关的上下文信息。 RAG的组成部分…

Leave a Comment

「这项AI研究介绍了FollowNet:一种用于车辆跟随行为建模的全面基准数据集」

跟随其他车辆是最常见和基本的驾驶活动。安全地跟随其他车辆可以减少碰撞,使交通流畅和可预测。当驾驶员在道路上跟随其他车辆时,适当的跟车模型会以数学或计算方式表示这种行为。 现实世界驾驶数据的可用性和机器学习的发展在过去十年中在数据驱动的跟随车辆模型的繁荣方面起到了重要作用。依赖数据来跟随车辆的模型包括神经网络、循环神经网络和强化学习。然而,目前的研究中存在一些限制,如下所示: 首先,由于缺乏标准数据格式,跟车模型尚未得到很好的评估。尽管公共驾驶数据集如NGSIM和HighD等可用,但由于缺乏标准数据格式和跟车模型的评估标准,很难将新提出的模型的性能与现有模型进行比较。 其次,当前研究中的数据集有限,无法准确描述混合交通流中的跟车行为。以不考虑自动驾驶车辆的小数据集对车辆跟随行为进行建模一直是过去研究的重点,而在这个时候,人工驾驶和自动驾驶车辆共同在道路上行驶。 为了解决这些问题并创建一个标准数据集,香港科技大学,广东省集成通信重点实验室,同济大学和华盛顿大学的一项新研究发布了一个名为FollowNet的基准。他们使用一致的准则从五个公开可用的数据集中提取了跟随车辆事件以建立这个基准。研究人员在基准范围内执行和评估了五个基准跟车模型,包括传统和数据驱动的方法。他们利用统一的数据格式为行为设定了第一个标准,以便促进跟车模型的创建。处理来自不同数据集的多样化数据结构和框架可能会很困难,但是他们统一的跟车基准考虑到了这一点。 通过使用基准进行训练和评估的两种传统和三种数据驱动的跟随车辆模型——GHR、IDM、NN、LSTM和DDPG。五个流行的公共驾驶数据集——HgihD53、Next Generation Simulation(NGSIM)54、Safety Pilot Model Deployment(SPMD)55、Waymo56和Lyf57——都包含了该基准所定义的跟随车辆事件。研究人员对跟车行为和基本统计信息的几个数据集进行了分析。结果显示使用一致的指标评估基准模型的性能。特别是Waymo和Lyf数据集显示了混合交通情况下的跟车事件。研究人员没有包括持续时间超过90%的静态事件。 即使数据驱动的模型在间距最小均方误差方面表现较传统模型更低,碰撞仍然是可能的。发展具有零碰撞率和较少间距误差的跟车模型是可取的。为了在跟车模型中包含驾驶异质性,需要创建适应性算法和代表性数据集,涵盖各种驾驶风格、行为和交通情况。 研究人员建议未来的数据集必须加入其他特征,以进一步改进跟随车辆模型的性能和真实性。例如,通过添加交通信号和道路条件数据,可以更完整地了解道路环境。如果算法集成了附近车辆及其活动的数据,也可以考虑复杂关系并提供更好的预测。未来的数据集将能够更好地反映真实世界的驾驶场景,从而为创建既强大又有效的跟车算法提供可能。

Leave a Comment

“Inflection-2超越了Google的PaLM-2 AI语言模型的突破性进展”

在一项具有突破性的宣布中,Inflection AI,即备受欢迎的PI AI个人助理的创建者,揭示了他们的最新成就。一款强大的语言模型名为Inflection-2不仅超过了谷歌强大的PaLM-2,而且在各种基准测试数据集中表现出了优越性。 Inflection-2大型语言模型 经过广泛的研究和开发,Inflection-2在大型语言模型领域树立了新的标准。在与谷歌的PaLM-2和Meta的LLaMA-2进行比较测试后,Inflection-2被评为领先者。值得注意的是,在自然问题(Natural Questions)语料库中,Inflection-2的37.3分数仅仅略逊于PaLM-2的37.5分数,明显优于LLaMA-2。 MMLU – 大规模多任务语言理解 Inflection AI的MMLU基准测试成绩公开了该模型的优势和不足之处。该数据集覆盖了STEM(科学、技术、工程和数学)以及各种科目的57项任务,目的是评估模型的世界知识和问题解决能力。Inflection-2令人印象深刻的79.6分数使其跻身于顶级表现者之列,表明它在不同领域具有全面的理解能力。 MBPP – 代码和数学推理能力 在MBPP数据集的直接比较中,该数据集侧重于代码和数学推理,Inflection-2展现了意外的高水平。尽管没有专门针对这些任务进行训练,但它以53.0分数超越了针对编码进行微调的PaLM-2S的50.0分数。 HumanEval数据集测试 Inflection-2的成功不仅限于HumanEval问题解决数据集,它以44.5分数超过了PaLM-2。值得注意的是,尽管没有针对这些挑战进行专门训练,但Inflection-2的性能堪比强大的GPT-4。 更强大的LLM即将到来 Inflection AI的宣告暗示着正在制作中的更加强大的语言模型。通过计划在庞大的22,000个GPU集群上进行训练(比Inflection-2的5,000个GPU集群大几倍),Inflection AI有望加剧人工智能领域的竞争。随着Inflection AI等初创公司不断推出强大的AI模型,谷歌和OpenAI等已经建立起来的重要参与者面临着更加激烈的竞争。 还阅读:伊隆·马斯克发布碧色:带有叛逆倾向的时髦AI聊天机器人 我们的看法 Inflection-2作为一款领先的语言模型,在AI能力方面迈出了重要的一步。该模型在任务中的出色表现,尤其是在其训练范围之外的任务中,突显了其适应性和在各种应用中的潜力。随着技术行业见证AI创新的蓬勃发展,PI个人助理等对话式人工智能平台正在不断演变,为用户提供前沿体验。Inflection…

Leave a Comment

NVIDIA为一些最大的亚马逊Titan基础模型提供训练能力

关于大型语言模型的一切都是巨大的——巨大的模型在数千个NVIDIA GPU上的大规模数据集上进行训练。 这对于追求生成式人工智能的公司来说会带来很多大的挑战。 NVIDIA NeMo是一个构建、定制和运行LLM的框架,有助于克服这些挑战。 亚马逊网络服务的一支由经验丰富的科学家和开发人员组成的团队正在创建Amazon Titan为Amazon Bedrock提供基础模型,后者是一项基于基础模型的生成式人工智能服务,并在过去的几个月中一直使用NVIDIA NeMo。 “与NeMo合作的一个重要原因是它的可扩展性,它具有优化功能,可以在高GPU利用率下运行,并使我们能够扩展到更大的集群,以便我们能够更快地训练和交付模型给我们的客户,”亚马逊网络服务的高级应用科学家Leonard Lausen说。 融入大规模环境 NeMo中的并行技术使得大规模LLM的训练更加高效。与AWS的弹性适配器相结合,可以将LLM分散到多个GPU上加速训练。 EFA提供了一个UltraCluster网络基础设施,可以直接连接超过10,000个GPU,并通过NVIDIA GPUDirect绕过操作系统和CPU。 这种组合使得AWS的科学家们能够提供优秀的模型质量,这是仅依赖数据并行化方法无法实现的。 适用于各种规模的框架 “NeMo的灵活性,”Lausen说,“使得AWS能够根据新的Titan模型、数据集和基础设施的特点来定制训练软件。” AWS的创新包括从Amazon Simple Storage Service(Amazon S3)到GPU集群的高效流处理。“由于NeMo基于像PyTorch Lightning这样的流行库构建,这些改进很容易融入其中,这些库标准化了LLM训练流程组件,”Lausen说。 AWS和NVIDIA的目标是吸取他们的合作所学,为顾客带来像NVIDIA…

Leave a Comment

Google和MIT研究员推出了StableRep:通过合成图像实现AI训练的革命,以增强机器学习

“` 研究人员探索了使用由文本到图像模型生成的合成图像来学习视觉表示并为更高效和减少偏见的机器学习铺平道路的潜力。这项来自麻省理工学院研究人员的新研究专注于稳定扩散,并表明在生成模型被适当配置的情况下,仅训练合成图像上的自监督方法可以达到或甚至超过其真实图像对应物的性能。所提出的方法名为StableRep,通过将从同一文本提示生成的多个图像视为彼此的正例,引入了一种多正对比学习方法。StableRep仅在合成图像上进行训练,在大规模数据集上的性能超越了SimCLR和CLIP等现有最先进的方法,甚至在与语言监督相结合时,其准确度也超过了通过五千万真实图像训练的CLIP模型。 所提出的StableRep方法通过推进内部标题不变性引入了一种新颖的表示学习方法。通过将从同一文本提示生成的多个图像视为彼此的正例,StableRep采用了多正对比损失。结果显示,StableRep在ImageNet上取得了显着的线性准确性,超越了SimCLR和CLIP等其他自监督方法。该方法的成功归因于对合成数据取样的更大控制能力,利用了Stable扩散和文本提示等因素。此外,生成模型具有超越其训练数据进行泛化的潜力,相比仅使用真实数据,提供了更丰富的合成训练集。 总之,研究证明了在稳定扩散生成的合成图像上训练自监督方法的意外有效性。StableRep方法通过其多正对比学习方法,在表示学习方面展现出卓越的性能,相比使用真实图像的现有最先进方法。该研究为通过文本到图像生成模型简化数据收集提供了可能性,为获取大规模且多样化的数据集提供了经济有效的替代方案。然而,必须解决合成数据的语义不匹配和偏见等挑战,并考虑使用非筛选网络数据进行生成模型训练的潜在影响。 “`

Leave a Comment

塑造未來的工作:Meta的Arpit Agarwal的見解

COVID-19疫情已经改变了工作场所的面貌,远程工作成为了持久的常态。在这一期的Leading with Data节目中,来自Meta的Arpit Agarwal讨论了未来工作涉及到的虚拟现实,使远程协作的经验更贴近面对面的体验。Arpit通过他的经历分享了自己的见解,强调了关键时刻和产品开发早期分析的挑战。 你可以在诸如Spotify、Google Podcasts和Apple等流行平台上收听这一期的Leading with Data节目。选择你喜欢的平台,享受这些富有洞察力的内容吧! 与Arpit Agarwal的对话中的关键见解 未来工作依赖于虚拟现实进行远程协作。 成立一个数据科学团队能促进创新和业务影响。 在产品早期阶段的数据科学需要重视质量,使用内部测试和反馈。 招聘数据科学人员需要技术能力、问题解决能力和坚强品格。 数据科学职业发展需要广泛探索,然后才能专精于某个领域。 参加我们即将举行的Leading with Data座谈会,与人工智能和数据科学领域的领导者进行深入讨论! 现在,让我们来看看Arpit Agarwal关于他的职业经历和行业经验的问题回答。 COVID-19疫情如何改变我们工作的方式? 这一疫情从根本上改变了我们的工作方式。我们从办公室为中心的环境转变为接受远程工作作为一种新的现实。即使在恢复到办公室政策的情况下,相当大一部分劳动力仍将继续远程运作。面临的挑战在于如何保持生产力和促进过去在办公室内建立的联系。现有的工具无法完全复制面对面的体验,这就是Meta愿景的发挥作用的地方。我们正在开发的产品可以提供并肩工作的感觉,理解彼此的肢体语言,并在虚拟空间中实现有效的协作。 你可以分享一下从大学到成为数据科学领域领导者的旅程吗? 我的旅程始于BITS Goa,我在那里攻读计算机科学学位。起初,我是以学术为重点,但BITS允许我探索其他兴趣,包括数据解释。我领导了一个解谜俱乐部,这激发了我对数据的兴趣。高中毕业后,我加入了Oracle,在数据仓库和商业智能方面工作,帮助客户做出数据驱动决策。这段经历巩固了我对分析和其在业务应用中的兴趣。我追求了MBA学位,加深了对商业的理解,并后来加入了Mu…

Leave a Comment

麦克马斯特大学和FAIR Meta研究人员提出了一种新颖的机器学习方法,通过使用归一化流动的方法来参数化电子密度

麦克马斯特大学和FAIR Meta的研究人员开发了一种新的机器学习(ML)技术,用于无轨道密度泛函理论(OF-DFT)。这种ML方法优化了总能量函数,并成功地复制了各种化学系统中的电子密度。该方法已被应用于模拟锂氢化物、氢气和水分子,并通过优化拉普拉斯算符和解决哈特里和外势泛函函数来提高准确性的内存有效的梯度优化方法。 目前存在计算分子电子能量的方法,比如传统的Kohn-Sham密度泛函理论(KS-DFT),它依赖于分子轨道。然而,一个被开发出来的未经探索的方法叫做OF-DFT,它利用电子密度来最小化一个点,更适用于复杂的系统。 OF-DFT是一种以电子密度为中心的量子化学和凝聚态物理的计算方法,相对于KS-DFT在大系统中具有优势。它通过电子密度最小化来确定基态性质,符合Hohenberg-Kohn定理。它采用了一种独特的方法,使用归一化流载体来参数化和优化电子密度,成功地复制了多样的化学系统。 OF-DFT中优化总能量函数的提议方法涉及使用归一化流载体来参数化各种化学系统中的电子密度。这是通过使用神经网络解决普通微分方程来连续归一化流变换电子密度实现的。基于梯度的算法用于总能量优化,而蒙特卡罗采样用于相关量。此外,在OF-DFT中还采用了一种内存高效梯度优化方法,用于解决拉普拉斯算符以及与哈特里和外势泛函相关的问题。 该方法成功地模拟了二原子分子,尤其是LiH,并对氢气和水分子进行了广泛的模拟。该模型准确地复制了各种化学系统中的电子密度,在H2和H2O分子的优化过程中展示了密度和势能面的变化。与使用STO-3G基组的Hartree-Fock模型进行比较分析表明,在连续归一化流模型中核周围的密度更高。密度泛函值在整个优化过程中使用指数移动平均值进行计算。 总之,利用连续归一化流进行密度变换的OF-DFT方法是一种有前景的无限制解决方案,用于准确描述不同化学系统中的电子密度和势能面。它能够复制核周围的高密度,如通过LiH、氢气和水分子的研究所示,突显了进一步改进和应用的潜力。 OF-DFT电子结构计算的未来工作可能涉及: 改进电子密度的归一化流载体。 将连续归一化流方法扩展到更复杂的化学系统中。 进行比较分析以评估CNF模型的准确性。 将CNF模型与其他机器学习技术整合,以提高效率和精度。

Leave a Comment

用无代码Amazon SageMaker Canvas在Salesforce Data Cloud上民主化机器学习

本文由Salesforce Einstein AI产品总监Daryl Martis共同撰写这是一系列讨论Salesforce Data Cloud与Amazon SageMaker集成的第三篇文章在第一部分和第二部分中,我们展示了Salesforce Data Cloud和Einstein Studio与SageMaker的集成如何使企业能够访问他们的数据

Leave a Comment

Amir Haramaty, aiOla的CEO兼联合创始人-访谈系列

Amir Haramaty 是 aiOla 的首席执行官兼联合创始人,aiOla 是一个旨在使语音可行,并以完全准确的方式优化特定行业流程的平台我们拥有的专利技术是多语言的,可以识别行话、缩写和首字母缩略词,并且即使在嘈杂的环境中也是无误的你的第一家初创公司是一家建造遥控器的公司[…]

Leave a Comment

用GPT-4揭示科学发现的前沿:大型语言模型在多个学科中的全面评估

大型语言模型(LLMs)最近受到人工智能(AI)界的广泛赞赏。这些模型具有卓越的能力,在编码、数学、法律乃至理解人类意图和情感等领域都表现出色。基于自然语言处理、理解和生成的基本原理,这些模型在几乎每个行业中都具有巨大的潜力。 LLMs不仅能生成文本,还能进行图像处理、音频识别和强化学习,证明了它们的适应性和广泛的应用领域。由OpenAI最近推出的GPT-4因其多模态特性而变得非常受欢迎。与GPT 3.5不同,GPT-4既可以接受文本形式的输入,也可以接受图像形式的输入。一些研究甚至显示,GPT-4展示了人工通用智能(AGI)的初步证据。GPT-4在通用AI任务中的有效性已经引起科学家和研究人员对LLMs在不同科学领域的关注。 在最新的研究中,一支研究团队研究了LLMs在自然科学研究背景下的能力,特别关注于GPT-4。该研究主要关注生物学、材料设计、药物开发、计算化学和偏微分方程等自然科学领域,以涵盖广泛的自然科学。利用GPT-4作为深入研究的LLM,该研究提供了关于LLMs的性能和其在特定科学领域中可能应用的全面概述。 该研究涵盖了多个科学学科领域,如生物学、材料设计、偏微分方程、密度泛函理论和分子动力学在计算化学中的应用。团队分享称,已经对该模型在科学任务上进行了评估,以充分实现GPT-4在研究领域中的潜力,并验证其领域专业知识。LLM应加速科学进展,优化资源分配,并促进跨学科研究。 研究团队分享称,根据初步结果,GPT-4已经显示出在一系列科学应用中有潜力,并展示了其处理复杂问题解决和知识整合任务的能力。该研究论文对GPT-4在多个领域的表现进行了全面考察,既强调了其优势,也指出了其劣势。评估包括GPT-4的知识库、科学理解能力、数值计算技能和多样化预测能力。 研究表明,GPT-4在生物学和材料设计领域显示出广泛的领域专长,有助于满足某些需求。该模型展现了在药物研发领域预测属性的潜力。GPT-4在计算化学和偏微分方程研究领域中也有助于计算和预测,但对于定量计算任务,需要稍稍提高准确性。 总之,这项研究非常具有启发性,因为它突显了大规模机器学习和LLMs的快速发展。它还关注了这一充满活力的课题未来研究的重点,即基本科学模型的构建以及LLMs与专业科学工具和模型的集成。

Leave a Comment

Microsoft发布了Orca 2:通过定制化训练策略在更小的语言模型中开创先进推理技术

LLMs(大型语言模型)是在大量文本数据上进行训练的,以便理解和生成类似于人类语言的模型。如GPT-3、GPT-4和PaLM-2等模型就是其中的几个例子。这些模型执行复杂的语言任务,包括文本生成、对话交互和问题回答。它们在各个领域的应用中,提升了聊天机器人、编码、网络搜索、客户支持和内容制作等用户体验。 然而,随着AI社区深入研究更小规模模型的广阔领域,微软推出了名为Orca 2的下一个版本,旨在增强紧凑型AI模型的能力。通过集成详细解释和追踪,Orca 1在BigBench Hard和AGIEval等具有挑战性的基准测试中超越传统的指导训练模型。Orca 2进一步深入研究了增强训练信号的潜力,以提高较小语言模型的推理能力。 模仿学习一直是改善小型语言模型的流行方法。尽管这些较小的模型可以以与教师类似的方式生成内容,但它们通常需要在推理和理解能力上迎头赶上。尽管模仿学习具有一些好处,但也有缺点,可能限制较小模型发挥其全部潜力,并阻止它们使用最佳的解决方案来解决特定问题和模型能力。它们通常需要帮助匹配其较大模型对推理和理解能力的匹配,从而限制了它们的潜力。 与简单模仿不同,Orca以各种推理技巧指导模型。这些技巧包括逐步处理、回忆然后生成、回忆-推理-生成和直接答案。目标是指导模型获取辨别最有效解决策略的能力,以适应每个特定任务的细微差别。 Orca 2的零次推理能力凸显了改进更小型神经网络的可能性。微软继续相信,像Orca 2这样的专门训练方法可能揭示新的有用应用。这种方法旨在提高这些神经网络部署的效果。 最重要的是,Orca 2在训练阶段减少了初始线索所引发的特定行为。通过创新的Prompt Erasure技术,Orca 2转变为慎重的推理者。与盲目模仿不同,这种方法使用较大模型作为行为来源,选择最佳行为来解决给定任务。 研究人员对Orca 2进行了全面的基准测试。他们表明,它在与语言理解、常识推理、多步数学问题、阅读理解、摘要等相关的其他等价模型上表现更好。例如,在零次推理任务上,Orca 2-13B的准确率比13B模型高出25%以上,与70B模型持平。 Orca 2在小型语言模型的演进中迈出了重要的一步。它离开了传统的模仿学习,注重教授多样的推理技巧,展示了发挥紧凑型AI模型潜力的新方法。

Leave a Comment

UCL和Google DeepMind的研究人员揭示了Transformer神经网络中上下文学习(ICL)的瞬息动态

模型在推理时利用输入来修改其行为的能力,而无需更新权重以解决训练期间不存在的问题,被称为上下文学习或ICL。神经网络结构,尤其是为了少样本知识而创建和训练的能够从少量示例中学习所需行为的能力,是最早表现出这种能力的。为了使模型在训练集上表现良好,它必须记住上下文中的示例-标签映射,以便在未来进行预测。在这些情况下,训练意味着在每个“episode”上重新安排与输入示例对应的标签。测试时提供了新的示例-标签映射,网络的任务是使用这些来对查询示例进行分类。 ICL的研究是由transformer的发展而演变而来的。人们注意到,作者并没有通过训练目标或数据来特别鼓励ICL;相反,经过适当大小的自回归训练后,基于transformer的语言模型GPT-3展示了ICL的能力。从那时起,已经有大量的研究探讨或记录了ICL的实例。由于这些令人信服的发现,大规模神经网络中的新兴能力成为研究的主题。然而,最近的研究表明,只有在某些具有特定语言数据特征的情况下,transformer的训练才会有时产生ICL。研究人员发现,在训练数据缺乏这些特征的情况下,transformer通常会转向内部权重学习(IWL)。在IWL状态下,transformer不使用新提供的上下文信息,而是使用存储在模型权重中的数据。关键是,ICL和IWL似乎相互矛盾;当训练数据具有突发特征(即对象以聚类形式而不是随机形式出现)并且具有大量的标记或类别时,ICL似乎更容易出现。有必要使用已建立的数据生成分布进行受控调查,更好地理解transformer中的ICL现象。 同时,还有一系列辅助语料研究探讨了直接在有机网络规模的数据上训练的巨型模型的出现,得出结论认为像ICL这样的非凡特征更可能在训练了更多数据的大型模型中出现。然而,依赖于大型模型带来了重要的实际障碍,包括快速创新、低资源环境下的能源高效训练和部署效率。因此,大量的研究致力于开发更小的transformer模型,这些模型可以提供等效的性能,包括出现ICL的能力。目前,发展紧凑而有效的转换器的首选方法是过度训练。这些小型模型通过使用更多的数据进行训练(可能是重复的)来计算预算,而不仅仅是遵循缩放规则所需的数据量。 图1:具有12层和64个嵌入维度,使用1600门课程进行训练,每类20个示例,上下文学习是暂时的。每个训练会话都会出现突发情况。由于训练时间不足,研究人员尽管发现这些环境极大地鼓励ICL,却没有看到ICL的瞬时性。(a) ICL评估器的准确性。(b) IWL评估器的准确性。研究团队注意到,由于测试序列属于分布之外,IWL评估器的准确性提高得非常缓慢,尽管训练序列的准确性为100%。(c) 训练日志的损失。两种颜色代表两个实验种子。 从根本上说,过度训练是建立在近期LLMs的ICL调查中的一个固有前提上的:持久性。人们认为,只要模型已经接受了足够的训练以产生ICL依赖能力,并且训练损失持续减少,模型将会在训练过程中保持。在这里,研究团队否定了普遍的持久性假设。他们通过修改一个常见的基于图像的少样本数据集来做到这一点,这使得我们能够在一个受控环境中全面评估ICL。研究团队提供了简单的场景,其中ICL出现并随着模型损失的减少而消失。 换个角度来说,尽管ICL被广泛认可为一种新兴现象,研究团队也应考虑到它可能只是暂时存在的可能性(图1)。研究团队发现,这种短暂性发生在各种模型大小、数据集大小和数据集种类上,尽管研究团队也表明某些属性可以延缓短暂性的出现。一般而言,那些被长时间不负责任地训练的网络发现ICL可能会瞬间消失,让人们对当代人工智能系统所期待的技能感到失望。

Leave a Comment

通过使用Amazon Personalize Next Best Action,通过向用户推荐行动来建立品牌忠诚度

Amazon Personalize非常高兴地宣布推出新的Next Best Action(aws-next-best-action)配方,帮助您确定向个体用户建议的最佳行动,从而增加品牌忠诚度和转化率Amazon Personalize是一项完全托管的机器学习(ML)服务,使开发人员能够轻松传达高度个性化的体验…

Leave a Comment

Can't find what you're looking for? Try refining your search: