Press "Enter" to skip to content

四海吧 Posts

随着生成式人工智能的突破,现在是应对负责任人工智能的时候了

在2022年,公司平均每个公司已有3.8个AI模型正在生产中今天,10家公司中有7家正在尝试生成AI,这意味着未来几年将有更多的AI模型投入生产因此,关于负责任的AI的行业讨论变得更加紧迫好消息是[…]

Leave a Comment

增强大型语言模型的推理能力:了解准确和可转移的基于规则学习的假设到理论(HtT)框架

在推理任务领域,当提供了示例和中间步骤时,大型语言模型(LLMs)展现出了卓越的性能。然而,依赖LLM内隐知识的方法有时会产生错误答案,当内隐知识不正确或与当前任务不一致时。 为了解决这个问题,来自Google、Mila – 魁北克AI研究所、蒙特利尔大学、HEC蒙特利尔、阿尔伯塔大学和CIFAR AI主席的研究人员团队引入了“假设到理论”(HtT)框架,重点是为基于LLM的推理获取规则库。HtT包括两个关键阶段:归纳阶段和演绎阶段。在归纳阶段,LLM最初被要求根据一组训练示例生成和验证规则。 上面的图片演示了将假设到理论应用于解决九进制算术问题的思路链方法。为了简洁起见,省略了几个示范例子。在归纳阶段,使用思路链(CoT)技术生成规则并使用训练样本进行验证。 随后,生成的规则被收集和完善,以构建规则库。在演绎阶段,思路链提示被加强,使用从规则库中得出的知识。正确的规则用绿色标记,错误的规则用红色标记。导致正确答案的规则经常被累积起来建立规则库。在演绎阶段,LLM随后被提示使用获取的规则库进行推理,以回答测试问题。 在对HtT的评估中,研究人员将其作为预先存在的少样本提示技术(如思路链和从少到多提示)的增强。在两个具有挑战性的多步推理问题上进行了评估,这些问题对当前的少样本提示方法来说很棘手。 数值推理和关系推理问题的实验结果显示,HtT增强了现有的提示方法,准确率提高了11%至27%。此外,获得的规则可以有效地传输到不同的模型和同一问题的各种形式。引入的方法为使用LLMs获取文本知识开辟了新途径。预计HtT将使一系列应用成为可能,并激发LLMs领域的进一步研究。

Leave a Comment

加州大学伯克利分校的研究人员提出了RingAttention:一种内存高效的人工智能方法,用于减少Transformers的内存需求

在许多最先进的人工智能模型中,一种深度学习模型架构称为Transformers。它们在自然语言处理和机器学习中的各种任务中彻底改变了人工智能领域。它基于一种自注意机制,即模型在进行预测时权衡输入序列的不同部分的重要性。它们由编码器和解码器组成,用于处理输入。 然而,提高Transformers的上下文长度需要大量的工作。这是由于继承的自注意机制。自注意机制的内存成本是输入序列长度的平方,这使得将其扩展到更长的输入序列变得具有挑战性。UC伯克利的研究人员开发了一种名为环形注意力的方法来解决这个问题,基于一个简单的观察结果。他们观察到,当自注意力和前馈网络计算以块的形式进行时,序列可以分布在多个设备上并进行轻松的分析。 他们将块级注意力计算的外部循环分配给主机,每个设备管理其相应的输入块。对于内部循环,他们为所有设备计算与其指定输入块相关的块级注意力和前馈操作。他们的主机设备形成一个概念上的环,并将用于块级计算的键值块的副本发送到环中的下一个设备。他们还同时从前一个设备接收键值块。 块计算所需的时间比块传输长。团队将这些过程重叠,与标准的Transformers相比,没有额外的开销。通过这样做,每个设备只需要与块大小成比例的内存,而不受原始输入序列长度的限制。这有效地消除了个别设备所施加的内存约束。 他们的实验证明,环形注意力可以通过使其能够训练比以前的内存高效技术达到长达500倍的序列,减少Transformers对内存的需求。该方法还允许训练长度超过1亿的序列,而无需对注意力进行近似。由于环形注意力消除了个别设备所施加的内存约束,因此可以实现接近无限的上下文大小。然而,由于序列长度与设备数量成比例,因此需要许多设备。 这项研究仅涉及对该方法的有效性进行评估,没有涉及大规模训练模型。由于规模上下文长度取决于设备数量,模型的效率取决于优化;他们只研究了实现最佳计算机性能所需的低级操作。研究人员表示,他们希望将来在最大序列长度和最大计算机性能方面进行工作。接近无限的上下文的可能性开启了许多令人兴奋的机会,例如大型视频-音频-语言模型,从扩展的反馈和试错中学习,理解和生成代码库,以及使AI模型适应理解基因序列等科学数据。

Leave a Comment

汇集SwimXYZ:一个包含340万帧以及具备地面真实2D和3D关节标注的游泳动作和视频的合成数据集

人类动作捕捉已经成为各个行业的关键工具,包括体育、医疗和娱乐领域的角色动画。动作捕捉在运动中使用多种目的,包括预防受伤、分析伤病、视频游戏行业动画,甚至为电视广播提供信息可视化。传统的动作捕捉系统在大多数情况下可以提供可靠的结果。但是,它们昂贵且耗时,设置、校准和后处理困难,难以广泛应用。对于游泳等水上活动而言,这些问题更加严重,例如标记器反射或水下摄像机的安装。 最近的进展使得能够使用简单、可负担得起的设备从RGB照片和电影中捕捉动作。这些实时单摄像头系统可以利用现有的实时视频数据,在体育赛事中广泛应用动作捕捉。它可以用于小型结构,以增强业余运动员的培训计划。然而,由于需要更多数据,使用基于计算机视觉的游泳动作捕捉面临着一些障碍。无论是2D关节点、身体分割还是3D关节点、虚拟标记,每个人体姿态和形状(HPS)估计方法都必须从图像中提取信息。然而,基于传统数据集训练的计算机视觉算法在处理水上数据时需要帮助,因为它与训练图片差异很大。 HPS估计的最新进展表明,合成数据可以替代或补充真实图片。他们推出了SwimXYZ,以扩展基于图像的动作捕捉技术在游泳中的应用。SwimXYZ是一个人工数据集,其中包含用真实游泳池拍摄的特定于游泳的电影,并标注了2D和3D关节点。SwimXYZ的11520部电影共340万个帧,拍摄角度、主题和水质、灯光以及动作都有所不同。除了240个合成游泳动作序列以SMPL格式呈现,SwimXYZ还提供了各种身体形态和游泳动作。 这项研究由CentraleSupélec、IETR UMR、Centrale Nantes和Université Technologique de Compiègne的研究人员创建了SwimXYZ,这是一个庞大的人工游泳动作和电影集合,将在论文被接受后在线发布。SwimXYZ的实验证明了在游泳中进行动作捕捉的潜力,他们的目标是帮助其更广泛地应用。未来的研究可能会运用SMPL格式的动作来训练姿势和运动先验或游泳划水分类器,以及使用SwimXYZ提供的电影来训练2D和3D姿势估计模型。SwimXYZ在主题(性别、体型和泳装外观)和场景(室外环境、池底)方面的缺乏多样性可以在后续工作中得到纠正。其他改进可能包括其他注释(如分割和深度图)或添加其他游泳动作,如跳水和转身。

Leave a Comment

如何通过Langchain来掌握简历排名?

介绍 在不断发展的就业市场中,雇主经常为每个职位空缺收到大量的简历而感到不知所措。筛选这些简历,确定最合适的候选人,是一项耗时且令人望而却步的任务。为应对这一挑战,我们将深入介绍使用Langchain这个强大的语言处理工具来创建一个复杂的简历排序应用程序。该应用程序将根据指定的关键技能自动过滤简历,并根据技能匹配程度对其进行排序。 学习目标 在Langchain下开发简历排序应用程序的深入理解 简化候选人评估过程 高效地确定适合的求职申请者 本文发表在Data Science Blogathon中。 人工智能驱动简历排序的重要性 节省时间:将人工智能视为您节省时间的助手。它可以在几秒钟内处理大量简历,因此您不需要花费数小时在此上。这使您可以专注于其他重要任务。 智能选择:人工智能不仅快速,而且智能。它可以发现与您的职位要求完全匹配的简历,帮助您做出更好的招聘决策,并更快地找到合适的人才。 竞争优势:在一个职位空缺吸引数十甚至数百位申请者的世界中,使用人工智能可以使您具备竞争优势。您不仅跟上了竞争的脚步,还在高效和有效的招聘方面走在了前列。 减轻压力:翻阅简历可能会带来压力。人工智能可以减轻压力,使招聘过程更加顺利和令人愉快。 因此,让我们踏上这个旅程,逐步了解如何创建自己的人工智能驱动简历排序工具。 设定舞台 为何需要简历排序? 招聘过程是任何组织增长的重要部分。然而,随着求职者数量的增加,手动筛选简历可能是一项耗时的任务,容易出现人为错误。简历排序通过自动化识别最合适的候选人的过程来减轻这一负担。这不仅节省时间,还确保不会忽视任何潜在的候选人。 介绍Langchain Langchain是一个全面的语言处理工具,赋予开发人员执行复杂文本分析和信息提取任务的能力。它的功能包括文本分割、嵌入、顺序搜索和问答检索。通过利用Langchain,我们可以自动从简历中提取重要信息,使排序过程更加高效。 语言模型在简历排序中的作用 在数字时代,每天都会产生大量的文本数据,能够利用和理解语言的能力变得至关重要。语言模型结合自然语言处理(NLP)技术,已经成为自动化各种与文本相关任务的重要工具。本节探讨了语言模型的重要性、NLP的重要性以及Langchain如何增强简历排序中的NLP功能。 理解语言模型 语言模型是设计用于理解、生成和操作人类语言的计算系统。它们本质上是通过处理大量文本数据来学习语言的结构、语法和语义的算法。由于深度学习和神经网络的进步,这些模型已经得到了显著的发展。 现代语言模型的一个关键特点是它们能够预测在给定上下文中某个单词或短语出现的概率。这种预测能力使它们能够生成连贯且与语境相关的文本。像OpenAI开发的GPT-3这样的语言模型,在各种自然语言理解任务中表现出色,使其成为广泛应用的有价值工具。…

Leave a Comment

GATE DA 2024年样题试卷

介绍 2024年的GATE考生们,有一个好消息要告诉你们!印度科学学院(IISc)刚刚发布了即将到来的GATE考试的样题。这些样题是提高你准备的宝贵资源。在这篇博文中,我们汇总了一系列来自GATE DA样题的问题,以增强你的准备能力。 前25个问题每个问题分值为1分 1. 令𝑏为搜索树的分支因子。如果从初始状态经过𝑑步最优路径到达目标状态,在最坏情况下,迭代深度优先搜索(IDDFS)和迭代深度A*搜索(IDA*)将会扩展初始状态多少次? (A) IDDFS – 𝑑, IDA* -𝑑(B) IDDFS – 𝑑, IDA* -(𝑏)^d*(C) IDDFS – 𝑏^d, IDA* -𝑑(D) IDDFS – 𝑏^d,…

Leave a Comment

“我们能生成超真实的人类形象吗?这篇AI论文介绍了HyperHuman:一个文本到图像模型的重大进展”

将此HTML代码(保留HTML代码在结果中)翻译成中文: 量子计算常被誉为能够彻底改变问题解决的潜力,尤其是当经典计算机面临重大限制时。虽然讨论大部分聚焦于渐进调整的理论优势,但识别量子计算机在有限尺寸问题上的实际应用至关重要。具体的例子可以展示量子计算机比经典对应物更高效地解决哪些问题以及如何在这些任务中使用量子算法。近年来,合作研究工作探索了量子计算在现实应用领域上的潜在应用,从而为这一新兴技术提供了深入了解。 基于扩散的文本转图像(T2I)模型因其可扩展性和训练稳定性而成为生成图像的首选。然而,像稳定的扩散这样的模型需要帮助创建高保真度的人类图像。传统的可控人类生成方法存在限制。研究人员提出的HyperHuman框架通过捕捉外观和潜在结构之间的相关性来克服这些挑战。它结合了一个大型的以人类为中心的数据集,一个潜在结构扩散模型以及一个结构引导的精细调节器,实现了超逼真的人类图像生成的最新成果。 从用户条件(如文本和姿势)生成超逼真的人类图像对于图像动画和虚拟试穿等应用至关重要。早期使用VAE或GAN的方法在训练稳定性和容量方面存在局限性。扩散模型已经彻底改变了生成AI,但现有的T2I模型在人体解剖和自然姿态上存在问题。HyperHuman介绍了一个捕捉外观-结构相关性的框架,确保人类图像生成过程中的高逼真度和多样性,并解决了这些挑战。 HyperHuman是一个用于生成超逼真人类图像的框架。它包括一个包含3.4亿个标注图像的广泛的以人类为中心的数据集HumanVerse。HyperHuman框架结合了一个去噪深度和表面法线的潜在结构扩散模型,同时生成RGB图像。一个结构引导的精细调节器增强了合成图像的质量和细节。他们的框架可以在各种场景下生成超逼真的人类图像。 他们的研究使用了各种指标评估HyperHuman框架,包括图像质量和多样性的FID、KID和FID CLIP,文本-图像对齐的CLIP相似性以及姿势准确度指标。尽管使用的模型较小,HyperHuman在图像质量和姿势准确度方面表现出色,在CLIP得分中排名第二。他们的框架在图像质量、文本对齐和常用的CFG尺度上展现了平衡的性能。 总之,HyperHuman框架引入了一种新的生成超逼真人类图像的方法,克服了连续性和自然性方面的挑战。它利用HumanVerse数据集和潜在结构扩散模型生成高质量、多样化和与文本对齐的图像。该框架的结构引导的精细调节器提高了视觉质量和分辨率。与以前的模型相比,它在超逼真人类图像生成方面具有卓越的性能和鲁棒性。未来的研究可以探索使用像LLMs这样的深度先验来实现文本到姿势的生成,从而消除对身体骨骼输入的需要。

Leave a Comment

利用两阶段的亚马逊Rekognition自定义标签模型进行高分辨率图像缺陷检测

高分辨率图像在当今世界非常普遍,从卫星图像到无人机和数码单反相机通过这些图像,我们可以捕捉自然灾害造成的损害,制造设备中的异常情况,或者非常小的缺陷,比如印刷电路板(PCB)或半导体上的缺陷使用高分辨率图像构建异常检测模型可能具有挑战性[…]

Leave a Comment

Gradio-Lite:无服务器的Gradio完全在您的浏览器中运行

Gradio是一个流行的Python库,用于创建交互式机器学习应用程序。传统上,Gradio应用程序依赖于服务器端基础设施来运行,这对于需要托管其应用程序的开发人员来说可能是一个障碍。 现在,有了Gradio-lite(@gradio/lite)库,您就可以直接将Gradio带到浏览器中了,它利用了Pyodide来实现。在本文中,我们将探讨@gradio/lite是什么,介绍示例代码,并讨论它为运行Gradio应用程序提供的好处。 什么是@gradio/lite? @gradio/lite是一个JavaScript库,能够直接在您的Web浏览器中运行Gradio应用程序。它利用了Pyodide(用于WebAssembly的Python运行时环境),使得Python代码可以在浏览器环境中执行。通过@gradio/lite,您可以编写常规的Python代码来创建Gradio应用程序,它们可以无需服务器端基础设施,在浏览器中无缝运行。 入门 让我们使用@gradio/lite构建一个“Hello World” Gradio应用程序 1. 导入JS和CSS 首先,创建一个新的HTML文件(如果还没有),使用以下代码导入与@gradio/lite包相对应的JavaScript和CSS: <html> <head> <script type=”module” crossorigin src=”https://cdn.jsdelivr.net/npm/@gradio/lite/dist/lite.js”></script> <link rel=”stylesheet” href=”https://cdn.jsdelivr.net/npm/@gradio/lite/dist/lite.css” /> </head></html> 请注意,通常应使用最新版本的@gradio/lite。您可以在这里查看可用的版本。 2. 创建<gradio-lite>标签…

Leave a Comment

让机器有思考能力:纽约大学教授谈论负责任的人工智能

人工智能现在已经成为一个家喻户晓的术语。负责任的人工智能正紧随其后。 纽约大学计算机科学与工程学副教授朱莉娅·斯托扬诺维奇(Julia Stoyanovich)同时也是该大学负责任人工智能中心(Center for Responsible AI)的主任,她希望将“人工智能”和“负责任的人工智能”这两个术语相提并论。 在 NVIDIA 的最新一期AI Podcast中,主持人诺亚·克拉维茨(Noah Kravitz)与斯托扬诺维奇就负责任人工智能、她的倡导工作以及人们如何提供帮助进行了探讨。 斯托扬诺维奇在负责任人工智能中心的工作一开始是基础研究。她很快意识到需要的是更好的防护措施,而不仅仅是更多的算法。 随着人工智能的潜力的增长和围绕其使用的伦理问题的关注,斯托扬诺维奇澄清道,“责任”在于人们,而不是人工智能。 她说:“责任是指个人和集体在决定是否构建人工智能系统以及如何构建、测试、部署和监管它方面的责任。” 她还补充说,人工智能伦理是一个相关问题,指的是“将道德价值观和原则浸入到人工智能的设计、开发和使用中”。 立法者们已经注意到了这一点。例如,纽约最近实施了一项法律,使求职候选人的筛选过程更加透明。 斯托扬诺维奇表示,“这项法律并不完美”,但只有通过尝试规范并与“受影响的人们”在一起公开讨论,我们才能学会如何监管某事物。 斯托扬诺维奇希望有两件事情实现:让人们认识到人工智能无法预测人类的选择,并且要求人工智能系统具有透明性和问责制,带有“营养标签”。 她说,这个过程应该包括考虑谁在使用人工智能工具,它们如何用于决策和谁要接受这些决策。 斯托扬诺维奇敦促人们“开始要求行动和解释”,了解在地方、州和联邦层面上如何使用人工智能。 她说:“我们需要教会自己帮助别人了解人工智能是什么,为什么我们应该关心。”她还说:“请参与我们如何治理自己的过程,因为我们生活在一个民主社会。我们必须站出来。” The AI Podcast让机器变得有意识: 纽约大学教授谈论负责任人工智能…

Leave a Comment

评估生成AI的社会和伦理风险

生成式人工智能系统已经被用于撰写书籍、创建图形设计、协助医疗从业者,并且能力越来越强要确保这些系统的负责开发和部署,需要仔细评估其可能产生的伦理和社会风险在我们的研究中,我们提出了一个评估人工智能系统社会和伦理风险的三层框架这个框架包括对人工智能系统能力、人机交互和系统影响的评估我们还对当前的安全评估状况进行了梳理,并找到了三个主要的差距:背景、具体风险和多模态性为了弥补这些差距,我们呼吁重新利用现有的评估方法来评估生成式人工智能,并实施综合评估方法,就像我们在误导信息案例研究中所做的那样这种方法将如何可能提供错误信息的人工智能系统与人们如何使用该系统以及在什么背景下使用的洞见结合起来多层次的评估可以得出关于模型能力以外的结论,指示出是否实际发生和传播了伤害,例如误导信息要使任何技术正常运行,必须解决社会和技术挑战因此,为了更好地评估人工智能系统的安全性,必须考虑这些不同层次的背景在这里,我们构建在先前研究的基础上,识别了大规模语言模型的潜在风险,如隐私泄露、工作自动化、误导信息等,并引入了一种全面评估这些风险的方法

Leave a Comment

(Note The translation may vary depending on the specific context and preferences, as well as the desired formality level.)

国际自然保护联盟(IUCN)启动了多个项目,以保护野生动物其中一项努力导致了一个高质量的全球地理空间数据库,其中包含了栖息地…

Leave a Comment

《在Langchain中使用链条的综合指南》

介绍 迈入语言处理的前沿!在语言成为人类与技术之间的重要纽带的领域中,自然语言处理取得了一些非凡的成就。在这一进展中,有一项具有突破性意义的大型语言模型,它正在重塑我们与基于文本的信息的互动方式。在这个全面的学习之旅中,你将深入了解 LangChain,这是一种前沿工具,正在重新塑造我们与基于文本的信息的互动方式。你是否曾经想过,“Langchain”是什么链条? LangChain作为大型语言模型领域的门户独树一帜,它提供了深入理解这些模型如何将原始输入转化为精细和类似人类回答的能力。通过这种探索,你将揭开 LangChain 的基本构建模块,从LLMChain和Sequential Chains到Router Chains的复杂运作。 学习目标 了解 LangChain 的核心组成部分,包括LLMChains和Sequential Chains,看看输入是如何在系统中流动的。 学会以连贯的方式整合不同的元素,探索提示模板和语言模型之间的联系。 获得在实际任务中创建功能性链条的实际经验。 培养通过微调结构、模板和解析技术来提高链条效率的技能。 本文是“数据科学博文马拉松”的一部分。 什么是LLM? 大语言模型(LLM)是一种旨在理解和生成类似人类文本的人工智能类型。这些模型(如OpenAI的GPT-3.5)通过训练大量文本数据来了解人类语言的模式和结构。它们可以执行各种与语言相关的任务,包括翻译、内容生成、回答问题等。 LLMs是自然语言处理中宝贵的工具,广泛应用于聊天机器人、内容生成和语言翻译等领域。 什么是LangChain? 在我们揭开 LangChain Chains 的复杂性之前,让我们先理解…

Leave a Comment