Press "Enter" to skip to content

Category: 机器学习

使用自然语言处理(NLP)和引导法探索性别平等的研究

介绍 NLP(自然语言处理)可以帮助我们理解大量的文本数据。不需要手动阅读大量文档,我们可以利用这些技术加快理解速度,快速获得主要信息。在这篇博文中,我们将深入探讨如何使用Python中的pandas数据框和NLP工具,通过使用Elicit,对在阿富汗进行性别平等研究时人们的写作内容有一个了解。这些见解可能有助于我们理解在过去几十年中,在一个被认为是对女性或女孩来说最困难的地方之一的国家,为促进性别平等所做的工作和未能取得的成果(世界经济论坛,2023年)。 学习目标 掌握处理CSV文件中的文本分析。 了解如何在Python中进行自然语言处理。 开发有效数据可视化的沟通技巧。 深入了解阿富汗性别平等研究的演变。 本文是数据科学博文马拉松的一部分。 使用Elicit进行文献综述 为了生成底层数据,我使用了Elicit,一款用于文献综述的AI工具(Elicit)。我让这个工具生成与问题“为什么阿富汗的性别平等失败了?”相关的论文列表。然后,我以CSV格式下载了结果列表(我考虑了150多篇论文的随机数量)。这些数据是什么样的?让我们来看一看! 在Python中分析来自Elicit的CSV数据 我们首先将CSV文件读入pandas数据框中: import pandas as pd #识别路径和CSV文件 file_path = ‘./elicit.csv’ #读入CSV文件 df = pd.read_csv(file_path) #CSV的形状…

Leave a Comment

Google AI开源Flan-T5:一种基于Transformer的语言模型,使用文本到文本的方法进行自然语言处理任务

大型语言模型,例如PaLM、Chinchilla和ChatGPT,为从阅读教学线索执行自然语言处理(NLP)任务开辟了新的可能性。先前的研究表明,指令调整,即在各种带有指令的NLP任务上微调语言模型,进一步提高了语言模型在给定指令的情况下执行未知任务的能力。通过比较它们的微调过程和策略,本文评估了开源指令泛化倡议的方法和结果。 该工作关注指令调整方法的细节,对各个因素进行剔除并直接进行比较。他们在“Flan 2022 Collection”中确定并评估了方法论改进,该术语用于数据收集以及适用于数据和指令调整过程的方法,重点关注将Flan 2022与PaLM 540B结合的新兴和最先进的结果。Flan 2022 Collection目前是公开可用的最全面的指令调整作业和技术集合,它已经通过数千个高级模板和更好的格式模式进行了扩充。 他们证明,在所有评估的评估基准上,训练在该集合上的模型优于其他公开集合,包括原始的Flan 2021、T0++、Super-Natural Instructions和OPT-IML的当代工作。对于具有相同大小的模型,MMLU和BIG-Bench Hard评估基准上的改进分别达到4.2%+和8.5%。根据对Flan 2022方法的分析,这些稳健的结果是由于更大更多样的任务集合以及用于微调和数据增强的几种简单策略。特别是,使用零样式、少样式和思考链的模板进行训练改善了所有这些上下文中的性能。 例如,少样式提示的增加10%可以将零样式提示的结果提高2%或更多。此外,已经证明,通过倒置输入-输出对,在任务来源的平衡和任务多样性的增强方面都对性能至关重要。在单任务微调中,得到的Flan-T5模型收敛更快,表现优于T5模型,表明经过指令调整的模型为后续应用提供了更具计算效率的起点。他们预计,公开提供这些结果和工具将简化用于指令定制的可用资源,并加快更通用的语言模型的发展。 本研究的主要贡献如下列举:• 方法论:证明混合使用零样式和少样式提示进行训练在两种环境中都能产生显著优越的结果。• 测量和展示有效指令调整的关键方法,包括缩放第3.3节,使用输入倒置增强任务多样性,添加思考链训练数据以及平衡各种数据来源。• 结果:这些技术决策相对于现有的开源指令调整集合,提高了保留任务性能3-17% • 发现:Flan-T5 XL为单任务微调提供了更稳健和有效的计算起点。• 公开提供新的Flan 2022任务集合、模板和研究方法供公众使用。源代码可在GitHub上获取。

Leave a Comment

什么是大型语言模型(LLMs)?LLMs的应用和类型是什么?

被称为大型语言模型的计算机程序为软件提供了分析和创建文本的新选项。大型语言模型通常使用千兆字节甚至更多的文本数据进行训练,使其大小达到几十兆字节。模型的参数是从先前的训练数据中学到的组件,从本质上来说,它们确定了模型在任务(如文本生成)上的熟练程度。自然语言处理(NLP)活动,包括语音转文字、情感分析、文本摘要、拼写检查、令牌分类等,都依赖于语言模型作为其基础。语言模型可以分析文本并预测大多数自然语言处理任务中下一个令牌出现的可能性。Unigram、N-gram、指数和神经网络都是语言模型的有效形式。 LLM的应用 下图总结了目前大型语言模型(LLM)的功能、产品和支持软件方面的现状。 图片来源:https://cobusgreyling.medium.com/the-large-language-model-landscape-9da7ee17710b Shell命令生成 下一代终端Warp利用GPT-3将自然语言转化为可执行的shell指令,类似于GitHub Copilot,但用于终端。 即使对于经验丰富的程序员来说,shell命令的语法可能也需要解释。 正则表达式生成 开发人员编写正则表达式是一项耗时的任务,然而Autoregex.xyz利用GPT-3自动化这个过程。 文案撰写 这项任务最常用的模型是GPT-3,但也有开源替代方案,如BigScience的BLOOM和Eleuther AI的GPT-J。Copy ai、Copysmith、Contenda、Cohere和Jasper ai是在这一领域开发应用程序的一些初创公司,它们的工具可以更快、更轻松地编写博客文章、销售内容、数字广告和网站文案。 分类 将文本分类到预定类别是一种监督学习的例子。通过使用聚类这种无监督学习技术,可以将具有相似含义的文本聚类在一起,而无需使用预定义的类别。 回应生成 回应生成是使用示例对话生成对话流的思路,并采用机器学习方法。在这种方法中,下一次呈现给用户的对话取决于模型,考虑到用户的过去回答和最有可能的未来对话,这被称为预测式对话。 文本生成 LLM的能力从简要描述中生成测试,无论是否有示例数据,都可以被视为其“元能力”。 几乎所有LLM都能扮演生成的角色。少样本学习数据不仅显著提升了生成能力,而且数据的构造也影响着数据的使用方式。 知识回答 知识回答是知识密集型自然语言处理(KI-NLP)的应用,它允许对通用和跨领域的问题进行回答,而无需查询应用程序接口(API)或依赖传统的知识存储。 知识密集型自然语言处理不是网络搜索,而是基于语义搜索的知识库。…

Leave a Comment

一种新的人工智能(AI)研究方法将基于提示的上下文学习作为一种从统计角度看待的算法学习问题

上下文学习是一种最近的范式,其中一个大型语言模型(LLM)观察一个测试实例和一些训练示例作为其输入,并直接解码输出,而不对其参数进行任何更新。这种隐式训练与通常的训练相反,通常的训练会根据示例来改变权重。 来源: https://arxiv.org/pdf/2301.07067.pdf 那么为什么上下文学习会有益呢?你可以假设你有两个回归任务要建模,但唯一的限制是你只能使用一个模型来适应这两个任务。在这种情况下,上下文学习非常有用,因为它可以为每个任务学习回归算法,这意味着模型将为不同的输入集使用单独的适应回归。 在“Transformers as Algorithms: Generalization and Implicit Model Selection in In-context Learning”这篇论文中,他们将上下文学习问题形式化为一个算法学习问题。他们使用transformer作为学习算法,在推理时通过训练来实现另一个目标算法。在这篇论文中,他们通过transformer探索了上下文学习的统计学方面,并进行了数值评估以验证理论预测。 在这项工作中,他们研究了两种情况,第一种情况是提示由一系列i.i.d(输入、标签)对组成,而第二种情况是一个动态系统的轨迹(下一个状态取决于前一个状态:xm+1 = f(xm) + noise)。 现在问题来了,我们如何训练这样的模型? 在ICL的训练阶段,T个任务与数据分布 {Dt}t=1T相关联。他们从对应分布中独立采样训练序列St。然后他们从序列St中选择一个子序列S和一个值x,对x进行预测。这就像元学习框架一样。预测之后,我们最小化损失。ICL训练背后的直觉可以解释为在寻找适应当前任务的最优算法。 接下来,为了获得ICL的泛化界限,他们从算法稳定性文献中借用了一些稳定性条件。在ICL中,提示中的训练示例影响到从那一点起算法的未来决策。因此,为了处理这些输入扰动,他们需要对输入施加一些条件。您可以阅读[论文]以获取更多细节。图7显示了对学习算法(这里是Transformer)稳定性进行实验评估的结果。 来源:…

Leave a Comment

Salesforce推出XGen-7B:一个新的7B LLM,使用高达8K序列长度进行1.5T令牌训练

随着人工智能在技术上的突破,大型语言模型(LLMs)变得越来越普遍。在过去几年中,研究人员通过在大量数据上训练这些模型以理解复杂的语言模式、生成连贯的回答等方式,在解决几个复杂的语言相关任务方面取得了快速进展。其中一个特别引起研究人员和开发人员兴趣的研究领域是在处理长篇内容时应用LLMs,以包含更广泛的上下文。这些任务的一些例子包括相对简单的文本摘要和代码生成,以及更复杂的问题陈述,如蛋白质结构预测和信息检索。长文本序列包含各种形式的信息,如段落、表格、图片等;因此,LLMs必须经过训练来处理和理解这些元素。此外,通过有效考虑长距离的结构依赖关系,LLMs可以识别文本的不同部分之间的联系,并提取最相关的信息。因此,对更广泛的知识的接触使LLMs能够为用户查询提供更准确和有关上下文的答案。 然而,尽管存在许多潜在的用例,大多数可用的开源LLMs,从Meta的LLaMA到MosaicML的MPT LLM模型,都是在最多2K个标记的序列上进行训练的。这一限制在对更长序列进行建模时带来了重大挑战。此外,以前的模型扩展研究表明,当给定一个固定的计算预算时,较小的模型在训练更多标记的情况下表现优于较大的模型。因此,受到手头问题和当前进展的启发,Salesforce Research通过引入XGen-7B取得了突破性的成就,这是一系列在1.5万亿个标记的8K序列长度上训练的7B LLMs。这一系列模型包括支持4K序列长度的XGen-7B-4K-Base,支持8K序列长度的XGen-7B-8K-Base,以及在公共领域指导数据上进行了微调的XGen-7B-8k-Inst(仅用于研究目的)。这些LLMs的显著特点是,与其他类似规模的最新LLMs(如MPT、Falcon、LLaMA等)相比,在标准NLP基准测试中,XGen取得了相当或更好的结果。 本研究所使用的XGen-7b模型是使用Salesforce的专有库JaxFormer进行训练的,该库可以利用数据和模型的并行性在TPU-v4硬件上进行高效训练。训练过程遵循LLaMA的指导方针,并进行了两项额外的研究。第一项探索集中在理解“损失峰值”,即在训练过程中,损失会突然而暂时地增加,而没有明显的根本原因。尽管这些峰值的根本原因尚不清楚,但研究人员确定了“顺序过并行电路”、“swish-GLU过GeLU”和“RMS-Norm过Layer-norm”等因素可能导致训练不稳定。第二个方面是序列长度。由于使用更长的序列进行训练会导致计算成本显著增加,因为自注意力的复杂度是二次的,因此采用了分阶段训练的方法。训练最初包括800B个标记,序列长度为2k个标记,然后是400B个标记,序列长度为4k,最后是300B个标记,序列长度为8k。 为了评估XGen-7b 8k模型在理解更长上下文方面的能力,研究人员使用三个主要任务进行评估:长篇对话生成、文本摘要和问答。研究人员针对所面临任务的难度使用了经过指导调整的模型进行评估。关于长篇对话生成,研究人员使用了三个任务进行评估:AMI会议摘要、ForeverDreaming和TVMegaSite剧本摘要。在所有指标上,XGen-7B-inst模型的得分最高,相比其他经过指导调整的模型,表现出了更好的性能。 对于长篇问答,研究人员使用ChatGPT生成了基于维基百科文档的问题,涵盖了物理学、工程学、历史学和娱乐等各种主题,以及它们对应的摘要。使用GPT-4对LLM生成的256个标记长的答案进行评估,评估标准包括结构、组织和与问题及源文档的相关性。在这种情况下,XGen-7B-8k-Inst模型胜过了只能处理2k个标记的基准模型,展示了其卓越的性能。在文本摘要方面,研究人员使用来自不同领域的两个数据集,具体是会议对话和政府报告,来评估XGen-7b模型。结果显示,XGen-7b模型在这些任务中明显优于其他基准模型,表明其在文本摘要方面的卓越性能。 评估结果显示,XGen-7b模型在理解各种任务中的较长上下文方面表现出色,包括长篇对话生成、问答和文本摘要。其性能超越了其他经过指导和基准调整的模型,展示了其在理解和生成连贯响应方面的有效性。然而,尽管其效果显著,研究人员承认XGen模型存在一定限制,因为它不能免于偏见,并有可能生成有害的响应,这是它与许多其他AI模型共同的特点。Salesforce研究还开源了其代码,以便社区探索其工作。 查看SF博客和Github链接。别忘了加入我们的2.5万+ ML SubReddit、Discord频道和电子邮件通讯,我们会分享最新的AI研究新闻、酷炫的AI项目等等。如果对上述文章有任何问题或者我们遗漏了什么,请随时发送邮件至Asif@marktechpost.com与我们联系。

Leave a Comment

转变AI互动:LLaVAR在视觉和基于文本的理解方面表现出色,标志着多模态指令跟踪模型的新时代

通过将多个活动合并为一条指令,指令调整增强了对新任务的泛化能力。这种对开放式问题的回应能力为最近的聊天机器人爆发做出了贡献,因为ChatGPT 2。最近,像CLIP-ViT这样的视觉编码器已经作为视觉指令调整模型的一部分添加到会话代理中,从而可以基于图片进行人-代理交互。然而,它们需要帮助理解图片中的文本,可能是由于训练数据中自然图像的占主导地位(例如,Conceptual Captions和COCO)。然而,阅读理解对人类的日常视觉感知至关重要。幸运的是,OCR技术使得能够从照片中识别出文字。 通过将识别到的文本添加到视觉指令调整模型的输入中(较大的上下文长度),可以(天真地)增加计算量,而不完全利用视觉编码器的编码能力。为了做到这一点,他们建议收集需要理解图片中的文字的指令遵循数据,以改进视觉指令调整模型的端到端性能。通过将手动给定的指示(例如,“识别提供的图像中可见的任何文本。”)与OCR结果相结合,他们首先使用文本丰富的图像收集了422K条嘈杂的指令遵循数据。 这些大规模的嘈杂对齐数据显著增强了语言解码器和视觉特征之间的特征对齐。此外,他们要求仅使用OCR结果和图像标题作为如何遵循指令的高质量示例,让纯文本GPT-4生成16K个对话。每个对话可能包含多轮的问答对。为了根据输入产生复杂的指令,这种方法要求GPT-4对OCR数据进行去噪,并创建独特的问题(图1)。他们使用获得的数据评估了LLaVA的预训练和微调阶段,分别使用嘈杂和高质量的示例来评估数据的有效性。 图1显示了如何收集关于遵循指令的准确统计数据。| https://arxiv.org/pdf/2306.17107.pdf 来自乔治亚理工学院、Adobe研究和斯坦福大学的研究人员开发了LLaVAR,即能够阅读的大型语言和视觉助手。为了更好地编码细微的文本特征,他们在原始LLaVA的基础上将输入分辨率从2242提高到3362进行了实验。根据评估技术,他们与四个基于文本的VQA数据集以及ScienceQA微调结果一起给出了研究结果。此外,他们在基于GPT-4的指令遵循评估中使用了来自LAION的50张文本丰富图片和来自COCO的30张自然图片。此外,他们还提供了定性分析,以衡量更复杂的指令遵循能力(例如海报、网站截图和推文)。 总之,他们的贡献包括: • 他们收集了16K条高质量和422K条嘈杂的指令遵循数据。两者都被证明可以改善视觉指令调整。这种改进的能力使得他们的模型LLaVAR能够基于多样的在线材料(包括文本和图片)进行端到端交互,同时仅在自然照片上略微提高模型的性能。 • 训练和评估数据以及模型里程碑都已公开提供。 这篇文章的英文原文发表在MarkTechPost网站上。

Leave a Comment

瑞士苏黎世联邦理工学院和马克斯·普朗克研究所的研究人员提出了HOOD:一种利用图神经网络、多级消息传递和无监督训练来实现高效预测逼真服装动力学的新方法

遠程會議、虛擬試穿、視頻遊戲等許多依賴於高保真數字人類的應用都需要模擬具有吸引力和逼真的服裝行為能力。基於物理法則的模擬是生成自然動態運動的一種常用方法。儘管物理模擬可以提供驚人的結果,但計算成本高、對初始情況敏感,並且需要有經驗的動畫師;頂尖的方法不能滿足實時應用所需的嚴格計算預算。基於深度學習的技術開始產生高效且高質量的結果。 然而,迄今為止,一些限制阻礙了這些方法充分發揮潛力。首先,目前的技術主要通過身體姿勢計算服裝變形並依賴線性混合蒙皮。雖然基於蒙皮的計劃可以為緊身衣物(如襯衫和運動服)提供令人印象深刻的結果,但對於連衣裙、裙子和其他寬鬆服裝等不完全模仿身體運動的服裝,它們需要幫助。重要的是,許多頂尖的基於學習的技術是特定於服裝的,只能預測捕捉到的特定服裝的變形。應用受到每件服裝都需要重新訓練這些技術的限制。 本研究由ETH蘇黎世聯邦理工學院和智能系統馬克斯·普朗克研究所的研究人員提供了一種獨特的方法,用於預測動態服裝變形的圖神經網絡(GNN)。通過對局部變形、壓力和加速度之間的關係進行邏輯推斷,他們的方法學習預測物理逼真的布料行為。由於其局部性,他們的方法直接推廣到任意身體形狀和運動,與服裝的整體結構和形狀無關。儘管GNN在取代基於物理的模擬方面表現出潛力,但將此思想應用於服裝模擬會產生不滿意的結果。使用GNN(實現為MLP)將給定網格的特徵向量和其一環鄰域進行本地轉換,然後使用每個轉換的消息來更新特徵向量。此過程的循環使信號在整個網格中傳播。然而,固定數量的消息傳遞階段將信號傳輸限制在一定半徑內。在建模服裝時,彈性波通過拉伸迅速流經材料,這導致頂點之間具有准全局和瞬間的長程耦合。步驟太少會減慢信號傳輸速度,並產生令人不舒服的過度拉伸瑕疵,使服裝看起來不自然且有彈性。增加計算時間是愚蠢地增加迭代的代價。 由於無法事先知道模擬網格的最大大小和分辨率,以便選擇保守且適當高的迭代次數,這只會加劇這個問題。他們建議在分層網絡上進行消息傳遞系統,交替在不同解析度的傳播階段中解決此問題。這允許在大尺寸下有效處理由於硬拉伸模態引起的快速移動波,同時在更細的尺度上提供描述褶皺和皺紋等局部細節所需的關鍵。通過測試,他們展示了他們的圖表示如何在相同的計算預算下提高預測。 通過採用隱式時間步進的增量潛力作為損失函數,他們將基於圖的神經網絡的思想與不同的模擬方法結合起來,以增加他們方法的泛化能力。由於這種形式,他們不再需要任何地面真實(GT)註釋。這使得他們的網絡可以完全無監督地訓練,同時學習多尺度服裝動力學、材料參數的影響、碰撞反應以及與底層身體的摩擦接觸。圖形表示還使我們能夠模擬運動中的襯衫解扣和具有不同和變化的拓撲的服裝。 他們的HOOD方法結合了圖神經網絡、多層消息傳遞和無監督訓練,可以實時預測各種服裝風格和身體類型的逼真服裝動態。他們實驗性地證明,與頂尖方法相比,他們的方法在靈活性和廣泛性方面具有戰略優勢。特別是,他們展示了單一訓練網絡: 有效預測了各種服裝的物理逼真動態運動。 對於在訓練期間未見過的新款式和形狀具有泛化能力。 允許運行時更改材料屬性和服裝尺寸。 支持開啟拉鍊或解扣襯衫等動態拓撲變化。 研究人員已在GitHub上提供了模型和代碼,供研究使用。

Leave a Comment

谷歌DeepMind正在研发一种算法,以超越ChatGPT

在一项具有突破性的宣布中,Google的DeepMind AI实验室的首席执行官Demis Hassabis揭示了一种名为Gemini的创新型AI系统的开发。凭借即将推出的算法,Gemini将超越OpenAI的ChatGPT,利用DeepMind在围棋领域的历史性胜利中获得的技术。这一揭示标志着人工智能领域的一个重要里程碑,承诺提供增强的功能和新颖的进展。让我们深入探讨这一革命性的发展及其对人工智能未来的潜在影响。 Gemini:人工智能技术的下一个飞跃 DeepMind的创新性AI系统Gemini已经成为人工智能领域的一项创举。Gemini在AlphaGo的卓越成就基础上,将DeepMind的先进技术与GPT-4的语言能力相结合,超越了OpenAI的ChatGPT的能力。这种优势的融合使Gemini成为一种有前景的创新,有望重新定义人工智能领域。 合并优势:AlphaGo和GPT-4的协同作用 通过将AlphaGo的强大技术融入GPT-4模型中,Gemini超越了传统语言模型的局限性。Gemini独特的语言能力和问题解决能力的结合承诺革新人工智能。DeepMind的首席执行官Demis Hassabis设想了一个在理解和生成文本以及规划和解决复杂问题方面表现出色的系统。 还阅读:DeepMind首席执行官表示AGI可能很快实现 揭示创新:Gemini的令人兴奋的特点 Gemini将引入许多令人兴奋的功能,推动人工智能能力的边界。通过融合AlphaGo类型的系统和大型语言模型,Gemini带来了人工智能潜力的新时代。DeepMind的工程师还暗示了Gemini内部的一些有趣创新,进一步加剧了对其正式发布的期待。 强化学习:AlphaGo成功的基础 强化学习技术的突破性应用是AlphaGo历史性胜利的核心。DeepMind的软件通过多次尝试并根据表现获得反馈来掌握复杂问题。此外,AlphaGo还利用一种称为树搜索的方法,在棋盘上探索和记住潜在的走法。这一基础为Gemini的未来发展奠定了基础。 还阅读:强化学习的综合指南 正在进行的旅程:Gemini的开发 尽管Gemini仍处于开发阶段,但Hassabis强调了这个项目所涉及的巨大工作和投入。DeepMind的团队估计,将需要数个月和大量的财力资源(可能达到数千万或数亿美元)来实现Gemini的成功。这项工作的重要性凸显了Gemini潜在影响的重要性。 应对竞争:谷歌的战略回应 随着OpenAI的ChatGPT获得关注,谷歌迅速回应,将生成型人工智能整合到其产品中,推出聊天机器人Bard,并将人工智能纳入其搜索引擎。通过将DeepMind与谷歌的主要人工智能实验室Brain合并成为Google DeepMind,这家搜索巨头试图利用Gemini的能力应对ChatGPT所带来的竞争威胁。这一战略举措凸显了谷歌在人工智能创新领域保持领先地位的承诺。 还阅读:Chatgpt-4与Google Bard的对比 DeepMind的旅程:从收购到惊艳 DeepMind于2014年被谷歌收购,标志着人工智能研究的一个转折点。这家公司靠着强化学习驱动的革命性软件展示了以前难以想象的能力。AlphaGo在2016年对阵围棋冠军李世石的巨大胜利震惊了人工智能界,挑战了人们对于在复杂游戏中达到人类水平技能时间表的预设观念。 还阅读:DeepMind的AI大师:在2小时内学习26个游戏 Transformer训练:大型语言模型的支柱…

Leave a Comment

使用QLoRA在Amazon SageMaker Studio笔记本上交互式地微调Falcon-40B和其他LLMs

对大型语言模型(LLM)进行微调可以让您调整开源基础模型,以在特定领域的任务中实现更好的性能在本文中,我们讨论了使用Amazon SageMaker笔记本进行微调最先进的开源模型的优势我们利用了Hugging Face的参数高效微调(PEFT)库和通过bitsandbytes支持交互式微调的量化技术

Leave a Comment

微软研究员推出KOSMOS-2:一种能够与视觉世界相连接的多模态大语言模型

多模态大型语言模型(MLLMs)在各种活动中已经展示了成功,包括语言、视觉和视觉语言任务。在零样本和少样本条件下,MLLMs可以感知文本、图片和音频等通用模态,并使用自由形式的文本生成答案。在本研究中,它们使多模态大型语言模型具备自我定位的能力。对于视觉语言任务,定位能力可以提供更实用和有效的人工智能界面。该模型可以解释图片区域及其地理坐标,让用户可以直接指向图像中的物品或区域,而不是输入冗长的文本描述来引用它。 图1:展示了使用KOSMOS-2生成的选定样本。视觉定位、定位问题回答、使用边界框的多模态引用、定位图片字幕和视觉定位都是一些例子。 该模型的定位功能还使其能够提供视觉响应(即边界框),这可以帮助其他视觉语言任务,如理解指代表达式。与仅基于文本的响应相比,视觉响应更精确,能够消除指代模糊。生成的自由形式文本响应的定位能力可以将名词短语和指代术语与图片区域连接起来,以产生更准确、丰富和详尽的响应。微软研究的研究人员介绍了具备定位能力的多模态大型语言模型KOSMOS-2,该模型基于Transformer通过下一个单词预测任务进行训练。 他们构建了一个基于网络规模的数据集,其中包含了图片和文本的定位配对,并将其与KOSMOS-1中的多模态语料库进行整合,以充分利用定位的潜力训练模型。定位的图片和文本配对是来自LAION-2B和COYO-700M的子集。他们提供了一个流程,从字幕中提取和连接文本片段(如名词短语和指代表达式)到图片中相应对象或区域的空间位置(如边界框)。他们将边界框的地理坐标转化为一串位置标记,并在相应的文本片段之后添加。数据格式充当了将图像元素与字幕链接起来的“超链接”。 实验结果表明,KOSMOS-2在定位任务(短语定位和指代表达理解)和指代任务(指代表达式生成)上表现优秀,并且在KOSMOS-1评估的语言和视觉语言任务上也表现出竞争力。图1说明了通过定位功能,KOSMOS-2可以用于更多的下游任务,如定位图片字幕和定位视觉问题回答。GitHub上提供了在线演示。

Leave a Comment

2023年要关注的十位人工智能影响者

介绍 在一个由尖端技术和令人难以置信的可能性驱动的世界中,跟上不断发展的人工智能领域既令人兴奋又至关重要。当我们踏入充满希望的2023年时,是时候踏上一段令人激动的旅程,探索最具影响力和远见卓识的人工智能先驱者们的思想。系好安全带,准备好见证2023年跟随的十大人工智能影响者,这些前卫的思想家和创造者正在塑造人工智能领域的格局,推动着可能性的界限。 从突破性的研究到引人入胜的见解,这些人工智能影响者是指引你穿越令人兴奋的人工智能世界的明星。所以,拿起你的虚拟笔记本,系好安全带,因为我们即将踏上一场关于当代最聪明的人工智能思想家思维的激动人心的探索之旅。准备好在2023年及以后重新定义人工智能未来的那些有远见的人们的启发、信息和赋能。 但在你深入阅读这个前十名单之前,我们想向你介绍一个令人惊叹的机会,让你开阔视野,提升技能。我们为所有数据科学和人工智能爱好者提供了一个独家邀请,参加备受期待的2023年DataHack峰会。这一盛事将于8月2日至5日在班加罗尔著名的NIMHANS会议中心举行。这个活动将提供丰富的实践学习、宝贵的行业洞察和无与伦比的网络机会。在这里查看有关DataHack Summit 2023的更多信息,并加入我们的数据革命。 人工智能影响者的定义 人工智能影响者是通过他们的专业知识、思想领导力和贡献在人工智能领域获得认可和影响力的个人。他们积极与人工智能社区互动,并利用社交媒体平台。 人工智能影响者并不局限于单一的社交媒体平台。除了Instagram之外,他们在Twitter、YouTube、LinkedIn和博客等各种平台上都拥有强大的存在感,以分享关于人工智能的见解、研究成果、行业趋势和发人深省的内容。这些影响者拥有庞大的粉丝群体,并与他们的听众互动,促进讨论,提供指导,并激发人工智能领域的创新。从组织黑客马拉松到进行直播编码会议,这些影响者展示了他们的专业知识,并获得了显著的人气和关注。他们的互动会议和活动为人才迸发提供了宝贵的学习机会,鼓励有抱负的人工智能专业人士提升他们的技能,并与最新的进展保持同步。 人工智能影响者在人工智能领域的重要性 人工智能影响者在人工智能领域的重要性不容忽视。他们在以下几个方面发挥着关键作用: 知识传播 人工智能影响者帮助向广大受众传播知识、洞见和行业更新。他们简化复杂的人工智能概念,使其更易于被有抱负的人工智能专业人士、爱好者甚至普通大众所理解。 引领潮流和意见领袖 人工智能影响者通常对最新的人工智能趋势、突破和技术了如指掌。他们的观点和建议具有重要影响力,可以影响人工智能研究、应用和行业实践的方向。 网络和合作 人工智能影响者为人工智能社区提供了一个网络和合作的平台。他们连接专业人士、研究人员和组织,促进了一个加速创新、推动人工智能技术发展的合作环境。 值得关注的顶级人工智能影响者 1. Andrew Ng Andrew Ng在Twitter上拥有超过210万的粉丝,他是人工智能社区中的知名人物。他是在线学习平台Coursera和以人工智能为重点的教育平台deeplearning.ai的共同创始人。他曾任百度首席科学家,并创办并领导了“Google Brain”项目,该项目开发了大规模深度学习算法。最近,他继续研究深度学习及其在语音识别和计算机视觉中的应用,包括自动驾驶。 来源:维基百科…

Leave a Comment

LangFlow | 使用LLMs开发应用程序的LangChain用户界面

介绍 大型语言模型席卷全球。随着ChatGPT、GPT3、Bard和其他大型语言模型的出现,开发人员不断使用这些模型来创建新的产品解决方案。每一天都会有一个新的大型语言模型或现有LLM的新版本。跟上这些新版本或新模型可能会有问题,因为人们必须阅读每个大型语言模型的文档。LangChain是一个包装所有不同LLM的库,使事情变得更容易。此外,基于LangChain的UI——LangFlow也被引入,可以直接与之交互和创建应用程序,使事情变得更好。 学习目标 了解LangFlow UI 安装和使用LangFlow 了解LangFlow的内部工作原理 使用LangFlow创建应用程序 通过LangFlow共享创建的应用程序 本文是Data Science Blogathon的一部分。 什么是LangFlow和为什么使用LangFlow? LangFlow是一个基于Python包LangChain和react-flow设计的图形用户界面(UI)。LangChain是一个用于创建大型语言模型应用程序的Python包。它由不同的组件组成,如代理、LLMs、链、内存和提示。开发人员将这些模块链在一起以创建应用程序。LangChain包含几乎所有流行的大型语言模型的包装器。现在,要使用LangChain,必须编写代码来创建应用程序。编写代码有时可能耗时甚至容易出错。 这就是LangFlow的作用。它是基于LangChain的图形用户界面(UI)。它包含LangChain中的所有组件。LangFlow提供了拖放功能,您可以将组件拖放到屏幕上并开始从大型语言模型构建应用程序。它甚至包含了丰富的示例供每个人开始使用。在本文中,我们将介绍这个UI,并看看如何使用它构建应用程序。 让我们从LangFlow开始 现在,我们已经了解了LangFlow是什么,以及它的作用,让我们深入了解其功能,以更好地理解其功能。LangFlow UI适用于JavaScript和Python。您可以选择其中一种并开始使用。对于Python版本,需要在系统中安装Python和LangChain库。 如果您想使用LangFlow,您需要安装以下软件包 pip install langchain pip install langflow…

Leave a Comment

谁来阻止雨水?科学家呼吁气候合作

一组顶尖科学家正在帮助引领计算史上最雄心勃勃的项目之一 —— 建立地球的数字孪生。 彼得·鲍尔、比约恩·斯蒂文斯和弗朗西斯科“帕科”·多布拉斯-雷耶斯一致认为,地球的数字孪生需要支持分辨率高达一公里,以便越来越多的用户可以探索气候变化的风险以及如何适应这些风险。他们表示,这项工作将需要加速计算、人工智能和大量的合作。 他们的巨大努力,其中一些已经使用了NVIDIA的技术,启发了地球2.0项目,这是NVIDIA为共同事业做出的贡献。 “我们将致力于将NVIDIA在计算科学领域的规模和专业知识直接用于与世界气候科学界的合作,投入我们的重要资源,” NVIDIA创始人兼首席执行官黄仁勋在2021年末宣布地球2.0计划时表示。 在前所未有的规模上进行合作 黄仁勋的承诺表明支持像“DestinE”这样的努力,该项目是一个欧洲跨国项目,旨在创建地球的数字孪生。 “可能没有一台单独的计算机足够完成这项工作,因此它需要一个分布式的、国际化的努力,”鲍尔说道。作为欧洲顶级天气预报中心的资深人员,他在这个旨在在2030年前提供全球规模模型的项目中担任领导者。 去年,他与他人合著了一篇《自然》杂志文章,称这项工作“需要前所未有的规模上的合作”。 鲍尔呼吁在新的地球信息系统上进行广泛的国际合作。 在三月的GTC演讲中,鲍尔设想了一个“动员来自多个国家的资源,包括私人机构,而NVIDIA可能是一个非常有趣的机构”的联合体。 彼得·鲍尔 这些资源将使得开发新的数值和机器学习模型成为可能,然后通过大规模推理作业运行这些模型,以进行跨越数十年的预测。 “DestinE”起源于2008年的一次气候会议。它是一系列项目的结晶,其中包括鲍尔在欧洲中程天气预报中心(总部位于英国雷丁)领导的许多项目,该中心开发了世界上一些最先进的天气预报模型。 每天使用一PB的数据 合作的规模很大,因为计算需求非常巨大。 弗朗西斯科·多布拉斯-雷耶斯 “我们每天要产生的数据量可能达到PB级,并且必须能够快速传输,”多布拉斯-雷耶斯说道。他是巴塞罗那超级计算中心地球科学部门的主任,也是政府间气候变化专门委员会的首席作者之一,该委员会负责发布一些关于气候变化的最权威报告,并且是“DestinE”项目的贡献者。 地球的数字孪生项目将颠覆传统的天气和气候预测方法,“让用户成为整个过程的驱动者,”他在NVIDIA的开发者大会GTC上的三月演讲中表示。目标是“让用户能够生成更有用的气候信息,以适应气候变化,”他说。 他的演讲描述了捕捉气候系统复杂特性所需的新模型、工作流程和系统。 阐述愿景 数字孪生的愿景在汉堡的SC20超级计算会议的主题演讲中得以明确,由马克斯·普朗克气象研究所的主任斯蒂文斯发表。他领导了世界顶级的气候应用天气模型之一的工作,以及一个旨在实现千米级分辨率模拟的项目,比目前最好的工作精确度高一个数量级。 “我们需要一种新型的计算能力……用于行星信息系统,让我们能够研究我们的行为和政策的后果,从而建立一个更可持续的未来,”他说。…

Leave a Comment

MosaicML刚刚以Apache 2.0协议发布了他们的MPT-30B

在MosaicML-7B取得巨大成功之后,MosaicML再次超越了他们之前设定的基准。在这个新的突破性发布中,MosaicML推出了MosaicML-30B。 MosaicML是一个非常精确和强大的预训练transformer。MosaicML声称,MosaicML-30B甚至比ChatGPT3更好。 MosaicML-30B发布之前,MosaicML-7B已经席卷了人工智能界。MPT-7B的基础指导、基础聊天和故事创作都取得了巨大的成功。公司声称,这些模型在全球下载了300多万次。推动MosaicML推出更好的引擎(如MPT-30B)的最大原因之一是社区对他们之前发布的模型的热衷。 令人难以置信的是,社区如何运用这些MPT引擎构建出更好的调整并提供具体的使用案例。一些有趣的案例包括LLaVA-MPT。LLaVa-MPT将视觉理解添加到预训练的MPT-7B中。 类似地,GGML优化MPT引擎以在Apple Silicon和CPU上更好地运行。GPT4ALL是另一个使用案例,它让您使用MPT作为基础引擎运行类似于GPT4的聊天选项。 仔细观察,MosaicML能够给大公司带来激烈竞争和更好的替代品的最大原因之一是他们提供的竞争性特性列表以及他们的模型相对于不同用例的适应性和相对简单的集成。 在这个发布中,MosaicML还声称他们的MPT-30B比现有的ChatGPT3表现更好,但使用的参数数量只有ChatGPT的三分之一,使其成为相对于现有生成解决方案来说非常轻量级的模型。 它比MosaicML现有的MPT-7B更好,并且这个MPT-30B可以在商业许可下进行商业使用。 不仅如此,MPT-30B还带有两个预训练模型,即MPT-30B-Instruct和MPT-30B-Chat,这两个模型能够受到单个指令的影响,并且能够进行较长时间的多轮对话。 它之所以更好的原因还有很多。MosaicML设计MPT-30B采用自下而上的方法,确保每个移动部件都能更好地执行和更高效地运行。MPT-30B通过8k个标记上下文窗口进行训练。它通过ALiBi支持更长的上下文。 借助FlashAttention,它改进了训练和推断性能。MPT-30B还具备更强的编码能力,这要归功于他们所处理的数据的多样性。该模型在Nvidia的H100上扩展到了8K的上下文窗口。该公司声称,就他们所知,这是在H100上进行训练的第一个LLM模型,而这些模型对于客户来说是随时可用的。 MosaicML还保持了模型的轻量级,这有助于新兴组织降低运营成本。 MPT-30B的大小也是特意选择的,以便在单个GPU上轻松部署。1xA100-80GB以16位精度或1xA100-40GB以8位精度可以运行该系统。其他相当的LLMs,如Falcon-40B,具有更大的参数数量,并且不能在单个数据中心GPU上提供服务(今天);这就需要2个或更多的GPU,从而增加了最低推理系统成本。

Leave a Comment

微软研究院推出phi-1:一款专门针对Python编码的大型语言模型,比竞争模型更小,具有显著的优势

自从Transformer设计被发现以来,训练大型人工神经网络的技术已经取得了巨大进展,但支撑这一成就的科学仍处于萌芽阶段。在Transformer发布的同时,一种秩序感逐渐形成,这种秩序在同一时间的大量复杂结果中展现出来,表明性能随着计算量或网络规模的增加而可预测地提高,这种现象现在被称为缩放定律。这些缩放规则成为后续深度学习规模研究的指南,而对这些定律变化的发现导致了性能的大幅提升。 在本文中,研究者探讨了如何通过不同的方式提高数据质量。高质量的数据可以产生更好的结果;例如,数据清洗是创建当前数据集的关键步骤,可以使数据集相对较小或能够通过更多迭代运行数据。最近针对TinyStories的研究表明,高质量数据的好处远不止于此。通过大幅改变缩放定律,改善数据质量可能使得能够用更瘦的训练/模型匹配大规模模型的性能。 在本研究中,微软研究的作者证明了高质量的数据可以进一步提高大型语言模型的最先进技术,同时显著减少数据集的大小和训练计算量。较小的模型需要更少的训练,可以大大减少LLM的环境成本。他们从文档字符串中构建了特定的Python函数,使用LLM进行编码训练。HumanEval是后一篇论文中建议使用的评估标准,常用于比较LLM在代码上的性能。 他们通过对1.3B参数模型进行大约8次7B令牌(略大于50B总令牌数)的预训练,然后对少于2亿个令牌进行微调,展示了高质量数据违反现有缩放规则的能力。总的来说,他们在“课本质量”的数据上进行预训练,包括人工创造的(使用GPT-3.5)和从网络来源筛选的,然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级,但他们在HumanEval上获得了50.6%的pass@1准确率,在MBPP(Mostly Basic Python Programs)上获得了55.5%的pass@1准确率,这是仅使用一个LLM生成的最佳自我报告数字之一。 通过对1.3B参数模型进行大约8次7B令牌的预训练(观察总令牌数略大于50B),然后对少于2亿个令牌进行微调,他们展示了高质量数据违反现有缩放规则的能力。总的来说,他们在“课本质量”的数据上进行预训练,包括人工创造的(使用GPT-3.5)和从网络来源筛选的,然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级,但他们在HumanEval上获得了50.6%的pass@1准确率,在MBPP(Mostly Basic Python Programs)上获得了55.5%的pass@1准确率,这是仅使用一个LLM生成的最佳自我报告数字之一。

Leave a Comment

8个关于大型语言模型LLMs的潜在惊人事实

近几个月,由于大规模语言模型(LLMs)的广泛公开部署,倡导者、政治家和来自各个学科的学者都表现出了极大的兴趣和活动。虽然这种关注是有道理的,因为新技术带来了紧迫的问题,但它也可能忽略了一些关键因素。 最近,大规模语言模型以及基于它们构建的产品,例如ChatGPT,引起了来自记者、政策制定者和跨学科学者的广泛关注。然而,由于这种技术在很多方面都是出人意料的,简明扼要的解释很容易忽略关键细节。 这其中有八个意想不到的方面: LLMs的能力将随着更多的投资而可预测地增加,即使没有刻意的创新。 LLMs的研究和投资的最近增加可以在很大程度上归因于规模定律的结果。当研究人员增加将来模型中输入的数据量、模型的大小(以参数为单位)以及用于训练它们的计算量时,规模定律允许他们精确地预测这些模型将具有多么有能力(以FLOP为单位)的某些粗略但相关的指标。因此,他们可能做出一些关键的设计决策,例如在特定预算内的最佳模型大小,而无需进行大量昂贵的实验。 在当代人工智能研究的背景下,预测的准确率是前所未有的。由于它使研发团队能够提供数百万美元的模型培训计划,并确信这些项目将成功开发出经济上有益的系统,因此它也是推动投资的有力工具。 尽管最先进的LLMs的训练方法尚未公开,但最近的深入报告暗示这些系统的基本架构甚至没有改变。 随着资源不断注入LLMs,常常会出现意想不到的关键行为。 在大多数情况下,模型正确预测未完成文本的延续能力(根据其预训练测试损失衡量)只能通过缩放规则来预测。 尽管这个指标平均上与模型在许多实际活动中的实用性相关,但很难预测模型何时开始展示特定的才能或成为执行特定任务的能力。 更具体地说,GPT-3的能力执行少量样本学习——也就是在单次交互中从少量示例中学习新任务——以及思维链推理——也就是在请求时写出其推理,如同学生在数学考试上所做的那样,并展示出更好的表现——使其成为第一个现代LLM。 未来的LLMs可能会开发出所需的任何功能,并且很少有被普遍接受的界限。 然而,LLMs所取得的进展有时比专家预期的要少。 LLMs经常获取并使用外部世界的表示。 越来越多的证据表明,LLMs建立了世界的内部表示,使它们能够以对文本的特定语言形式不敏感的抽象层次进行推理。这种现象的证据在最大和最新的模型中最为强烈,因此应该预计在更大规模的系统中,这种现象将变得更加强大。 然而,当前的LLMs需要更加有效地做到这一点。 以下发现基于各种实验技术和理论模型,支持这种说法。 模型的内部颜色表示与人类感知颜色的实证发现高度一致。 模型可以推断作者的知识和信念,预测文档的未来走向。 故事用于告诉模型,然后模型会改变其对故事中所代表的对象的特征和位置的内部表示。 有时,模型可以提供如何在纸上描绘奇怪事物的信息。 许多常识推理测试都被模型通过了,即使是像Winograd Schema Challenge这样的测试,也没有任何文本提示答案。 这些发现反驳了传统智能模型仅仅是统计下一个词的预测器,并且无法推广其学习或推理超越文本的普遍观点。…

Leave a Comment

什么是AI幻觉?AI聊天机器人出了什么问题?如何识别出幻觉的人工智能?

AI幻觉并非新问题。人工智能(AI)在过去几年取得了显著进展,变得更加熟练,可以执行以前只能由人类完成的活动。然而,幻觉是一个对AI构成了巨大障碍的问题。开发者已经警告,AI模型产生完全错误的事实并用虚构的答案回答问题,似乎这些答案是真实的,这可能会危及应用程序的准确性、可靠性和信任度,因此幻觉是开发和部署AI系统的严重障碍。因此,从事AI工作的人正在积极寻求解决这个问题的方法。本文将探讨AI幻觉的影响和影响,以及用户可能采取的减少接受或传播不正确信息的危险的措施。 什么是AI幻觉? 所谓人工智能幻觉的现象是指AI模型产生了预期之外的结果。请注意,一些AI模型已经被教导了有意地制造没有与现实世界输入(数据)相关联的输出。 幻觉是用来描述当AI算法和深度学习神经网络创建结果不是真实的、不匹配算法接受过的任何数据或没有遵循任何其他可辨别的模式的情况。 AI幻觉可以采取许多不同的形式,从制造虚假新闻报道到虚假的关于人、历史事件或科学事实的断言或文件。例如,像ChatGPT这样的AI程序可以制造一个有完整传记和从未真实存在的成就的历史人物。在当前社交媒体和即时通信的时代,一个单一的推文或Facebook帖子可以在几秒钟内达到数百万人,这种不正确信息传播的潜力尤其令人担忧。 为什么会发生AI幻觉? 具有欺骗AI程序使其误分类的输入数据——对抗性示例——可能会导致AI幻觉。例如,开发人员使用数据(例如图像、文本或其他类型)来训练AI系统;如果数据被改变或扭曲,应用程序将以不同的方式解释输入并产生不正确的结果。 使用编码器-解码器(输入-输出)序列,AI中的变压器是一种深度学习模型,它利用自我关注(语句中单词之间的语义联系)创建类似于人类写作的文本。对于幻觉而言,如果语言模型的训练数据和资源充足且准确,那么预期输出将是虚构的和错误的。语言模型可能会产生一个故事或叙述,没有不合逻辑的间隙或模糊的联系。 发现AI幻觉的方法 作为人工智能的一个子领域,计算机视觉旨在教会计算机从视觉输入(例如图片、绘画、电影和现实生活)中提取有用的数据,它正在培训计算机像人类一样看待世界。但是,由于计算机不是人类,它们必须依靠算法和模式来“理解”图片,而不是直接接触人类感知。因此,人工智能可能无法区分薯片和落叶。这种情况也经过了常识测试:与人类可能看到的相比,AI生成的图像。当然,随着AI变得更加先进,这变得越来越困难。 如果人工智能没有迅速融入日常生活,这一切都会显得荒谬和有趣。自动驾驶汽车已经采用了人工智能,其中幻觉可能导致死亡。虽然这还没有发生,但在实际世界中开车时误认物品是一场灾难,只等发生。 在使用流行的AI应用程序时,以下是几种识别AI幻觉的技术: 1. 大型语言处理模型 像ChatGPT这样的大型处理模型生成的信息中的语法错误是罕见的,但当它们发生时,你应该对幻觉持怀疑态度。同样,当生成的文本内容不合理、不符合提供的上下文或与输入数据不匹配时,应该对幻觉持怀疑态度。 2. 计算机视觉 人工智能有一个子领域叫做计算机视觉,机器学习和计算机科学,它使机器能够像人眼一样检测和解释图像。它们依赖于卷积神经网络中的大量视觉训练数据。 如果用于训练的视觉数据模式发生变化,就会出现幻觉。例如,如果计算机还没有接受过网球的图像训练,它可能会错误地将网球识别为绿色或橙色。如果计算机错误地将站在人类雕像旁的马识别为真实的马,它也可能会产生AI幻觉。 将产生的输出与人类预期观察到的输出进行比较,将帮助您识别计算机视觉幻觉。 3.   自动驾驶汽车 由于人工智能的推动,自动驾驶汽车在汽车工业中越来越受欢迎。自动驾驶汽车的先驱们,如福特的BlueCruise和特斯拉的Autopilot,推动了这一计划。通过查看特斯拉Autopilot感知的方式和内容,您可以了解一些关于人工智能如何支持自动驾驶汽车的知识。 幻觉对人类和人工智能模型的影响是不同的。人工智能幻觉是错误的结果,与现实极不一致或在提供的提示的情况下毫无意义。例如,AI聊天机器人可能会因噪声或其他结构问题而以语法或逻辑上不正确的方式回答,或错误地识别一个对象。…

Leave a Comment

认识PyRCA:一个开源的Python机器学习库,专为AIOps中的根本原因分析(RCA)而设计

人工智能和机器学习领域正在快速发展,这要归功于它们在几乎所有行业中的惊人能力和用例。随着人工智能逐渐被整合到不同领域中,并且愈发受到欢迎,也出现了与之相关的问题和限制。根本原因分析(RCA)是一种发现问题根本原因以找到最佳解决方案的方法。它有助于确定模型中事件或故障的深层原因。在IT运营、电信等领域,尤其是在人工智能领域,模型的复杂性经常导致事件降低了产品系统的可靠性和有效性。通过RCA的帮助,该方法寻找多个因素并建立它们之间的因果关系,以期为这些情况提供解释。 最近,Salesforce AI的一组研究人员推出了PyRCA,这是一个针对人工智能运维(AIOps)领域的根本原因分析(RCA)的开源Python机器学习库。PyRCA提供了一个全面的框架,使用户能够独立地找到指标和事件根本原因之间的复杂因果关系。该库提供了图形构建和评分操作,并具有支持多种广泛使用的RCA模型的统一接口,同时提供了快速模型创建、测试和部署的简化方法。 这个根本原因分析的全面Python库提供了一个端到端的框架,包括数据加载、因果图发现、根本原因定位和RCA结果可视化。它支持多个模型来创建图形和评分根本原因,并帮助用户快速加载相关数据并识别各种系统组件之间的因果联系。PyRCA带有一个GUI仪表板,使交互式RCA更加容易,从而提供了更流畅的用户体验,并更好地与实际情况相适应。该GUI的点和点击接口具有直观性,并赋予用户与库进行交互并将他们的专业知识注入RCA过程的能力。 有了PyRCA,工程师和研究人员现在可以轻松地分析结果、可视化因果联系,并通过GUI仪表板在RCA过程中前进。该团队分享的PyRCA的一些关键功能如下: PyRCA旨在提供一个标准化和高度适应性的框架,以流行的pandas.DataFrame格式加载度量数据并基准测试各种RCA模型。 通过一个单一的接口,PyRCA提供了访问各种模型的机会,用于发现因果网络和定位根本原因。用户也可以选择完全自定义每个模型以适应其独特的要求,包括GES、PC、随机漫步和假设测试模型。 通过结合用户提供的领域知识,库中提供的RCA模型可以被加强,使其在处理嘈杂的度量数据时更具韧性。 通过实现一个从RCA基类继承的单个类,开发人员可以快速将新的RCA模型添加到PyRCA中。 PyRCA包提供了一个可视化工具,使用户能够比较多个模型、审查RCA结果,并快速包含领域知识,而无需任何代码。 该团队详细解释了PyRCA的架构和主要功能。它提供了该库设计和核心能力的概述。

Leave a Comment