Tag: Technology

通过将多个活动合并为一条指令，指令调整增强了对新任务的泛化能力。这种对开放式问题的回应能力为最近的聊天机器人爆发做出了贡献，因为ChatGPT 2。最近，像CLIP-ViT这样的视觉编码器已经作为视觉指令调整模型的一部分添加到会话代理中，从而可以基于图片进行人-代理交互。然而，它们需要帮助理解图片中的文本，可能是由于训练数据中自然图像的占主导地位（例如，Conceptual Captions和COCO）。然而，阅读理解对人类的日常视觉感知至关重要。幸运的是，OCR技术使得能够从照片中识别出文字。 通过将识别到的文本添加到视觉指令调整模型的输入中（较大的上下文长度），可以（天真地）增加计算量，而不完全利用视觉编码器的编码能力。为了做到这一点，他们建议收集需要理解图片中的文字的指令遵循数据，以改进视觉指令调整模型的端到端性能。通过将手动给定的指示（例如，“识别提供的图像中可见的任何文本。”）与OCR结果相结合，他们首先使用文本丰富的图像收集了422K条嘈杂的指令遵循数据。 这些大规模的嘈杂对齐数据显著增强了语言解码器和视觉特征之间的特征对齐。此外，他们要求仅使用OCR结果和图像标题作为如何遵循指令的高质量示例，让纯文本GPT-4生成16K个对话。每个对话可能包含多轮的问答对。为了根据输入产生复杂的指令，这种方法要求GPT-4对OCR数据进行去噪，并创建独特的问题（图1）。他们使用获得的数据评估了LLaVA的预训练和微调阶段，分别使用嘈杂和高质量的示例来评估数据的有效性。 图1显示了如何收集关于遵循指令的准确统计数据。| https://arxiv.org/pdf/2306.17107.pdf 来自乔治亚理工学院、Adobe研究和斯坦福大学的研究人员开发了LLaVAR，即能够阅读的大型语言和视觉助手。为了更好地编码细微的文本特征，他们在原始LLaVA的基础上将输入分辨率从2242提高到3362进行了实验。根据评估技术，他们与四个基于文本的VQA数据集以及ScienceQA微调结果一起给出了研究结果。此外，他们在基于GPT-4的指令遵循评估中使用了来自LAION的50张文本丰富图片和来自COCO的30张自然图片。此外，他们还提供了定性分析，以衡量更复杂的指令遵循能力（例如海报、网站截图和推文）。 总之，他们的贡献包括： • 他们收集了16K条高质量和422K条嘈杂的指令遵循数据。两者都被证明可以改善视觉指令调整。这种改进的能力使得他们的模型LLaVAR能够基于多样的在线材料（包括文本和图片）进行端到端交互，同时仅在自然照片上略微提高模型的性能。 • 训练和评估数据以及模型里程碑都已公开提供。 这篇文章的英文原文发表在MarkTechPost网站上。

多模态大型语言模型（MLLMs）在各种活动中已经展示了成功，包括语言、视觉和视觉语言任务。在零样本和少样本条件下，MLLMs可以感知文本、图片和音频等通用模态，并使用自由形式的文本生成答案。在本研究中，它们使多模态大型语言模型具备自我定位的能力。对于视觉语言任务，定位能力可以提供更实用和有效的人工智能界面。该模型可以解释图片区域及其地理坐标，让用户可以直接指向图像中的物品或区域，而不是输入冗长的文本描述来引用它。 图1：展示了使用KOSMOS-2生成的选定样本。视觉定位、定位问题回答、使用边界框的多模态引用、定位图片字幕和视觉定位都是一些例子。 该模型的定位功能还使其能够提供视觉响应（即边界框），这可以帮助其他视觉语言任务，如理解指代表达式。与仅基于文本的响应相比，视觉响应更精确，能够消除指代模糊。生成的自由形式文本响应的定位能力可以将名词短语和指代术语与图片区域连接起来，以产生更准确、丰富和详尽的响应。微软研究的研究人员介绍了具备定位能力的多模态大型语言模型KOSMOS-2，该模型基于Transformer通过下一个单词预测任务进行训练。 他们构建了一个基于网络规模的数据集，其中包含了图片和文本的定位配对，并将其与KOSMOS-1中的多模态语料库进行整合，以充分利用定位的潜力训练模型。定位的图片和文本配对是来自LAION-2B和COYO-700M的子集。他们提供了一个流程，从字幕中提取和连接文本片段（如名词短语和指代表达式）到图片中相应对象或区域的空间位置（如边界框）。他们将边界框的地理坐标转化为一串位置标记，并在相应的文本片段之后添加。数据格式充当了将图像元素与字幕链接起来的“超链接”。 实验结果表明，KOSMOS-2在定位任务（短语定位和指代表达理解）和指代任务（指代表达式生成）上表现优秀，并且在KOSMOS-1评估的语言和视觉语言任务上也表现出竞争力。图1说明了通过定位功能，KOSMOS-2可以用于更多的下游任务，如定位图片字幕和定位视觉问题回答。GitHub上提供了在线演示。

自从Transformer设计被发现以来，训练大型人工神经网络的技术已经取得了巨大进展，但支撑这一成就的科学仍处于萌芽阶段。在Transformer发布的同时，一种秩序感逐渐形成，这种秩序在同一时间的大量复杂结果中展现出来，表明性能随着计算量或网络规模的增加而可预测地提高，这种现象现在被称为缩放定律。这些缩放规则成为后续深度学习规模研究的指南，而对这些定律变化的发现导致了性能的大幅提升。 在本文中，研究者探讨了如何通过不同的方式提高数据质量。高质量的数据可以产生更好的结果；例如，数据清洗是创建当前数据集的关键步骤，可以使数据集相对较小或能够通过更多迭代运行数据。最近针对TinyStories的研究表明，高质量数据的好处远不止于此。通过大幅改变缩放定律，改善数据质量可能使得能够用更瘦的训练/模型匹配大规模模型的性能。 在本研究中，微软研究的作者证明了高质量的数据可以进一步提高大型语言模型的最先进技术，同时显著减少数据集的大小和训练计算量。较小的模型需要更少的训练，可以大大减少LLM的环境成本。他们从文档字符串中构建了特定的Python函数，使用LLM进行编码训练。HumanEval是后一篇论文中建议使用的评估标准，常用于比较LLM在代码上的性能。 他们通过对1.3B参数模型进行大约8次7B令牌（略大于50B总令牌数）的预训练，然后对少于2亿个令牌进行微调，展示了高质量数据违反现有缩放规则的能力。总的来说，他们在“课本质量”的数据上进行预训练，包括人工创造的（使用GPT-3.5）和从网络来源筛选的，然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级，但他们在HumanEval上获得了50.6％的pass@1准确率，在MBPP（Mostly Basic Python Programs）上获得了55.5％的pass@1准确率，这是仅使用一个LLM生成的最佳自我报告数字之一。 通过对1.3B参数模型进行大约8次7B令牌的预训练（观察总令牌数略大于50B），然后对少于2亿个令牌进行微调，他们展示了高质量数据违反现有缩放规则的能力。总的来说，他们在“课本质量”的数据上进行预训练，包括人工创造的（使用GPT-3.5）和从网络来源筛选的，然后在“类似于课本的练习”数据上进行微调。尽管数据集和模型大小都比竞争模型小几个数量级，但他们在HumanEval上获得了50.6％的pass@1准确率，在MBPP（Mostly Basic Python Programs）上获得了55.5％的pass@1准确率，这是仅使用一个LLM生成的最佳自我报告数字之一。

AI幻觉并非新问题。人工智能（AI）在过去几年取得了显著进展，变得更加熟练，可以执行以前只能由人类完成的活动。然而，幻觉是一个对AI构成了巨大障碍的问题。开发者已经警告，AI模型产生完全错误的事实并用虚构的答案回答问题，似乎这些答案是真实的，这可能会危及应用程序的准确性、可靠性和信任度，因此幻觉是开发和部署AI系统的严重障碍。因此，从事AI工作的人正在积极寻求解决这个问题的方法。本文将探讨AI幻觉的影响和影响，以及用户可能采取的减少接受或传播不正确信息的危险的措施。 什么是AI幻觉？ 所谓人工智能幻觉的现象是指AI模型产生了预期之外的结果。请注意，一些AI模型已经被教导了有意地制造没有与现实世界输入（数据）相关联的输出。 幻觉是用来描述当AI算法和深度学习神经网络创建结果不是真实的、不匹配算法接受过的任何数据或没有遵循任何其他可辨别的模式的情况。 AI幻觉可以采取许多不同的形式，从制造虚假新闻报道到虚假的关于人、历史事件或科学事实的断言或文件。例如，像ChatGPT这样的AI程序可以制造一个有完整传记和从未真实存在的成就的历史人物。在当前社交媒体和即时通信的时代，一个单一的推文或Facebook帖子可以在几秒钟内达到数百万人，这种不正确信息传播的潜力尤其令人担忧。 为什么会发生AI幻觉？ 具有欺骗AI程序使其误分类的输入数据——对抗性示例——可能会导致AI幻觉。例如，开发人员使用数据（例如图像、文本或其他类型）来训练AI系统；如果数据被改变或扭曲，应用程序将以不同的方式解释输入并产生不正确的结果。 使用编码器-解码器（输入-输出）序列，AI中的变压器是一种深度学习模型，它利用自我关注（语句中单词之间的语义联系）创建类似于人类写作的文本。对于幻觉而言，如果语言模型的训练数据和资源充足且准确，那么预期输出将是虚构的和错误的。语言模型可能会产生一个故事或叙述，没有不合逻辑的间隙或模糊的联系。 发现AI幻觉的方法 作为人工智能的一个子领域，计算机视觉旨在教会计算机从视觉输入（例如图片、绘画、电影和现实生活）中提取有用的数据，它正在培训计算机像人类一样看待世界。但是，由于计算机不是人类，它们必须依靠算法和模式来“理解”图片，而不是直接接触人类感知。因此，人工智能可能无法区分薯片和落叶。这种情况也经过了常识测试：与人类可能看到的相比，AI生成的图像。当然，随着AI变得更加先进，这变得越来越困难。 如果人工智能没有迅速融入日常生活，这一切都会显得荒谬和有趣。自动驾驶汽车已经采用了人工智能，其中幻觉可能导致死亡。虽然这还没有发生，但在实际世界中开车时误认物品是一场灾难，只等发生。 在使用流行的AI应用程序时，以下是几种识别AI幻觉的技术： 1. 大型语言处理模型 像ChatGPT这样的大型处理模型生成的信息中的语法错误是罕见的，但当它们发生时，你应该对幻觉持怀疑态度。同样，当生成的文本内容不合理、不符合提供的上下文或与输入数据不匹配时，应该对幻觉持怀疑态度。 2. 计算机视觉 人工智能有一个子领域叫做计算机视觉，机器学习和计算机科学，它使机器能够像人眼一样检测和解释图像。它们依赖于卷积神经网络中的大量视觉训练数据。 如果用于训练的视觉数据模式发生变化，就会出现幻觉。例如，如果计算机还没有接受过网球的图像训练，它可能会错误地将网球识别为绿色或橙色。如果计算机错误地将站在人类雕像旁的马识别为真实的马，它也可能会产生AI幻觉。 将产生的输出与人类预期观察到的输出进行比较，将帮助您识别计算机视觉幻觉。 3.   自动驾驶汽车 由于人工智能的推动，自动驾驶汽车在汽车工业中越来越受欢迎。自动驾驶汽车的先驱们，如福特的BlueCruise和特斯拉的Autopilot，推动了这一计划。通过查看特斯拉Autopilot感知的方式和内容，您可以了解一些关于人工智能如何支持自动驾驶汽车的知识。 幻觉对人类和人工智能模型的影响是不同的。人工智能幻觉是错误的结果，与现实极不一致或在提供的提示的情况下毫无意义。例如，AI聊天机器人可能会因噪声或其他结构问题而以语法或逻辑上不正确的方式回答，或错误地识别一个对象。…

微软研究人员推出了一个名为ZeRO++的新系统，该系统已经被开发用于优化大型AI模型的训练，解决了高数据传输开销和带宽有限的挑战。ZeRO++在现有的ZeRO优化基础上进行了扩展，提供了增强的通信策略，以提高训练效率，缩短训练时间和降低训练成本。 如Turing-NLG、ChatGPT和GPT-4等大型模型的训练需要跨多个GPU设备使用大量存储器和计算资源。DeepSpeed开发的ZeRO++引入了通信优化策略，以克服在每个GPU上使用小批量大小或在低带宽集群上训练时ZeRO的局限性。 ZeRO优化的家族，包括ZeRO-Inference，使模型状态在GPU之间进行分区，而不是复制，利用集体GPU内存和计算能力。然而，在训练过程中，ZeRO可能会产生高通信开销。ZeRO++通过融合三组通信优化解决了这个问题：量化权重通信（qwZ）、分层权重分区（hpZ）和量化梯度通信（qgZ）。 为了减少参数通信量，ZeRO++对权重进行了量化，利用基于块的量化来保留训练精度。这个优化的量化过程比基本的量化更快，更准确。为了在反向传播期间最小化通信开销，ZeRO++通过在每台机器内维护一个完整的模型副本来以GPU内存为代价进行通信。对于梯度通信，ZeRO++引入了一种新颖的量化梯度通信范式qgZ，以减少跨节点的流量和延迟。 这些通信优化导致通信量的大幅度减少。与ZeRO相比，ZeRO++实现了高达4倍的减少，提高了训练吞吐量和效率。当每个GPU使用小批量大小时，在高带宽集群中，ZeRO++比ZeRO-3提高了28%至36%的吞吐量。在低带宽集群中，ZeRO++与ZeRO-3相比实现了平均2倍的加速，使大型模型训练更加普及。 ZeRO++不仅限于训练场景，还扩展到使用人类反馈（RLHF）训练的对话模型中的强化学习。通过将ZeRO++与DeepSpeed-Chat集成，可以使RLHF训练受益于改进的生成和训练阶段，实现比ZeRO更高达2.25倍的更好的生成吞吐量和1.26倍的更好的训练吞吐量。 DeepSpeed发布了ZeRO++，以使大型模型训练更加高效和适用于AI社区。该系统旨在加速训练，减少通信开销并实现更大的批量大小，从而节省时间和资源。研究人员和实践者可以利用ZeRO++更有效地训练像ChatGPT这样的模型，并探索AI中的新可能性。

大型语言模型（LLMs）是人工智能（AI）领域的一项重大突破性进展。这些模型（例如 GPT-3）彻底改变了自然语言理解。由于这些模型具有解释大量现有数据和生成类似人类的文本的能力，因此这些模型具有巨大的潜力，可以塑造人机交互和通信的未来并开启新的可能性。然而，尽管 LLMs 取得了巨大的成功，但与此类模型通常相关的一个显著挑战是它们的计算效率低下，即使在最强大的硬件上也会导致性能缓慢。由于这些模型包含数百万乃至数十亿个参数，因此训练此类模型需要广泛的计算资源，内存和处理能力，并非总是可用。此外，这些具有缓慢响应时间的复杂体系结构可能使 LLMs 无法实用于实时或交互式应用程序。因此，解决这些挑战变得至关重要，以释放 LLMs 的全部潜力并使其好处更广泛地可用。 针对这个问题陈述，加州大学伯克利分校的研究人员开发了 vLLM，这是一个开源库，是 LLM 推理和服务的一个更简单，更快速，更便宜的替代方案。目前，大型模型系统组织（LMSYS）正在使用该库来驱动其Vicuna和 Chatbot Arena。通过切换到 vLLM 作为其后端，与最初基于 HuggingFace 转换器的后端相比，研究组织已成功高效地处理峰值流量（比以前多 5 倍），同时使用有限的计算资源并降低高运营成本。目前，vLLM 支持几个 HuggingFace 模型，如 GPT-2，GPT BigCode…