在我的上一篇文章中，我向您展示了如何使用Meta AI刚刚发布的新Llama 2模型进行微调，以几行代码构建Python代码生成器这一次，我们将描述…
Leave a CommentTag: Machine learning
语音比写作传递更多信息，因为它携带了语义和声音等语言信息。此外，与AI进行交流时，说话是一种更实用和有机的方式。因此，在创建通用助手时，遵循语音和语言的指导原则至关重要。然而，大多数大型语言模型只接受文本输入，限制了其潜力。尽管多模态视觉和语言模型在通用人工智能（AGI）方面取得了重大进展，但人类通过输入文本指令来输入任务仍然很繁琐。 级联范式方法使用自动语音识别（ASR）模型将语音输入转换为文本输入，然后模型可以利用该文本输入来处理任务。从语音到文本的模态转换仍然会导致信息消耗，并可能导入ASR系统错误。最近，具有处理和生成语音和文本的大型语言模型的语言语音多模态模型已能够理解和制作多模态信息。语音信号被分成不同的标记，并扩展到LLM的词汇中。从这个意义上说，LLM需要大量的多模态数据和强大的计算资源来重新训练。 本研究的来自LinkSoul.AI、北京大学和01.ai的作者建议LLaSM，这是一个具有跨模态对话能力的大型语音和语言模型，可以理解和遵守口头指令。他们使用训练有素的语音模态编码器和LLM，就像LLaVA一样，这使得LLaSM更加资源友好。他们专门使用Whisper作为音频编码器来整合语音信号。将大型语言模型的输入文本嵌入与使用模态适配器的语音嵌入进行匹配。为了创建交替的序列，将语音和文本嵌入组合在一起。然后将交替的序列馈送到LLM进行监督微调。 训练过程分为两个阶段。在初始阶段，他们使用公共ASR数据集进行模态适应预训练。只有模态适配器被训练以对齐语音和文本嵌入，LLM和语音编码器已被锁定。由于在这个阶段引入了模态适配器的一小部分参数，并且大部分模型参数仍需固定，因此不需要消耗大量资源。在第二步中，使用跨模态指令数据训练模型以处理多模态指令和分析跨模态交互。在进行跨模态教育时，语言模型和模态适配器的设置正在修改，而音频编码器则被冻结。 值得注意的是，目前很少有开源的语音-文本跨模态指令遵循数据集可用。因此，他们创建并发布了LLaSM-Audio-Instructions数据集。该数据集是通过精心选择GPT4-LLM、ShareGPT和WizardLM中的对话，并使用文本到语音技术创建大量的对话音频数据而生成的。据他们所知，这是最大的中英文语音-文本跨模态指令遵循数据集，包含19.9万个对话、8万个中文音频样本和42.8万个英文音频样本。 他们的研究贡献如下： • 他们创建了一个能够理解和执行语音-语言指令的语音-语言多模态模型，为人们与人工智能进行交流提供了更实用和有机的方式。 • 他们创建并发布了LLaSM-Audio-Instructions，这是一个结合了中文和英文语音和文本的大型跨模态指令遵循数据集。 • 可以在HuggingFace在线上查看演示，并在GitHub上获取代码。
Leave a Comment人类反馈对于改进和优化机器学习模型至关重要。近年来，来自人类反馈的强化学习（RLHF）在将大型语言模型（LLMs）与人类偏好相一致方面被证明非常有效，但是收集高质量的人类偏好标签仍然是一个重大挑战。在一项研究中，Google AI的研究人员试图比较RLHF和从AI反馈中进行强化学习（RLAIF）。RLAIF是一种技术，其中偏好由预训练的LLM标记，而不是依靠人类注释者。 在这项研究中，研究人员在概括任务的背景下直接比较了RLAIF和RLHF。他们的任务是为给定文本的两个候选回答提供偏好标签，利用现成的大型语言模型（LLM）。随后，基于LLM推断得出的偏好，利用对比损失训练了一个奖励模型（RM）。最后一步是通过强化学习技术对策略模型进行微调。上面的图片展示了RLAIF（上）与RLHF（下）的示意图。 上面的图片展示了SFT、RLHF和RLAIF策略为Reddit帖子生成的示例摘要。与未能捕捉关键细节的SFT相比，RLHF和RLAIF生成了更高质量的摘要。 该研究中呈现的结果表明，当以两种不同的方式进行评估时，RLAIF的性能与RLHF相当： 首先，观察到RLAIF和RLHF策略在71%和73%的情况下都得到了人类评估者的偏好，超过了监督微调（SFT）基线。重要的是，统计分析没有显示出两种方法之间的胜率之间存在显著差异。 其次，当人类被要求直接比较RLAIF和RLHF生成的结果时，他们对两种方法表达了相同的偏好，导致两种方法的胜率均为50%。这些发现表明，RLAIF是RLHF的可行替代方案，独立于人类注释操作，并具有可扩展性。 需要注意的是，这项工作仅探讨了概括任务，对于其他任务的泛化性尚未得到解决。此外，该研究没有估计大型语言模型（LLM）推断在经济支出方面是否比人类标注具有成本效益。未来，研究人员希望探索这个领域。
Leave a Comment介绍 在机器学习这个充满活力的世界中，一个不断面临的挑战是如何充分利用有限的标记数据的潜力。这就是半监督学习的领域——一种巧妙的方法，将少量标记数据与大量未标记数据相结合。在本文中，我们将探索一种具有改变游戏规则的策略：利用生成模型，特别是变分自动编码器（VAEs）和生成对抗网络（GANs）。通过本文的精彩旅程，您将理解这些生成模型如何极大地提升半监督学习算法的性能，就像扣人心弦的故事中的巧妙转折一样。 来源：researchgate.net 学习目标 我们将首先深入探讨半监督学习，了解它的重要性，以及它在实际机器学习场景中的应用。 接下来，我们将介绍令人着迷的生成模型世界，重点介绍VAEs和GANs。我们将了解它们如何为半监督学习增添活力。 准备好动手实践吧，我们将指导您如何将这些生成模型整合到真实世界的机器学习项目中，从数据准备到模型训练。 我们将强调一些好处，如改进模型泛化能力和节省成本。此外，我们还将展示这种方法如何适用于不同领域。 每段旅程都会面临挑战，我们将应对这些挑战。我们还将看到重要的伦理考虑，确保您有能力在半监督学习中负责任地使用生成模型。 本文作为数据科学博客马拉松的一部分发表。 半监督学习简介 在广阔的机器学习领域中，获取标记数据可能是一项艰巨的任务。它常常涉及耗时且昂贵的工作来对数据进行注释，这可能限制了监督学习的可扩展性。这时就需要半监督学习，这是一种巧妙的方法，弥合了标记和未标记数据领域之间的差距。它认识到，虽然标记数据非常重要，但大量的未标记数据常常处于休眠状态，可以被利用起来。 想象一下，您的任务是教会计算机识别图像中的各种动物，但对每个动物进行标记是一项艰巨的任务。这就是半监督学习发挥作用的地方。它建议将少量标记图像与大量未标记图像混合在一起，用于训练机器学习模型。这种方法使模型能够利用未标记数据的潜力，提高其性能和适应性。就像在一个信息星系中有一些指引星星，帮助您导航。 来源：festinais.medium.com 在我们探索半监督学习的旅程中，我们将探讨其重要性、基本原理和创新策略，特别关注生成模型如VAEs和GANs如何增强其能力。让我们与生成模型一起释放半监督学习的力量。 生成模型：增强半监督学习 在引人入胜的机器学习世界中，生成模型成为真正的游戏改变者，为半监督学习注入新的活力。这些模型具有独特的才能——它们不仅可以理解数据的复杂性，还可以生成与其所学内容相似的新数据。在这个领域中表现最好的模型之一是变分自动编码器（VAEs）和生成对抗网络（GANs）。让我们踏上一段旅程，了解这些生成模型如何成为催化剂，推动半监督学习的界限。 VAEs擅长捕捉数据分布的本质。它通过将输入数据映射到隐藏空间，然后精心重构数据来实现。在半监督学习中，这种能力有着深远的意义，因为VAEs鼓励模型提炼有意义且简洁的数据表示。这些表示不需要大量标记数据的培养，却能提供改进的泛化能力，即使面对有限的标记示例。在另一方面，GANs进行着引人入胜的对抗舞蹈。在这里，生成器努力创建与真实数据几乎无法区分的数据，而鉴别器则扮演警惕的批评家的角色。这个动态二重奏导致数据增强，并为生成全新的数据值铺平了道路。正是通过这些引人入胜的表演，VAEs和GANs获得了关注，开启了半监督学习的新时代。 实际实施步骤 现在我们已经探索了理论方面，是时候卷起袖子，深入探讨使用生成模型的半监督学习的实际实施了。这是魔术发生的地方，我们将想法转化为现实解决方案。以下是将这种协同效应变为现实的必要步骤： 来源：google-cloud.com 第一步：数据准备 – 设置舞台 就像任何成功的制作一样，我们需要一个好的基础。首先收集你的数据。你应该有一小部分有标签的数据和大量未标记的数据。确保你的数据干净、组织良好，并准备好上场。…
Leave a Comment在语言模型研究不断发展的领域中，追求效率和可扩展性的探索引发了一项具有开创性的项目——TinyLlama。这个雄心勃勃的努力由新加坡大学的一名研究助理带头，旨在在短短90天内，在一台16个A100-40G GPU的简单配置下，对惊人的3万亿个标记进行1.1亿参数模型的预训练。这个项目的潜在影响是巨大的，因为它承诺重新定义在紧凑语言模型领域中曾经被认为是不可能的边界。 尽管像Meta的LLaMA和Llama 2这样的现有模型已经展示了在减小尺寸方面的卓越能力，TinyLlama将这个概念推向了更进一步。1.1亿参数模型仅占用550MB的RAM，这可能是对计算资源有限应用程序的一个潜在的改变者。 批评者对这样一个雄心勃勃的计划的可行性提出了疑问，特别是在考虑到Chinchilla缩放定律的情况下。这个定律认为，为了实现最佳计算，参数和训练标记的数量应该成比例缩放。然而，TinyLlama项目直接挑战了这一观点，旨在证明一个更小的模型确实可以在一个庞大的训练数据集上蓬勃发展。 Meta的Llama 2论文揭示了即使在预训练2万亿个标记后，模型也没有显示出饱和的迹象。这一观点可能鼓舞了科学家们进一步推动边界，将TinyLlama的预训练目标定为3万亿个标记。关于是否需要越来越大的模型的争论还在继续，Meta试图推翻Chinchilla缩放定律成为这一讨论的前沿。 如果成功，TinyLlama可能会为AI应用程序开启一个新时代，使强大的模型能够在单一设备上运行。然而，如果它未能达到目标，Chinchilla缩放定律可能会证明其相关性。研究人员保持实事求是的态度，强调这个努力是一个开放的试验，没有承诺或预先定义的目标，只有雄心勃勃的“1.1B on 3T”。 随着TinyLlama项目在训练阶段的进展，AI社区满怀期待地关注着。如果成功，它不仅可能挑战现有的缩放定律，还可能彻底改变高级语言模型的可访问性和效率。只有时间才能告诉我们TinyLlama是否会胜出，或者在这个雄心勃勃的实验面前，Chinchilla缩放定律是否会坚持立场。
Leave a Comment在不断发展的人工智能领域中，图像理解与文本交互之间的差距一直是一个持久的挑战。这个难题让许多人寻求创新的解决方案。虽然近年来AI社区取得了显著的进展，但仍然迫切需要多功能、开源的模型，能够理解图像并以精细的方式回答复杂的查询。 现有的解决方案确实为AI的进步铺平了道路，但它们往往在无缝地融合图像理解和文本交互方面存在不足。这些局限性推动了对更复杂模型的追求，这些模型能够应对图像文本处理的多方面需求。 阿里巴巴推出了两个开源的大视觉语言模型（LVLM）- Qwen-VL和Qwen-VL-Chat。这些AI工具已经成为理解图像和解决复杂查询的有希望的答案。 首先，Qwen-VL是这些模型中的第一个，它被设计成阿里巴巴的70亿参数模型“通译千文”的复杂后代。它展示了处理图像和文本提示的卓越能力，在制作引人入胜的图像标题和回答与各种图像相关的开放问题等任务方面表现出色。 另一方面，Qwen-VL-Chat通过应对更复杂的交互将概念推向更远。这个AI模型通过高级对齐技术赋能，展示了一系列出色的才华，从根据输入图像创作诗歌和叙述，到解决嵌入图像中的复杂数学问题。它重新定义了英语和中文中文本-图像交互的可能性。 这些模型的能力得到了令人印象深刻的指标的支持。例如，Qwen-VL在训练期间展示了处理更大图像（448×448分辨率）的能力，超过了限于较小图像（224×224分辨率）的类似模型。它还在涉及图片和语言的任务中显示出色，可以在没有先验信息的情况下描述照片，回答有关照片的问题，并检测图像中的对象。 另一方面，Qwen-VL-Chat在理解和讨论单词和图像之间关系方面胜过其他AI工具，如阿里巴巴云在基准测试中设定的。它展示了在涉及300多张照片、800个问题和27个不同类别的对话中，用中文和英文进行关于图片的对话的优秀能力。 这一发展最令人兴奋的方面也许是阿里巴巴对开源技术的承诺。该公司打算为全球社区提供这两个AI模型作为开源解决方案，使其在全球范围内免费使用。这一举措使开发人员和研究人员能够利用这些尖端能力进行AI应用，无需进行广泛的系统培训，从而降低开支并使先进的AI工具更加普及。 总之，阿里巴巴推出的Qwen-VL和Qwen-VL-Chat代表了AI领域在无缝整合图像理解和文本交互方面迈出的重要一步。这些开源模型以其令人印象深刻的能力有望重塑AI应用的格局，促进创新和全球范围内的可访问性。AI社区翘首以待这些模型的发布，AI驱动的图像-文本处理的未来看起来充满了希望和可能性。
Leave a CommentGPT3、LaMDA、PALM、BLOOM和LLaMA只是一些大型语言模型（LLMs）的例子，它们展示了存储和应用大量信息的能力。它们展示了新的技能，如上下文学习、代码创作和常识推理。最近的一个发展是训练LLMs同时处理视觉和语言数据。GPT4、Flamingo和PALI是三个著名的视觉语言模型（VLMs）的例子。它们在许多任务上建立了新的基准，包括图片标题生成、视觉问答和开放词汇识别。虽然最先进的LLMs在涉及文本信息检索的任务上表现远远优于人类，但最先进的VLMs在Infoseek、Oven和OK-VQA等视觉信息检索数据集上表现较差。 由于多种原因，当今最先进的视觉语言模型（VLMs）很难对这类查询做出令人满意的回答。首先，需要教导年轻人识别图像中的细粒度类别和细节。其次，它们的推理必须更加强大，因为它们使用的语言模型比最先进的大型语言模型（LLMs）要小。最后，与图像搜索引擎不同，它们没有将查询图像与带有不同元数据的大量图像语料库进行比对。在这项研究中，来自加州大学洛杉矶分校（UCLA）和谷歌的研究人员提供了一种新方法来克服这些障碍，通过将LLMs与三种不同类型的工具相结合，实现了在视觉信息检索任务上的最先进性能。 辅助视觉信息提取的计算机程序包括对象检测器、光学字符识别软件、图片标题生成模型和视觉质量评估软件。 发现外部世界数据和信息的在线资源 通过挖掘与视觉相关的图像的元数据，找到图像搜索中的相关结果的方法。 该方法采用由LLM驱动的规划器来决定使用哪种工具以及向其发送什么查询。此外，研究人员使用由LLM驱动的推理器来检查工具的结果并提取相关数据。 首先，LLM将查询简化为策略、程序或一组指令。之后，激活适当的API来收集数据。虽然在简单的视觉语言挑战中有所希望，但在更复杂的现实场景中，这种方法通常需要进行修订。这样的初始查询无法确定一个全面的策略。相反，它需要根据持续的数据进行持续迭代。流动决策能力是所提出策略的关键创新。由于任务的复杂性，对于需要视觉信息的问题，规划器必须进行多步骤的规划过程。规划器必须决定在每个阶段使用哪个API以及提交什么查询。它只能预测像图像搜索这样的复杂API的答案的效用，或者在调用它们后预测它们的输出。因此，研究人员选择了一种动态策略，而不是传统的方法，包括对流程阶段和API调用进行预先规划。 研究人员进行了一项用户研究，以更好地了解人们在与API交互以查找视觉信息时如何做出选择。为了使大型语言模型（LLM）能够在选择API和构建查询时做出明智的选择，他们将这些信息编制成一个系统框架。从收集到的用户数据中，系统有两种主要的受益方式。首先，他们通过推断用户动作的顺序来构建一个转换图。该图定义了状态之间的边界以及每个状态可以采取的步骤。其次，他们为规划器和推理器提供了有用的用户决策示例。 主要贡献 团队提出了一种创新的视觉问答框架，使用大型语言模型（LLM）来制定使用外部工具的策略并调查其输出，从而学习提供答案所需的知识。 团队利用用户研究结果，创建了一个系统化的计划。该框架指导大型语言模型（LLM）在选择API和构建查询时模拟人类决策。 该策略在Infoseek和OK-VQA这两个基于知识的视觉问答基准上优于最先进的解决方案。特别是，与PALI在Infoseek（未知实体分割）数据集上的16.0%准确率相比，我们的结果显著提高，达到50.7%。 APIs和其他工具 AVIS（自主视觉信息查询与大型语言模型）需要一套强大的资源来回答需要适当深入信息检索的视觉查询。 图像字幕模型 视觉问答模型 物体检测 图像搜索 OCR 网络搜索 LLM短问答 限制 目前，AVIS的主要功能是为问题提供视觉回答。研究人员计划扩大基于LLM的动态决策系统的范围，以整合其他推理应用。当前框架还需要PALM模型，这是一个计算复杂的LLM。他们想要确定是否可以使用更小、计算负荷较轻的语言模型做出同样的决策。 总之，加州大学洛杉矶分校和谷歌的研究人员提出了一种新方法，使大型语言模型（LLM）能够访问广泛的资源来处理面向视觉的知识查询。该方法基于对人类决策制定的用户研究数据。它使用一个结构化框架，其中由LLM驱动的规划器选择要使用的工具以及如何即时构建查询。所选工具的输出将被处理，由9个LLM驱动的推理器将提取关键信息。视觉问题被分解成较小的部分，并且规划器和推理器共同使用各种工具来解决每个部分，直到积累足够的数据来回答问题。
Leave a Comment在不断发展的编程和软件开发领域，对高效、灵活和易用工具的需求从未如此之高。开发人员寻求能够在本地开发环境中无缝工作的解决方案，不受托管服务所限制。本文探讨了一种突破性的解决方案——Open Interpreter。 虽然OpenAI的Code Interpreter with GPT-4是一个改变游戏规则的工具，但它也有特定的限制。OpenAI的解决方案是托管的，它在受控的远程环境中运行，限制了开发人员对本地设置的控制。这其中有一些明显的限制，包括无法访问互联网、预装的软件包数量有限、最大上传大小为100MB，以及120秒的运行时间限制。当环境结束时，生成的文件或链接将会丢失，这对于较长时间的任务可能会不方便。 Open Interpreter使开发人员能够充分发挥计算机的潜力，同时绕过与托管服务相关的限制。 Open Interpreter为开发人员提供了广泛的功能，包括内容创建；它可以轻松创建和编辑各种格式的内容，如照片、视频、PDF等。开发人员可以控制Chrome浏览器，实现高效的研究和自动化。Open Interpreter可以无缝处理与数据相关的任务，允许用户绘制、清洗和分析大型数据集，以便做出明智的决策。 Open Interpreter提供了交互式和编程式聊天功能。用户可以在终端中运行’interpreter’来启动交互式会话，与Open Interpreter进行对话。对于更精确的控制，开发人员可以高效地编写脚本任务和工作流程，直接传递消息给Interpreter。Open Interpreter通过允许用户检查和配置系统消息来提供灵活性。这种定制化扩展其功能，修改权限或添加上下文，以符合个人偏好和项目要求。 Open Interpreter代表了本地开发环境领域的重大飞跃。它的卓越能力赋予开发人员高效、灵活地工作，摆脱了托管服务的限制。有了Open Interpreter作为您可信赖的伙伴，拥抱软件开发的未来，在本地开发之旅中开启新的视野。
Leave a Comment在不断发展的计算机视觉和图形领域中，一个重要的挑战是从2D图像中创建逼真的3D人体表示。这不仅仅是技术上的障碍，也是从沉浸式虚拟环境到高级视频编辑等众多应用的入口。为了应对这一挑战，研究团队提出了一种突破性的解决方案，称为“SMPLitex”。该研究深入探讨了问题本身、提出的方法论、其复杂性以及SMPLitex的出色性能。 从单个图像中创建3D人体表示是计算机图形和计算机视觉中的一个长期愿景。虽然我们在捕捉3D形状方面取得了重大进展，但赋予物体逼真外观的纹理仍然是一个艰巨的领域。想象一下，只需拍摄一个人的单张照片，就能够重新创建他们的3D形状和详细的皮肤纹理、服装甚至配饰。这正是SMPLitex研究团队要解决的挑战。 在深入研究SMPLitex之前，了解现有方法及其局限性是至关重要的。传统方法通常依赖于耗时的手动纹理映射或3D扫描等工艺，这对于现实世界的应用来说可能更具可扩展性。这些方法在处理被遮挡或不完整的被拍摄对象时也会遇到困难，限制了它们的实用性。 研究团队通过引入SMPLitex，一种从单个图像中估计和操作完整3D人体外观的革命性方法，迈出了大胆的一步。SMPLitex的独特之处在于将最初设计用于2D图像的生成模型集成到3D领域中。关键创新在于根据输入图像建立像素到表面的对应关系，然后用于重建3D纹理。 该方法的核心是一种专门设计用于完整3D人体外观的生成模型。该模型经过广泛训练，学习了人体纹理在3D空间中的表现方式。但真正的魔力发生在该模型基于输入图像中可见部分的条件下。 通过计算出令人瞩目的精确的像素到表面的对应关系，将2D图像映射到其3D对应物。通过利用这种对应关系，SMPLitex可以生成一个完整的3D纹理映射，忠实地呈现被拍摄对象的外观。生成模型对图像中可见部分的适应性确保了即使在处理部分遮挡的对象时，SMPLitex也能产生逼真的3D纹理。 SMPLitex不仅承诺实现范式转变，而且实现了。研究团队在三个公开可用的数据集上进行了严格的定量和定性评估。结果令人惊叹，SMPLitex在人体纹理估计方面显著优于现有方法，展示了其强大的能力。 SMPLitex的一个突出特点是其多功能性。它在准确的纹理估计方面表现出色，并为更广泛的任务打开了大门。从编辑和合成到操作，SMPLitex可以无缝地将3D纹理集成到各种应用中，丰富了计算机图形和计算机视觉领域。 总之，SMPLitex代表了从单个图像中提取逼真的3D人体纹理的巨大进步。通过弥合2D图像和逼真3D重建之间的差距，该方法具有巨大的潜力。其潜在应用涵盖了娱乐、游戏、医疗保健和时尚等各个领域。SMPLitex展示了未来捕捉3D人体外观就像拍照一样简单的前景，研究团队的创新为更具沉浸感的体验、增强内容创作以及新的计算机视觉和图形领域铺平了道路。 随着技术的进步，我们只能期待像SMPLitex这样的方法所能带来的令人难以置信的可能性。将生成模型和精确的像素到表面对应相结合，可以彻底改变行业，并重新定义我们与人体形态的数字表示的互动。由于SMPLitex及其有远见的研究团队，从2D到3D的旅程迈出了重要的一步。
Leave a Comment在生成式人工智能时代，编译器正在经历复兴在人工智能的背景下，编译器负责将神经网络架构转化为特定的可执行代码…
Leave a Comment在图像处理领域中，从质量较差的面部照片中恢复高清信息仍然是一项困难的任务。由于这些图像经历了许多降级，经常导致关键信息的丢失，这些活动本质上很困难。这个问题凸显了低质量和高质量照片之间的质量差异。接下来的问题是是否可以利用低质量领域的固有特性来更好地理解和改善面部修复的过程。 最近的方法已经融入了码本先验、自动编码器和高质量特征集来解决这个问题。然而，这些方法仍然有一个显著的弱点。它们通常依赖于一个仅在高质量数据上训练的单个编码器，忽略了低质量图像所具有的特殊复杂性。虽然创新，但这种方法可能无意中扩大了领域差距，错过了低质量数据的细微差别。 最近有一篇新的论文提出了一个新的解决方案来解决这些问题。这种方法使用额外的“低质量”分支从模糊或不清晰的图像中提取重要细节，将其与更清晰的图像细节结合起来，以改善面部图像恢复。 他们的工作有以下几个突出之处： 1. 他们添加了一个特殊的工具来捕捉低质量图像的独特特征，弥合了清晰和不清晰图像之间的差距。 2. 他们的方法混合了低质量和高质量图像的细节。这种混合有助于克服图像恢复中的常见问题，导致更清晰、更好的结果。 3. 他们引入了一种称为DAEFR的技术来处理模糊或不清晰的面部图像。 具体而言，他们的方法包括以下几个关键步骤： 离散码本学习阶段：他们为HQ和LQ图像建立码本。使用向量量化，他们训练一个自编码器进行自重构，以捕捉领域特定的信息。这个阶段产生了HQ和LQ领域的编码器和码本。 关联阶段：他们借鉴了CLIP模型的灵感，将HQ和LQ领域的特征进行关联。来自领域特定编码器的特征被展平成补丁，构建相似性矩阵。该矩阵以空间位置和特征级别的接近度来衡量这些补丁之间的接近程度。目标是最小化领域差距，产生两个整合了来自两个领域信息的关联编码器。 特征融合和编码预测阶段：在获得关联编码器后，使用这两个编码器对LQ图像进行编码。一个多头交叉注意力模块将这些编码器的特征进行融合，生成一个融合特征，包含来自HQ和LQ领域的信息。随后，一个Transformer预测HQ码本的相关编码元素，这些元素由解码器用于生成恢复的HQ图像。 作者通过一系列实验评估了他们的方法。他们使用PyTorch框架在70,000张高质量人脸图像的FFHQ数据集上训练了他们的模型。这些图像经过调整大小和合成降级以供训练。对于测试，他们选择了四个数据集：CelebA-Test和三个真实世界的数据集。他们的评估指标包括具有真实值的数据集的PSNR和SSIM，以及没有真实值的真实世界数据集的FID和NIQE。与最先进的方法相比，他们的DAEFR模型在真实世界数据集上展现出了更好的感知质量，并在合成数据集上展现出了竞争性的性能。此外，消融研究表明使用两个编码器是最优的，他们提出的多头交叉注意力模块改善了特征融合，突显了该方法在恢复退化图像方面的有效性。 总而言之，本文介绍了一篇新的论文，旨在解决图像恢复的挑战，特别是针对低质量的面部照片。研究人员引入了一种新颖的方法DAEFR，利用高质量和低质量图像特征来产生更清晰、更精细的恢复结果。这种方法独特地使用了一个双编码器系统，一个用于高质量图像，一个用于低质量图像，弥合了两个领域之间的差距。该解决方案经过了严格的评估，显示出比以前的方法有显著的改进。该论文的研究结果强调了DAEFR在提高图像处理领域的潜力，为更准确的面部图像恢复铺平了道路。
Leave a Comment通过识别和分离不同的组织、器官或感兴趣区域，医学图像分割对于研究医学图片至关重要。临床医生可以使用准确的分割来帮助他们定位和准确确定疾病区域，以获得更精确的诊断和治疗。此外，通过对医学图片进行定量和定性分析，提供了对各种组织或器官的形态、结构和功能的全面洞察，从而实现了对疾病的研究。由于医学成像的特殊性，例如各种模态的广泛应用、复杂的组织和器官结构以及缺乏注释数据，目前大多数现有方法都局限于特定的模态、器官或病理。 由于这种限制，算法很难推广和修改以在不同的临床环境中使用。最近，朝着大规模模型的推进在人工智能社区中引起了激动。像ChatGPT2、ERNIE Bot 3、DINO、SegGPT和SAM这样的通用AI模型的发展使得可以使用单一模型进行各种任务。使用SAM，这个最新的大规模视觉模型，用户可以通过交互式点击、绘制边界框或使用口头提示来创建特定感兴趣区域的遮罩。人们对它在各个领域的零样本和小样本能力已经付出了相当多的关注。 一些工作也集中在将SAM的零样本能力应用于医学成像领域。然而，SAM难以推广到多模态和多对象的医学数据集，导致不同数据集之间的分割性能不稳定。这是因为自然图像和医学图像之间存在相当大的领域差距。这种差距可以归因于获取数据的方法：由于其特定的临床目的，医学图片是使用特定的协议和扫描仪获取的，并以各种模态（电子、激光、X射线、超声、核物理和磁共振）显示。因此，这些图像与真实图像有很大的偏差，因为它们依赖于各种基于物理学特征和能源源的特性。 如图1所示，自然图像和医学图像在像素强度、颜色、纹理和其他分布特征方面有明显的差异。由于SAM仅在自然图片上进行训练，它需要更多关于医学成像的专业信息，因此不能立即应用于医疗领域。由于高昂的注释成本和不一致的注释质量，向SAM提供医学信息是具有挑战性的。医学数据的准备需要专业知识，而这些数据的质量在机构和临床试验之间存在很大差异。由于这些困难，医学和自然图像的数量差异很大。 图1中的条形图比较了公开可用的自然图像数据集和医学图像数据集的数据量。例如，作为医学领域最大的公共分割数据集，Totalsegmentor与Open Image v6和SA-1B相比也存在显著差距。在本研究中，四川大学和上海人工智能实验室的研究人员提出了SAM-Med2D，这是关于将SAM应用于医学2D图像的最全面的研究，旨在将SAM从自然图像转移到医学图像领域。这将为医学图像分析领域的研究人员提供基准模型和评估框架，以进行探索和改进。
Leave a Comment在一个越来越被智能设备和人工智能主导的世界中，微软于2023年5月提交的一项新专利引起了人们的关注和好奇。这家科技巨头正在未来发展中将目光聚焦于开发支持人工智能的微软智能背包。这一非传统的发明承诺通过利用人工智能识别物体、执行上下文任务、访问基于云的信息并与其他设备无缝交互来彻底改变日常生活。 虽然可穿戴技术的概念并不全新，但现有的解决方案只是勾勒出了可能性的一部分。像Targus和Intel这样的品牌推出了自己的智能背包版本，每个版本都提供了独特的功能，如集成可充电电池和面向视障人士的GPS单元。然而，微软的创新似乎准备将这一概念提升到一个全新的层次。 根据该专利，微软的智能背包配备了相机、麦克风、扬声器、网络接口、处理器和存储器。它充当了一个无需使用手部操作的数字助手，具备上下文感知功能，能够理解并响应用户基于周围环境的命令。这一突破性技术通过六个步骤的过程运作，从用户输入开始，最终得出全面由人工智能驱动的响应。 评估微软智能背包成功的潜在指标是广泛的。从准确识别物体并提供上下文信息、到与其他设备和基于云的服务无缝集成，该背包的性能将通过其便利性、高效性和增强日常任务能力来衡量。指标还可能包括用户满意度和采用率，以及设备在各种环境中对生产力和便利性的影响。 总而言之，微软进军支持人工智能的智能背包领域代表了可穿戴技术的重要进步。通过提供实时信息和帮助来增强日常体验的能力，这一创新有潜力重新塑造我们与周围环境互动的方式。虽然现有的解决方案已经铺平了道路，但微软的智能背包似乎即将成为可穿戴人工智能领域的改变者，为用户展示了一种曾经被限制在科幻领域的未来前景。
Leave a Comment多模态研究近来在文本和视觉的计算机理解方面取得了重大进展。通过像DALL-E和稳定扩散（SD）这样的文本到图像生成模型，可以将现实世界环境中的复杂语言描述转化为高保真度的视觉图像。另一方面，像Flamingo和BLIP这样的图像到文本生成模型展示了理解图片中复杂语义的能力，并提供连贯的描述。尽管文本到图像生成和图片描述任务非常相关，但它们通常被独立研究，这意味着这些模型之间的交互需要被探索。文本到图像生成模型和图像到文本生成模型能否相互理解是一个有趣的话题。 为了解决这个问题，他们使用了一个称为BLIP的图像到文本模型为特定图像创建文本描述。然后，将这个文本描述输入到一个名为SD的文本到图像模型中，生成一个新的图像。他们认为，如果生成的图片与源图片相似，BLIP和SD可以相互交流。通过共同的理解，每一方对潜在理念的理解能力可以得到提高，从而实现更好的描述和图像合成。这个概念在图1中得到了展示，顶部标题导致了对原始图片更准确的重建，并且比底部标题更好地代表了输入图片。 https://arxiv.org/abs/2212.12249 来自慕尼黑大学，西门子公司和牛津大学的研究人员开发了一个重建任务，其中DALL-E使用Flamingo为给定的图像生成描述，从而合成一张新的图片。他们创建了两个重建任务，文本-图像-文本和图像-文本-图像，来测试这个假设（见图1）。对于第一个重建任务，他们计算使用预训练的CLIP图像编码器提取的图像特征之间的距离，以确定重建的图片和输入图片的语义相似度。然后，将生成的文本的质量与人工标注的标题进行比较。他们的研究表明，生成的文本的质量影响重建的表现。这导致他们的第一个发现：能够重建原始图片的描述是图片的最佳描述。 类似地，他们创建了相反的任务，SD从文本输入创建一张图片，然后BLIP从创建的图片创建文本。他们发现，产生原始文本的图片是最好的文本插图。他们假设在重建过程中，输入图片的信息在文本描述中被准确地保留下来。这个有意义的描述导致了对成像模态的忠实恢复。他们的研究为细调提供了一个独特的框架，使文本到图像和图像到文本模型更容易相互交流。 具体来说，在他们的范式中，生成模型从重建损失和人工标签中获得训练信号。一个模型首先为另一种模态的特定图片或文本创建一个表示，然后不同的模型将这个表示翻译回输入模态。重建组件创建一个正则化损失，来引导初始模型的细调。他们以这种方式得到了自我监督和人类监督，增加了生成会导致更准确的重建的可能性。例如，图像字幕模型需要偏好不仅与标记的图像-文本配对相对应的标题，还需要偏好那些可以产生可靠重建的标题。 相互代理通信与他们的工作密切相关。代理之间的主要信息交流方式是语言。但是，他们如何确保第一个和第二个代理对猫或狗的定义是一样的呢？在这项研究中，他们要求第一个代理检查一张图片并生成描述它的句子。在获得文本后，第二个代理根据它来模拟一张图片。后一阶段是一种具体化过程。根据他们的假设，如果第二个代理对输入图片的模拟接近第一个代理接收到的输入图片，那么通信就是有效的。从根本上说，他们评估了语言的有用性，语言作为人类的主要交流方式。特别是，他们的研究中使用了新建立的大规模预训练图片字幕模型和图像生成模型。多项研究证明了他们提出的框架在无需训练和细调情况下对各种生成模型的好处。特别是，在无需训练的范式中，他们显著提高了字幕和图片的生成，而在细调中，两种生成模型都取得了更好的结果。 以下是他们的关键贡献的概要： • 框架：据他们所知，他们是第一个研究如何通过易于理解的文本和图片表示来传达传统的图像到文本和文本到图像生成模型的人。相比之下，类似的工作通过嵌入空间隐式地集成了文本和图片的创建。 • 发现：他们发现评估文本到图像模型创建的图片重建可以帮助确定字幕的写作质量。能够最准确重建原始图片的字幕应该用于该图片。类似地，最佳的字幕图像是能够最准确重建原始文本的图像。 • 增强：根据他们的研究，他们提出了一个全面的框架来改进文本到图像和图像到文本模型。文本到图像模型计算的重建损失将用作细调图像到文本模型的正则化，图像到文本模型计算的重建损失将用于细调文本到图像模型。他们研究并确认了他们方法的可行性。
Leave a Comment人工智能几乎渗透到了几乎所有可能的领域中。在这个领域进行了大量的研究工作。我们还有很多待发现的地方。人工智能和深度学习模型在地震学中也扮演着重要的角色，它们用于预测地震。在过去的多年里，地震余震预测模型一直保持不变。这些旧模型在处理较小数据集时效果不错，但在处理较大数据集时效果不佳。 为了解决这个问题，加州大学圣塔克鲁兹分校和慕尼黑工业大学的研究人员开发了一种名为RECAST的新模型，该模型使用了深度学习。他们选择使用深度学习是因为它对处理更大的数据集很有用。与旧模型相比，这个新模型效果更好，它在各个方面都击败了旧模型。旧的地震预测模型ETAS是几年前这些研究人员在数据有限的情况下创建的。但是现在，我们有了庞大的数据集，旧模型无法处理这些数据。旧的ETAS模型非常脆弱且难以使用。为了改进基于深度学习的地震预测，我们需要一种更好的比较模型的方法。RECAST模型在南加州的合成和真实地震数据上进行了测试。它的表现略优于ETAS模型，尤其是在有更多数据的情况下，而且速度更快。 研究人员之前尝试过使用机器学习和深度学习模型来预测地震，但技术还不够成熟。RECAST模型更准确，并且可以轻松处理不同的地震数据集。这种灵活性可能彻底改变地震预测。通过深度学习，模型可以处理大量新数据，甚至可以将来自不同地区的信息结合起来，以预测在研究较少的地区的地震。这些关于深度学习模型的信息非常有用，并一直在进行研究。研究人员还发现，使用新西兰、日本和加利福尼亚的数据训练的模型可以用于预测数据较少的地方的地震。 这些深度学习模型还将帮助研究人员访问不同类型的地震预测数据。他们现在可以使用连续的地面运动数据，而不仅仅是关注被正式归类为地震的事件。这是一个分类任务。这个模型在处理较大数据集时的准确性和F1分数都很好。研究人员仍在继续研究这个新模型，它将鼓励和推动关于所有可能性的讨论，因为它有很大的潜力。
Leave a Comment一位假设的承包商如何通过Apache Pulsar和Apache Cassandra加速AI本文详细介绍了在AI/ML之旅中的重要方面
Leave a Comment本周在人工智能领域，我们重点关注到大语言模型（LLMs）在西方市场推动了显著的收入增长的进一步证据，以及新的人工智能模型的引入…
Leave a Comment我已向各个创业公司的机器学习领导者提出了这个问题，并收到了几个不同的答案按照没有特定顺序的方式来看：请注意，这些第一步中没有一个是编写和训练新的代码…
Leave a Comment深度神经网络的最新进展使得解剖分割有了新的方法。例如，利用深度卷积神经网络（CNN）在生物医学图像的解剖分割方面取得了最先进的性能。传统的策略采用标准的编码器-解码器CNN架构，使用带注释的数据集来预测像素级分割。虽然这种方法适用于拓扑在个体间不保持一致的场景，如病变分割，但对于具有规则拓扑结构的解剖结构来说可能不是理想的。深度分割网络通常被训练来最小化像素级损失函数，但这可能不保证解剖合理性，因为它对全局形状和拓扑不敏感。这可能导致出现碎片化结构和拓扑不一致等伪影。 为了缓解这些问题，结合先验知识和形状约束变得至关重要，特别是对于疾病诊断和治疗规划等下游任务。与密集的像素级遮罩相比，统计形状模型或基于图的表示等替代方法提供了一种更自然的方式来包含拓扑约束。图，特别是提供了一种表示标志点、轮廓和表面的方法，可以实现拓扑的正确性。几何深度学习将CNN扩展到非欧几里德域，促进了图数据的判别和生成模型的发展。这些进展使得能够进行准确的预测，并生成与特定分布对齐的真实图结构。 根据上述考虑，引入了新的HybridGNet架构，以在图像特征编码中利用基于标志点的分割的优势。 架构概述如下图所示。 HybridGNet结合了基于图神经网络（GCNN）的生成模型，以创建解剖学上准确的分割结构。它通过标准卷积处理输入图像，并通过对“瓶颈潜在分布”进行采样来生成基于标志点的分割，这是一个包含图像关键信息的紧凑编码表示。从该分布中进行采样使得模型能够根据编码的图像特征创建多样且合理的分割输出。采样后，进行了重塑和图域卷积。 此外，根据局部图像特征可能有助于产生更准确的标志点位置估计的假设，提出了一种名为Image-to-Graph Skip Connection (IGSC)模块。类似于UNet的跳跃连接，IGSC模块结合了图解缩操作，允许特征图从编码器流向解码器，从而增强了模型恢复细节的能力。 下图显示了从研究中选择的样本结果。这些可视化结果提供了HybridGNet和最先进方法之间的比较概览。 这就是HybridGNet的摘要，一种新颖的AI编码器-解码器神经架构，利用标准卷积进行图像特征编码，并利用图卷积神经网络（GCNN）解码解剖结构的合理表示。如果您感兴趣并想更多了解，请随时参考下面引用的链接。
Leave a Comment对于二分类目标变量，我们将SHAP值解释为对数几率对于多分类目标，我们使用softmax我们讨论这些解释和代码
Leave a Comment在这篇文章中，我们使用GGML和llama.cpp对我们的经过精调的Llama 2模型进行量化然后，我们在本地运行GGML模型，并比较NF4、GPTQ和GGML的性能
Leave a Comment最近几个月，语言模型编程（LMP）框架的宇宙一直在迅速扩张像LangChain或LlamaIndex这样的框架确实已经达到了相关水平…
Leave a Comment使用机器学习（ML）模型进行计算机视觉任务通常严重依赖于标记的训练数据。然而，收集和注释这些数据可能需要时间和精力。合成数据已经成为解决这个问题的可行方法，但是即使生成合成数据也经常需要人工分析员费力地手动注释。 现有的解决此问题的方法通常涉及使用生成对抗网络（GAN）创建合成图像。GAN由一个鉴别器和一个生成器组成，其中生成器学习生成能够欺骗鉴别器认为它们是真实的图像。虽然GAN在生成合成数据方面显示出了潜力，但它们仍然需要大量标记数据进行训练，限制了它们在有限注释数据的情况下的有效性。 亚马逊研究人员提出了一种名为“HandsOff”的创新解决方案，该解决方案在计算机视觉和模式识别会议（CVPR）上进行了演示。HandsOff通过利用一小组标记图像和GAN，消除了对合成图像数据的手动注释的需求。 HandsOff采用了一种称为GAN反演的新颖方法。研究人员不是修改GAN本身的参数，而是训练一个单独的GAN反演模型，将真实图像映射到GAN的潜在空间中的点。这使得他们能够基于标记图像创建一个小的点和标签数据集，可以用来训练第三个能够标记GAN潜在空间中的点的模型。 HandsOff的关键创新在于使用学习感知图像块相似性（LPIPS）损失来微调GAN反演模型。LPIPS通过比较计算机视觉模型（如目标检测器）在每个模型层的输出来衡量图像之间的相似性。通过优化GAN反演模型，以最小化真实潜在向量与输入图像的估计潜在向量之间的LPIPS差异，研究人员确保了即使对于不完全重构的想法，也能够保证标签的准确性。 HandsOff在语义分割、关键点检测和深度估计等重要的计算机视觉任务上展示了最先进的性能。值得注意的是，这是在少于50个现有标记图像的情况下实现的，突显了该框架在最小手动注释的情况下生成高质量合成数据的能力。 总之，HandsOff框架在计算机视觉和机器学习领域取得了令人振奋的突破。消除对合成数据大量手动注释的需求显著减少了训练ML模型所需的资源和时间。GAN反演与LPIPS优化的使用展示了该方法在确保生成数据的标签准确性方面的有效性。虽然文章没有详细探讨具体的定量指标，但实现最先进性能的声明是有希望的，值得进一步研究。 总体而言，HandsOff通过使高质量标记数据更易获取和更适用于各个领域和行业，有望推动计算机视觉研究和应用的发展。
Leave a Comment最近，在机器学习的搜索领域中，应用深度神经网络取得了重大进展，特别强调了双编码器架构中的表示学习。在这个框架中，各种类型的内容，包括查询、段落，甚至包括图像等，被转化为紧凑且有意义的“嵌入”，表示为密集向量。基于这种架构构建的密集检索模型成为增强大型语言模型（LLMs）中检索过程的基石。这种方法在当今生成式人工智能的更广泛领域中已经广受欢迎，并被证明在增强LLMs的整体能力方面非常有效。 叙述表明，由于需要处理大量的密集向量，企业应该将专用的“向量存储”或“向量数据库”纳入到他们的“AI堆栈”中。一些初创公司积极推动这些向量存储作为创新和现代企业架构的重要组成部分。其中一些显著的例子包括Pinecone、Weaviate、Chroma、Milvus和Qdrant等。一些支持者甚至已经提出这些向量数据库最终可能取代长期存在的关系数据库。 本文提出了与这种叙述相对立的观点。这些论点围绕着一个简单的成本效益分析，考虑到搜索在许多组织中代表着一个现有且已经建立的应用，从而导致在这些能力上进行了重大的先前投资。生产基础设施主要由以开源Lucene搜索库为中心的广泛生态系统主导，尤其是由Elasticsearch、OpenSearch和Solr等平台推动。 https://arxiv.org/abs/2308.14963 上面的图片展示了一个标准的双编码器架构，其中编码器从查询和文档（段落）生成密集向量表示（嵌入）。检索被构建为向量空间中的k最近邻搜索。实验集中在MS MARCO段落排序测试集上进行，该集合由大约880万个从网络中提取的段落组成。用于评估的是标准开发查询和来自TREC 2019和TREC 2020深度学习跟踪的查询。 研究结果表明，今天可以使用Lucene直接构建一个使用OpenAI嵌入的向量搜索原型。嵌入API的日益普及支持了我们的论点。这些API简化了从内容中生成密集向量的复杂过程，使其更易于从业者使用。确实，当您构建搜索生态系统时，只需要Lucene就足够了。但正如事实所证明的那样，只有时间会告诉我们是否正确。最后，这提醒我们，在快速发展的人工智能世界中，权衡成本与收益仍将是一种主要思维方式。
Leave a Comment我们做事的方式在最近几年发生了快速变化。我们已经开始使用虚拟助手来完成我们大部分的任务，并发现自己处于一种需要将任务委派给AI代理的位置。 有一把钥匙可以解锁推动所有这些进步的力量：软件。在一个日益技术驱动的世界中，软件开发是创新的关键，涵盖了从医疗保健到娱乐等各个领域。然而，软件开发的过程往往充满了复杂性和挑战，要求开发人员快速解决问题和创造性思考。 这就是为什么AI应用程序在软件开发领域迅速找到了自己的位置。它们简化了这个过程，为开发人员提供了及时的编码查询答案，并在他们的努力中支持他们。我的意思是，你可能也在使用它。你上次去StackOverflow而不是ChatGPT是什么时候？或者当你安装了GitHub协作者时，你按Tab键的次数有多少？ ChatGPT和Copilot都不错，但它们在软件开发中仍然需要有良好的指导才能发挥更好的作用。今天，我们见到了一个新的参与者；SoTaNa。 SoTaNa是一个利用LLM的能力来提高软件开发效率的软件开发助手。像ChatGPT和GPT4这样的LLM已经展示了它们在理解人类意图和生成类似人类的回应方面的能力。它们在包括文本摘要和代码生成在内的各个领域都变得有价值。然而，由于某些限制，它们的可用性受到了限制，而SoTaNa旨在解决这些限制。 SoTaNa作为一个开源软件开发助手，致力于弥合开发者和LLM的巨大潜力之间的鸿沟。这个倡议的主要目标是使基础LLM能够在有限的计算资源下理解开发者的意图。这项研究采用了多步骤的方法来实现这一目标，利用ChatGPT来生成面向软件工程任务的高质量基于指令的数据。 SoTaNa概述。来源：https://arxiv.org/pdf/2308.13416.pdf 该过程通过引导ChatGPT进行具体提示，详细说明生成新实例的要求来开始。为了确保准确性和与期望输出的对齐，手动注释的软件工程相关实例的种子池作为参考。这个池子涵盖了各种软件工程任务，为生成新数据奠定了基础。通过巧妙的采样技术，这种方法有效地使演示实例多样化，并确保创建满足规定要求的高质量数据。 为了更好地提高模型对人类意图的理解，SoTaNa采用了Lora，一种参数高效的微调方法，使用有限的计算资源来增强开源基础模型，特别是LLaMA。这个微调过程使模型在软件工程领域内更好地理解人类意图。 生成数据使用的提示。来源：https://arxiv.org/pdf/2308.13416.pdf SoTaNa的能力是使用Stack Overflow问题回答数据集进行评估的，包括人工评估在内的结果强调了该模型在协助开发人员方面的有效性。 SoTaNa向世界介绍了一个基于LLMs构建的开源软件开发助手，能够理解开发人员的意图并生成相关的响应。此外，它通过发布模型权重和专为软件工程而设计的高质量基于指令的数据集，对社区做出了重要贡献。这些资源有望加速未来在该领域的研究和创新。
Leave a Comment大型语言模型如GPT-3及其对社会各个方面的影响是一个备受关注和争议的话题。大型语言模型显著推动了自然语言处理领域的发展。它们提高了各种与语言相关的任务的准确性，包括翻译、情感分析、摘要和问答。由大型语言模型驱动的聊天机器人和虚拟助手变得越来越复杂，能够处理复杂的对话。它们被用于客户支持、在线聊天服务，甚至成为某些用户的伴侣。 构建阿拉伯语大型语言模型（LLM）面临着由于阿拉伯语言的特性和其方言的多样性而产生的独特挑战。与其他语言的大型语言模型类似，阿拉伯语LLMs可能会继承训练数据中的偏见。解决这些偏见并确保在阿拉伯语境中负责任地使用人工智能是一个持续关注的问题。 Inception、Cerebras和阿布扎比人工智能大学（UAE）的研究人员推出了一种新的基于阿拉伯语的大型语言模型Jais和Jais-chat。他们的模型基于GPT-3生成式预训练架构，仅使用了130亿个参数。 他们面临的主要挑战是获取用于训练该模型的高质量阿拉伯语数据。与拥有高达2万亿个标记的英文数据相比，阿拉伯语语料库要小得多。语料库是用于语言学、自然语言处理（NLP）和文本分析的大型结构化文本集合，用于研究和语言模型训练。语料库是研究语言模式、语义、语法等方面的宝贵资源。 为了解决这个问题，他们训练了双语模型，通过增加有限的阿拉伯语预训练数据与丰富的英文预训练数据相结合。他们对Jais进行了预训练，包括72亿个阿拉伯语标记和2320亿个英文标记。他们开发了一种专门的阿拉伯文本处理流程，包括彻底的数据过滤和清理，以生成高质量的阿拉伯语数据。 他们表示，他们的模型的预训练和微调能力超越了所有已知的开源阿拉伯模型，并且与在更大数据集上训练的最先进的开源英文模型相当。考虑到大型语言模型的固有安全问题，他们通过安全导向的指令进一步微调了模型。他们通过安全提示、基于关键词的过滤和外部分类器添加了额外的安全防护。 他们表示，Jais代表了中东自然语言处理和人工智能领域的重要发展和扩展。它推进了阿拉伯语的理解和生成，为当地参与者提供了主权和私有部署选择，并培育了一个应用和创新的活跃生态系统；这项工作支持了数字和人工智能转型的更广泛战略计划，以迎接一个更开放、更具语言包容性和文化意识的时代。
Leave a Comment在不断发展的计算机视觉领域中，一个紧迫的问题是确保公平性。这篇文章揭示了人工智能技术（尤其是计算机视觉）中潜在的巨大潜力，它是促成各个领域变革性突破的催化剂，从维护生态保护努力到推动开拓性的科学探索。然而，它对这项技术崛起所带来的固有风险保持了坦诚的态度。 Meta AI的研究人员强调必须达到的关键平衡，即快速创新的节奏与必要时出现的有意识的开发实践之间的和谐平衡。这些实践不仅仅是一种选择，而且是对这项技术可能无意中给历史上被边缘化社区带来的潜在伤害的重要防护。 Meta AI的研究人员针对这个多方面的挑战制定了一项全面的路线图。他们首先通过开源Apache 2.0许可证使DINOv2成为一种先进的计算机视觉模型，该模型通过自监督学习的锻炼器锻炼而成。DINOv2是Data-Efficient Image Neural Network Version 2的缩写，代表着计算机视觉模型的一次重要飞跃。它利用自监督学习技术创建通用特征，使其能够以高度灵活的方式理解和解释图像。 DINOv2的能力不仅限于传统的图像分类。它在许多任务中表现出色，包括语义图像分割，可以准确识别物体边界并将图像分割成有意义的区域，以及单目深度估计，使其能够感知图像中物体的空间深度。这种多功能性使DINOv2成为计算机视觉应用的强大工具。这种扩展的可访问性使开发人员和研究人员能够在广泛的应用领域中利用DINOv2强大的功能，进一步推动计算机视觉创新的前沿。 Meta对计算机视觉中公平性的承诺的核心在于引入FACET（计算机视觉评估中的公平性）。FACET是一个里程碑式的基准数据集，包含约32,000张图片，涵盖约50,000个个体。然而，FACET的独特之处在于专家人工标注者的细致注释。这些专家经过细心的注释工作，将数据集按多个维度进行分类。其中包括感知性别表达、年龄组别以及感知肤色和发型等身体属性。值得注意的是，FACET引入了与个人相关的类别，涵盖了像“篮球运动员”和“医生”这样多样化的职业。该数据集还通过包含69,000个口罩标签增强了其研究目的的重要性。 使用FACET进行的初步研究已经揭示了先进模型在不同人群中的性能差异。例如，这些模型在准确检测肤色较暗或头发卷曲的个体方面经常遇到挑战，揭示了潜在的偏见，值得仔细研究。 在使用FACET进行性能评估时，最先进的模型在不同人群之间展示出性能差异。例如，模型可能难以检测到肤色较暗的个体，对于头发卷曲的个体则更加困难。这些差异凸显了对计算机视觉模型中的偏见进行全面评估和缓解的必要性。 尽管主要用于研究评估而不是用于训练目的，但FACET有可能成为评估计算机视觉模型公平性的卓越标准。它为对人工智能中的公平性进行深入细致的检查奠定了基础，超越了传统的人口属性，包括了与个人相关的类别。 总之，Meta的文章放大了计算机视觉中的公平性问题，并揭示了FACET揭示的性能差异。Meta的方法包括扩大对DINOv2等先进模型的访问，并引入一种开创性的基准数据集。这种多方面的方法彰显了他们对促进创新、坚持道德标准和缓解公平问题的坚定承诺。它突显了他们对负责任的发展的不懈奉献，为实现一个公平的人工智能领域铺平了道路，即利用技术造福于所有人的领域。
Leave a Comment