四海吧 Posts

中国搜索引擎搜狗的创始人王小川通过其公司百川智能发布了一款名为百川-13B的新型巨型语言模型。目前，该模型仅限程序员和研究人员进行商业使用。搜狗创始人王小川最近在微博上发布了一条消息称“中国需要自己的OpenAI”。这位中国商人在其初创公司百川智能发布了下一代大型语言模型百川-13B之后，离实现自己的愿景又近了一步。百川智能在三个月前推出，并迅速吸引了一批愿意投资5000万美元的投资者。由于创始人在计算机科学方面的非凡技能，他的组织现在被视为中国最有前途的巨型语言模型创造者之一。 百川-13B采用了与GPT和大部分国内中文变体相同的Transformer设计。除了在中文和英文数据上进行训练外，它的130亿个参数（用于文本生成和分析的变量）都是双语的。该模型是开源的，可以用于赢利，并且是使用GitHub上的数据构建的。 在百川-7B取得成功之后，百川智能科技推出了百川-13B，这是一个商业可用的开源大型语言模型，具有130亿个参数。在受人尊敬的中文和英文规范中，它胜过了同等规模的竞争对手。此次发布包括基准（百川-13B-Base）和对话（百川-13B-Chat）两个版本。 特点 百川-13B在百川-7B的基础上将参数数量增加到130亿，并在高质量语料库上训练了1.4万亿个标记，比LLaMA-13B多40%。在开源的13B规模下，它是训练数据最多的模型。它采用了ALiBi位置编码和4096字节的上下文窗口，并且可以同时处理中文和英文。 预训练模型用于开发者的基础版本，而具有对话功能的对齐模型更受常规用户的青睐。因此，这个开源版本中包括了具有强大对话功能、可直接使用并仅需几行代码即可部署的对齐模型（百川-13B-Chat）。 研究人员还提供了int8和int4量化版本，这些版本在推理方面更加高效，以鼓励广泛的用户使用。它们可以在像Nvidia 3090这样的消费级显卡上实现，但非量化版本需要更强大的硬件支持。 公众使用免费，无限制转售或修改：如果开发者通过邮件申请官方商业许可，他们可以免费使用百川-13B进行商业目的。 百川-13B使用了大约14亿个标记进行训练。据OpenAI称，ChatGPT-3据说是在3000亿个标记上进行训练的。百川团队在三个月内扩大了一倍，成员达到了50人，并在上个月公开展示了他们的模型百川-7B，该模型具有70亿个参数。两天前发布的百川-13B版本是最基本的版本。现在，已经获得合法授权的研究人员和程序员可以免费使用它进行商业用途。该模型是否会正式发布供广泛使用的未来尚待发现。 基础模型百川-13B现在对已获得必要法律许可的研究人员和程序员免费提供，并且可以在像Nvidia的3090显卡之类的消费级硬件上运行，这一点尤其值得注意，考虑到最近美国对中国人工智能芯片制造商的限制。 百川智能科技的研究人员确认，他们的团队尚未为任何平台（包括iOS、Android、Web等）创建基于百川-13B的应用程序。我们敦促用户不要将百川-13B模型用于非法或有害的目的，如危害国家或社会安全。同时，我们鼓励用户在没有必要的安全审计和备案的情况下不要将百川-13B模型用于互联网服务。我们指望每个人遵守这个规则，将技术进步限制在法律范围内。

人类在接触到仅仅几个实例后就能理解复杂的概念。大多数情况下，我们可以根据书面描述识别动物，并根据视觉猜测未知汽车引擎的声音。这部分是因为一张单独的图片可以“绑定”起本来不相干的感官体验。基于配对数据，标准的多模态学习在人工智能中存在一定的局限性，随着模态数量的增加。 将文本、音频等与图像对齐已成为最近几种方法的重点。这些策略最多只使用两种感官。然而，最终的嵌入只能表示训练的模态及其对应的配对。因此，无法直接将视频音频嵌入转换为图像文本活动，反之亦然。缺乏同时包含所有模态的大量多模态数据是学习真正联合嵌入的一大障碍。 新的元研究引入了IMAGEBIND，这是一个使用多种形式的图像对数据来学习单一共享表示空间的系统。不需要使用同时包含所有模态的数据集。相反，这项工作利用了图像的绑定属性，并展示了将每种模态的嵌入与图像嵌入对齐会导致所有模态的紧密对齐。 网络上大量的图像和相应的文本促使人们对训练图像文本模型进行了大量研究。ImageBind利用了图像经常与其他模态同时出现并可以作为它们之间的桥梁的事实，例如使用在线数据将文本与图像链接，或者使用从佩戴式相机和IMU传感器获得的视频数据将运动与视频链接。 跨模态学习的目标可以是从大量网络数据中学习到的视觉表示。这意味着ImageBind还可以对频繁与图像同时出现的任何其他模态进行对齐。对于与图片高度相关的热度和深度等模态，对齐更简单。 ImageBind通过仅使用成对图像就能整合所有六种模态。该模型能够让各种模态“交流”并发现彼此之间的联系，从而提供更全面的信息解释，即使不能直接观察到这些模态之间的关系。通过这样做，其他模型可以在不需要大量的时间和精力进行训练的情况下“理解”新的模态。ImageBind的强大的可扩展行为使得可以将该模型用于以前不能使用额外模态的许多AI模型的替代或补充。 通过将大规模的图像文本配对数据与自监督数据对四种新模态进行结合，即音频、深度、热度和惯性测量单元（IMU）读数，展示了IMAGEBIND在零样本分类和检索任务上的强大性能。团队表明，加强底层图像表示可以增强这些新出现的特征。 研究结果表明，IMAGEBIND在音频分类和检索基准（如ESC、Clotho和AudioCaps）上的零样本分类性能与通过直接音频-文本监督进行训练的专家模型持平或超过。在少样本评估基准上，IMAGEBIND表示还优于专家监督的模型。最后，他们展示了IMAGEBIND在各种组合任务中的灵活性，包括跨模态检索、嵌入的算术组合、图像中的音频源检测以及通过音频输入生成图像。 由于这些嵌入没有针对特定应用进行训练，所以其效率落后于特定领域的模型。团队认为，了解如何将通用嵌入定制为特定目标（如结构化预测任务，如检测）将非常有帮助。

最先进的大型语言模型（LLM），包括BERT、GPT-2、BART、T5、GPT-3和GPT-4，是由最近在机器学习领域，尤其是在自然语言处理（NLP）领域的进展所开发出来的。这些模型已经被有效地应用于各种任务，包括文本生成、机器翻译、情感分析和问答。它们学习上下文的能力，通常被称为上下文学习，是这些LLM的新兴行为之一。像GPT-3这样具有上下文学习能力的LLM，可以通过条件化输入输出样本和新鲜查询输入来完成任务，而无需优化任何模型参数。 多种语言任务的预训练可以与上下文学习和精心设计的提示结构相结合，使得LLM能够成功地推广到它们从未遇到过的活动中。尽管上下文学习在NLP领域已经得到了广泛的研究，但在计算机视觉领域中几乎没有应用。要将上下文学习作为一种用于伟大视觉应用的标准技术来展示其实用性和潜力存在两个重要困难：1）创建一个有效的视觉提示比创建语言任务的提示更困难，因为它需要领域特定的输入输出对作为示例和图片搜索作为标准。2）在计算机视觉中，通常会为专门的任务训练大型模型，包括文本到图像生成、类别条件生成、分割、检测和分类。 这些庞大的视觉模型必须更加灵活以适应新的任务，并不适用于上下文学习。最近的一些尝试通过使用NLP的答案来解决这些问题。具体地说，当将示例照片、查询图像和输出图像融合为一个庞大的整体时，训练基于Transformer的图像修复模型来预测被屏蔽的输出图像。然而，将大尺寸的图像拼接在一起会显著增加计算开销，尤其是在高分辨率的情况下。本研究通过解决这两个问题，来探讨基于文本引导的扩散生成模型的上下文学习潜力。 为了在能够处理各种视觉-语言活动的视觉-语言提示下执行上下文学习，微软和德克萨斯大学奥斯汀分校的研究人员提出了一种新颖的模型架构，称为Prompt Diffusion。Prompt Diffusion在六个单独的视觉-语言任务中并行进行。具体地，他们利用他们的视觉-语言提示来描述一个通用的视觉-语言任务。然后，他们根据Stable Diffusion和ControlNet的设计灵感构建了Prompt Diffusion，它可以使用他们的视觉-语言提示作为输入。他们将Prompt Diffusion视为实现文本引导的扩散模型具备上下文学习能力的第一步。然后，它可以利用这些知识通过将连接重新映射到查询图像并包含语言指令来创建输出图像。更重要的是，跨多个任务的学习赋予了模型上下文学习的能力。Prompt Diffusion可以成功地推广到尚未观察到的多个新功能上。除了在训练期间表现良好的六个任务上，它还在熟悉和新的未见任务上表现出色。 从经验上看，Prompt Diffusion在关于上下文学习的熟悉和新的未见任务上表现出色。预计Prompt Diffusion的有效性将激发并推动更多关于基于扩散的上下文视觉学习的研究。以下是他们的主要贡献的摘要： • 一种先进的视觉-语言提示设计，有效地实现了多种视觉-语言活动的融合。 • 使用Prompt Diffusion模型在学习和新的未见任务上进行高质量的上下文生成，这是第一个具备上下文学习能力的基于扩散的可适应视觉-语言基础模型。 • 在GitHub上可以找到Pytorch代码实现。

对象导航（ObjNav）指导一个物理代理前往一个预先确定的目标对象，而这个环境对于它来说是未知的。前往目标对象是代理与之交互的前提条件，因此对于其他基于导航的具身任务来说，这个活动至关重要。 识别环境中的房间和物体（语义场景理解）以及使用常识推理来推断目标物体的位置（常识推理）是成功导航所必需的两个关键技能。然而，现有的零样本对象导航方法经常缺乏常识推理能力，并且没有充分解决这个需求。现有的技术依赖于简单的探索启发式算法或者需要在其他目标导向的导航任务和环境中进行训练。 最近的研究表明，大规模预训练模型在零样本学习和问题解决方面表现出色。受到这些研究的启发，加州大学圣克鲁兹分校和三星研究提出了一种零样本对象导航框架，称为带有软常识约束的探索（ESC）。该框架使用预训练模型自动适应陌生的环境和物体种类。 团队首先使用GLIP，一种视觉和语言基础模型，用于推断当前代理视图的对象和房间信息，作为一种基于提示的开放世界对象定位和场景理解方法。由于GLIP在图像-文本对上进行了广泛的预训练，它可以在最小提示的情况下轻松推广到新的对象。然后，他们使用了一个预训练的常识推理语言模型，该模型使用房间和对象数据作为上下文来推断两者之间的关联。 然而，将从LLMs中推导出的常识知识转化为可操作的步骤仍存在一些空白。事物之间的联系在某种程度上存在一定的不确定性也是很常见的。通过使用概率软逻辑（PSL），一种声明性模板语言，该语言定义了遵守一阶逻辑原则的一部分马尔可夫随机场，ESC方法模拟了“软”常识限制来克服这些障碍。基于前沿的探索（FBE）是一种传统策略，它利用这些温和的常识限制来关注下一个要调查的前沿。虽然之前的方法依靠神经网络训练来隐式灌输常识，但是所提出的方法使用软逻辑谓词来在连续值空间中表达知识，并将其提供给每个前沿以促进更高效的探索。 为了测试系统的有效性，研究人员使用了三个目标导航基准（MP3D，HM3D和RoboTHOR），这些基准具有不同的家庭规模，建筑风格，纹理特征和物体类型。研究结果显示，该方法在MP3D上以SPL加权长度（SPL）和SR（成功率）约为CoW的285%和RoboTHOR的35%和SR（成功率）表现出色。该技术在MP3D上相对于ZSON实现了196%更好的SPL，相对于HM3D实现了85%更好的SPL，而ZSON需要在HM3D数据集上进行训练。在MP3D数据集上，所提出的零样本方法实现了与其他最先进的监督算法相比最高的SPL。