四海吧 Posts

大型语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展。将多模态引入LLMs并将其转化为多模态大型语言模型（MLLMs），可以进行多模态感知和解释，这是一个合乎逻辑的步骤。作为人工通用智能（AGI）的可能步骤，MLLMs在感知（如存在、计数、位置、OCR）、常识推理和代码推理等各种多模态任务中展示出了令人惊讶的新技能。与LLMs和其他任务特定模型相比，MLLMs能够以更类似人类的视角看待环境，提供用户友好的交互界面，并具备更广泛的任务解决能力。 现有的以视觉为中心的MLLMs使用Q-former或基本投影层、预训练的LLMs、视觉编码器和额外的可学习模块。另一种范式是通过API将当前的视觉感知工具（如跟踪和分类）与LLMs相结合，构建一个无需训练的系统。早期在视频领域的一些研究使用了这种范式开发了视频MLLMs。然而，以往从未对基于长时间电影（持续时间超过一分钟）的模型或系统进行过任何研究，并且也没有设定衡量这些系统有效性的标准。 在这项研究中，浙江大学、华盛顿大学、微软亚洲研究院和香港大学的研究人员介绍了一种名为MovieChat的独特框架，用于解决长时间视频解释挑战，将视觉模型与LLMs结合起来。根据他们的说法，扩展视频理解的剩余困难包括计算困难、内存开销和长期时间关联。为了解决这个问题，他们提出了一种基于阿特金森-希夫林（Atkinson-Shiffrin）记忆模型的记忆系统，其中包括快速更新的短期记忆和紧凑持久的长期记忆。 这个独特的框架将视觉模型与LLMs结合起来，是第一个能够进行扩展视频理解任务的框架。该研究通过进行严格的定量评估和案例研究，评估了理解能力和推理成本的性能，并提出了一种记忆机制，以降低计算复杂性和内存成本，同时改善长期时间关联。该研究通过将巨大的语言模型与视频基础模型相结合，提出了一种新颖的理解视频的方法。 该系统通过包含一个受阿特金森-希夫林模型启发的记忆过程来解决分析长电影的困难，其中包括由Transformers中的令牌表示的短期和长期记忆。所提出的系统MovieChat在扩展视频理解方面表现优于之前只能处理几帧电影的算法，并达到了最先进的性能。这种方法解决了长期时间关联问题，同时降低了内存使用和计算复杂性。该研究凸显了记忆过程在视频理解中的作用，使模型能够存储和检索相关信息长时间。MovieChat的普及对包括内容分析、视频推荐系统和视频监控在内的行业具有实际影响。未来的研究可能会探索如何加强记忆系统，并使用其他模态（包括音频）来提高视频理解能力。这项研究为需要全面理解视觉数据的应用创造了可能性。他们的网站上有多个演示。

最近的语言模型可以将长上下文作为输入；需要了解它们如何更好地使用更长的上下文。能否将LLMs扩展到更长的上下文？这是一个未解答的问题。Abacus AI的研究人员进行了多次实验，涉及不同方案来开发Llama的上下文长度能力，该模型在上下文长度2048上进行了预训练。他们使用IFT将这些模型进行线性缩放，缩放比例为4和16。将模型缩放到16倍可以执行长达16k的上下文长度的任务，甚至可以执行长达20-24k的上下文长度的任务。 扩展上下文长度的不同方法包括线性缩放、通过幂将旋转位置嵌入（RoPE）的傅里叶基缩放、截断傅里叶基和随机化位置向量。Abacus AI的研究人员使用这些方法对RedPajama数据集和Vicuna数据集进行了微调。他们发现线性缩放是稳健的，但会增加模型的上下文长度。截断和随机化具有很高的困惑度分数，但在检索任务上表现较差。 为了评估这些模型，研究人员使用了来自LMSys、开放式问答数据集和WikiQA的数据集。LMSys数据集用于在上下文中定位子字符串。WikiQA任务是根据维基百科文档中给出的信息回答问题的任务。 团队根据Google自然问题中的简短回答格式数据构建了一个QA任务。他们确保输出只是从原始文档中复制粘贴的短词回答。这样可以精确定位LLM应该查找的位置，通过将答案放置在不同位置有效地评估扩展上下文长度的每个部分。他们还创建了多个具有不同大小的相同维基百科文档的版本，这使他们能够在模型大小上进行公平评估。 基于维基百科的数据集的问题是模型从其预训练的文本中回答而不是从上下文中回答。研究人员通过创建一个由只有数字答案的问题组成的改编数据集来解决这个问题。他们改变了答案和文档中响应的每个出现，使得如果LLM从其预训练的文本中回忆起来，模型将错误地回答。他们将原始QA任务命名为自由格式QA（FFQA），将改编任务命名为改编数字QA（AltQA）。 AbacusAI的研究人员在两个版本的QA任务中对每个示例进行了存在准确性评估。存在准确性是衡量生成的解决方案中是否存在答案作为子字符串的准确性。他们观察到IFT的准确性提高并不能给模型能够实现的上下文长度范围带来任何扩展。 研究人员表明，通过缩放上下文进行IFT可以显著提高性能。他们观察到在缩放上下文因子插值的所有位置上，FFQA的性能提高了2倍，AltQA的性能提高了2.5倍。最后，他们的研究工作提出了一个更大上下文的语言模型，它通过更好地捕捉文档的主题更容易地提高困惑度。

融入人类输入是近期大型语言模型（LLM）能力显著提升的关键组成部分，例如ChatGPT和GPT-4。为了有效使用人类反馈，首先必须训练一个融入人类偏好、价值观和伦理问题的奖励模型。然后，在奖励模型的指导下，使用强化学习调整LLM。这个过程被称为从人类反馈中进行强化学习（RLHF），可以成功地使LLM与人类目标协调，显著提升人际交流的质量。 创建一个功能性且基于人类偏好的奖励系统并不容易。当人类标注者无法为特定提示的响应或完成提供一个数字评分时，这变得非常具有挑战性。相反，对于人们来说，根据质量进行完成的两两比较要简单得多，并且这种方法被用于InstructGPT的创建。特别是，人类标注者在看到由LLM生成的许多完成的同一个提示后，将这些完成从最高到最低的感知质量进行排序。 然后，回复根据一个经过训练的神经网络来匹配人类偏好排名的奖励模型进行奖励。尽管有一些优点，比如消除校准问题，但排名并不能充分反映多个提示的各种奖励分布。这是因为当排名较高时，很难清楚地知道一个完成比另一个完成好多少。由于一些RLHF提示是开放式的，或者换句话说，依赖于用户的历史记录，因此奖励分布可能在较大范围内变化；因此，这个问题尤为重要。 相反，有些提示是封闭式的，产生应该获得高或低分的回复，导致奖励分布的近似两点质量分布。第一类提示的例子包括“证明勾股定理”和“鸡是恐龙吗”。第二类提示的例子包括“证明勾股定理”和“写一篇关于100年后人工智能的短篇小说”。只有考虑到各种线索的微妙之处，激励模型才能帮助LLM适当地衡量不确定性。 斯坦福大学、普林斯顿大学和宾夕法尼亚大学的研究人员记录了一个意外现象，显示在根据偏好排名训练奖励模型时，它可以提供独立于提示的相同奖励分布。这个事件发生在训练的最后阶段，被称为奖励崩溃。有趣的是，在这个事件被经验性地证明之前，他们的理论分析就已经预测到了。他们证明了可以使用一个简单的优化程序，甚至更简单的闭式表达式来数值推断奖励崩溃的奖励分布。他们对奖励崩溃的预测与经验结果非常吻合。 他们的第二个重要贡献是引入了一种有原则的策略，利用来自同一个优化程序的数据来防止奖励崩溃。奖励崩溃是不可取的，因为它忽略了不同提示之间微小的区别，并且在使用强化学习和奖励模型训练LLM时可能导致人类选择的错误校准。奖励模型的训练提前结束是解决这个问题的一个简单方法，但这是相当任意的，并且很难决定何时结束。 实质上，他们建议基于提示使用不同的效用函数来训练奖励模型，这样产生的奖励分布可以是广泛分散或紧密集中的，具体取决于提示是开放式还是封闭式。这种基于提示的技术具有明显的优势，可以进行全面的分析，根据需要完全定制奖励分布的结构。他们的研究结果表明，使用这种基于提示的技术可以显著减少奖励崩溃。