Q*为先进推理和LVM为视觉AI：在LLM驱动的AGI领域中开创性的增强
人工智能领域随着Large Language Models（LLMs）如ChatGPT的出现而迎来了一次革命性的飞跃。这些模型极大地改变了我们与人工智能的互动方式，提供了几乎与人类相似的对话能力。然而，尽管取得了成功，LLMs在两个关键领域中存在显著差距：视觉AI和逻辑/数学推理。解决这些差距的两项突破性创新是OpenAI神秘的Q*项目和由UCB和JHU引入的开创性的Large Vision Models（LVM）。
Q*：弥合逻辑和数学推理差距
Q*是一个被保密的项目，最近在人工智能界的讨论中浮出水面。尽管细节有限，但通过各种渠道泄露的信息包括Wired文章和OpenAI社区论坛上的讨论表明，Q*是OpenAI为提升AI模型的逻辑和数学推理能力而提出的解决方案。
对Q*的需求源于当前LLMs在处理复杂逻辑结构和数学问题方面的固有局限性。尽管ChatGPT等LLMs可以在一定程度上模拟推理过程，但在需要深入系统的逻辑分析或高级数学计算的任务中往往表现失误。Q*旨在填补这一差距，可能利用先进的算法和新颖的方法赋予AI在目前现有模型无法达到的水平上进行推理和计算的能力。
LVM：革命性的视觉AI
与Q*的发展平行的是视觉AI的突破，其中引入了Large Vision Models（LVM）并取得了巨大进展。加利福尼亚大学伯克利分校（UCB）和约翰霍普金斯大学（JHU）的研究人员在arxiv.org上发表的一篇最新论文详细介绍了这一进展。LVM代表了视觉AI领域的巨大飞跃，解决了长期以来在该领域中存在的可扩展性和学习效率问题。
LVM被设计用于处理和解释以前所未有的规模和复杂度的视觉数据。它们利用了序列建模技术，这种技术能够更有效地训练和更好地泛化大型数据集。这种方法使LVM能够从大量的视觉数据中学习，使其在从图像识别到复杂场景理解等任务上表现出色。
这种LVM使用了一种新颖的序列建模方法，可以在不依赖语言信息的情况下学习视觉数据。这种方法的核心概念是“视觉句子”，它以顺序标记的形式表示各种视觉数据，包括原始图像、视频和像语义分割这样的注释来源。这种方法可以处理大量的视觉数据（超过4200亿个标记）作为序列，模型通过最小化交叉熵损失进行下一个标记的预测。
LVM的核心是处理视觉数据的两个阶段过程。第一阶段使用VQGAN模型对图像进行标记化处理，将每个图像转换为离散视觉标记的序列。VQGAN框架采用编码和解码机制的组合，其中量化层将输入图像分配到预先建立的码书中的离散标记。第二阶段涉及对这些视觉句子训练自回归变换器模型。该模型以统一的方式处理视觉标记序列，无需任务特定的标记，使系统能够以上下文方式推断图像之间的关系。
对于各种视觉任务的推理和应用，LVM利用了一种称为视觉提示的方法。通过构造定义任务的部分视觉句子，模型可以通过预测和完成视觉标记序列来生成输出。这种方法类似于语言模型中的上下文学习，为生成广泛应用的视觉输出提供了灵活性和适应性。
通往AGI的道路
Q*和LVM的发展标志着人工通用智能（AGI）之旅中的一个关键步骤。AGI是人工智能研究的圣杯，指的是机器具有理解、学习和应用智能的能力，类似于人脑。尽管LLMs奠定了坚实的基础，但集成类似逻辑推理（Q*）和先进视觉处理（LVM）的特殊能力对于接近AGI至关重要。
这些进展不仅代表了渐进式改进，而且是人工智能能力的范式转变。通过Q*增强逻辑和数理推理，以及LVM革新视觉人工智能，AGI的道路看起来比以往更有希望。随着我们期待这些项目的进一步发展，人工智能超越当前边界并发展成真正的通用智能的潜力在地平线上显现，预示着人工智能世界的新时代。
- 序列建模实现可伸缩的大型视觉模型学习：https://arxiv.org/abs/2312.00785
- 统一视觉GPT：通过广义多模态框架简化面向视觉的人工智能：https://arxiv.org/abs/2311.10125
- 用于机器人操作的物理基于视觉语言模型：https://arxiv.org/abs/2309.02561
- 改进的VQGAN的矢量量化图像建模：https://blog.research.google/2022/05/vector-quantized-image-modeling-with.html
- 大型语言模型综述：https://arxiv.org/abs/2303.18223