四海吧 Posts

随着OpenAI发布的全新GPT 4的问世，大型语言模型中引入了多模态。与之前的版本GPT 3.5不同，该版本不仅可以接受文本输入，还可以接受图像输入。最近，来自卡内基梅隆大学的研究团队提出了一种称为Generating Images with Large Language Models (GILL)的方法，该方法专注于扩展多模态语言模型以生成一些独特的图像。 GILL方法使得可以处理混合了图像和文本的输入，并生成文本、检索图像和创建新图像。尽管模型使用了不同的文本编码器，GILL通过将仅包含文本的冻结语言模型的输出嵌入空间转移到冻结的图像生成模型的嵌入空间来实现这一点。与需要交错图像-文本数据的其他方法不同，该映射是通过利用图像标题的配对来微调少量参数来完成的。 研究团队提到，该方法将已经训练好的用于冻结文本的大型语言模型与图像编码和解码模型相结合。它可以提供各种多模态功能，例如图像检索、独特图像生成和多模态对话。这是通过将模态的嵌入空间进行映射以进行融合来实现的。GILL可以处理混合图像和文本输入的条件，并生成既连贯又可读的输出。 该方法提供了一个有效的映射网络，将LLM与文本到图像生成模型相关联，以在图片生成方面获得出色的性能。该映射网络将隐藏的文本表示转换为视觉模型的嵌入空间。通过这样做，它利用了LLM强大的文本表示能力来生成具有美学一致性的输出。 通过这种方法，模型不仅可以从指定数据集中检索图像，还可以创建新的图像。模型在推理时选择是生成还是获取图像。该选择是基于LLM的隐藏表示条件的学习决策模块进行的。这种方法在计算上非常高效，因为它在训练时无需运行图像生成模型。 与基准生成模型相比，该方法在需要更长、更复杂的语言的任务中表现更好。相比之下，GILL在处理较长的文本（包括对话和篇章）方面优于稳定扩散方法。GILL在对话条件下的图像生成方面比非LLM基础的生成模型表现更好，从多模态上下文中受益，并生成更符合给定文本的图像。与仅处理文本输入的传统文本到图像模型不同，GILL还可以处理任意交错的图像-文本输入。 总之，Generating Images with Large Language Models (GILL)似乎比以前的多模态语言模型具有更广泛的能力。它在衡量上下文依赖性的各种文本到图像任务中优于非LLM基础的生成模型，使其成为多模态任务的强大解决方案。

表格经常被用于表示庞大而复杂的数据世界，并作为各种情境下数据驱动决策的基础，包括财务分析、供应链管理和医疗保健分析。利益相关者可以使用它来分析趋势、模式和关联，从而帮助他们做出明智的商业选择并优化流程和资源。数据科学家长期以来一直在使用复杂的Excel公式或自定义程序处理表格。因此，对于表格数据的更有效理解和解释需求迫切。大型语言模型 (LLM) 或生成预训练转换器 (GPT) 已经在自然语言处理中的语言数据挖掘范式上进行了革命性变革。 与这些研究保持一致，研究人员还探讨了语音和视觉等多种模态的广泛模型。它们生成类似于人类语音的文本的能力为处理表格数据开辟了新的途径。然而，由于两个原因，很难在表格领域使用标准的ChatGPT模型：(一)全局表格理解：众所周知，GPT具有令牌长度限制，使其难以扫描庞大的表格并理解其包含的信息；(二)它们的训练过程是为自然语言设计的，因此在处理表格数据时缺乏普适性。已经有几项工作用于包括自然语言的表格数据分析。 自然语言转SQL (NL2SQL) 是一个成熟的研究领域，它将自然语言转化为控制关系型数据库的SQL指令。为了使用各种电子表格软件功能，SheetCopilot最近研究了控制VBA (Visual Basic for Applications，一种嵌入式脚本语言，用于Microsoft Excel)的语言。然而，他们发现这两种选择都没有令人满意的表现。他们认为这些固有的非结构化计算机代码类型增加了复杂性，几乎不可能进行自动化后处理。浙江大学的研究人员在这项研究中创建了TableGPT，推动了使用LLM方法分析数据时可行性的极限。这是在使数据更易于访问和理解的过程中的重大进展。他们的TableGPT系统将表格、口头指令和普通语言结合为一个统一的GPT模型，提高了数据解释的用户友好性和直观性。 他们通过重新设想表格、口头语言和指令之间的交互方式，将许多关键元素融合到TableGPT中： • 全局表格表示：他们首次尝试创建表格的全局表示的学习范式，将整个表格编码为一个向量。他们使表格编码器能够通过同时对大量文本和表格数据进行LLM和编码器的训练，有效捕捉输入表格的全局信息。因此，由于LLM能够更好地看到和理解表格数据，提供了更全面和改进的对表格的理解。 • 指令链：他们使用这个概念来强调有组织、层次化任务执行的重要性。TableGPT遵循相同的指令顺序，将复杂的任务分解为简单的任务，并逐步执行，就像一个协调良好的组织，其中每个指令从更高级别级联到较低级别的相应指令。此外，它鼓励拒绝不明确或不合适的指令的能力，就像真正的数据科学家一样，而不是盲目地遵循任何可能不正确的指令，从而增强了人与LLM系统在数据科学环境中的交流。他们建议的指令集更易于使用，并减少了使用传统技术处理表格数据时常常出现的歧义。 • 领域感知微调：为了提高模型对特定领域表格数据的理解能力，领域感知微调包括调整训练，使模型生成包含给定领域中的类似风格和逻辑元素的文本。这促进了适应不同领域的表格和相应的文本材料的能力。还创建了一个数据处理流水线，使这种策略变得实用和可扩展。由NL2SQL生成的非结构化代码在实际生产环境中进行预先检查和错误修复带来了重大困难。因此，他们支持使用结构化的指令序列，使后处理更加容易。 Data-Copilot也采用了这种基于指令的方法，但它对本地LLM的依赖，用于直接理解表格数据的处理和分析逻辑，存在一些缺点。他们认为一个成功的解决方案应该专门为表格数据而设计，同时保持对更大规模下游活动的广泛适用性，这是由于表格数据的固有不可预测性和任务特定性。这种信念强调了为表格数据实施特别预训练的LLM的重要性。总之，本研究提出了一个具有开创性的TableGPT框架，这是一个全面、综合和自然语言驱动的解决方案，实现了有效的表格数据处理、分析和可视化。 他们列举了TableGPT的几个重要优点： • 以语言驱动的探索性数据分析（EDA）：通过使用简洁的语言，TableGPT分析用户意图，细分所需行动，并在表格上执行外部命令。然后，将处理后的结果以表格和书面解释的形式提供给用户。由于这种创新技术，探索性数据分析（EDA）变得直观，使用户更容易与表格数据进行交互。…

许多开源项目已经开发了全面的语言模型，可以进行特定任务的训练。这些模型可以对用户的问题和命令提供有用的回答。值得注意的例子包括基于LLaMA的Alpaca和Vicuna，以及基于Pythia的OpenAssistant和Dolly。 尽管每周都有新模型发布，但社区仍然在努力适当地对它们进行基准测试。由于LLM助手的问题通常含糊不清，创建一个可以自动评估其回答质量的基准测试系统是困难的。这里通常需要通过配对比较进行人工评估。基于配对比较的可伸缩、渐进和独特的基准测试系统是理想的。 当前的LLM基准测试系统中很少有满足所有这些要求的系统。像HELM和lm-evaluation-harness这样的经典LLM基准框架提供了研究标准任务的多指标测量。然而，它们并不很好地评估自由形式的问题，因为它们不是基于配对比较的。 LMSYS ORG是一个开发开放、可伸缩和易于访问的大型模型和系统的组织。他们的新工作提出了Chatbot Arena，这是一个众包LLM基准测试平台，具有匿名、随机对战的特点。与国际象棋和其他竞技游戏一样，Chatbot Arena采用了Elo评级系统。Elo评级系统在提供上述理想品质方面显示出潜力。 一周前，他们开放了与许多知名的开源LLM一起的竞技场，开始收集信息。可以在众包数据收集方法中看到LLM的一些真实应用示例。用户可以在竞技场中同时与两个匿名模型聊天，进行比较和对比。  FastChat，这个多模型服务系统，在https://arena.lmsys.org上托管了竞技场。进入竞技场的人将面对与两个无名模型的对话。当用户从两个模型那里接收到评论后，他们可以继续对话或者投票选择自己喜欢的模型。投票结束后，模型的身份将被揭示。用户可以继续与同样的两个匿名模型对话，也可以开始与两个新模型的新战斗。系统记录了所有用户的活动。只有在分析中使用了模型名称的时候，投票才会被隐藏。自一个星期前竞技场上线以来，已经统计了大约7000个合法的匿名投票。 未来，他们希望实现改进的抽样算法、锦标赛流程和服务系统，以适应更多样的模型，并为各种任务提供细粒度的排名。