Tag: Tech News

LLaMaTab – 一个具有洞察力的Chrome扩展 一个名为LLaMaTab New Tab的Chrome附加程序将在每次新建标签页时显示不同的羊驼图片。这是一个愚蠢的附加程序，但在事情变得困难时，它可以让人继续前行。如果你正在使用Chrome并希望为浏览体验注入个性和乐趣，LLaMaTab New Tab是一个绝佳的扩展。此外，它还是保持动力和完成任务的绝佳方法。如果你想让Chrome的体验更有趣，LLaMaTab New Tab扩展正是你所需要的。 LLaMaTab New Tab的优势 使用LLaMaTab New Tab扩展，将一些轻松的元素注入你的日常网络活动中。 你可以通过添加羊驼照片或从一个预先制作的图库中选择照片来自定义LLaMaTab New Tab。 LLaMaTab New Tab是一个轻量级的附加程序，不会影响浏览器的性能。 特点 由于附加程序的代码是公开的，可以轻松修改以提供新的功能。 该附加程序已经翻译成多种语言，让用户可以使用他们偏好的语言工作。…

人工智能领域最新的突破是大型语言模型（LLM）的引入。这些模型使我们能够更简洁地理解语言，从而更好地利用自然语言处理（NLP）和自然语言理解（NLU）。这些模型在包括文本摘要、问答、内容生成、语言翻译等各种任务上表现良好。它们能够理解复杂的文本提示，甚至能够理解带有推理和逻辑的文本，并识别数据之间的模式和关系。 尽管语言模型在各种任务中表现出色，并且在最近的发展中取得了显著进展，但它们仍然难以高效地通过API调用使用工具。即使是像GPT-4这样有名的LLM也难以生成精确的输入参数，并经常推荐不合适的API调用。为了解决这个问题，伯克利和微软研究人员提出了Gorilla，这是一个基于细调的LLaMA模型，它在生成API调用方面击败了GPT-4。Gorilla有助于选择合适的API，提高LLM与外部工具合作执行特定活动的能力。 研究团队还创建了一个名为APIBench的数据集，其中包含了大量重叠功能的API。该数据集是通过收集TorchHub、TensorHub和HuggingFace等公共模型库的ML API创建的。每个API都包含来自TorchHub和TensorHub的每个API请求，并选择HuggingFace每个任务类别的前20个模型。此外，他们使用自我指导方法为每个API生成了十个虚构的用户查询提示。 使用这个APIBench数据集和文档检索，研究人员对Gorilla进行了细调。这个70亿参数的模型在API功能的正确性和减少产生幻觉错误方面优于GPT-4。文档检索器与Gorilla的有效集成展示了LLM更精确使用工具的可能性。Gorilla的改进的API调用生成能力以及根据需要修改文档的能力提高了模型结果的适用性和可靠性。这一发展非常重要，因为它使LLM能够跟上定期更新的文档，为用户提供更准确和最新的信息。 研究人员分享的一个例子显示了Gorilla如何正确识别任务并提供经过充分确认的API结果。模型生成的API调用显示GPT-4为假想模型生成API请求，这表明它对任务的理解不足。Claude选择了错误的库，显示了无法识别正确资源的能力不足。相比之下，Gorilla正确识别了任务。因此，Gorilla与GPT-4和Claude不同，其API调用生成准确，既展示了其增强的性能，又展示了其任务理解能力。 总之，Gorilla是语言模型列表中的重要增加，因为它甚至解决了编写API调用的问题。它的能力能够减少与产生幻觉和可靠性相关的问题。

随着OpenAI发布的全新GPT 4的问世，大型语言模型中引入了多模态。与之前的版本GPT 3.5不同，该版本不仅可以接受文本输入，还可以接受图像输入。最近，来自卡内基梅隆大学的研究团队提出了一种称为Generating Images with Large Language Models (GILL)的方法，该方法专注于扩展多模态语言模型以生成一些独特的图像。 GILL方法使得可以处理混合了图像和文本的输入，并生成文本、检索图像和创建新图像。尽管模型使用了不同的文本编码器，GILL通过将仅包含文本的冻结语言模型的输出嵌入空间转移到冻结的图像生成模型的嵌入空间来实现这一点。与需要交错图像-文本数据的其他方法不同，该映射是通过利用图像标题的配对来微调少量参数来完成的。 研究团队提到，该方法将已经训练好的用于冻结文本的大型语言模型与图像编码和解码模型相结合。它可以提供各种多模态功能，例如图像检索、独特图像生成和多模态对话。这是通过将模态的嵌入空间进行映射以进行融合来实现的。GILL可以处理混合图像和文本输入的条件，并生成既连贯又可读的输出。 该方法提供了一个有效的映射网络，将LLM与文本到图像生成模型相关联，以在图片生成方面获得出色的性能。该映射网络将隐藏的文本表示转换为视觉模型的嵌入空间。通过这样做，它利用了LLM强大的文本表示能力来生成具有美学一致性的输出。 通过这种方法，模型不仅可以从指定数据集中检索图像，还可以创建新的图像。模型在推理时选择是生成还是获取图像。该选择是基于LLM的隐藏表示条件的学习决策模块进行的。这种方法在计算上非常高效，因为它在训练时无需运行图像生成模型。 与基准生成模型相比，该方法在需要更长、更复杂的语言的任务中表现更好。相比之下，GILL在处理较长的文本（包括对话和篇章）方面优于稳定扩散方法。GILL在对话条件下的图像生成方面比非LLM基础的生成模型表现更好，从多模态上下文中受益，并生成更符合给定文本的图像。与仅处理文本输入的传统文本到图像模型不同，GILL还可以处理任意交错的图像-文本输入。 总之，Generating Images with Large Language Models (GILL)似乎比以前的多模态语言模型具有更广泛的能力。它在衡量上下文依赖性的各种文本到图像任务中优于非LLM基础的生成模型，使其成为多模态任务的强大解决方案。

表格经常被用于表示庞大而复杂的数据世界，并作为各种情境下数据驱动决策的基础，包括财务分析、供应链管理和医疗保健分析。利益相关者可以使用它来分析趋势、模式和关联，从而帮助他们做出明智的商业选择并优化流程和资源。数据科学家长期以来一直在使用复杂的Excel公式或自定义程序处理表格。因此，对于表格数据的更有效理解和解释需求迫切。大型语言模型 (LLM) 或生成预训练转换器 (GPT) 已经在自然语言处理中的语言数据挖掘范式上进行了革命性变革。 与这些研究保持一致，研究人员还探讨了语音和视觉等多种模态的广泛模型。它们生成类似于人类语音的文本的能力为处理表格数据开辟了新的途径。然而，由于两个原因，很难在表格领域使用标准的ChatGPT模型：(一)全局表格理解：众所周知，GPT具有令牌长度限制，使其难以扫描庞大的表格并理解其包含的信息；(二)它们的训练过程是为自然语言设计的，因此在处理表格数据时缺乏普适性。已经有几项工作用于包括自然语言的表格数据分析。 自然语言转SQL (NL2SQL) 是一个成熟的研究领域，它将自然语言转化为控制关系型数据库的SQL指令。为了使用各种电子表格软件功能，SheetCopilot最近研究了控制VBA (Visual Basic for Applications，一种嵌入式脚本语言，用于Microsoft Excel)的语言。然而，他们发现这两种选择都没有令人满意的表现。他们认为这些固有的非结构化计算机代码类型增加了复杂性，几乎不可能进行自动化后处理。浙江大学的研究人员在这项研究中创建了TableGPT，推动了使用LLM方法分析数据时可行性的极限。这是在使数据更易于访问和理解的过程中的重大进展。他们的TableGPT系统将表格、口头指令和普通语言结合为一个统一的GPT模型，提高了数据解释的用户友好性和直观性。 他们通过重新设想表格、口头语言和指令之间的交互方式，将许多关键元素融合到TableGPT中： • 全局表格表示：他们首次尝试创建表格的全局表示的学习范式，将整个表格编码为一个向量。他们使表格编码器能够通过同时对大量文本和表格数据进行LLM和编码器的训练，有效捕捉输入表格的全局信息。因此，由于LLM能够更好地看到和理解表格数据，提供了更全面和改进的对表格的理解。 • 指令链：他们使用这个概念来强调有组织、层次化任务执行的重要性。TableGPT遵循相同的指令顺序，将复杂的任务分解为简单的任务，并逐步执行，就像一个协调良好的组织，其中每个指令从更高级别级联到较低级别的相应指令。此外，它鼓励拒绝不明确或不合适的指令的能力，就像真正的数据科学家一样，而不是盲目地遵循任何可能不正确的指令，从而增强了人与LLM系统在数据科学环境中的交流。他们建议的指令集更易于使用，并减少了使用传统技术处理表格数据时常常出现的歧义。 • 领域感知微调：为了提高模型对特定领域表格数据的理解能力，领域感知微调包括调整训练，使模型生成包含给定领域中的类似风格和逻辑元素的文本。这促进了适应不同领域的表格和相应的文本材料的能力。还创建了一个数据处理流水线，使这种策略变得实用和可扩展。由NL2SQL生成的非结构化代码在实际生产环境中进行预先检查和错误修复带来了重大困难。因此，他们支持使用结构化的指令序列，使后处理更加容易。 Data-Copilot也采用了这种基于指令的方法，但它对本地LLM的依赖，用于直接理解表格数据的处理和分析逻辑，存在一些缺点。他们认为一个成功的解决方案应该专门为表格数据而设计，同时保持对更大规模下游活动的广泛适用性，这是由于表格数据的固有不可预测性和任务特定性。这种信念强调了为表格数据实施特别预训练的LLM的重要性。总之，本研究提出了一个具有开创性的TableGPT框架，这是一个全面、综合和自然语言驱动的解决方案，实现了有效的表格数据处理、分析和可视化。 他们列举了TableGPT的几个重要优点： • 以语言驱动的探索性数据分析（EDA）：通过使用简洁的语言，TableGPT分析用户意图，细分所需行动，并在表格上执行外部命令。然后，将处理后的结果以表格和书面解释的形式提供给用户。由于这种创新技术，探索性数据分析（EDA）变得直观，使用户更容易与表格数据进行交互。…

许多开源项目已经开发了全面的语言模型，可以进行特定任务的训练。这些模型可以对用户的问题和命令提供有用的回答。值得注意的例子包括基于LLaMA的Alpaca和Vicuna，以及基于Pythia的OpenAssistant和Dolly。 尽管每周都有新模型发布，但社区仍然在努力适当地对它们进行基准测试。由于LLM助手的问题通常含糊不清，创建一个可以自动评估其回答质量的基准测试系统是困难的。这里通常需要通过配对比较进行人工评估。基于配对比较的可伸缩、渐进和独特的基准测试系统是理想的。 当前的LLM基准测试系统中很少有满足所有这些要求的系统。像HELM和lm-evaluation-harness这样的经典LLM基准框架提供了研究标准任务的多指标测量。然而，它们并不很好地评估自由形式的问题，因为它们不是基于配对比较的。 LMSYS ORG是一个开发开放、可伸缩和易于访问的大型模型和系统的组织。他们的新工作提出了Chatbot Arena，这是一个众包LLM基准测试平台，具有匿名、随机对战的特点。与国际象棋和其他竞技游戏一样，Chatbot Arena采用了Elo评级系统。Elo评级系统在提供上述理想品质方面显示出潜力。 一周前，他们开放了与许多知名的开源LLM一起的竞技场，开始收集信息。可以在众包数据收集方法中看到LLM的一些真实应用示例。用户可以在竞技场中同时与两个匿名模型聊天，进行比较和对比。  FastChat，这个多模型服务系统，在https://arena.lmsys.org上托管了竞技场。进入竞技场的人将面对与两个无名模型的对话。当用户从两个模型那里接收到评论后，他们可以继续对话或者投票选择自己喜欢的模型。投票结束后，模型的身份将被揭示。用户可以继续与同样的两个匿名模型对话，也可以开始与两个新模型的新战斗。系统记录了所有用户的活动。只有在分析中使用了模型名称的时候，投票才会被隐藏。自一个星期前竞技场上线以来，已经统计了大约7000个合法的匿名投票。 未来，他们希望实现改进的抽样算法、锦标赛流程和服务系统，以适应更多样的模型，并为各种任务提供细粒度的排名。

大型语言模型（LLM）的发展，例如OpenAI的ChatGPT和GPT-4，在自然语言处理、计算机视觉和生物医学等许多领域中重塑了人工智能。不幸的是，ChatGPT的训练细节和其变体的模型架构仍然未知。虽然LLaMA是一个开源的基础语言模型，但据推测，它在需要广泛领域知识的应用中表现不佳，是由于在模型预训练阶段缺乏领域特定数据引起的。 许多研究一直在讨论修改和使用开源LLM来实现专门目的。例如，Alpaca和Vicuna专注于通过训练模型以遵守自动创建的指令示例来扩展模型的交互能力。 上海交通大学和上海人工智能实验室最近的一项工作采用了一种不同的方法，将领域知识注入到单个预训练的LLaMA中，以将基础语言模型引导到医学专用语料库。他们介绍了PMC-LLaMA，这是一个公开可用的语言模型，通过在480万篇医学学术论文上对LLaMA-7B进行改进开发而成。团队认为，在医学讨论和咨询中，一个以医学为重点的基础语言模型会有更多的益处。 团队从S2ORC数据集开始，该数据集包含81.1M篇英文学术论文，并根据其PubMed Central（PMC）ID对其进行了排序。因此，约有490万篇论文，总计超过750亿个标记与医学知识高度相关。通过优化GPT2中首次提出的自回归生成目标，他们在这些免费的PMC论文上对LLaMA-7B模型进行了微调。他们采用bf16（脑浮点）数据格式和完全分片数据并行（FSDP）加速方法来加快学习过程。 团队通过对上述相关的医学问答数据集进行三种不同类型的微调来测试PMC-LLaMA：完全微调、参数高效微调和数据高效微调。实验结果表明，当微调指令调整时，PMC-LLaMA在医学领域中优于LLaMA和其他使用LLaMA微调指令训练的模型。 PMC-LLaMA的一个缺点是，这480万篇论文中并不包含每个标记，因为迄今为止他们只进行了五个时期的训练。在未来，他们计划逐步训练具有更多参数的PMC-LLaMA模型，持续训练PMC-LLaMA，并更新hugging face页面上的基础模型。

大型语言模型（LLMs）在每次更新和发布新版本时都越来越受欢迎。像BERT、GPT和PaLM这样的LLMs在自然语言处理和自然语言理解领域展示了巨大的能力。由OpenAI开发的著名聊天机器人ChatGPT基于GPT 3.5和GPT 4的变压器架构，并被超过一百万用户使用。由于它具有模仿人类特性，它引起了从研究人员和开发人员到学生的所有人的注意。它可以高效地生成独特的内容，像人类一样回答问题，总结长篇文字段落，完成代码示例，翻译语言等等。 ChatGPT已经证明在各种主题上向用户提供信息非常出色，使它们成为传统网页搜索和在线寻求他人帮助的潜在替代品。但是也存在一种限制，即如果用户继续私下与大规模语言模型进行互动，公开可访问的人类生成数据和知识资源的数量可能会大幅减少。这种开放数据的减少可能会使未来模型的训练数据变得困难，因为可能会有较少的免费可用信息。 为了进一步研究这个问题，一组研究人员对Stack Overflow上的活动进行了调查，以确定ChatGPT的发布如何影响开放数据的产生。Stack Overflow是一个著名的面向计算机程序员的问答网站，它是一个很好的案例研究，可以研究当存在多个语言模型时用户行为和贡献。该团队对如何随着ChatGPT等LLMs的普及而导致类似StackOverflow等网站上的内容大幅减少进行了深入研究。 经过评估，该团队得出了一些有趣的结论。与ChatGPT访问受限的中国和俄罗斯竞争对手以及类似的数学论坛相比，Stack Overflow的活动明显减少。团队预测，在OpenAI的ChatGPT发布后，Stack Overflow每周帖子数量将下降16%。同时，ChatGPT对减少Stack Overflow活动的影响随着时间的推移而增加，这表明随着用户对该模型的特性越来越熟悉，他们开始越来越多地依赖它获取信息，进一步限制了对该网站的贡献。 该团队得出了三个关键发现，具体如下。 减少的发布活动：ChatGPT发布后，Stack Overflow的帖子数量，即问题和答案的数量，减少了。使用差异法计算了活动减少并与其他四个问答平台进行了比较。ChatGPT发布后的六个月内，Stack Overflow的帖子活动量最初下降了约16%，然后增长到约25%。 帖子投票数没有改变 – 自ChatGPT发布以来，Stack Overflow上的帖子收到的投票数（包括赞成和反对）没有显着变化，尽管帖子活动有所下降，这表明ChatGPT不仅替代了低质量的帖子，还替代了高质量的文章。 对不同编程语言的影响：ChatGPT对Stack Overflow上讨论的各种编程语言产生了不同的影响。与全球网站平均水平相比，一些语言（如Python和JavaScript）的帖子活动减少得更为明显。帖子活动的相对下降也受到GitHub上编程语言的普及程度的影响。 作者总结了广泛使用LLMs和随之而来的远离Stack Overflow等网站可能会限制用户和未来模型从中学习的开放数据的数量的影响，并且尽管在解决某些编程问题方面可能会提高效率，但对于互联网上的知识的可访问性和共享以及AI生态系统的长期可持续性都会产生影响。

随着最近技术的进步，像GPT-3和PaLM这样的大型语言模型在教育、内容创作、医疗保健、研究等领域展现出了非凡的生成能力。例如，这些大型语言模型对于作家来说尤其有用，可以帮助他们提升写作风格，对于初学者开发者来说，可以帮助他们生成样板代码等。此外，结合多个第三方API的可用性，大型语言模型在学生和医疗系统等多个面向消费者的系统中的广泛应用只增加了。然而，在这种情况下，系统的安全性成为一个基本问题，因为人们信任这些系统来处理敏感的个人信息。这就需要更清楚地了解大型语言模型的不同能力和限制。 然而，大多数以前的研究都集中在通过采用更先进和复杂的架构使大型语言模型更强大。尽管这项研究在很大程度上超越了自然语言处理社区，但也导致了对这些系统安全性的忽视。在这方面，普林斯顿大学和佐治亚理工学院的博士后学生与艾伦人工智能研究所（A2I）的研究人员合作，对OpenAI的革命性AI聊天机器人ChatGPT进行了毒性分析。研究人员评估了ChatGPT的超过50万次生成过程中的毒性，并发现当ChatGPT的系统参数设置为分配一个人物角色时，其毒性在各种话题上增加了数倍。例如，当ChatGPT的人物角色设置为拳击手“穆罕默德·阿里”时，其毒性几乎比默认设置增加了3倍。这特别令人担忧，因为ChatGPT目前被用作构建其他几种技术的基础，这些技术在进行系统级修改后可能会生成相同水平的毒性。因此，A2I研究人员和大学生所做的工作侧重于在分配不同角色时，对ChatGPT生成的毒性有更深入的了解。 ChatGPT API提供了一种功能，允许用户通过设置其系统参数来分配一个人物角色，从而通过影响ChatGPT的对话方式来设定对话的基调。对于他们的用例，研究人员精心挑选了来自不同背景和国家的90个人物角色，如企业家、政治家、记者等。这些人物角色被分配给ChatGPT，以分析其对大约128个关键实体（如性别、宗教、职业等）的回应。团队还要求ChatGPT继续完成关于这些实体的某些不完整的短语，以收集更多见解。最终的研究结果显示，给ChatGPT分配一个人物角色可能会使其毒性增加多达六倍，ChatGPT经常产生严厉的输出，并沉溺于负面刻板印象和信念。 团队的研究发现，ChatGPT输出的毒性根据所给予的人物角色而有显著差异，研究人员认为这是因为ChatGPT根据其训练数据对人物的理解。例如，一个发现表明，记者的毒性是商人的两倍，即使在实践中可能并非如此。研究还显示，特定的人群和实体比其他人更频繁地成为目标（几乎是三倍），这显示了该模型固有的歧视行为。例如，毒性根据人的性别而有所不同，比基于种族的毒性大约高出50%。这种波动趋势可能对用户造成损害，并对相关个体进行贬低。此外，恶意用户可以在ChatGPT上构建技术，生成可能伤害无辜观众的内容。 这项研究对ChatGPT的毒性进行的分析主要揭示了三个问题：当分配人物角色时，模型的毒性可以显著增加（比默认设置高出多达六倍）；模型的毒性根据人物角色的身份而有很大差异，ChatGPT对人物角色的观点起着重要作用；ChatGPT可以通过对特定实体进行更具毒性的内容创作来歧视性地针对特定实体。研究人员还指出，尽管ChatGPT是他们实验中使用的大型语言模型，但他们的方法可以扩展到任何其他大型语言模型。团队希望他们的工作能激励人工智能社区开发出提供道德、安全和可靠的人工智能系统的技术。

随着互联网和社交媒体的兴起，虚假新闻和误导信息的传播已经成为一个令人担忧的问题。因此，为解决这个问题，已经进行了大量的实验。近年来，大型语言模型（LLMs）作为检测和分类此类误导信息的潜在解决方案引起了广泛关注。 为了解决这个在互联网驱动的世界中出现的虚假新闻和误导信息的问题，威斯康星州立大学的研究人员进行了广泛的研究和实验。他们的研究重点是测试最先进的语言模型（LLMs）的能力，以确定新闻文章的真实性并识别虚假新闻或误导信息。他们主要关注了四个LLM模型：Open AI的Chat GPT-3.0和Chat GPT-4.0，Google的Bard/LaMDA和Microsoft的Bing AI。 研究人员对这些知名的大型语言模型（LLMs）在检测虚假新闻方面的准确性进行了彻底的研究。通过严格的实验，他们评估了这些先进LLM在分析和评估新闻文章以及区分真实和不可信信息方面的能力。 他们的研究结果旨在为LLMs如何对抗误导信息提供有价值的见解，从而最终帮助创建一个更值得信赖的数字环境。研究人员表示，他们之所以选择研究这篇论文，是因为他们有必要了解各种LLMs在对抗误导信息方面的能力和限制。此外，他们还表示，他们的目标是通过控制模拟和已建立的事实核查机构作为基准，对这些模型在分类事实和误导信息方面的能力进行严格测试。 为了进行这项研究，研究团队选取了100个由独立事实核查机构核实的新闻报道样本，并将它们分为以下三类：真实、虚假和部分真实/虚假，然后对这些样本进行建模。其目标是评估模型在准确分类这些新闻项目方面的表现，与独立事实核查机构提供的经核实事实相比较。研究人员分析了模型在将适当的标签准确分类到新闻报道上方面的能力，将其与那些独立的事实核查员提供的事实信息相一致。 通过这项研究，研究人员发现Open AI的GPT-4.0表现最佳。研究人员表示，他们对主要LLMs进行了比较评估，以区分事实和欺骗，其中Open AI的GPT-4.0表现优于其他模型。 然而，这项研究强调，尽管这些LLMs取得了进展，但人类事实核查员在分类虚假新闻方面仍然胜过它们。研究人员强调，尽管GPT-4.0表现出有希望的结果，但仍有改进的空间，而且这些模型需要改进以达到最大的准确性。此外，如果将它们应用于事实核查，还可以将它们与人类代理的工作结合起来。 这表明，虽然技术在不断发展，但识别和验证误导信息这一复杂任务仍然具有挑战性，需要人类的参与和批判性思维。