多功能调用任务在使用LLMs时可能会变慢且不准确。为了解决这个问题，来自UC Berkeley、ICSI和LBNL的研究人员开发了LLMCompiler，这是一个旨在提高LLMs在此类任务中的效率和准确性的框架。LLMCompiler通过其组件：LLM Planner、任务获取单元和执行器，实现了函数调用的并行执行。
LLMCompiler是一个使LLMs能够进行并行函数调用的框架，提高了多功能任务的效率和准确性。由LLM Planner、任务获取单元和执行器组成的LLMCompiler，在基准测试中优于ReAct和OpenAI的并行函数调用功能，显示出一致的延迟加速和准确性改进。兼容开源模型如LLaMA-2和OpenAI的GPT模型，LLMCompiler解决了LLM的局限性，如知识截断和算术技能，为执行函数调用提供了优化的解决方案。该框架是开源的，便于进一步的研究和开发。
最近LLM的进展将其能力扩展到执行函数调用，克服了其固有的限制。由LLM Planner、任务获取单元和执行器组成的LLMCompiler优化了函数调用的编排。基准测试结果表明，与ReAct和OpenAI的并行函数调用相比，延迟、成本和准确性都有持续的提升。
LLMCompiler是一个用于LLMs中并行函数调用的框架，包括LLM Planner、任务获取单元和执行器。LLM Planner制定执行策略，任务获取单元调度和更新任务，执行器并行执行任务。兼容开源模型如LLaMA-2和OpenAI的GPT，LLMCompiler比ReAct具有延迟加速、成本节约和准确性改进。支持动态重新计划以实现自适应执行，该开源框架提供了在LLMs中高效编排多功能调用任务的解决方案。
在各种任务上进行基准测试，包括复杂的依赖关系和动态重新计划需求，LLMCompiler始终优于ReAct，在延迟加速上可达到3.7倍，节约成本可达6.7倍，准确性提高9%。在24点游戏基准测试中，LLMCompiler与Tree-of-Thoughts相比，实现了2倍的加速，并且在与OpenAI的并行函数调用功能相比时取得了高达1.35倍的延迟增益。开源代码便于进一步的探索和开发。
总之，LLMCompiler是一个有前景的框架，可以显著提高LLMs中并行函数调用的效率、成本和准确性。它胜过现有的解决方案，并有潜力在使用LLMs进行大规模任务的软件开发中提供高效和准确的执行。其开源性使开发人员能够利用其优势。
在研究LLMs的操作系统视角时，应进一步探索LLMCompiler。这可能会推动基于LLMs的大规模软件开发的进展。建议在考虑规划和执行延迟时，与ReAct相比，调查使用LLMCompiler能够实现的加速效果。在LLMs中引入并行函数调用，对于高效执行复杂任务具有潜力。LLMCompiler的持续开发和探索可以为基于LLMs的软件的发展做出贡献。