大型语言模型应用程序受到了广泛关注。凭借其惊人的能力，它们变得越来越复杂。通过结合工具使用跟踪和检索增强等功能，这些模型在人工智能社区中引起了很多关注。现有的构建此类应用程序的框架采用了一种自以为是的方法，指导开发人员如何格式化其提示，并对自定义和可重复性施加了一定的限制。
为了解决这些问题，宾夕法尼亚大学的研究团队最近推出了Kani，一种轻量级、可扩展且与模型无关的开源框架，专门用于构建语言模型应用程序。通过支持聊天交互的核心元素，Kani旨在使开发人员能够添加各种复杂的功能。模型交互、聊天管理和强大的函数调用是其中一些关键要素。
开发人员可以利用Kani的构建模块创建语言模型应用程序，而不受预定义结构或限制的限制，因为Kani以其适应性和可定制性而脱颖而出。所有Kani的基本功能都被设计为易于修改，并且研究团队还提供了广泛的文档。这使得开发人员可以根据自己的独特需求和要求修改框架的功能。
Kani是一种对学者、业余爱好者和商业人士都有用的工具。为了提高他们工作的可重复性，Kani帮助研究人员创建语言模型应用程序，同时提供了精细的控制。即使使用GPT-4或其他复杂模型，用户也可以使用Kani仅几行代码快速开始设计应用程序。Kani的灵活性和耐用性对于行业工作者尤其有利，特别是在聊天管理和函数管理等领域。
Kani需要Python 3.10+，简化了语言模型的安装和查询。通过pip安装，它提供了核心依赖项和可选的附加功能，如OpenAI引擎。Kani框架中的基本处理单元称为“Kani”。在使用Kani构建应用程序时，用户将使用和操作各种Kani对象，包括三个基本组件：推理引擎、聊天历史和函数上下文。
通过推理引擎，Kani对象与语言模型进行通信。在不更改应用程序代码的情况下，这种交互使开发人员能够轻松地在不同模型之间切换。Kani跟踪令牌总数和主题切换。它确保对话的上下文保持在模型的范围内，避免过度。最后，语言模型可以通过Kani访问可调用的函数。它验证函数调用，运行适当的代码，然后将结果发送回推理引擎。
总之，Kani被提出作为语言模型应用程序开发者所面临问题的解决方案。它允许定制、灵活性和使用开源方法创建令人难以置信的应用程序，使开发人员能够构建功能丰富的应用程序，并通过提供聊天交互的基本构建模块来保持控制和互操作性。