人工智能领域最新和最令人难以置信的进展是大型语言模型（LLM）的发展。著名的ChatGPT由OpenAI开发，基于GPT 3.5和GPT 4架构，通常因其生成内容和回答问题的能力，就像人类一样，而受到广泛关注。它模仿人类生成创造性和精确内容的能力，使其能够在几乎所有行业中进行问题解决。通过添加Chain-of-Thought（CoT）提示，像GPT 3.5这样的LLM的影响得到了改进，从而导致信息处理行业的重大变化。CoT增强了LLM并帮助它们生成更全面和详细的推理过程，以一系列中间步骤进行。
虽然CoT提供了许多优势，但它对中间推理阶段的强调有时会导致幻觉和复合错误，这使得模型难以生成一致和准确的推理过程。为了解决这些挑战，一组研究人员引入了自然程序，这是一种自然语言基础的演绎推理格式，利用自然语言的内在力量来实现演绎推理。
该团队指出，这种方法将推理验证过程分解为一些顺序子过程。每个子过程仅提供特定步骤所需的上下文和前提条件，分解使验证过程更加可接近。作者使用了公开可访问的模型，例如OpenAI的GPT-3.5-turbo（175B），对算术和常识数据集进行了试验，以展示他们基于自然程序的验证技术的有效性。结果展示了他们的策略如何有效地增加大型语言模型生成的推理过程的可靠性。
自然程序格式使语言模型能够生成精确的推理步骤，确保后续步骤更加严格地基于前一步骤。通过使用这种结构，语言模型以逐步方式执行推理自我验证，由于验证程序集成到演绎推理的每个级别中，因此产生的推理阶段更加严格和可靠。
团队提到的一些关键贡献是：
- 引入自然程序格式，提出了一种适用于验证的严格演绎推理框架，可通过上下文学习简单制作。
- 通过实验，团队展示了提出的自然程序格式编写的长时间演绎推理过程可以通过使用仅涵盖先决上下文和前提条件的逐步子过程进行可靠的自我验证。
- 通过实验，团队展示了该框架如何有效提高LLM生成的推理阶段和解决方案的准确性、可靠性和可解释性。
总之，这个框架似乎有望提高语言模型的演绎推理能力。