大型语言模型（LLMs）最近取得了进展，这引起了人们对它们在各种问题解决活动中的有用性的关注。这些模型在各种问题解决的背景下都证明了它们的能力，包括代码生成、指令跟随和一般问题解决。当代研究已经转向更复杂的方法，包括线性推理路径，与使用直接答案策略的第一批模型相比。在更近期的方法中，复杂的问题被划分为较小的任务，以便于系统性的解决方案搜索。此外，外部过程正在被整合进来，通过修改上下文来改变令牌的生成。
当前的研究主要使用了一个外部的操作机制，它会停止、修改，然后再恢复生成过程，以试图超越当前的思维链方法。这样做是为了提高LLMs的推理能力，但它带来的缺点是它会生成更多的查询请求，因此会有更多的开销、更高的内存需求和更多的计算开销。
为了克服这些挑战，弗吉尼亚理工学院微软的研究团队引入了一种独特的方法，称为思维算法（Algorithm of Thoughts）。通过这种策略，LLMs沿着算法推理的路径前进，有效地创造了一种在上下文中学习的新方法。利用算法示例，LLMs中固有的循环动力学被用来扩展概念的探索，而只需要很少的查询。
AoT的主要目标是通过算法的例子来教导LLMs，这些例子完美地体现了探索的精神。该技术减少了所需的查询数量，同时扩展了LLMs对概念的研究。AoT击败了旧的单查询技术，并与使用复杂树搜索算法的当代多查询策略相媲美。
这种方法可以超越只使用一个查询的旧技术，这使得这种方法独特。此外，这种方法的性能与最近使用复杂树搜索算法的多查询方法相当。结果表明，当LLMs使用这种方法进行训练时，它有可能胜过算法。这一发现表明，LLMs有将直觉融入增强搜索过程的内在能力。
总而言之，AoT的用例非常广泛。AoT能够彻底改变LLMs处理推理问题的方式，从一般问题解决到复杂的编程困难。算法路径的引入使LLMs能够考虑各种解决方案，模拟回溯技术，并评估各种子问题的潜力。AoT通过弥合LLMs和算法思维之间的差距，为上下文学习提供了一种新的范式。