在推理任务领域，当提供了示例和中间步骤时，大型语言模型（LLMs）展现出了卓越的性能。然而，依赖LLM内隐知识的方法有时会产生错误答案，当内隐知识不正确或与当前任务不一致时。
为了解决这个问题，来自Google、Mila – 魁北克AI研究所、蒙特利尔大学、HEC蒙特利尔、阿尔伯塔大学和CIFAR AI主席的研究人员团队引入了“假设到理论”（HtT）框架，重点是为基于LLM的推理获取规则库。HtT包括两个关键阶段：归纳阶段和演绎阶段。在归纳阶段，LLM最初被要求根据一组训练示例生成和验证规则。
上面的图片演示了将假设到理论应用于解决九进制算术问题的思路链方法。为了简洁起见，省略了几个示范例子。在归纳阶段，使用思路链（CoT）技术生成规则并使用训练样本进行验证。
随后，生成的规则被收集和完善，以构建规则库。在演绎阶段，思路链提示被加强，使用从规则库中得出的知识。正确的规则用绿色标记，错误的规则用红色标记。导致正确答案的规则经常被累积起来建立规则库。在演绎阶段，LLM随后被提示使用获取的规则库进行推理，以回答测试问题。
在对HtT的评估中，研究人员将其作为预先存在的少样本提示技术（如思路链和从少到多提示）的增强。在两个具有挑战性的多步推理问题上进行了评估，这些问题对当前的少样本提示方法来说很棘手。
数值推理和关系推理问题的实验结果显示，HtT增强了现有的提示方法，准确率提高了11%至27%。此外，获得的规则可以有效地传输到不同的模型和同一问题的各种形式。引入的方法为使用LLMs获取文本知识开辟了新途径。预计HtT将使一系列应用成为可能，并激发LLMs领域的进一步研究。