大型语言模型，例如PaLM、Chinchilla和ChatGPT，为从阅读教学线索执行自然语言处理（NLP）任务开辟了新的可能性。先前的研究表明，指令调整，即在各种带有指令的NLP任务上微调语言模型，进一步提高了语言模型在给定指令的情况下执行未知任务的能力。通过比较它们的微调过程和策略，本文评估了开源指令泛化倡议的方法和结果。
该工作关注指令调整方法的细节，对各个因素进行剔除并直接进行比较。他们在“Flan 2022 Collection”中确定并评估了方法论改进，该术语用于数据收集以及适用于数据和指令调整过程的方法，重点关注将Flan 2022与PaLM 540B结合的新兴和最先进的结果。Flan 2022 Collection目前是公开可用的最全面的指令调整作业和技术集合，它已经通过数千个高级模板和更好的格式模式进行了扩充。
他们证明，在所有评估的评估基准上，训练在该集合上的模型优于其他公开集合，包括原始的Flan 2021、T0++、Super-Natural Instructions和OPT-IML的当代工作。对于具有相同大小的模型，MMLU和BIG-Bench Hard评估基准上的改进分别达到4.2%+和8.5%。根据对Flan 2022方法的分析，这些稳健的结果是由于更大更多样的任务集合以及用于微调和数据增强的几种简单策略。特别是，使用零样式、少样式和思考链的模板进行训练改善了所有这些上下文中的性能。
例如，少样式提示的增加10%可以将零样式提示的结果提高2%或更多。此外，已经证明，通过倒置输入-输出对，在任务来源的平衡和任务多样性的增强方面都对性能至关重要。在单任务微调中，得到的Flan-T5模型收敛更快，表现优于T5模型，表明经过指令调整的模型为后续应用提供了更具计算效率的起点。他们预计，公开提供这些结果和工具将简化用于指令定制的可用资源，并加快更通用的语言模型的发展。
本研究的主要贡献如下列举：• 方法论：证明混合使用零样式和少样式提示进行训练在两种环境中都能产生显著优越的结果。• 测量和展示有效指令调整的关键方法，包括缩放第3.3节，使用输入倒置增强任务多样性，添加思考链训练数据以及平衡各种数据来源。• 结果：这些技术决策相对于现有的开源指令调整集合，提高了保留任务性能3-17% • 发现：Flan-T5 XL为单任务微调提供了更稳健和有效的计算起点。• 公开提供新的Flan 2022任务集合、模板和研究方法供公众使用。源代码可在GitHub上获取。