随着基于人工智能的技术在内容生成方面的应用增多，个性化文本生成引起了广泛关注。为了创建适用于特定受众、创作环境和信息需求的生成系统，它们必须能够提供个性化的回应，考虑到额外的上下文，例如用户已经写过的文档。
研究人员已经在多种场景下研究了定制文本的创建，例如评论、聊天机器人和社交媒体。大多数现有的工作提出的模型都是针对特定任务的，并依赖于领域特定的特征或信息。如何创建一种通用的策略，可以在任何情况下使用，得到的关注较少。大型语言模型（LLMs）在许多文本生成任务中日益突出，这要归功于生成式人工智能的兴起，特别是通过像ChatGPT1和Bard2这样的聊天机器人。然而，很少有研究探讨如何赋予LLMs这种能力。
最近，Google的研究提供了一种通过利用广泛的语言资源来生成独特内容的通用方法。他们的研究受到了一种常见的写作指导方法的启发，该方法将借用外部资源进行写作过程分解为更小的步骤：调研、源评估、总结、综合和整合。
为了训练个性化文本生成的LLMs，团队采用了类似的方法，采用了多阶段多任务结构，包括检索、排序、摘要、综合和生成。具体而言，他们利用当前文档的标题和第一行创建一个问题，并从个人上下文的二级存储库中获取相关信息，例如用户之前编写的文档。
接下来，他们对排名结果进行摘要，根据相关性和重要性对其进行排序。除了检索和摘要，他们还将检索到的信息综合成关键要素，然后将其输入到大型语言模型中生成新的文档。
在语言教学领域，人们普遍观察到阅读和写作技能相互发展。此外，研究表明，个体的阅读水平和阅读量可以通过作者识别活动来衡量，这与阅读能力相关。这两个发现促使研究人员创建了一个多任务环境，其中他们添加了一个辅助任务，要求大型语言模型识别特定文本的作者，以提高其阅读能力。他们希望通过给模型提供这个挑战，它将能够更准确地解释所提供的文本，并产生更引人入胜和量身定制的写作。
团队使用了三个公开可用的数据集，包括电子邮件往来、社交媒体辩论和产品评论，以评估所建议模型的性能。在所有三个数据集上，多阶段多任务框架相对于几个基准模型都显示出了显著的增益。