Press "Enter" to skip to content

分层的Transformer — 第2部分

分层注意力更快

本文要求您具备对标准变压器及其工作原理的了解。如果您是初学者,想了解有关变压器的信息,请参阅Transformer入门文章。

分层变压器——第1部分中,我们定义了“分层变压器”的含义,并回顾了这个领域的一项重要工作,称之为Hourglass。

在本文中,我们将继续探究另一个着名的作品——分层注意力变压器(HAT)。

让我们开始吧。

分层注意力变压器(HAT)

该方法最初是为了对长文档进行分类而提出的,这些文档通常有成千上万字。这种情况广泛应用于对法律文件或生物医学文件进行分类。

标记化和分段

HAT方法通过使用字节对编码(BPE)标记器对输入文档进行标记化,将文本分解为子词/标记。此标记器在许多知名的大型语言模型中使用,例如BERT,RoBERTA和GPT系列。

然后将标记化的文档分割成N个等长的块;即如果S表示输入文档,则S = [C1, …., CN]是N个等长的块。(在本文中,有时我们将块称为段落,但它们是同一个概念。)每个块是由k个标记组成的序列Ci = [Wi[cls], Wi1…, Wik-1],其中第一个标记Wi[cls]是代表该块的CLS标记。

如上图所示,每个块都是由k个标记组成的序列,其中第一个标记是CLS标记。

模型架构

在对输入序列进行标记化和分段之后,将其传入HAT变压器模型。HAT模型是一个编码器-变压器,由两个主要组件组成:

  1. 段落编码器(SWE):这是一个共享的编码器块,接受一个段落(也称为块)的序列并处理该块。
  2. 跨段落编码器(CSE):这是另一个编码器块,接受所有段落(也称为块)的CLS标记并处理跨段落的关系。
Leave a Reply

Your email address will not be published. Required fields are marked *