介绍 BERT，全称为双向编码器表示来自转换器，是一种利用转换器模型和无监督预训练进行自然语言处理的系统。BERT通过两个无监督任务进行预训练：掩码语言建模和句子预测。这使得BERT能够根据具体任务进行定制化，而无需从头开始。本文将介绍BERT的注意力机制及其工作原理。 也可阅读：什么是BERT？点击这里！ 学习目标 理解BERT中的注意力机制 BERT中如何进行标记化？ BERT中如何计算注意力权重？ BERT模型的Python实现 该文章是数据科学博文马拉松的一部分。 BERT中的注意力机制 让我们从最简单的角度开始理解什么是注意力。注意力是模型试图在句子中对那些更重要的输入特征加重权重的一种方式之一。 让我们通过以下示例来理解注意力机制的基本工作原理。 示例1 部分单词比其他单词更受关注 在上面的句子中，BERT模型可能更倾向于给单词“cat”和动词“jumped”赋予更多权重，而不是“bag”，因为了解它们对于预测下一个单词“fell”的过程更加重要。 示例2 考虑以下句子： 部分单词比其他单词更受关注 为了预测单词“spaghetti”，注意力机制会更加关注动词“eating”，而不是“bland”这个副词。 示例3 同样地，在像下面这样的翻译任务中： 输入句子：How was your day…
Leave a Comment