对命名实体识别进行语言模型微调
Hugging Face是一个提供各种自然语言处理(NLP)和自然语言理解(NLU)任务的工具和预训练模型的平台。在我们之前的文章“拥抱Hugging Face:探索Hugging Face”中,我们深入了解了这个平台的基本知识以及它的开源库,该库具有许多最先进的转换器架构的实现。这篇文章通过提供与特定任务相关的各种Hugging Face工具的单一连接视图,进一步增强了Hugging Face的文档。具体来说,本文将解释如何组合多个Hugging Face功能,对现有的语言模型进行细调,以用于命名实体识别(NER)。
相关背景
在本节中,我们简要介绍了构建我们的模型所必需的两个基础概念。作为提醒,在我们的文章“拥抱Hugging Face:探索Hugging Face”中,我们介绍了Hugging Face的基础知识。
- 命名实体识别
- 模型微调
在下面的章节中,假设您对模型开发和相关概念有一定的了解——如果有任何不清楚的地方,请随时联系我们!
命名实体识别
命名实体识别(”NER”)是一个常见的自然语言处理任务,用于识别和分类相关信息或实体到许多预定义的(命名)组中。NER模型可以针对各种实体进行训练。其中一些最常见的实体包括:
- 人名
- 组织机构名
- 日期
- 地点
在下面的图片中,我手动标记了一个示例句子中的几个不同的命名实体。在机器学习和NLP的语境中,NER是通过模型自动化进行这个分类过程的过程。
NER模型可以支持各种任务,包括但不限于信息检索、内容摘要、内容推荐和机器翻译。