数据准备：深入挖掘，优化流程，并发现如何攻克最关键的步骤
想象一下，你花了整整一天的时间优化BERT，结果遇到了性能瓶颈，让你感到困惑。你深入研究了你的代码，发现罪魁祸首是：你没有很好地准备特征和标签。就这样，十个小时的宝贵GPU时间化为乌有。
面对现实吧，设置数据集并不只是又一个步骤 – 它是你整个训练流程的工程基石。有人甚至认为，一旦你的数据集准备就绪，剩下的工作大部分都是样板代码：喂入模型，计算损失，执行反向传播，更新模型权重。
在这个故事中，我们将讨论为BERT准备数据的过程，为最终目标做铺垫：从头开始训练一个BERT模型。
欢迎来到我们全面的BERT系列的第三部分！在第一篇文章中，我们介绍了BERT – 分解了其目标，并演示了如何将其细调为实用的问答系统：
从零开始训练BERT的终极指南：介绍
解密BERT：定义和改变NLP领域的模型的各种应用。
towardsdatascience.com
然后，在第二篇文章中，我们深入探讨了分词器的世界，探索了它们的机制，甚至为希腊语创建了一个自定义分词器：
从零开始训练BERT的终极指南：分词器
从文本到标记：BERT分词的逐步指南
towardsdatascience.com
现在，我们将解决构建高性能BERT模型中最关键的阶段之一：数据集准备。本指南将是一份技术性的指南，提供Python代码片段和链接…