生成模型实战 | BERT详解与实现 - 指南

Transformer实战（8）——BERT模型详解与实现

• • 0. 前言
  • 1. BERT 模型介绍
  • • 1.1 BERT 语言模型预训练任务
  • 2. 深入理解 BERT 语言模型
  • 3. 自编码语言模型训练
  • • 3.1 文本分词
    • 3.2 构建 BERT 模型
    • 3.3 实现预训练任务
    • 3.4 模型训练
  • 相关链接

0. 前言

BERT (Bidirectional Encoder Representations from Transformers) 是 Google 在提出的预训练语言模型，它通过Transformer编码器结构和掩码语言模型 (Masked Language Model, MLM) 任务，实现了真正的双向上下文理解。在本节中，我们将学习如何从零开始训练自编码语言模型。训练过程包括模型的预训练和针对特定任务的训练。首先，学习 BERT (Bidirectional Encoder Representations from Transformer) 模型及其工作原理，然后，使用一个简单的小型语料库来训练语言模型。

1. BERT 模型介绍

BERT (Bidirectional Encoder Representations from Transformer) 是最早利用编码器 Transformer 堆栈，并对其进行修改以用于语言建模的自编码语言模型之一。BERT 架构是基于原始 Transformer 实现的多层编码器。Transform