目录
简介
导入
基本批量大小和学习率
计算按比例分配的批量大小和学习率
政安晨的个人主页：政安晨
欢迎 👍点赞✍评论⭐收藏
收录专栏: TensorFlow与Keras机器学习实战
希望政安晨的博客能够对您有所裨益，如有不足之处，欢迎在评论区提出指正！
本文目标：使用 KerasNLP 和 tf.distribute 进行数据并行训练。
简介
分布式训练是一种在多台设备或机器上同时训练深度学习模型的技术。它有助于缩短训练时间，并允许使用更多数据训练更大的模型。KerasNLP 是一个为自然语言处理任务（包括分布式训练）提供工具和实用程序的库。
在本文中，我们将使用 KerasNLP 在 wikitext-2 数据集（维基百科文章的 200 万字数据集）上训练基于 BERT 的屏蔽语言模型 (MLM)。MLM 任务包括预测句子中的屏蔽词，这有助于模型学习单词的上下文表征。
本指南侧重于数据并行性，尤其是同步数据并行性，即每个加速器（GPU 或 TPU）都拥有一个完整的模型副本，并查看不同批次的部分输入数据。部分梯度在每个设备上计算、汇总，并用于计算全局梯度更新。
具体来说，本文将教您如何在以下两种设置中使用 tf.distribute API 在多个 GPU 上训练 Keras 模型，只需对代码做最小的改动：
—— 在一台机器上安装多个 GPU（通常为 2 至 8 个）（单主机、多设备训练）。这是研究人员和小规模行业工作流程最常见的设置。
—— 在由多台机器组成的集群上，每台机器安装一个或多个 GPU（多设备分布式训练）。这是大规模行业工作流程的良好设置，例如在 20-100 个 GPU 上对十亿字数据集进行高分辨率文本摘要模型训练。
!pip install -q --upgrade keras-nlp
!pip install -q --upgrade keras # Upgrade to Keras 3.导入
import osos.environ["KERAS_BACKEND"] = "tensorflow"import tensorflow as tf
import keras
import keras_nlp在开始任何训练之前，让我们配置一下我们的单 GPU，使其显示为两个逻辑设备。
在使用两个或更多物理 GPU 进行训练时，这完全没有必要。这只是在默认 colab GPU 运行时（只有一个 GPU 可用）上显示真实分布式训练的一个技巧。
!nvidia-smi --query-gpu=memory.total --format=csv,noheaderphysical_devices = tf.config.list_physical_devices("GPU")
tf.config.set_logical_device_configuration(physical_devices[0],[tf.config.LogicalDeviceConfiguration(memory_limit=15360 // 2),tf.config.LogicalDeviceConfiguration(memory_limit=15360 // 2),],
)logical_devices = tf.config.list_logical_devices("GPU")
logical_devicesEPOCHS = 324576 MiB要使用 Keras 模型进行单主机、多设备同步训练，您需要使用 tf.distribute.MirroredStrategy API。下面是其工作原理：
—— 实例化 MirroredStrategy，可选择配置要使用的特定设备（默认情况下，该策略将使用所有可用的 GPU）。
—— 使用该策略对象打开一个作用域，并在该作用域中创建所需的包含变量的所有 Keras 对象。通常情况下，这意味着在分发作用域内创建和编译模型。
—— 像往常一样通过 fit() 训练模型。
strategy = tf.distribute.MirroredStrategy()
print(f"Number of devices: {strategy.num_replicas_in_sync}")INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0/task:0/device:GPU:1')
Number of devices: 2基本批量大小和学习率
base_batch_size = 32
base_learning_rate = 1e-4计算按比例分配的批量大小和学习率
scaled_batch_size = base_batch_size * strategy.num_replicas_in_sync
scaled_learning_rate = base_learning_rate * strategy.num_replicas_in_sync现在，我们需要下载并预处理 wikitext-2 数据集。该数据集将用于预训练 BERT 模型。我们将过滤掉短行，以确保数据有足够的语境用于训练。
keras.utils.get_file(origin="https://s3.amazonaws.com/research.metamind.io/wikitext/wikitext-2-v1.zip",extract=True,
)
wiki_dir = os.path.expanduser("~/.keras/datasets/wikitext-2/")# Load wikitext-103 and filter out short lines.
wiki_train_ds = (tf.data.TextLineDataset(wiki_dir + "wiki.train.tokens",).filter(lambda x: tf.strings.length(x) > 100).shuffle(buffer_size=500).batch(scaled_batch_size).cache().prefetch(tf.data.AUTOTUNE)
)
wiki_val_ds = (tf.data.TextLineDataset(wiki_dir + "wiki.valid.tokens").filter(lambda x: tf.strings.length(x) > 100).shuffle(buffer_size=500).batch(scaled_batch_size).cache().prefetch(tf.data.AUTOTUNE)
)
wiki_test_ds = (tf.data.TextLineDataset(wiki_dir + "wiki.test.tokens").filter(lambda x: tf.strings.length(x) > 100).shuffle(buffer_size=500).batch(scaled_batch_size).cache().prefetch(tf.data.AUTOTUNE)
)在上述代码中，我们下载并提取了 wikitext-2 数据集。然后，我们定义了三个数据集：wiki_train_ds、wiki_val_ds 和 wiki_test_ds。我们对这些数据集进行了过滤，以去除短行，并对其进行批处理，以提高训练效率。
在 NLP 训练/调整中，使用衰减学习率是一种常见的做法。在这里，我们将使用多项式衰减时间表（PolynomialDecay schedule）。
total_training_steps = sum(1 for _ in wiki_train_ds.as_numpy_iterator()) * EPOCHS
lr_schedule = tf.keras.optimizers.schedules.PolynomialDecay(initial_learning_rate=scaled_learning_rate,decay_steps=total_training_steps,end_learning_rate=0.0,
)class PrintLR(tf.keras.callbacks.Callback):def on_epoch_end(self, epoch, logs=None):print(f"\nLearning rate for epoch {epoch + 1} is {model_dist.optimizer.learning_rate.numpy()}")我们还要回调 TensorBoard，这样就能在本教程后半部分训练模型时可视化不同的指标。我们将所有回调放在一起，如下所示：
callbacks = [tf.keras.callbacks.TensorBoard(log_dir="./logs"),PrintLR(),
]print(tf.config.list_physical_devices("GPU"))[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]准备好数据集后，我们现在要在 strategy.scope() 中初始化并编译模型和优化器：
with strategy.scope():# Everything that creates variables should be under the strategy scope.# In general this is only model construction & `compile()`.model_dist = keras_nlp.models.BertMaskedLM.from_preset("bert_tiny_en_uncased")# This line just sets pooled_dense layer as non-trainiable, we do this to avoid# warnings of this layer being unusedmodel_dist.get_layer("bert_backbone").get_layer("pooled_dense").trainable = Falsemodel_dist.compile(loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),optimizer=tf.keras.optimizers.AdamW(learning_rate=scaled_learning_rate),weighted_metrics=[keras.metrics.SparseCategoricalAccuracy()],jit_compile=False,)model_dist.fit(wiki_train_ds, validation_data=wiki_val_ds, epochs=EPOCHS, callbacks=callbacks)Epoch 1/3
Learning rate for epoch 1 is 0.00019999999494757503239/239 ━━━━━━━━━━━━━━━━━━━━ 43s 136ms/step - loss: 3.7009 - sparse_categorical_accuracy: 0.1499 - val_loss: 1.1509 - val_sparse_categorical_accuracy: 0.3485
Epoch 2/3239/239 ━━━━━━━━━━━━━━━━━━━━ 0s 122ms/step - loss: 2.6094 - sparse_categorical_accuracy: 0.5284
Learning rate for epoch 2 is 0.00019999999494757503239/239 ━━━━━━━━━━━━━━━━━━━━ 32s 133ms/step - loss: 2.6038 - sparse_categorical_accuracy: 0.5274 - val_loss: 0.9812 - val_sparse_categorical_accuracy: 0.4006
Epoch 3/3239/239 ━━━━━━━━━━━━━━━━━━━━ 0s 123ms/step - loss: 2.3564 - sparse_categorical_accuracy: 0.6053
Learning rate for epoch 3 is 0.00019999999494757503239/239 ━━━━━━━━━━━━━━━━━━━━ 32s 134ms/step - loss: 2.3514 - sparse_categorical_accuracy: 0.6040 - val_loss: 0.9213 - val_sparse_categorical_accuracy: 0.4230根据范围拟合模型后，我们对其进行正常评估！
model_dist.evaluate(wiki_test_ds) 29/29 ━━━━━━━━━━━━━━━━━━━━ 3s 60ms/step - loss: 1.9197 - sparse_categorical_accuracy: 0.8527[0.9470901489257812, 0.4373602867126465]对于跨多台计算机的分布式训练（而不是只利用单台计算机上的多个设备进行训练），您可以使用两种分布式策略：MultiWorkerMirroredStrategy 和 ParameterServerStrategy：
—— tf.distribution.MultiWorkerMirroredStrategy（多工作站策略）实现了一种 CPU/GPU 多工作站同步解决方案，可与 Keras 风格的模型构建和训练循环配合使用，并使用跨副本的梯度同步还原。
—— tf.distribution.experimental.ParameterServerStrategy（参数服务器策略）实现了一种异步 CPU/GPU 多工作站解决方案，其中参数存储在参数服务器上，工作站异步更新梯度到参数服务器。
