#多GPU

12.5-12.6 多 GPU 训练

假设一台机器有 $k$ 个GPU。 给定需要训练的模型，虽然每个GPU上的参数值都是相同且同步的，但是每个GPU都将独立地维护一组完整的模型参数。