标签： Optimizer

在

从 SGD 到 AdamW 的优化器

写在前面 在上一篇文章中，我们讨论了如何用数据并行、张量并行和流水线并行，把一个大模型“拆开”放到成...

读出全部