dark ui wordpress北京网站优化平台
目录：
-
理论篇
1.1 训练大语言模型存在问题？
1.2 什么是点对点通信？
1.3 什么是集体通信？
1.4 什么是数据并行？
1.5 数据并行如何提升效率？
1.6 什么是流水线并行？
1.7 什么是张量并行 (intra-layer)？
1.8 数据并行 vs 张量并行 vs 流水线并行？
1.9 什么是3D并行？
1.10 想要训练1个LLM，如果只想用1张显卡，那么对显卡的要求是什么？
1.11 如果有N张显存足够大的显卡，怎么加速训练？
1.12 如果显卡的显存不够装下一个完整的模型呢？
1.13 PP推理时，是一个串行的过程，1个GPU计算，其他空闲，有没有其他方式？
1.14 3种并行方式可以叠加吗？
1.15 Colossal-AI 有1D/2D/2.5D/3D，是什么情况？
1.16 除了3D并行有没有其他方式大规模训练？
1.17 有了ZeRO系列，为什么还需要3D并行？
1.18 平民适不适合玩3D并行？
1.19 平民适不适合直接上多