LEARNING / 学习记录
从概念到实现，从论文到实验，也记录过程中理解的变化。
从参数、梯度和 Adam 状态拆开训练显存，用四卡分工理解 ZeRO 1、2、3，并通过一张理论估算图看清节省来自哪里。