大模型量化粒度详解:逐层、逐通道与逐组量化

量化粒度决定多少个权重共享一套量化参数。本文通过一个 4×8 权重矩阵,逐步推导逐层、逐通道与逐组量化的公式、误差、优缺点和适用场景。

2026 年 07 月 28 日 · 6 分钟 · 2572 字 · Ge Zhang