FeedForward

梳理 Feed Forward 的基本含义、Transformer 中 FFN 与 Attention 的分工,并从 ReLU、SiLU、GLU 逐步推导到 SwiGLU。

2026 年 07 月 21 日 · 7 分钟 · 3331 字 · Ge Zhang