Unigram on Ge Zhang · 技术笔记

Unigram on Ge Zhang · 技术笔记 https://blog-shf.pages.dev/tags/unigram/ Recent content in Unigram on Ge Zhang · 技术笔记 Hugo zh Wed, 15 Jul 2026 00:00:00 +0000 Tokenizer 基础：从文本到 Token ID https://blog-shf.pages.dev/ai-fundamentals/tokenizer-algorithms/ Wed, 15 Jul 2026 00:00:00 +0000 https://blog-shf.pages.dev/ai-fundamentals/tokenizer-algorithms/ 系统梳理 Tokenizer 的处理流水线，以及词级、字符级、BPE、WordPiece、Unigram 和字节级 BPE 的原理、取舍与常见误区。