Model Distillation（模型蒸馏）
定义
Model Distillation 是把大模型（教师）的推理能力转移到小模型（学生）的技术。学生模型不需要看到原始训练数据，而是从教师的软标签（soft labels）或输出来学习，从而用更少的参数、更低的推理成本获得接近教师的能力。
为什么重要
模型蒸馏是"每一代小模型超越前代大模型"这一现象的核心引擎。它意味着：
- 能力民主化：昨天只有旗舰模型能做的事，明天小模型也能做——降低推理成本、扩大部署场景
- 算法复利：蒸馏让每代架构改进、数据改进、训练改进的成果被压缩到更小的模型中，形成累积效应
- 产品杠杆：小模型更快、更便宜、延迟更低，直接转化为用户体验优势
蒸馏也揭示了模型能力的可压缩性——大量"智能"可以被装进更少的参数，这暗示当前模型可能远未达到其信息论容量上限。
与 Adversarial Distillation 的区别
Model Distillation（本文）是机器学习技术——教师模型输出软标签，学生学习分布。 Adversarial Distillation 是组织行为学概念——工程师为避免被 Skills 系统替代而采取消极抵抗、质量投毒、上下文污染等策略。 二者同名但完全不同层面：技术蒸馏几乎没有遇到组织蒸馏面临的激励和信任问题。
关键数据点
- Gemini Flash 代际超越 Pro：每一代 Flash 模型都超越前代 Pro 模型，且这个趋势似乎在加速（Oriol Vinyals, 2026-05）
- 方法出奇简单：Jeff Dean 确认 Gemini 蒸馏"甚至比最初的论文更简单"——一个好老师 + 一个学生，基本沿用 Hinton 2015 年原始论文 recipe，加上"modest tweaks"
- 早期规模化验证：2012-2013 年 Jeff Dean 和 Oriol Vinyals 在 Google Brain 用 50 个模型的 ensemble 训练了 3 亿张图片，然后通过蒸馏压缩为单一模型——精度远超直接在原始数据上训练的单模型
- "挤柠檬"隐喻：Oriol Vinyals 描述蒸馏为"squeezing the lemon"——把大模型的"汁液"（好的部分）压进小模型
- LLM 数据效率差距：人类一生听到约
10^9（10 亿）词，LLM 在10^{12}（万亿）词上训练——效率差约 1000 倍。蒸馏和算法创新是缩小这个差距的关键方向
黑市蒸馏产业链（07-27 扩展）
蒸馏不只是实验室内的正规技术，也已形成灰色产业链。Vectoral（2026-07）披露的中文 token 中转市场论坛（V2EX）匿名证词：
- "Distillation 用 Claude/CodeX 模型训练国产模型。有专门做 distillation 的中介……编程能力强的公司都在蒸馏 Claude；这是数十亿 RMB 的产业链，很多大佬一天赚几十万"（reply #38）
- "很多业内蒸馏的已经赚到百万了"（reply #129）
- 中转市场终端用户明确包含"用该基础设施做模型蒸馏的大型商业买家"——有效费率
$0.13/$1的廉价中转 token 降低了蒸馏的数据获取成本
这与正规叙事（"每代 Flash > 前代 Pro"）构成双重结构：同一项技术，一侧在实验室内部把能力压缩进更小模型，另一侧经黑市渠道把前沿能力抽取进竞争模型。前沿实验室条款禁止蒸馏，但中转基础设施使执法极难——这是 Token-Supply-Chain 滥用经济学的知识产权维度（综合判断）。
证据警示
上述量化主张为匿名论坛证词，无独立佐证，证据强度 low；但"蒸馏专业中介"角色的存在性与已知的模型竞争动态一致。详见 20260727-vectoral-token-relay-market。
前提与局限性
- 信息论地板：蒸馏不可能把无限知识压进有限参数。"每代 Flash > 前代 Pro"的趋势终将遇到模型容量的理论上限
- 教师质量上界：学生的能力天花板由教师决定。如果教师模型在某个领域表现不佳，蒸馏无法创造新能力
- 创造者困惑：Oriol Vinyals 承认"I'm still mesmerized how can we pack so much intelligence per parameter"——连技术的创造者也不完全理解其有效性的边界
- 与推理时计算的区别：蒸馏压缩的是训练时获得的知识，不替代推理时的思考预算（thinking tokens）。二者是互补关系
关联概念
- Adversarial-Distillation — 同名但不同层面的概念：组织知识抽取中的抵抗行为
- Continual-Learning — 蒸馏传递的是训练时的快照知识，不替代运行时的持续学习
- World-Model — 蒸馏能否传递世界模型（因果结构）vs 只是传递统计模式，是开放问题
- Agentic-Engineering — 小模型的低延迟对 Agent 工具链至关重要
- Token-Supply-Chain — 廉价中转 token 喂养黑市蒸馏产业链（滥用经济学的知识产权维度）