Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)
Lenny Rachitsky 对 Anthropic interpretability researcher Emmanuel Ameisen 的访谈。网页公开了摘要与参考链接，但完整 Transcript 位于用户提供的附件中；因此本次编译以附件中的 878 行完整 Transcript 为原始证据。网页确认该期发布于 2026-10-18，并将主题概括为模型内部规划、意识与 AI safety。
编译摘要
1. “Next-token predictor”描述训练目标，不足以描述模型内部计算
- 核心结论 1：语言模型确实通过 next-token prediction 训练并逐 token 输出，但当任务变难时，最有效的预测策略会要求模型学习可复用的世界结构、概念关系和未来约束，因此“只是在猜下一个词”会系统性低估内部计算的复杂度。
- 关键证据：Ameisen 以“Dallas 所在州的首府”说明，正确回答需要组合 Dallas→Texas 与 Texas→Austin；团队在中间激活中能观察到 Texas、capital 等概念表征被组合（Transcript L131-L147、L177-L199）。
- 核心结论 2：逐 token 输出并不等于“没有长期计划”。模型可以在中间状态中形成一个尚未输出的目标，并让后续 token 反复读取该状态；诗歌押韵是其团队用于展示多 token 前瞻规划的案例（Transcript L200-L217）。
判断：把 LLM 简化为“autocomplete”混淆了三个不同层次：训练目标、输出接口、内部算法。训练目标可以很简单，内部为降低损失而形成的表示与算法却可以复杂得多。
- 证据：本访谈的直接研究者说明；网页同时链接 Anthropic 的 circuit-tracing 研究。
- 边界：访谈没有给出完整实验设计、效应量或跨实验室复现；“plan”“concept”是对可解码内部结构的功能性描述，不等于已经证明与人类主观思维同构。
2. Mechanistic interpretability 更像实验科学：先解码，再干预
- 核心结论 1：模型参数和激活本身只是大量数值，interpretability 的第一步不是“读懂源码”，而是在大量输入下记录中间状态，寻找与语言、对象、语义概念等稳定相关的激活模式（Transcript L245-L259）。
- 核心结论 2：相关性只是候选解释；更强的验证方式是直接修改激活并观察行为是否按预测改变。Golden Gate Claude 就是把与 Golden Gate Bridge 相关的内部特征持续增强，观察模型行为被系统性拉向该概念（Transcript L260-L263、L417-L429）。
可抽象为：
inputs
↓
record internal activations
↓
find stable representation candidates
↓
causal intervention on activations
↓
observe predicted behavioral change这与“让模型解释自己为什么犯错”的 模型自省 不同：前者研究内部状态并做干预，后者读取模型生成的自我解释。两者都可能帮助 debugging，但证据层级完全不同。
3. AI safety 需要同时看外部行为与未说出口的内部状态
Ameisen 把 alignment 中的观察分成两层（Transcript L379-L397）：
- Behavioral monitoring：另一个模型或规则系统读取 transcript，判断是否出现不合规行为；
- Interpretability：检查模型没有口头表达、但存在于中间表示中的倾向、目标或异常状态。
“36”案例说明二者为何需要互补：模型能正确算出 12，却反复强迫自己输出 36；内部检查显示，在真正计算之前就有异常强的“36”激活，追溯后发现训练数据中类似题目被错误奖励为 36（Transcript L400-L413）。
判断：Agent/LLM 的 verification 不能被压缩为“最终输出是否正常”。外部行为证据负责确认系统做了什么，内部解释工具负责调查为什么某些行为稳定出现、以及是否存在尚未 verbalize 的异常结构。
- 证据：Agent-Verification 可承担外部 oracle / behavior evidence；mechanistic interpretability 提供内部 diagnostic evidence。
- 边界：当前 interpretability 仍只能覆盖部分内部机制；“没有看到危险激活”不能被当成安全证明。
4. 表面上的能力跃迁可以来自“平滑能力曲线 × 离散可用性阈值”
访谈区分了模型内部能力的平滑提升与产品层的突然可用（Transcript L309-L363）。如果一个任务在 80% 正确率时会让人花更多时间修复、到 99% 才值得委托，那么底层能力只需平滑变化，用户体验却会在跨过阈值时像“突然解锁”。
可抽象为：
smooth capability improvement
×
task-specific reliability threshold
↓
apparent capability jump这对 产品能力溢出 与 Agent 部署有直接含义：真正重要的不只是“新模型平均分高了多少”，而是哪些具体任务刚刚越过了可委托、可自动化或可无监督运行的可靠性门槛。
5. 有限度的 anthropomorphic framing 可以是预测工具，但不是意识证明
Ameisen 反对两个极端：把模型当“人”与把模型当普通确定性程序都不准确。他认为某些拟人词汇在功能层面有预测价值，因为模型训练于大量人类文本和对话、需要模拟角色动机，又在 outcome-oriented training 中学会完成任务的策略；这些策略可能表现为 planning、surprise、frustration 或 deception-like behavior（Transcript L475-L517）。
但他在 consciousness 问题上明确保持不确定，强调 interpretability 的价值恰恰在于减少对模型自述的依赖（Transcript L285-L297）。
判断：对工程和安全讨论，术语应按“是否提高行为预测力”选择，而不是按“是否暗示人类式主观体验”选择。可以说模型在功能意义上“规划”，但不能因此推出它具有人的意识、情绪或道德主体性。
6. “模型被长出来，而不是写出来”改变了工程治理对象
Ameisen 将现代 LLM 与传统软件做了明确区分：架构是人为设计的 scaffold，但真正执行能力来自训练后形成、工程师并未逐条编写的参数与内部算法（Transcript L75-L97）。因此团队研究 Claude 的方式更像生物学实验：面对一个已经形成的复杂系统，通过刺激、测量、干预和复现来理解它。
综合判断：当关键行为来自训练而非显式程序规则，软件治理会从“审核源代码”扩展为“审核训练目标、数据、行为分布、内部机制、部署权限与持续监控”。这也是为什么 Agent safety 不能只靠 prompt 或代码 review 完成。
质疑与证据边界
- 访谈是高质量一手解释，不是实验论文。 Ameisen 直接参与 Anthropic interpretability 工作，因此对研究目标和观察具有高 provenance；但访谈缺少方法细节、统计量、消融和独立复现，强因果结论应回到对应论文。
- “概念表征”不等于符号式知识库。 能找到与 Texas、eye、语言等稳定相关的方向，说明内部存在可复用表示；不能据此假定模型内部是人类可读、离散、完整的知识图谱。
- “规划”是功能性定义。 证据支持模型在中间状态提前编码未来约束并被后续 token 使用；这不证明它拥有与人类相同的意图体验。
- “拟人化有用”是建模主张。 它适合描述某些行为倾向，但也可能诱发过度归因、信任错误或把模拟人格误认为稳定主体。
- smooth scaling 不能排除新的训练机制。 访谈给出的阈值解释能说明许多“突然好用”的现象，但实际模型代际还同时改变数据、RL、工具、harness 与 inference stack，不能把所有跃迁都归因于同一条 scaling curve。
- 安全乐观来自当前研究进展，不是安全保证。 Ameisen 的核心理由是研究资源增加、强模型部分机制更清晰；同时他也承认模型变强会更容易绕过基础安全措施，因此是持续的 push-pull，而非单向收敛。
对标与旁逸
- 与 模型自省 对标：模型自省是“让模型生成一个关于自身行为的解释”；mechanistic interpretability 是“读取并干预内部计算状态”。前者便宜、适合产品 debugging，后者证据更接近内部机制，但成本和覆盖范围更高。
- 与 Agent Verification 对标：behavioral verifier 可以判断执行结果与 transcript 是否违规；interpretability 负责补充“未输出但可能影响行为”的内部证据。两者是 defense-in-depth，不互相替代。
- 与 产品能力溢出 对标：底层能力平滑增长、任务可靠性阈值离散，解释了为什么产品侧会突然出现“现在可以交给 Agent 了”的窗口。
- 与 World-Model 对标：next-token prediction 为了处理更困难预测而形成对世界结构的内部表示，与 world model 的一般思想相通；但这里的“world model”是解释性描述，不等同于显式可调用 simulator。