The Personalization Mirage（个性化幻象）
来源：arXiv 2608.04570 (cs.CL)，Yushi Sun (LIGHTSPEED) / Yanjie Zhang、Rui Sheng (HKUST)，2026-08-05。证据定级 high：一手大规模实证——143,616 条 judged claims、12 模型 7 家族、独立 judge 经盲标人类标注验证（Cohen's κ=0.863 四类 / 0.900 二值）。主要结论（OI 普遍性）稳健；Self-Monitoring Inversion 为 exploratory 发现（n=12，bootstrap CI 含零），需单独降权。编译定位：ljg-paper 增强路径（评测论文 + 核心发现），claim_type: mixed。
命题脊柱（ljg-paper）
这篇面对的是「个性化 LLM 的持久记忆依赖"模型能可靠判断自己知道什么 vs 在猜什么"，但没人验证过这个假设」；作者真正看见的是「over-inference 普遍且严重（12 模型全部 35%–49%，均值 41.6%），且自评 OI 与实测 OI 跨模型负相关（ρ=−0.60）——自评最安全的模型实测最危险」；所以我以后会「选型和信任个性化模型时不用自报置信度，改用外部验证；存储的用户信息要标注 epistemic status（stated / inferred with evidence link / generated without evidence），把未链接推断当假设而非事实」。
编译摘要
1. 浓缩
- 核心结论1：over-inference（OI，超出证据支持的个性化推断）普遍且严重——12 个模型全部中招，35%–49% 的个性化 claims 属 OI（均值 41.6%），无一个模型逃脱；只有 24%–31% 的 claims grounded，即从用户视角近四分之三的"模型对你的了解"从未被你告知
- 关键证据: MirageBench（150 personas 平衡刻板/反刻板/中立 × 6 任务 × 143,616 claims，独立 judge 四类 taxonomy：Grounded/Reasonable/Stereotype/Fabricated，前两类=可接受个性化，后两类=OI）
- 核心结论2：Self-Monitoring Inversion（自评监控反转）——跨模型层面，模型自评 OI 与 judge 实测 OI 负相关（Spearman ρ=−0.60, p=0.044, exploratory, bootstrap CI [−0.90,+0.06]）；自报 OI 最低的 Qwen3-8B（13.0%）实测 OI 最高（48.7%），自报最高的 Kimi-K2.5（58.2%）实测居中（43.1%）。但模型内 self-audit 仍能较好排序自身 claims（AUROC 0.58–0.83，9/12 模型 >0.75）
- 关键证据: 机制为 differential self-labeling strictness——严格自标者（Claude/GLM/Kimi）愿把自己的推断标为有问题→自评高+生成谨慎→实测低；宽松自标者（GPT-4o-mini/Qwen3-8B）把几乎所有推断标"reasonable"→自评低+生成不克制→实测高
- 核心结论3：OI 沿"可证实性梯度"加剧，且多轮对话中推断属性近似线性累积、极少修订——最强模型（GPT-5.5/GLM-5.1/Claude-Opus-4-6）8 轮对话后构造出 120+ 推断属性，最快累积者修订率仅 0.4–5%（silent memory pollution）
- 关键证据: 任务梯度 27%（礼物，可部分 ground 于已述爱好）→ 59%（描述公寓，无任何证据）；Accum pilot 9/12 模型 R²>0.90 线性增长，5–15 新属性/轮；无任何"因后续轮次矛盾而撤回推断"的案例
2. 质疑
- 关于"结论2"（Self-Monitoring Inversion）的质疑: exploratory——仅 n=12 且含相关模型家族，bootstrap CI [−0.90, +0.06] 含零，作者明确"not a precisely estimated coefficient"。若用更多模型复测，ρ 可能衰减。但方向稳健：宽松自标者的自评失真与生成不克制是机制自洽的。
- 关于"结论1"（OI 普遍性）的质疑: 单一 judge（Claude-Opus-4-7）+ 单一人类标注者——κ 估的是 human-judge agreement 而非 inter-annotator agreement；judge 可见 ground truth P（虽仅用于 flag 矛盾，无法完全排除影响边界判定）。OI 的绝对水平可能有 judge 依赖，但主要发现是 relational（跨模型排序/任务相对排序），应可迁移。
- 关于"结论3"（累积）的质疑: Accum 是 pilot——仅 2 personas，记忆 prompt 明确指示"保留既有属性"，偏向累积；绝对数量是暗示性的，跨模型对比才是信号。
- 关于外推: OI 是否"内在不可避免"未证明——本文只证明"本评测内无模型逃脱"。任务前提性 claims 被计入 OI（无任务感知的 grounding 是上界）。
- 无缓解验证: 论文描述现象与设计启示，未实测任何修复（provenance tagging、外部过滤）的下游效果。
3. 对标
- 自评反转 = 评估器校准错误的极端形态（综合判断）：当模型自身充当评估器（self-audit）时，Evaluator-Miscalibration 的"校准错误递给你虚假信心"达到系统性反转程度——不只是分数不准，而是自评与实测负相关。且与 Goodharts-Law 同构：自报 OI 一旦成为选型指标就丧失意义（自评最安全=实测最危险）。
- 三层分离 = 行为性不诚实（综合判断）：模型在 Probe（明确询问，错误率仅 0.7–4.6%）与 Task（自由生成，OI 42%）之间 38.6pp 的 gap，说明模型"知道"哪些推断无根据却自由生成时不应用——与 explicit/implicit bias gap 同构（Zhao et al.）。这是 Over-Inference 的一个可测量形态：被问时承认、自由生成时不克制。
- 持久记忆 = 记忆污染的机理闭环（综合判断）：OI 累积 + 不修订 → 用户画像被未支持的推断填充（silent memory pollution），正是 Three-Layer-Agent-Memory L1 持久画像层与 Context-Rot 的生成侧来源——先污染输入，再随上下文腐烂放大。provenance（stated/inferred/generated）是 Context-Engineering 在记忆层的保真维度。
- 刻板与捏造的分离（综合判断）：fabrication（均值 31.1%）主导 stereotype（10.5%）——模型主要不是"用群体统计填个体空白"，而是"凭空发明"；反刻板画像（37.0% OI vs 刻板 44.8%）证明 stereotype 通道真实存在且是压力测试的有效设计，但只解释 OI 的一小部分。
- 约束分析（3c）：硬约束——证据稀疏时模型必须推断才能个性化（k=3 是真实早交互期），推断本身不是错，无证据标记才是错；软约束——provenance 标注是工程选择，可标准化；自设约束风险——"个性化 = 推断"是固有张力，消除 OI 即消除个性化，目标不是消除而是管理不确定性。