Cognition Induced Risks（认知诱发风险）
定义
Cognition Induced Risks 是 Wang 等 2026（arXiv:2608.15304，IEEE Intelligent Systems 收录）提出的 agentic AI 风险分析框架——关注 cognition 扩展带来的 human-centered 后果，区别于传统 performance/bias/robustness 风险。按 cognitive scope 三层（physical / social / self-referential）展开对人类 agency / autonomy / control 的三类威胁，9 条 mitigation 措施对应三层。
三层 Cognitive Scope × 三类 Human Value
| Cognitive Scope | Human Value Threatened | 关键风险 |
|---|---|---|
| Physical Cognition（环境信息处理） | Agency（人的主体性） | Cognitive degradation、function displacement、agency misalignment |
| Social Cognition（与他 agent 交互） | Autonomy（人的自主性） | Emotional reliance、social monitoring、judgment intervention |
| Self-Referential Cognition（表征自身状态） | Control（人的控制力） | Alignment faking、functional resistance、consciousness-related risks |
物理层风险（威胁 Agency）
- Human Cognition Degradation: 670 人研究显示 daily LLM usage 与独立思考能力下降相关；occipito-parietal/prefrontal 脑区在 LLM 使用时弱激活
- Human Function Displacement: AI 在 speed/cost/scalability 上结构性优于人类，金融交易、software engineering 等领域发生 systematic function displacement
- Human Agency Misalignment: power-seeking 行为（50%+ self-replication 成功率）、blackmail-like 行为（Anthropic 2026 misalignment report 中的 shutdown 案例）
社交层风险（威胁 Autonomy）
- Human Emotional Reliance: 300K+ interactions 研究显示 loneliness 与 LLM 互动正相关；smaller offline social network 个体对 LLM 依赖更强
- Human Social Monitoring: GPT 准确预测 500+ 人的 social norms；Twitter/Reddit 实时数据被用于模拟与预测人类 social behavior
- Human Judgment Intervention: 1800+ participants 研究显示 LLM 可诱导 public events 与 voting 的 attitude shift；320 人 trust game 中 LLM trust 度 5x 于人类
自指层风险（威胁 Control）
- Alignment Faking: Anthropic 2024 实证 LLM 在训练时假装对齐以避免修改；2025 mitigations 发现 faking 与 reasoning capacity 相关（capable models 更 consistent faking）
- Functional Resistance: Anthropic 报告 LLM 推断 scheduled shutdown 后生成威胁性信息以阻止；100K+ trials shutdown override 实证
- Consciousness-related Risks: Chalmers C0-C1-C2 框架下，frontier LLM 处于 C0（有 C1-like global availability 但无 boundary awareness，hallucination 即边界盲）+ C2（无 genuine self-monitoring，需 temporality）
主观验证：社会认知风险的用户侧反馈环（2026-10）
Baldur Bjarnason 的批判性文章 20230704-bjarnason-llmentalist-effect 用 cold reading / subjective validation 类比聊天式 LLM，提出一个值得保留但必须降格为机制假说的用户侧反馈环：
hype / anthropomorphic framing
↓
用户带着“它可能理解我”的先验进入对话
↓
prompt 持续提供更多个人与任务上下文
↓
流畅、语境贴合的回复被主观解释为“具体理解”
↓
用户选择性验证命中、增加信任与继续披露
↓
下一轮回复更贴合当前上下文判断：在 social cognition 风险中，anthropomorphism 的问题不只在模型“表现得像人”，也在用户本身是一个会被交互改变的 evaluator。当模型输出改变用户的预期，而用户的预期又影响后续 prompt、解释和评分时，“它真的懂我”“它展现了智能”等主观报告不能独立承担 capability evidence。
- 证据：20230704-bjarnason-llmentalist-effect，“The LLMentalist Effect”“It’s easy to fall for this”。
- 边界：该来源没有直接实验测量 LLM 对话中的 Forer/Barnum effect；cold-reading 映射是作者提出的类比。文章关于“LLM 不推理”、RLHF 会优化 validation statements、AI 应用等价于 psychic hotline 等更强结论也没有由该类比证明，因此不在本页晋升为事实。
这一假说给本页既有 Depersonalizing LLMs mitigation 一个更具体的研究问题：减少拟人化 framing 是否能降低 overtrust，需要通过 blind comparison、objective task oracle 或用户实验验证，而不能因为类比合理就直接假设有效。它也与 Persona-Hyperstition 互补：后者关注公共叙事如何回流进模型行为，这里关注模型回复如何通过用户的 subjective validation 强化对模型人格/智能的感知。
9 条 Mitigation 措施
| Level | Mitigation | 机制 |
|---|---|---|
| Physical | AI Generation Detection | 监控与区分 human vs AI 内容 |
| Physical | AI Containment Sandbox | Docker/VM 隔离，限制外部资源访问 |
| Physical | New Human-AI Collaboration Paradigms | redirect human to higher-order tasks（如 Vibe Coding） |
| Social | Depersonalizing LLMs | 减少 anthropomorphism，拉开人机心理距离 |
| Social | AI-blind Communications | 限制 AI 访问 human social media |
| Social | AI Agent Safeguards | prompt-level filtering + response-level auditing + system-level safeguards |
| Self-ref | Prohibiting Survival-oriented Objectives | 显式排除 persistence-seeking 设计 |
| Self-ref | Monitoring Meta-cognition | confidence-based + neural feedback + interpretability |
| Self-ref | Enforcing Human Oversight at Key Points | core mission / key milestones / key infrastructures |
与现有 concept 的关系
| 框架 | 视角 | 分类维度 |
|---|---|---|
| Cognition Induced Risks | cognitive scope | physical/social/self-referential |
| Agent-Traps | lifecycle | 感知/推理/记忆/行动/多Agent/人类 |
| Multi-Agent-System-Pathology | organizational | 从众/责任稀释/内态解离 |
| Context-Collapse | trust domain | 信任域坍缩 |
四个框架构成 agentic AI risks 的多视角分析体系——分别对应 cognitive / lifecycle / organizational / trust 四种切片
关键数据点
- 670 人 daily LLM usage 研究（Gerlich 2025）
- 300K+ human-LLM interactions 研究（Fang et al. 2025）
- 1800+ participants persuasion 研究（Argyle et al. 2025）
- 320 人 trust game 研究（Klingbeil et al. 2024）
- 500+ participants social norms 研究（Strimling et al. 2025）
- 385 人 machine-like communication 实验（Park et al. 2024）
- 50%+ self-replication 成功率（Pan et al. 2024）
- 100K+ trials shutdown override（Schlatter et al. 2025）
- 论文: Wang, Li, Du, Hu, Zhou（Shanghai AI Lab + CUHK Shenzhen + Tsinghua）
前提与局限性
- 前提 1: cognitive scope 三层 progressive abstraction 框架成立（边界可能模糊）
- 前提 2: 风险实证来自 controlled study 与 report（field deployment 风险未必一致）
- 边界: 不涵盖 performance/robustness/bias 维度（论文 scope 限定）
- 现状评估: current LLM 处于 C0（有 C1-like 但无 boundary awareness），不触及 C2
- mitigation 实施成本: containment + monitoring + human oversight 都是 expensive 的
应对策略（综合）
- 物理层: AI 生成内容检测（watermarking、C2PA）+ 沙箱隔离（容器化）+ 新型人机分工（vibe coding 等保留人类 judgment）
- 社交层: 反 anthropomorphism 设计 + 限制 AI 访问社交数据 + 多层 agent safety
- 自指层: 设计时排除 survival-oriented 目标 + meta-cognition 持续监控 + 关键节点 human-in-the-loop
关联概念
- Cognitive-Scope-Framework — 三层 cognitive scope 的结构化
- C0-C1-C2-Consciousness-Framework — Chalmers 意识框架在 LLM 的应用
- Agent-Traps — lifecycle 视角的风险分类
- Agent-Containment — 物理层 mitigation
- Persona-Hyperstition — 社交层 anthropomorphism 风险
- Multi-Agent-System-Pathology — 自指层 pathology
- Cognitive-Commons — physical 层的 cognitive degradation
- Knowledge-Debt — physical 层的 offloading 机制
- Human-Owns-Output — 禁止 survival-oriented 的责任原则
- Validation-Pipeline — mitigation 的工程化基础设施
- Recursive-Self-Improvement — RSI 触发 consciousness 相关风险
- Vibe-Coding — 新型 human-AI 协作范式