Agentic Analytics(代理式数据分析)

定义

Agentic Analytics 是用 LLM/Agent 承担自助数据分析入口的工作系统。它的可靠性不来自“会写 SQL”,而来自 canonical datasets、semantic layer、domain skills、评测、provenance、telemetry 和 correction harvesting 共同组成的分析 harness。

核心问题

传统 self-service analytics 常在两个坏选择之间摇摆:

  • 做宽表和 dashboard,让更多人能查,但不同团队容易得出不一致口径。
  • 把分析环境圈起来,保证质量,但覆盖不了长尾问题,最后 dashboard 泛滥。

Anthropic 的关键判断是:把 Claude 直接接入 data warehouse 会制造“精确错觉”。Analytics 不是普通代码任务,很多问题只有一个正确答案,且无法靠编译器或测试天然证明。真正难点是把自然语言问题映射到正确实体、指标、表、时间窗口、权限和业务语义。

系统组件

组件作用失败时会发生什么
Canonical datasets降低口径分裂,提供可信入口同一指标多种版本,答案看似精确但实际错
Semantic layer让业务指标和数据表有稳定映射Agent 自己猜 join、filter 和 metric 定义
Domain skills保存过程性业务知识和使用规则模型会写 SQL,但不知道该查什么
Evals离线验证 domain 能否上线只能靠主观试用判断可靠性
Provenance footer暴露来源、假设和查询证据用户难以发现 silent failure
Correction harvesting把用户纠错变成 PR 和技能更新系统无法跨过 learning gap

关键数据点

  • Anthropic 称 95% business analytics queries 已通过 Claude 自动化,aggregate accuracy 约 95%。
  • 没有 skills 时准确率不超过 21%;有 skills 后整体超过 95%,部分 domain 接近 99%。
  • 给 agent 访问数千个历史 SQL 文件只带来不到 1 个百分点提升;80% 错误答案的答案已经在 corpus 中,但 agent 没有正确使用。
  • Skills 如果不维护,准确率可在一个月内从约 95% 掉到约 65%。
  • 约 90% 数据模型 PR 包含 skill 变更,因为 skill markdown 与 transformation 代码 colocate,并由 code-review hook 约束同步更新。
  • Adversarial review 可带来约 6% accuracy 提升,但增加 32% token 和 72% latency。

与 Context Engineering 的关系

Agentic Analytics 说明 Context-Engineering 不是“把更多资料塞进上下文”。历史 SQL、文档和仓库访问都可能在上下文里,但如果没有结构化语义、技能路由和评测,它们只是噪声。

更准确的表述是:Context Engineering 要把正确知识放在正确抽象层。

  • 原始 SQL corpus 是证据库,不是运行时指导。
  • Semantic layer 是指标和实体的稳定入口。
  • Skill 是 domain-specific 操作手册。
  • Eval 是判断 skill 是否仍然可信的回归测试。

LangChain 实现案例:组件框架双源互证(07-29 扩展)

LangChain 数据团队的 agent-first 数据栈(2026-07,20260727-langchain-agent-data-stack)与本实体的 Anthropic 案例组件一一对应——两家公司、不同工具链(Claude + 内部工具 vs Hex + dbt),同一架构:

Anthropic 组件LangChain 实现
Canonical datasetsdbt 定义(列级业务上下文:允许值 + 解释指引 + 默认过滤规则)
Semantic layer语义模型(ARR / pipeline / customer health 等指标的稳定入口)
Domain skillsWorkspace guides(纯语言业务流程,git 版本化 = skill 的 PR/CI 机制)
EvalsEvals(规划中:变更 → 测试 → 推广,context 管理软件开发化)
Provenance footerEndorsements + 来源透明(agent 说明用了哪些 source)
Correction harvestingObservability 反馈回路(重复问题 → dashboard;metric 挣扎 → 语义定义;用错 source → 调整 endorsement)

新数据点:data agent 承接 40 倍于 3 人数据团队的请求量;过去 30 天近 100% provisioned 用户(公司三分之一)使用,人均 23 次对话/月;endorsement 稀缺性纪律——"if everything is endorsed, the signal stops being useful"(只有数据团队可标记 + 变更需评审);数据团队角色从"回答每个问题"转为"改进系统",到达的问题变得"more complex and higher leverage"(Captain-Mindset 的数据域版本)。

警示:40x 是对话量 vs 团队可处理人力之比(含被抑制需求的释放),无准确率指标,样本为技术素养高的 AI 公司员工。但组件框架的跨组织稳定性(两家公司独立收敛于同一架构)本身是强信号——比任何单一数字更值得信任。

前提与局限性

  • Anthropic 的做法依赖强数据工程基础,普通企业最容易低估 canonical datasets 和 semantic layer 的建设成本。
  • Aggregate accuracy 不能覆盖所有风险,高管指标、财务口径和低频长尾问题仍需更强审查。
  • Provenance footer 能降低沉默失败风险,但不能消灭沉默失败。
  • Skills 是资产也是负债,必须进入 PR、CI 和 owner 机制,否则会快速腐烂。

关联概念