Operationalizing Genie Ontology in Your Data Stack
编译摘要
1. 浓缩
- 核心结论1：企业 Agent 的可信上下文不等于把模型接到数据上，而是把业务定义、关系、规则、权威来源和权限一起纳入语义层；Genie Ontology 的路径是“model the head, infer the tail”：关键概念和指标由人明确建模，长尾上下文从受治理资产中学习并按权威性、相关性和权限在回答时取用。
- 关键证据：
Beyond the semantic model节区分 semantic model 与 ontology，并说明 Ontology 从 governed tables、queries、dashboards、notebooks 等资产学习上下文。
- 关键证据：
- 核心结论2：提升 Ontology 质量是一条六层渐进路径，而不是上线前必须完成的巨型项目：Layer 0 先修数据基础和 golden records；Layer 1 补元数据；Layer 2 定义关系、Metric Views、Domains 和 Pages；Layer 3 让 dashboard、query、notebook 和 Agent 成为 context-rich、可认证资产；Layer 4 建立访问控制和 AI 治理；Layer 5 持续评估与改进。
- 关键证据：原文
Layer 0至Layer 5，以及开头对“progressive maturity path”和“one domain at a time”的概括。
- 关键证据：原文
- 核心结论3：评估不是上线前一次性 gate，而是把回答失败定位回正确资产的持续反馈闭环。每个优先域要拥有代表性问题、expected answer、authoritative source、acceptance criteria、ground truth、人工 review 和阈值；失败后分别修 Page、Metric View、metadata/permission/certification 或 Agent instructions，并对数据和资产漂移重新运行 benchmark。
- 关键证据：
Layer 5: Evaluate and improve节要求由团队拥有 question set、ground truth、source validation、manual review 和 acceptance thresholds，并按失败根因回写不同资产。
- 关键证据：
2. 质疑
- 关于产品能力的证据强度：本文是 Databricks 的产品实践指南，详细描述了 Genie Ontology、Unity Catalog 和 Genie Agent Benchmarks 的机制，但没有提供跨企业的准确率提升、失败率、成本或人类评审一致性数据。
- 关于语义层的前提：Layer 0 的数据粒度、实体身份和 golden records 必须可靠；Layer 2 的主外键约束是 informational 而非强制执行，若治理流程不维护，它们可能给 Agent 提供错误的 join 线索。
- 关于推断上下文的边界：认证、使用频率和资产丰富度可以作为权威信号，却不保证内容永远正确；过时 dashboard、Notebook、query 或 Agent instruction 仍可能把错误“尾部”带进回答，因此必须配合 deprecation、owner 和 drift review。
- 关于权限与可比性：同一个问题因用户权限不同而得到不同答案，这有利于安全，但会使跨用户 benchmark 和业务指标比较变得更复杂；评估集必须同时记录权限上下文。
- 关于“一次建模、持续复用”的成本：分域推进降低了启动门槛，但数据语义、指标、权限和 benchmark 的维护并不会自动消失；业务定义变化时，所有依赖资产都可能需要回归评测。
3. 对标
- 企业语义基础设施：直接补强 本体 和 本体增强 Agent——LLM 负责理解和调度，语义资产、权限和治理层负责提供可审计的业务上下文与边界。
- 评测集的治理化：与 评测集 相连。本文把评测集进一步具体化为按业务域维护的问题、ground truth、权威来源、验收阈值和 review owner，并强调失败要回写产生语义的资产。
- 组织就绪度：与 AI 就绪组织 相连。数据基础、业务定义、责任人、访问规则和验收标准，构成组织能否被 Agent 读取的具体物质条件。
- 跨来源结构（综合判断）：Google 关注评测题目是否制造真信号，OpenAI 关注工作流是否被组织化复制，Databricks 关注“正确”是否有稳定语义和权限边界。三者合起来，可信 Agent 的闭环是：定义业务世界 → 暴露可观察结果 → 评估失败 → 把修复写回正确的语义或流程层。
证据边界
六层路径、Genie Ontology 的功能和基准测试方式均为 Databricks 官方产品材料中的主张；本文没有独立验证产品在不同企业数据质量下的效果。关于三篇来源共同构成“语义—工作流—评测”闭环属于本次综合判断。