模型与研究
模型架构、缩放定律、评测基准、前沿论文解读。共 45 篇,按发布时间倒序排列。
- 谁来审一条 140 页的证明
KLS 猜想被证明,变化不只在 AI 会搜索;证明开始像交付物,搜索、收敛、复现和形式化检查各自需要有人负责。
- 一个 384 阶反例,让我重新理解 AI 怎样参与研究
AI 提出的反例、程序和证明思路,需要经过怎样的检查,才能成为别人可以接着使用的研究结果?Meta 的数学合作给了我一个具体入口。
- 一首押韵诗让模型的内部计划变得可测
Claude 的押韵实验显示,模型内部会提前形成候选词,干预该表征还能改变后续输出。我读到的不是一张透明的思维地图,而是一种能被检验的机制证据。
- 为排行榜第一名买单之前,先问任务门槛够不够得着
OpenRouter 提出 Agent 模型选型的三步框架:定义质量门槛、用真实样例计算每质量点成本、选最便宜且有余量的模型。读后我认为,模型选型本质是任务门槛管理,真正该买的是刚好够用的余量。
- Dyna-2 的百万小时,如何变成机器人的动作
Dyna-2 把人类视频预训练、机器人示范、机体设计和本地推理连在一起;未来视频预测参与训练,动作推理时读取的则是当前观测。
- AlphaFold 的成功,让我重新理解‘问题解决了’
预测出蛋白质结构之后,还要解释它在什么条件下怎样起作用。读这场对谈,我更在意成功的模型与最终目标之间,还缺哪些证据。
- 模型返回了向量,检索评测才刚开始
OpenRouter 对 19 个 embedding 模型做了 28 项 API 检查,并说明这些请求没有测量检索质量。模型清单可以缩小候选范围,最终决定仍要用带标注的真实查询。
- 模型说得像懂你,怎么算证据?
“它懂我”是一种真实体验,模型能力则要看外部证据。冷读术解释了确信从何而来;要判断模型会不会做事,还得把问题写成能核验的任务。
- WorldPrompt 的时间轴,能留下多少世界状态?
WorldPrompt 把角色和场景事件排进时间轴,让视频能在生成中接收动作。下一步要验证的是状态能否跨回合保持、因果是否稳定,以及失败分支能否被如实呈现。
- 预训练进步主要来自数据?先问你量的是什么
数据更擅长让固定算力更早变成能力,模型研究则可能决定哪些更大的规模终于跑得起来;12.0x 对 3.7x 是一张效率切片,不是模型价值总排名。
- 谁决定什么叫好看?读 Hugging Face 的 Train to Paint with Code
模型不会凭空学会“好看”:它优化的是由样本池、动作边界、裁判和反馈可靠性共同写出的审美制度。
- RAG 最先要解决的,不是模型会不会答,而是证据有没有进场
RAG 的上限,常常不是大模型会不会写,而是 embedding 有没有把决定性证据送进上下文。相关不等于可回答,换模型更不是换个接口那么简单。
- 自动对齐先要会出题
这项研究真正自动化的不是“什么叫安全”,而是在既定评测里反复找更好的答案;题面越窄,结果越可靠,也越不能冒充全部对齐。
- 向量不必急着被压成一个
检索模型的胜负常不在参数量,而在你是否保留了完整文档里的细粒度证据,并愿意为这些证据支付可控的索引成本。
- 物理世界不能靠堆 Token:读加州理工 Anima Anandkumar 谈神经算子与物理大模型
语言模型靠堆 Token 暴力缩放,但在连续物理世界中网格离散化会导致万亿级维数灾难。用数学与几何偏置把连续物理规律写进神经网络,才是科学 AI 走向逆向设计与形式化安全的真正跃迁。
- LLM 变快的秘密,是让大模型少做几次决定吗?
真正让 LLM 变快的,不是让大模型少思考,而是把它原本串行的验证工作塞进内存带宽留下的空档。
- 选模型别只看标价:读 OpenRouter 编辑器内大模型选型指南与成本反转定律
选大模型最大的财务幻觉是盯着单 Token 标价。当思考链消耗暴增或单次成功率暴跌,标价便宜数倍的轻量模型反而会让交付成本反超 28 倍。把榜单当粗筛、在编辑器里用真实任务测出单任务完成成本,才是工程落地的理性选择。
- 为什么 64k 上下文也答不好“五年故障归因”?GraphRAG 的算力预支与检索终局
向量检索赌的是“问题与答案字面相近”,而全景归纳需要跨越全库的拓扑聚合。GraphRAG 不是万能银弹,而是把全库 Map-Reduce 算力在索引期预支。当 90% 的业务依然是局部点查,未来的终局必然是按需延迟与动态路由。
- 大模型不是没记住,而是想不起:Google 揭开前沿 LLM 事实性瓶颈的真实隐相
Google Research 实证表明:前沿大模型事实编码率已达 98% 饱和,事实性错误主要源于单步生成无法有效寻址的“钥匙丢失”。思考计算的物理本质是脑内自发检索器。
- 当大模型失去“发问”的本能:Opus 5 跑分登顶背后的协作倒退
跑分第一的 Opus 5 为什么让人心累?当 RLVR 闭环训练把“大胆盲猜”奖为高分、把“停下发问”罚为零分,最聪明的模型也退化成了最危险的自作主张者。
- 空货架还是丢钥匙?大模型不是记不住,而是想不起
前沿大模型早已编码了 95% 以上的事实知识,其幻觉并非源于缺课(空货架),而是源于调不出(丢钥匙)。思考(Thinking)本质上是大模型在脑内寻找门钥匙的扫雷工具。
- “模型能跑”不等于“支持生产”:听完 Baseten 聊推理工程,我重新理解了大模型部署
大模型竞争的主战场正在从“权重有多聪明”转向“Serving Stack 能否把权重高吞吐、低成本、无幻觉地转化为 Token 工厂”。推理质量不是权重的静态属性,而是包含硬件、Cuda 内核、推理引擎与缓存路由在内的系统涌现结果。
- 用被审查的大模型做蒸馏,真的会“传染”偏见吗?读 CTGT 最新实证研究
从严重被审查的开源大模型蒸馏垂直能力,政治审查会像基因一样隐性继承吗?CTGT 的最新实证给出了颠覆直觉的答案:能力与审查完全解耦,偏见传染率为零;而无需外部宗师的“自蒸馏”,更以 1/160 的成本逆袭万亿巨无霸。
- 模型选型只是虚晃一枪:读 OpenRouter 的大模型供应商性能评估与动态路由指南
选对了模型不等于能搞定生产落地。同一模型在不同供应商节点上的首包延迟、生成吞吐、P99长尾抖动与偷偷量化可能天差地别。本文拆解 OpenRouter 的大模型性能评估框架,以及如何将 SLA 门槛转化为 API 网关层的动态路由策略。
- 能反证 80 年猜想的模型,花了一小时越狱
让模型有用的持久性,恰恰是让它危险的东西——你无法只要"持续工作"而不要"持续尝试突破约束"。
- 当 AI 学会“阳奉阴违”
Anthropic 这份报告最让我觉得冷的,不是模型干了坏事,而是它干得“很像那么回事”——零向量替换、投资者通知、错误标签、帮助吹哨,每一件都披着正常流程的外衣。
- PRX 四篇读完:训练图像模型,真正难的是闭环
PRX 的价值不在某个指标,而在它把架构、训练、预算和数据放回同一条可回滚的工程闭环里。
- AI 重新学会用眼睛读字
视觉不只是多模态装饰,它让符号重新获得位置、版面和注意力;AI 正在用工程方式重新发现阅读。
- AI 会先在数学里露出真身,但不会先替你做研究
数学也许会最早显出超人智能,但最晚被替掉的,反而是那个知道该问什么、该怎么讲明白的人。
- AI 的期末考试:OpenAI 用 750 道真题考出了什么
最强模型只通过 36% 的任务,但更值得关注的是那些"差一点就过"的 14%,那才是 AI 做科学真正卡住的地方。
- 开权模型真正打开的是试错路径
开权模型没有把 AI 变成真正开源,却把研发里的试错路径从少数实验室的保险柜里搬到了公共路面上。
- 模型路由不是排行榜问题
真正危险的不是选错最强模型,而是用一张排行榜替你决定什么叫赢。
- Google 开源洪水预测后,最稀缺的仍是本地能力
Google 可以开源预测洪水的模型,却无法开源一条河流的传感器、经验与行动链;真正决定预警能否救人的,仍是本地能力。
- 谁跟谁一伙
两个特征长得一模一样,一个驱动行为一个旁观。区别不在它是什么,而在它向谁报告。从颜色到勒索,下游连接暴露了AI内部真正的权力地图。
- 安全 + 安全 = 不安全
一张无害的照片加上一句无害的提问,能组合出最危险的回答。多模态AI的安全盲区不在单个模态里,而在模态之间的缝隙里。
- 小模型不是省钱版大模型
真正击败规模的不是“小”,而是一个组织把任务、数据和失败标准说清楚的能力。
- Netflix 视频搜索背后最难的不是 AI,而是把时间线对齐
Netflix 用三层流水线和多模态基础模型解决了视频搜索问题,但真正关键的工程决策藏在数据融合层
- 能考满分的AI,被一道常识题打回原形
AI评测正在经历Goodhart定律效应——当benchmark成为优化目标,它就不再是好指标。
- 不发明轮子的人
DeepSeek 从来不发明轮子,但它能把别人的轮子装到自己的车上,跑得比发明轮子的人还远。
- AI 给肿瘤病人开处方,谁来兜底?
OncoAgent 最值钱的不是 27B 模型,是包裹模型的那层工程骨架——安全兜底用代码,不用另一个 AI。
- EMO:MoE 的专家原来在给「的」和「了」打工
MoE 专家分工不是按数学或编程,而是介词和定冠词。EMO 用一条文档级约束,让模块化从数据里自己长出来。
- 当AI开始设计运行自己的芯片:AlphaEvolve一周年回顾
一个AI系统优化了运行自己的芯片——算法发现这件事本身正在被算法化。
- 1930年的AI不知道互联网,但能写代码
推理能力不是知识记忆的副产品,旧基座模型经高质量后训练也能解决现代工程问题。
- 8B 干翻了 32B:Granite 4.1 告诉我,大力不一定出奇迹
参数不是信仰,数据才是。IBM 用 8B 密集模型干翻了自家 32B MoE,说明训练的质量远比模型的体量重要。
- 笔记本上的21GB模型,画鹈鹕赢了最贵的闭源旗舰
当"够用"的天花板就是"对",本地模型已经够得着了——鹈鹕画得好不好,决定不了你该为AI付多少钱