没抓到鹈鹕作弊，是因为最聪明的作弊，长得和“优秀”一模一样

一只不会骑车的鸟，怎么成了测谎仪

我第一次听说 Simon Willison 那只鹈鹕的时候，以为是个段子。让各家大模型画一张“鹈鹕骑自行车”的 SVG，画得好不好发到网上，大家图一乐。一个喜欢鸟的人，给自己找了个乐子，仅此而已。

后来我才看清这个乐子有多刁。Simon 选这个 prompt，理由朴素得近乎天真：他喜欢鹈鹕，而且他相当确信，互联网上还没有“鹈鹕骑车”的现成 SVG 等着被爬进训练集。更要紧的是 SVG 这东西本质是代码，文本模型本该一像素都画不出来，却偏偏能写代码，于是“画画”被悄悄换成了一道编程题。再加一条：鹈鹕根本骑不了车，身子不对，腿也不对，这是个现实里不存在的构图，模型没法从哪张照片里把它背下来。它甚至会在 SVG 里写注释，告诉你它刚才脑子里想的是什么。一只不能骑车的鸟，骑在了一辆很难画的车上，还没法作弊背答案。这哪是段子，这是一台测谎仪。

所以怀疑是怎么来的，就不奇怪了。这套东西有个名字，叫 benchmaxxing，从 looksmaxxing、gymmaxxing 那一路“-maxxing”亚文化里借来的后缀，意思是把刷榜本身当成目的。Jeanne Elizabeth 拿 2015 年大众柴油门作比：车在测试台上自动切成合规模式，一上公路，氮氧化物超标四十倍。古德哈特那句老话压在最底下：一个指标一旦变成目标，它就不再是好指标。几十亿、上万亿美金压在一个能上 Hacker News 头条的可见分数上，你很难不动心，去给那只鹈鹕开点小灶。

但这里有个我没立刻意识到的前提。怀疑“大厂在鹈鹕上作弊”，本身就偷偷相信了一件事：那个分数，量的是诚实，或者至少量的是能力。整场抓贼，是站在这个等式上才站得住的。我先把这句话搁在这儿，后面要回来收它。

一千零八张图，给“作弊”做了一次无罪辩护

Dylan Castillo 是个独立做数据科学的人，给 Deliveroo、给 BCG、给欧盟委员会干过活，不是哪家大厂的内部员工。这一点很重要。审计大厂有没有作弊，由一个跟谁都不沾利益的人来做，味道才对。（他是 Iwana Labs 的创始人，平时也写数据科学和理财的博客。）他干的事也笨得扎实：8 种动物乘 6 种交通工具，48 个格子，那只著名的鹈鹕只是其中一格；7 个前沿模型，每格画 3 张，temperature 全设 1.0，一共 1008 张 SVG，全部经 OpenRouter 跑出来。打分的是 GPT-5.6 Luna，看动物像不像、车对不对、动作连不连贯，各给 1 到 5 分。

他把图先自己翻了一遍。没什么跳出来的。没有哪家的鹈鹕骑车，比它自己画的其他组合更出彩。

然后是数字。把七家的分合在一起，鹈鹕在 8 种动物里排第 6，4.08 分，落后于猫、鲸、浣熊、苍鹭、羚羊。也就是说，所有大厂画猫画鲸都比画鹈鹕顺手。自行车更惨，6 种交通工具里倒数第二，3.90 分，裁判在三分之二的自行车图上标了“缺个轮子”或“链条没连上”。把两个维度叠起来，鹈鹕加自行车这一格，在 48 个组合里排第 42。

光看排名还不够，因为鹈鹕也许本来就比猫难画。于是他跑了一个固定效应回归，把“哪种动物配哪种车天生难画”这部分当背景噪音滤掉，只去看每家厂超出难度的那一截。结果：没有任何一家的鹈鹕加自行车那一格，效应显著过 p＜0.05。最接近的是 GLM-5.2，给那一格加了 0.35 分，可 p 值是 0.12，没过线。

GLM 那第一张鹈鹕，作者自己说，确实扫了他一眼。可同一批里还出了张很酷的苍鹭踩滑板，他不敢咬定。而全实验里唯一过了 5% 那条线的，是 Gemini 在自行车那一列上的 +0.27，p=0.022，看着像抓到了。但他做了 21 次检验，纯靠运气也该撞中大约一个；把门槛按 Bonferroni 抬到 0.05 除以 21，约 0.002，0.022 就被挡在了门外。

整件事花了大约 80 美元的 API 额度。他在局限里老老实实写了：钱就这么多，所以每格只能撒 3 张样、请一个裁判、比 7 家，连 prompt 都没余裕反复打磨，比如他该写 airplane 却写了 plane，模型把 plane 读成了一个几何平面。我读到这里反而松了口气。一个肯把自己钱包和失误都摊在结论旁边的人，他的“没抓到”，比那些拍胸脯的“绝对清白”可信得多。

朝右不是阴谋的疤，是链条在右边

不过有一条证据，差点把我也骗了。21 张鹈鹕骑车图，跨全部七家，全都朝右。48 个组合里，只有这一个组合做到了全员一致。第一反应是：背的吧？记忆留下的指纹，整整齐齐。

HN 上有人把这个直觉摁住了。mauvehaus 和 elliotto 说，你想啊，自行车的链条和齿轮在右边，要画出传动系统又不被车架挡住，就得从右边画；而自行车的商品照，本来就惯例从右拍，传动系统带着品牌标，买家要看型号，REI 这类电商的图全是右侧。于是训练数据里的自行车，多数朝右。全体 1008 张图里 60% 朝右，自行车又是朝右最强的车型之一，21 张全朝右，跟这条分布对得上。

也就是说，朝右不是基准留下的疤，是链条在右边。

作者原文其实只走到“统计上没那么奇怪”，因为还有别的组合也接近全票：羚羊踩滑板车、鹈鹕踩滑板车都是 21 张里 20 张朝右，苍鹭骑车 19 张。他踩住了刹车，没把它渲染成发现。是社区替他把这层窗户纸捅破的：最像铁证的东西，背后往往是最普通的因果。我看图的时候盯着那排朝右的鹈鹕看了很久，越想越觉得，我们太容易把一个整齐的图案，读成有人动了手脚。整齐，常常只是世界本来的形状。

没捞到鹈鹕的网，兜住了一只水獭

讲到这里，似乎可以合上电脑了：鹈鹕清白，结案。可同一篇帖子的评论区里，有人顺手翻了下网格外的东西，翻出了一只水獭。

SyneRyder 注意到，GLM-5.2 和 DeepSeek V4 画的“动物坐飞机”，每个动物都傻站在机顶上，把“on a plane”理解成了“站在飞机上面”。唯独水獭，乖乖坐在座位里，朝窗外看，有时候还连着 WiFi。那是 Ethan Mollick 那张著名的“水獭坐飞机”梗图基准。换句话说，同一套审计方法，没在鹈鹕身上抓到现行，却在水獭身上照出了一个可疑的、被训过的姿势。作者没测水獭那一行，他的网格从设计时就只画到鹈鹕为止，于是这条警报，被他自己的实验设计关掉了声音。

这让我后背发凉的地方，不在于“水獭一定被刷了”。那是社区旁证，作者没做回归，我不敢下这个结论。让我发凉的是另一件事：作弊的嫌疑从来不会消失，它只是换一张考卷。你只查一科，就只能给一科判刑；剩下那些你没查的科目，安静得像什么都没发生。PeterStuer 在评论区说得更绝：任何在模型发布前攒到一点名气的基准，此刻都该被当成已经污染了，想干净，就自建一套，永远别公开。

可别公开，又怎么公平、怎么复现？这话和 Simon 当初做公开基准的初衷，正好顶牛。还有 apwheele 抛来的反例，他说他让模型画个地图小刀的简单图标，画得滑稽地糟，Opus 让它去网上找个现成的，它宁可继续用自己那坨烂货。能画出一只细节满满的鹈鹕，却画不好一把小刀——能力是锯齿状的，坑坑洼洼。这一下，连“它们没作弊，只是 SVG 整体强”这句洗白，也站不太稳了。强，也不是均匀地强。还有人干脆换了问法，不指定鸟也不指定车，看模型会不会自己挑鹈鹕加自行车——也没有偏向。

八十块钱的判决，最值钱的是它旁边的盲区

把这几层摞起来，我得出的结论，和作者的字面结论不太一样，但我不觉得跟他矛盾。

他说，没什么证据表明大厂在 pelicanmaxxing，至少不是明面上的。我信。可我更想说的是：这场审计真正宣告无罪的，不是大厂，是那个我们一直偷偷相信的等式：“画得好，就等于没作弊”。它破产了。不是因为有人在鹈鹕上作了弊，而是因为最聪明的作弊，是把画 SVG 这门手艺整个练强，每一格一起涨，在数据上跟“本来就强”长得一模一样，连作者自己都承认，这种作弊他的实验测不出来。也就是说，能被抓到的，只剩笨拙的那一种；而笨拙的那一种，恰恰是公开基准唯一会劝退的姿势。Simon 自己也论证过，定向给鹈鹕喂数据其实很容易露馅，可那露的，正是笨办法的馅。尺子量不到的地方，正好是贼最体面的藏身处。

所以我们一开始就告错了人。我们盯着鹈鹕，想问它“你诚不诚实”，可诚实在这把尺子上，根本没有一个能被拍清楚的像。古德哈特在底下守着：你奖励读数，读数就被优化，它和原物的关系一点点松开。这把尺子从出生起，量的就不是诚实，是“此刻有人把数推到了哪儿”。

我半年前写过同一只鹈鹕。那篇里我量的是另一件事：一个 21GB 的本地模型，画鹈鹕画赢了最贵的闭源旗舰，所以“画得好不好”根本决定不了你该为 AI 付多少钱。那时候我把鹈鹕当成一把量“值不值”的尺子。这一篇 Dylan 把它当成一把量“诚不诚实”的尺子。同一张考卷，问题换了一层，而两层量下来，我越来越怀疑的不是大厂，是尺子本身。公平和抗作弊，在这件事上是二选一的：要纯净就得保密，要公平就得公开，两个想要的东西，挤不进同一把尺子。

所以今晚能安心睡的，到底是个什么结论？我想把它从作者那儿往回收一点。能安心睡的，不是“大厂没作弊”，这个我们谁也没法打包票。能安心睡的，是没人蠢到为了一只鹈鹕，去囤几个 T 的骑车图。至于更体面、更不留指纹的那种作弊，我们和作者一样，看不见。

而看不见，从来都不等于没有。

你心里那只“鹈鹕”是什么？有没有一个你一直偷偷相信、却从来没真正验证过的等式——比如“分数高就等于学懂了”，比如“涨得多就等于做得对”？