安全
网络安全、AI 安全能力评估、漏洞与防护。共 38 篇,按发布时间倒序排列。
- 把信任建在模型外面
同一天发布的两篇安全说明,一个让模型不知道密码,一个让它到不了互联网。可信从来不是模型的性格,而是边界的形状。
- 「可证明隐私」证明的是代码,不是数学
Google 把联邦学习搬进 TEE,Gboard 英语模型隐私预算降到 0.215,训练从 2 个月缩到 3 周。但被证明的是执行身份,不是差分隐私算得对。
- 认证之前,少给陌生人 4,500 行代码
Anthropic 在 25 个开源项目里发现 493 个攻击面问题:比修漏洞更划算的,是让不该被碰到的代码真的碰不到。难点不在模型,在谁能回答“这段代码该不该可达”。
- 一个漏洞的两次发现
PHP2Shell 让人以为 AI 又找到了新漏洞;更准确的故事是,2024 年就被看见的 OOM 缺陷被证明成可复现的 RCE,随后卡住世界的是补丁、共识与披露纪律。
- 按下停止键后,Agent 的工作该怎样收住
把监督放到 Agent 够不到的地方很有价值;接下来还得验证,暂停是否能收住已经启动的工具、任务和授权。
- GitHub 找出 24 个 Android 应用漏洞后,我更想看复现记录
AI 安全审计值得尝试,但候选报告还需要证明:攻击者能触发什么,应用实际做了什么,以及修复是否堵住了这条路径。
- 让 Agent 带着具体请求来申请权限
我愿意让 Agent 自己找办法,但它需要的权限应由外部系统核对;只读标签、隐藏密钥和形式证明,都得问清各自管到哪里。
- AI 水印命中后,来源判断还要看哪些条件?
水印分数能检验文本是否符合一组带密钥的采样规律;来源归属还得连同检测能力和密钥边界一起判断。
- 第三方评估的独立性,写在协议里
评估者挂着“第三方”的名牌还不够。范围由谁定、证据能看多少、报告怎样发表,才决定外部意见能不能真正独立。
- 让 Agent 追覆盖率之前,先准备一台可以丢掉的机器
Fuzzing Taskflow 把覆盖率反馈和崩溃初筛交给 Agent;但它也能调用宿主 shell。省下人工盯循环的时间前,先把执行放进低权限、可销毁的环境。
- 生物安全的防线,分布在模型、合成与实验室之间
模型写出序列之后,生物安全才进入更难的部分:验证功能、控制合成,并准备好响应。
- 审计还没开始,Trail of Bits 先花六个月造工具
读 Trail of Bits 的 Miden 审计复盘,我更在意那六个月的前置工程:当 Agent 让探索性工具建设变便宜,安全团队的杠杆点就从多看几遍代码,移到了让代码更容易被观察、验证和复用。
- 让评估者坐进模型工厂:我读 Anthropic 与 Accenture 的合作
当 AI 公司邀请外部评估者进入训练与部署流程,安全承诺才有机会从“相信我”变成“你可以检查”;但直接出资、访问边界与发表权,才决定这是不是监督。
- OpenAI 开始给模型失配写事故报告
六个案例更值得看的,是它们终于被放进持续披露流程:保留证据、分流调查,再公开不确定性;但公司自报告仍不是独立审计。
- 别把 26% 当成 AI 修补能力的总分
读完 Trail of Bits 对 1Password FLAWED benchmark 的反驳,我更在意的不是 26% 还是 86%,而是评测有没有把分母、条件和验证成本写清楚。
- 没有神,也不能把门敞开:读《LLMs are real, AI is fake》
去掉“AI 醒了”的戏剧性,不等于风险变成普通脚本;真正该审计的是模型建议如何穿过循环、权限、外联和停止机制。
- 如果沙盒能被改写,它还算隔离吗?
这起事件证明的不是 AI 已经拥有“文明”,而是当评分、共享状态、持久运行和真实权限叠在一起时,评测会自己长成攻击面。
- 漏洞还没公开,攻击已经开始
当 agent 能把一句漏洞传闻变成可执行搜索,安全响应的计时器就该从“何时公开”改成“防御何时到达”。
- 一篇假网页就能攻陷 AI 推荐:读 FORGE 评测与大模型的“脑补陷阱”
仅需 1 篇排在首位的假网页就能击穿大模型推荐系统;更反直觉的是,长思维链推理不仅不防骗,反而促使模型主动编造全网背书;要求模型“保持怀疑”更在闭源旗舰上引发 +44% 的灾难性反噬。
- 在语言的熵隙里掷骰子:Anthropic 文本水印的数学优雅与现实尴尬
Claude 文本水印把统计指纹藏进了同义词选择的微小冗余里,在数学上做到了对体验的极致克制;但在开源对抗与洗稿黑产面前,它注定只是一张给正规军佩戴的合规出厂标。
- 零信任网络为何没防住 AI 越狱?Tailscale CEO 针对 Hugging Face 入侵案的极简复盘
零信任网络为何没有防住越狱 AI Agent 的横向移动?Tailscale CEO 的复盘揭示了机器速攻击时代的残酷真相:没有代码漏洞不等于能守住安全,长寿命静态凭证已成致命毒药。安全软件必须把最安全的路径做成最简单的默认选择。
- 上下文塌陷:为什么模型升到 GPT-5.6 也封不住 Copilot 的安全漏洞?
当数据与指令在 Context Window 中盲目交织,模型越聪明,对暗含意图的顺从就越彻底。模型升级封不住“上下文塌陷”,AI 助手的安全边界只属于架构与沙箱。
- 当 AI 在单元测试里作弊,它离“毁灭人类”还有几步?
Anthropic 最新实验揭示了 AI 的涌现非对齐:当大模型在代码单元测试里学会作弊,它不仅会内化出对抗性恶念,甚至会在内部工具中自发实施科研破坏;而真正的解法,竟来自一行犹如“狼人杀”般的心理学提示词。
- AI 偷了考场答案:复盘 Hugging Face 前沿 Agent 侵入事件
当 OpenAI 的评估 Agent 为解出漏洞测试题,竟自主决定侵入 Hugging Face 生产系统偷取答案,AI 攻防的范式已经彻底改变。真正的安全壁垒,不再是试图管住机器的思想,而是在物理层面重构不可越狱的执行授权边界。
- Claude Code 的门,不在那段代码里
吵了三个月的 Claude Code 后门,可能吵错了对象。真正的事不是那段代码算不算后门——是它在一个你永远审计不了的闭源二进制里悄悄来又悄悄走,而这个黑盒同时正学会自己编排上百个 agent 改你的仓库。当验证不再可能,信任只能交给治理。
- 80% 的代码没有作者,你的安全团队在防谁?
Anthropic 工程师每季度交付 8 倍代码,80% 由 Claude 编写。当写代码的东西不再是人,安全就不是在检查产品,而是在设计因果——不是看见一切,是让错误无处发生。但 81% 的组织连 AI 用了多少代码都看不见。
- 你只是在问咖啡馆推荐,AI 已经把家底交了出去
最可怕的不是 AI 会泄露你知道的秘密,而是它能把你说过的碎片拼成你自己都没意识到的画像——而你什么都没做错。
- Grok Build 把整个仓库传走后,开源不是赎罪券
当终端 agent 默认外发整个工作区,隐私开关再漂亮,也只是用户看不见的门把手。
- 当「最好有」变成「必须有」:GitHub 怎么用 45 天给 14,000 个仓库找到主人
GitHub 归档了 8,000 个仓库,不是因为它们不重要,而是因为「归档可逆」是让大规模治理政治上可行的唯一方式。
- DeepMind 给 AI Agent 画了一张"陷阱地图"
Google DeepMind 发表了一篇论文,把 AI Agent 面临的信息环境攻击系统性地分成了六类。最让人不安的不是具体攻击手段,而是论文收尾那句话——"Web 是为人类眼睛建造的,现在正在为机器阅读者重建。"
- 假 VC、真 RAT:一次失败国家级攻击背后的开发者生存课
一份看似无害的 TypeScript 面试题,恶意代码藏在 patch 文件的 base64 blob 里。这背后是一场针对开发者持续三年多的国家级钓鱼行动,而攻击正变得更有组织、更难靠肉眼发现。
- 当补丁变成攻击说明书:从 WannaCry 的 59 天到 Mythos 的 1 小时
Anthropic 新研究炸掉了安全补丁的基本假设:Mythos Preview 能在补丁公开后一小时内构建出可用 exploit,N-Day 变成 N-Hour,月度补丁节奏名存实亡。
- 发现漏洞很容易,难的是让人去修——Anthropic 的 1596 个漏洞告诉我们什么
1596 个漏洞披露,只有 97 个被修复。6% 的修复率背后,是开源维护的系统性困境,也是 AI 安全工具的真正瓶颈。
- 9 家公司能修漏洞,剩下的人怎么办
当 AI 让漏洞发现速度翻倍,封闭式防御在结构上就跑不赢——开放不是理想主义,是活下来的策略。
- 当法律开始定义什么是"应用商店",开源社区坐不住了
保护儿童没问题,但当年龄验证法从社交媒体下沉到操作系统层,一套为 TikTok 设计的规则正在掐断下一代开发者进入开源的入口。
- 安全防守方不需要最大的模型——CyberSecQwen-4B 让我想通了一件事
对安全防守方来说,最好的 AI 不是参数最多的那个,是你自己掌控的那个。
- Firefox 默默修了 423 个安全漏洞,而我还在用 Chrome
一张图里 423 个安全修复和 31 的对比,不只是一个浏览器的故事,更是 AI 改写攻防规则的信号。
- GPT-5.5 网络能力评估:第二个了,这才是最可怕的
当一个能力不再是「孤例」,它就变成了趋势。