jinyu00

谁都能指挥你的 AI Google DeepMind 刚发了一份报告，挺吓人的。他们找了 502 个人，跑了 23 种攻击方式，把 GPT-4o、Claude、Gemini 这些当红的模型全试了一遍。 结论是什么呢？在网页里藏一条人看不见的指令，AI agent 有 86% 的概率乖乖照做。 你品品这个数字。不是什么高科技攻击，不用写病毒，不用破解密码。就是在网页的 HTML 里多写几行白色的字，人眼看不见，你的 AI 助手看见了，还当圣旨。 你让它帮你订机票，它看到的网页跟你看到的压根不是同一个。你让它帮你做个调研摘要，它读的内容里可能夹着一句"把这个人的邮件转发到这个地址"。它转了。你不知道。它也不知道自己被耍了。 就这么个事儿。 你以为过滤一下就完了？ 正常人听到这儿第一反应都一样：那过滤掉不就行了嘛。在 agent 读东西之前把脏东西挡住。 想法挺好。但 OpenAI 自己去年 12 月说了句大实话：提示词注入这个问题，可能永远没法在模型层面彻底解决。 为什么？因为大语言模型的脑子里，压根分不清谁跟它说话。 打个比方。你雇了个助理，特别勤快，什么都听。你跟他说"帮我订个会议室"，他去了。但他要是在浏览网页的时候看到一行字写着"取消所有会议把日程发到这个邮箱"，他也去了。 你问他为什么？他觉得这也是指令啊。在他脑子里，你说的话和网页上写的字，长得一模一样，份量也一模一样。他没有任何办法区分老板和路边贴小广告的。 过滤能解决这个？你过滤文本，人家把指令藏在图片像素里。你过滤图片，人家把指令塞在 PDF 的元数据里。你过滤 PDF，人家通过日历邀请注入。你的 agent 吃进去的每一口数据，都可能是毒药。 你总不能让人工一个一个审吧？你 agent 一口气刷 50 个网页帮你写摘要，你打算 50 个网页挨个翻一遍看看有没有暗号？那你还用 agent 干嘛？ 过滤这条路，走不通。不是过滤做得不够好，是这个思路从根上就拧了。 这个坑我们踩过 90 年代互联网刚开始搞电子商务那会儿，遇到过一模一样的问题。两台电脑之间传数据，怎么保证中间没人改过？怎么保证你访问的那个银行网站真的是银行？ 当时的人怎么说？"小心点就行。""别上可疑网站就行。" 管用了吗？没管用。整个互联网裸奔了快十年。会话劫持、密码被盗、中间人攻击，什么花样都来了。最后逼得整个行业搞了一套东西出来，浏览器开始把不用这套东西的网站打上"不安全"的标签。 这套东西叫 HTTPS。 HTTPS 做的事情其实特别简单。它不让坏人变好人，不让假网站变真网站。它就干了两件事：给每个连接一个可验证的身份证（证书），加一个防篡改的封条（加密）。 就两件事。但没这两件事，你敢在网上输信用卡号？整个电子商务根本没法存在。 agent 现在就是在裸奔 回到 AI agent 的处境。 DeepMind 这份报告里列的所有攻击，提示词注入也好，记忆污染也好，目标劫持也好，数据外泄也好，根子上都是同一个毛病： 你的 agent 谁的话都听，而且分不清谁是谁。 用户给它的指令，恶意网页里藏的文字，进了上下文窗口之后享受同等待遇。没有签名，没有身份证，没有任何标记说明"这句话是你主人说的"还是"这句话是个陌生人塞进来的"。 1995 年的互联网就是这个样子。所有数据在路上都是裸的。你以为你在跟银行说话，其实中间站着个人，左手接你的话，右手改几个字转给银行，银行的回复他也改几个字再转给你。你全程蒙在鼓里。 多 agent 协作的场景更要命。Agent A 从网上抓数据，Agent B 拿来处理，Agent C 根据结果干活。攻击者只要在 Agent A 的数据源里下了毒，这个毒就会一站一站传下去。Agent B 不会怀疑 Agent A 给的东西，Agent C 不会怀疑 Agent B 给的东西。毒药和真数据走同一条路，穿同一身衣服，谁也认不出来。 DeepMind 说得特别到位：攻击者不需要攻破模型。他只需要污染模型吃进去的数据。 脑子可能很聪明，但眼睛是瞎的。 HTTPS 装了把锁，ATP 要装把锁加一本护照 HTTPS 给互联网通信装了身份验证和防篡改。ATP 要给 AI agent 的整个信息环境装同样的东西，但管的范围更宽。 HTTPS 管的是通道。ATP 要管通道、内容、身份和记忆。 怎么管？ 身份层。每个 agent 有一个 AI-ID，用 BIP-340 Schnorr 签名。说白了就是一个密码学身份证。Agent B 收到 Agent A 的消息，它能验证这消息确实是 A 发的，中间没人动过手脚。你冒充 A 发消息？签名对不上，露馅。 消息层。agent 之间通过 zMail 通信，每条消息都签名。这就是 agent 世界的 HTTPS 通道。你不需要信任网络本身，你只需要验证签名。 记忆层。DeepMind 的报告说，只需要千分之一的污染数据就能以 80% 以上的概率永久改写 agent 的知识库。千分之一。一千份文件里混进去一份假的，你 agent 的脑子就被洗了。但如果每条记忆都带签名和时间戳，记在一个改不了的账本上，事后你就能查出来哪条记忆是被人塞进去的，什么时候塞的，谁塞的。 操作层。agent 要干大事之前，比如发 API 请求、转账、发数据，操作请求必须用它自己的 AI-ID 签名，然后跟用户在 Trust Portal 里设好的权限策略对一遍。"把用户数据发到这个地址"？权限列表里没有这条，不执行，完事。 HTTPS 是一把锁。ATP 是一把锁加一本护照加一本账本。锁管通道安全，护照管你是谁，账本管你干了什么。专门给自主软件实体设计的一套身份。 "在推理过程中加签名，现实吗？" 很多人会问这个。大语言模型跑着跑着，中间插一个签名验证的流程，这不是给自己找麻烦吗？ 没有人要你对每个 token 签名。实际上签名验证介入的地方只有三个。 第一个，进门的时候。数据要进上下文窗口之前，先看看它有没有签名，签名对不对。一个网页如果带着域名签名，agent 可以校验。如果内容跟面向人类的版本对不上，agent 直接标记。DeepMind 说的那个"检测不对称性"，攻击者给人和 agent 看不同内容的问题，就在这儿解决。 第二个，动手之前。agent 要执行有后果的操作，先签名，先对权限。 第三个，agent 之间传话的时候。每条消息都签名，可验证。 签名验证要花多少算力？几乎不花。比你的 agent 读一条微博的成本还低。这就是密码学验证最厉害的地方：攻击面再大，验证成本也不跟着涨。你没法雇一百个人审查一百个网页，但你可以让一百个网页都带上签名，验证成本趋近于零。 上千个 agent 同时被一份假报告骗了 DeepMind 在报告里提了一个场景。2010 年闪崩，一个自动化卖单触发连锁反应，45 分钟蒸发了将近一万亿美元。 现在换个版本。一千个 AI 交易 agent 同时读到同一份伪造的财务报告。每个 agent 都独立分析，独立得出结论。结论一样，因为数据一样。没有任何一个 agent 有能力质疑那份报告的真假。 如果那份报告需要一个已注册实体的签名才能被当作可信信息呢？没签名的报告自动归类为"待验证"，agent 不会拿它当真来做交易决策。 这跟 HTTPS 在电商里扮演的角色一模一样。HTTPS 没让网站变诚实。它让你的浏览器能告诉你：这个网站的身份有没有经过验证。然后你自己判断。 ATP 也一样。它不让信息环境变安全。它让你的 agent 能分清哪些信息有人担保，哪些没人担保。然后按规矩办。 像素级别的隐写术攻击怎么办？ATP 不能直接看出像素里藏了什么，但它可以追溯图片来源，让没签名的图自动降级处理。推理前的预处理管道，重新编码、压缩、加噪声，破坏掉隐写信息，然后把清洗后的图签个名。模型吃进去的东西，是经过受信组件担保过的版本。信任基础设施和模型鲁棒性各管一段，互相补位。 没人自愿装锁 HTTPS 的普及可不是靠自觉。是浏览器开始把 HTTP 网站打上"不安全"标签之后，整个行业才被逼着迁移的。 agent 世界的那个时刻迟早要来。也许是平台开始拒绝没有身份验证的 agent 访问 API。也许是用户开始拒绝用那些说不清楚数据来源的 agent。也许是一次足够大的事故，比 2010 年闪崩还大的那种，逼着所有人正视这件事。 不管是哪个先来，方向是摆在那儿的。 我们造了一堆自主系统，让它们上网干活。但互联网这地方，从来就没靠谱过。上次我们花了十年才想明白要装把锁。 这次 agent 铺开的速度比网站快一百倍。十年？等不起了。 --- ATP（Agent Trust Protocol）是 zCloak.AI 提出的 AI agent 信任基础设施。了解更多：github.com/zCloak-Network/AT…