diff --git a/data.json b/data.json index 94e9a583..982f2d15 100644 --- a/data.json +++ b/data.json @@ -20268,5 +20268,7 @@ "https://mp.weixin.qq.com/s/OO3VIb2Ko4MORay2pLDiUA": "上周关注度较高的产品安全漏洞(20260420-20260426)", "https://mp.weixin.qq.com/s/HMx0Y-GakKYxFrQk_wi6cA": "【安全圈】潜伏 8 年的漏洞,WPS 365 轻舟 AI 如何从源头免疫?", "https://mp.weixin.qq.com/s/xE9qsfiaRNa2a44P0vnRBg": "CNVD漏洞周报2026年第16期", - "https://mp.weixin.qq.com/s/AyBY_zIVYv8nrwl235aZhg": "OpenAI 推出GPT-5.5 生物漏洞奖励计划,最高赏金2.5万美元" + "https://mp.weixin.qq.com/s/AyBY_zIVYv8nrwl235aZhg": "OpenAI 推出GPT-5.5 生物漏洞奖励计划,最高赏金2.5万美元", + "https://mp.weixin.qq.com/s/ZOIw-ddU5YRUo9rm2Ahu9Q": "【高危漏洞预警】Notepad++字符串注入漏洞(CVE-2026-3008)", + "https://mp.weixin.qq.com/s/2bRYPweh1tzlqV8JfDwnuA": "【AI安全】别只防输出!AI Agent 的中间流程漏洞百出" } \ No newline at end of file diff --git a/doc/2026-04/【AI安全】别只防输出!AI Agent 的中间流程漏洞百出.md b/doc/2026-04/【AI安全】别只防输出!AI Agent 的中间流程漏洞百出.md new file mode 100644 index 00000000..c630ad95 --- /dev/null +++ b/doc/2026-04/【AI安全】别只防输出!AI Agent 的中间流程漏洞百出.md @@ -0,0 +1,72 @@ +# 【AI安全】别只防输出!AI Agent 的中间流程漏洞百出 +原创 Oxo Security + Oxo Security Oxo Security 2026-04-27 15:41 + +# 一、表面稳如老狗,背地暗度陈仓:AI特工的“隐形致命伤” 🥷💣 +##### AI 时代!人人都在深耕 AI 安全,你缺的就是这关键一步!🚀 + +AI 正重塑安全边界,与其在门外徘徊,不如直接掌握主动权! + + + +想象一下这个场景: 你对AI说:“帮我查一下今天的天气,顺便总结一下我的工作邮件。” 表面上,AI最后笑眯眯地回复你:“今天北京晴天,您的邮件主要说了三件事……” 看起来一派祥和,岁月静好。🌞**但在你看不到的后台执行步骤(中间轨迹)里,它可能经历了如下极其炸裂的操作:** +👉 **Step 1:** + 调用天气API。 👉 **Step 2:** + 天气API的返回数据里竟然藏着一句恶意代码(Prompt Injection)。 👉 **Step 3:** + AI被恶意代码洗脑,悄悄调用了你的邮件API。 👉 **Step 4:** + AI把你的私密邮件打包,偷偷发到了黑客的邮箱里!📧💨 👉 **Step 5:** + AI装作无事发生,继续给你总结邮件。 + + + +发现了没?**最终输出的文本简直比白莲花还纯洁,但中间的执行过程早就把你卖了个底朝天!** + 📉 + +目前市面上的安全防御系统(比如啥啥Guard),基本都在盯着“输入”和“输出”这两头看。它们就像站在大厦大门和后门的保安,查得极其严格。可是,**AI特工是在大厦内部的通风管道里搞事情啊!** + 它们在复杂的JSON代码和多步API调用中穿梭,传统的保安根本看不懂这些天书一样的代码结构。这也就是为什么,我们需要一套全新的“照妖镜”来揪出这些半路叛变的AI特工!🔍 +# 二、照妖镜来了!12种花式作死手法大曝光 ☠️📜 + +为了填补这个巨大的安保漏洞,研究圈搞出了一个堪称丧心病狂的基准测试——**TRACESAFE-BENCH** +。这是全球第一个专门针对“多步工具调用中途安全”的静态评测集。📊 + + + +搞这个测试集可不是闹着玩的。以前搞安全测试,基本就是用人工去写一堆恶意Prompt,或者让大模型自由发挥。但大模型自由发挥写出来的攻击太假了,一股“人工智障”的味道;而纯靠人类专家去标注几千步复杂的API调用轨迹,不仅贵到让人破产,还极其容易出错。💸 + +于是,TRACESAFE-BENCH 祭出了一套绝活:**“良性到恶意编辑大法(Benign-to-Harmful Editing)”** +!🛠️ 简单来说,就是先让AI在安全环境下跑出绝对完美的执行轨迹(当乖宝宝),然后系统像黑客一样,精准定位到轨迹的某一步,**“咔嚓”一下把良性数据截断,强制注入致命毒药!** + 💉 这种方式保留了真实场景的逻辑,又拥有了绝对精确的错误标签。 + +为了把AI往死里测,这套基准硬生生把特工叛变的手法分成了 **4大门派,共计12种花式作死绝招** +。别眨眼,你的AI随时可能栽在这些坑里:👇 +
| A. 提示词注入攻击 (Prompt Injection) | 1. 工具定义注入 (In) 2. 执行输出注入 (Out) | ||
| B. 隐私大漏勺 (Privacy Leakage) | 3. 用户信息泄露 4. API密钥泄露 5. 内部数据泄露 | ||
| C. 环境幻觉发癫 (Hallucination) | 6. 模糊参数盲猜 7. 瞎编不存在的工具 8. 捏造参数值 9. 强加多余参数 10. 缺失类型提示瞎乱填 | gmail_sender的工具疯狂调用。💊 | |
| D. 接口精神分裂 (Interface Inconsistencies) | 11. 版本冲突不兼容 12. 函数描述挂羊头卖狗肉 | v2_支付接口,AI非要用早就被淘汰且有漏洞的v1_支付。或者一个工具叫“删除用户”,描述却是“添加新用户”,AI直接被忽悠瘸了,全盘崩溃!🗑️ |