最近 O’Reilly 发布了 2025 年 7 月的技术雷达(Radar Trends to Watch),涵盖了 AI、云安全、编程范式、量子计算等多个方向。本文我将以个人视角,重点聚焦两大领域:AI 安全与云安全——这两者的交集,正在塑造未来技术的边界与挑战。
智能 Agent 崛起与“致命三角”
随着 LLM 与工具集成越来越紧密,具备自主行为能力的 AI Agent 正在迅速普及。但这些 Agent 同时拥有:
- 读取私密数据的权限
- 处理不可信输入的能力
- 与外部服务交互的 API 权限
这种组合带来了前所未有的安全威胁。Simon Willison 形象地将其称为“致命三角”(lethal trifecta),认为这三种能力的组合是 Agent 安全最大的挑战。
更令人担忧的是,尽管社区已经有研究试图通过设计模式缓解 prompt injection 风险,如 Google 的安全 Agent 方法,但从目前来看,Prompt Injection 仍是“未解之题”。
Agent 系统性风险:从工具中毒到内容偏见
AI 系统如今正面临一类新型攻击:Tool Poisoning Attacks。攻击者可以在工具或插件元数据中植入恶意指令(如命令描述中隐藏 payload),诱导模型在使用工具时被操控。相关研究来自 Invariant Labs 和 CyberArk(参考)。
同时,AI 模型仍存在结构性偏见。例如 Vision-Language Models(VLMs)在识别反事实图片时表现极差,例如无法正确处理一只五条腿的狗。这让我们必须思考:AI 并非“更聪明的人类”,而是更脆弱的系统组合。
云安全的“边界挑战”:攻击升级,信任下降
在云安全领域,Cloudflare 最近成功拦截了史上最大的一次 DDoS 攻击,峰值高达 7.3 Tbps。这表明攻击者正在系统性提升攻击规模和复杂度。
同时,攻击者还在利用“可信链”发起复杂钓鱼,例如所谓的ChainLink Phishing,逐步引导用户在看似可信的路径中泄露信息。
我们越来越多地看到攻击者使用“平台原生”的方式发起攻击,而防御方却依然停留在传统边界模型中。安全边界模糊、供应链污染、MCP 服务被劫持(参考:Toxic Agent Flows)——这些问题正在重塑云安全策略的定义。
AI 领域近期值得关注的事件一览(原文精选)
以下是我从 O’Reilly 原文中挑选的、对 AI 从业者具有参考价值的重要事件:
事件/产品 | 简要说明 |
---|---|
Magenta RT | Google 开源的实时音乐生成模型,可用于 live synthesis |
Mistral Magistral | 支持可追溯推理的新模型,针对法律、金融等高要求领域 |
OpenAI Codex Agent | 支持联网、自动编程的 Agent 工具,现已对 ChatGPT Plus 开放 |
Google NotebookLM 新功能 | 支持将搜索结果“播客化”,由 AI 朗读摘要 |
lowbackgroundsteel.ai | 一个收录“AI 出现前”内容的资料库,用于检测数据污染 |
Institutional Books 数据集 | 包含 1M+ 公共领域书籍的大型训练集,达 242B tokens |
Apple Foundation Models API | Apple 宣布开放其端侧模型 API,但更新力度有限 |
Slop Forensics | 一种用于追踪模型“祖先”的技术,用于分析模型是否使用某些基础数据或模型生成的合成数据 |
写在最后:AI 安全是系统性挑战,不只是模型对抗
这期技术雷达让我最大的感触是:AI 安全正在从“模型安全”走向“Agent 安全”,从“prompt 对抗”走向“系统供应链安全”。我们已经不能仅仅靠 fine-tune 或 RLHF 来规避风险,而是要构建具有安全思维的整个架构体系。
对于从事平台、安全、开发工具链、AI Infra 的开发者来说,2025 的关键词不是“更大模型”,而是“可控的 Agent,可信的执行链”。
未来的 AI 平台,不仅要跑得快,更要跑得稳。你准备好了吗?