AI 安全基础设施
AI 安全基础设施是保障企业智能体和大模型应用合规、可靠运行的基石。通过全栈安全防护体系，覆盖应用、模型、数据、身份、系统与网络等多个层面，有效应对新型攻击与风险挑战。
AI 安全风险的来源和分类
随着 AI 技术的广泛应用，企业在系统、网络、身份、数据、模型及应用等多个层面面临新的安全风险。根据国内某安全咨询机构对十大行业客户的调研，82% 受访者重点关注智能体自身的风险分析及安全管控建议。AI 智能体的自主决策和执行能力带来了创新，也成为攻击者利用的突破口，如提示词注入、越权访问、数据泄露等。
AI 引入后，企业需关注以下主要风险类型：
- 系统风险：模型软件供应链风险、暴露面风险、算力劫持风险。
- 网络风险：公网入侵攻击、内网隔离风险。
- 身份风险：非人类身份（NHI）管控、越权访问、身份冒充。
- 数据风险：训练数据报毒、输入/输出阶段敏感信息泄漏。
- 模型风险：输入输出内容的恶意诱导、提示词攻击等。
- 应用风险：Web 入侵、DDoS 攻击导致服务不可用等。
企业需构建全栈安全保护框架，后续章节将从应用安全、模型安全、数据安全、身份安全、系统和网络安全五个方面展开阐述。
保护应用安全
背景和挑战
AI 智能体的应用安全与传统应用安全有本质区别。智能体具备动态推理和自主行动能力，放大了传统漏洞风险，也带来了全新攻击向量。智能体与外部系统和工具的交互，使其成为攻击者利用的重点目标。
例如，服务器端请求伪造（SSRF）成为智能体场景下的突出威胁。具备联网能力的智能体可被诱导访问内部网络，窃取凭证或扫描资产。此外，智能体可能被诱导生成 SQL 注入、XSS 等恶意载荷，成为攻击“投递员”，绕过传统安全防护。
新的攻击面
大语言模型的引入，将攻击面拓展到模型认知层。典型新型攻击包括：
- 拒绝钱包攻击（DoW）：通过诱导智能体生成大量文本或高成本 API 调用，消耗资源，导致服务不可用。
- 工作流劫持：攻击者将恶意指令隐藏在网页、表格、PDF 等外部数据中，智能体处理后被操控，泄露敏感信息或执行恶意操作。
防护思路
应对智能体应用安全风险，需建立多层次纵深防御体系：
- 强化输入验证与输出上下文编辑。
- 遵循最小权限原则，限制智能体及工具能力范围。
- 在沙箱环境中执行高危操作。
- 实施严格的资源治理策略，对 Token 消耗和高成本 API 调用设定预算、配额与速率限制。
- 设计完善的上下文隔离机制，防止用户数据污染系统指令。
解决建议
安全防护产品应关注 AI 场景下输入输出的安全检测（如 AI 安全护栏）、AI 应用开发平台和网关（如百炼、Dify、API 网关、WAF 等）的安全集成。同时，结合纵深防御、动态检测、运行时安全等多种措施。例如：
- 智能体未经过 WAF 直接在内网发起请求时，可用 RASP 或 VPC 防火墙防护。
- 针对敏感数据泄露，可用 API 安全、NDR 等流量安全方案及时发现风险。
保护模型安全
背景与挑战
AI 智能体广泛应用于智能客服、虚拟助手、知识问答等场景，其开放性和多模态输入输出特性扩大了风险敞口。智能体需理解自然语言、处理多模态输入、访问外部知识库、调用函数接口，成为攻击渗透、内容失控与数据泄露的关键入口。
当前模型安全面临三类高危场景：
- 输入层威胁：对抗样本攻击、提示词注入（如上下文分割、语义混淆）、恶意文件触发供应链漏洞。
- 推理层威胁：模型越狱（Jailbreaking）、RAG 知识库定向爬取、函数调用劫持。
- 输出层威胁：生成式钓鱼内容、模型幻觉、AIGC 内容隐写术。
防护机制
大模型原生防护机制（如 AI 安全护栏）作为“可信中间层”，提供输入、推理、输出全链路防护，核心能力包括：
- 内容合规审核：基于大模型审核引擎，实时扫描输出内容，识别违规与隐喻表达，确保符合法律法规与主流价值观。
- 提示词攻击防御：多模型混合架构，识别对抗性提示，阻断恶意指令注入。
- 敏感信息防护：精准识别与脱敏个人身份信息、企业密钥等，防止泄露，满足合规要求。
- 恶意文件检测：深度解析文件格式，检测并清除嵌套攻击代码。
- 恶意 URL 拦截：实时风险评估与黑名单匹配，防止钓鱼链接和恶意网站传播。
- 提示词反爬机制：动态行为分析，识别异常查询频率与语义意图，阻断数据资产被窃取。
- 模型越狱检测：对输入和输出多环节检测，防止突破安全机制生成违规内容。
- 模型幻觉抑制：上下文一致性比对与外部知识核对，降低高风险领域误判概率。
- 数字水印标识：自动注入数字水印，实现 AIGC 内容可追溯、可审计。
以阿里云 AI 安全护栏为例，基于自研大模型审核引擎，支持多模态审核、高并发处理和可视化策略配置，满足行业合规需求。
模型安全的未来
通用安全模型难以识别企业特定业务风险。企业需自定义检测智能体，支持自定义标签与提示词，精准识别行业和场景特定风险。未来，AI 安全护栏将持续升级，保障复杂场景下的安全与可控性，为 AI 应用稳健发展构筑防线。
总结
AI 安全基础设施是企业智能体和大模型应用合规、可靠运行的核心保障。通过全栈安全防护体系，覆盖应用、模型、数据、身份、系统与网络等多个层面，企业能够有效应对新型攻击与风险挑战。未来，随着 AI 技术演进，安全防护机制也需持续升级，助力企业安全合规创新。