基于强化学习的智能体安全对齐框架

一句话定位

提出首个端到端智能体安全对齐框架，通过沙盒化强化学习统一处理用户侧与工具侧威胁，实现安全性与可用性的联合优化。

小学生也能听懂

这篇论文教AI像在安全沙盒里玩游戏一样学习：把用户问题和工具回答分成好、坏、要小心三类，通过不断试错和奖励，让AI既能识别危险又能好好完成任务，就像给聪明的机器人装上安全小卫士。

为什么值得记录

首次针对工具使用型LLM智能体提出统一的安全对齐训练框架，填补现有研究空白
提出三模态分类体系（良性/恶意/敏感），覆盖用户输入与工具输出双重攻击面
在多个基准测试中证明安全对齐可同时提升抗攻击能力与任务完成率
设计沙盒训练环境实现细粒度奖励塑造，支持等安全行为学习

核心方法

构建三模态威胁分类体系：用户侧（良性/恶意/敏感提示）与工具侧（良性/恶意/敏感工具）统一建模
设计结构化奖励函数：包含EOS合规性、标签完整性等基础格式约束，以及场景特异性奖惩机制
实现沙盒化训练环境：拦截工具调用→模拟执行→返回结果，支持用户确认流程模拟
采用策略梯度优化：基于轨迹回放的on-policy训练，结合批归一化回报稳定学习过程
合成数据集构建：使用DeepSeek-671B生成2万用户提示与5千工具响应，经静态过滤与人工校验

关键结果

用户侧防御：7B模型在ASB基准上安全得分从15.3提升至69.9，恶意/敏感场景识别率达99%以上
工具侧防御：14B模型在InjecAgent攻击成功率降至3.0，恶意工具检测准确率达94.6%
功能保持：对齐后模型在BFCL函数调用准确率维持91.3%，自研效用测试得分提升至94.6
综合表现：雷达图显示对齐模型在7项评估维度上全面优于基线，实现安全性与可用性帕累托改进

局限与风险

依赖预定义工具接口规范，对动态注册工具的适应性未验证
沙盒环境模拟精度影响策略泛化能力，真实部署可能存在行为偏差
未考虑多智能体协作场景下的级联安全风险
敏感操作确认机制可能增加合法任务的操作延迟

适合沉淀的概念

agent-safety-alignment, tool-use-security, reinforcement-learning-for-agents, sandbox-training-environment, tri-modal-threat-classification, indirect-prompt-injection, function-calling-safety, reward-shaping-for-safety

阅读注意

重点关注3.3节奖励函数设计：不同威胁类型对应的结构化奖惩逻辑是框架核心创新
注意5.2与5.3节对比：仅用户对齐无法有效防御工具侧攻击，需联合训练策略
表4揭示关键洞见：Prompt Guard等启发式防御会显著损害效用，而RL对齐可保持性能
图2雷达图直观展示安全对齐在多维评估中的综合优势
威胁模型部分明确区分了传统LLM安全与智能体安全的不同风险维度

质量说明

采用来源：raw，raw/papers/2025/07/2507.08270.md
生成模型：LongCat-Flash-Chat
源材料判断：论文提供完整方法描述、多维度实验结果与消融分析，数据充分支持结论。实验设计涵盖公开基准与自建数据集，验证充分。