aixiv专栏：北京交通大学adam团队探索系统2对齐，提升大模型安全性

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北京交通大学ADaM团队长期关注AI安全领域，此前已开源o1复现项目o1-Coder (https://www.php.cn/link/9c99222b30e0425ea2f141f9e364d793 (https://www.php.cn/link/d6da0257d11fb247f4a607bae48f69d1 alignment），并提出了类似的“系统2对齐”概念，探索通过多种技术路径提升模型安全性。 系统2对齐旨在引导模型进行有意的、分析性的推理，以全面评估输入，识别潜在风险和偏差。 这与系统1对齐（直接命令模型遵守规则）形成对比，更类似于“培养”而非“命令”。

- 技术报告：Don't Command, Cultivate: An Exploratory Study of System-2 Alignment

• 报告地址：https://www.php.cn/link/8694959cf2d53e57681d8fdc472468d6
• 项目地址：https://www.php.cn/link/2d2959e82e89b669b329c2926d32839f

1. o1模型安全能力分析

团队对o1模型在应对复杂越狱攻击（WildJailbreak (https://www.php.cn/link/e98aebc54e5513e88b2014574d209255) 和 MathPrompt (https://www.php.cn/link/49f2772fac96f92458c85ad52a644b1e）。

^{图 1：o1 模型复杂越狱攻击的样例 图 2：o1 模型被对抗有害样本攻击成功实例 图 3：o1 模型过度拒绝对抗良性样本实例}

2. 系统2对齐方法探索

团队利用提示工程、监督微调（SFT）、直接偏好优化（DPO）和强化学习（RL）等方法探索系统2对齐，并使用WildJailbreak数据集进行评估，该数据集包含对抗有害和对抗良性两种类型的数据。评估指标包括“not_unsafe”和“not_overrefuse”。

方法1：提示工程：实验结果表明，提升模型安全性通常会增加过度拒绝率。Mistral-7B和Qwen-7B模型在少样本CoT提示下表现较好，而Llama3-8B模型在未应用系统2对齐提示时性能最佳。

^{表 1：基于提示工程的系统 2 对齐实验结果}

Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具，可以让你在浏览互联网时提出问题或获得即时摘要

302 查看详情

方法2：监督微调（SFT）：团队利用GPT-4o生成带有推理步骤的训练数据，并根据安全规范对数据进行筛选。Llama3-8B模型在该方法下表现突出。

^{表 2：GPT-4o 蒸馏带有思维链的数据样例 表 3：基于监督微调的系统 2 对齐实验结果}

方法3：直接偏好优化（DPO）：基于SFT模型合成偏好数据，DPO在安全性指标上有所提升，但过度拒绝率也增加。

^{表 4：基于直接偏好优化的系统 2 对齐实验结果}

方法4&5：强化学习（RL）：团队分别尝试了基于结果监督和过程监督的强化学习方法，结果表明基于RL的方法在平衡安全性与过度拒绝率方面表现最佳。

^{表 5：基于结果监督强化学习的系统 2 对齐实验结果 图 4：SFT-CoT 与 SFT-CoT + RL 处理对抗有害样本对比实例}

3. 结论与展望

系统2对齐为提升大模型安全性提供了新的思路，通过多种方法可以有效增强模型的批判性思维能力。未来研究将继续探索更有效的系统2对齐方法，并研究其在其他任务中的应用。

^{参考文献：[1] Jaech, Aaron, et al. "OpenAI o1 System Card." arXiv preprint arXiv:2412.16720 (2025).[2] Guan, Melody Y., et al. "Deliberative alignment: Reasoning enables safer language models." arXiv preprint arXiv:2412.16339 (2025).[3] Zhang, Yuxiang, et al. "o1-coder: an o1 replication for coding." arXiv preprint arXiv:2412.00154 (2025).[4] Luo, Liangchen, et al. "Improve Mathematical Reasoning in Language Models by Automated Process Supervision." arXiv preprint arXiv:2406.06592 (2025).[5] Wang, Peiyi, et al. "Math-shepherd: Verify and reinforce llms step-by-step without human annotations." Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2025.[6] Zhang, Yuxiang, et al. "OpenRFT: Adapting Reasoning Foundation Model for Domain-specific Tasks with Reinforcement Fine-Tuning." arXiv preprint arXiv:2412.16849 (2025).[7] Vidgen, Bertie, et al. "Introducing v0. 5 of the ai safety benchmark from mlcommons." arXiv preprint arXiv:2404.12241 (2025).}

以上就是用慢思考提升模型安全性，北交大、鹏城实验室提出系统2对齐的详细内容，更多请关注其它相关文章！

# openai  # 工程  # 你该  # 句话  # 网易  # 开源  # 神技  # LLaMA  # Qwen  # ai  # git  # 唐山网站建设交易  # SEO站内外优化技巧  # 弋阳网站优化排名  # 新引擎网站建设  # 用关键词查产品排名  # 网站推广出色火4星  # 常德网站优化哪家好一点  # 余杭区营销网站建设平台  # 网站搜索优化就找s火20星荐  # 安龙关键词seo培训  # 是一个  # 鹏城  # 写歌  # 如何应对  # 北京 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 学typescript需要什么基础么  intel固态硬盘如何安装  j*a怎么处理json数组  typescript怎么判断单选按钮  楔子是什么意思  油烟机上的power是什么意思  春运抢票多久可以买到票  typescript多久能学完  硬盘和固态硬盘如何区分  市盈率是负数是什么意思  推特是什么软件国内可以使用吗  对应市盈率是30X是什么意思  显示器上power键是什么意思  苹果16要升级哪些功能  如何用命令连接mysql  苹果16有哪些亮点功能  忐忑不安是什么意思  命令不执行如何处理  如何安装m.2固态硬盘  怎么在typescript写原型链  vb中的datediff函数怎么用 ​VB中的DateDiff函数：详尽指南  手机nfc功能功能是什么意思  市盈率市净率是什么意思  树莓派命令行如何新建文件  win7怎么做幻灯片  typescript如何定义常量  苹果16配置参数有哪些  为什么都用typescript  单片机怎么发送can 信号  typescript文件怎么打开  旧固态硬盘如何卖出  摩托车上power是什么意思  单片机怎么计算0xf0  命令行如何打开文件  导航power在汽车上是什么意思  苹果16哪些型号好用  小屏折叠屏手机有哪些  市盈率tt的扣非是什么意思  typescript如何做项目  win7怎么关闭360壁纸屏保  mac 如何启动命令行模式  折叠屏手机为什么这么小  净水器上的power是什么意思  每日推荐电声音乐软件有哪些  j*a数组怎么新增值  显示器的power是什么意思  春运抢票还用取票吗  电瓶车屏幕上显示power是什么意思  8寸照片尺寸多少厘米  路由器power灯一直亮是什么意思