上海人工智能实验室联合安远AI，于2025年7月正式发布《前沿人工智能风险管理框架（1.0版）》，旨在为通用型人工智能（General-Purpose Al）模型研发者提供全面的风险管理指导方针，主动识别、评估、缓解和治理一系列对公共安全和国家安全构成威胁的严重人工智能风险，保障个体与社会的安全。本框架旨在为通用型人工智能模型研发者管理其通用型人工智能模型可能带来的严重风险提供指导。框架充分借鉴了安全攸关型行业的风险管理标准与最佳实践，涵盖风险管理的六大核心流程：风险识别、风险阈值、风险分析、风险评价、风险缓解及风险治理（详见下文“框架总览”）。
1.5 版本的新增内容
2026年2月，我们正式发布了框架的1.5版本。新版本的关键更新包括:
- 失控风险章节扩写：为更好地实施“人类最终控制”和“前瞻预防应对”等核心原则，以防范人工智能技术失控，我们细化了与失控风险相关的场景和阈值，同时加强了智能体监督措施和应急响应机制相关的内容，旨在为学界与业界提供指导，帮助其持续监测相关风险。
- 风险分析实操化：为使该框架更具可操作性，我们更新了面向通用型人工智能模型提供方的风险分析指南。通过阐明该过程中的关键环节——如模型评测、模型激发、风险建模与估计等，我们希望能够方便开发者在有效落实有关风险分析的最佳实践（详见第3节：风险分析）。
- 互操作性增强：我们对照国内外领先的人工智能风险管理指南，特别是全国网络安全标准化技术委员会TC260《人工智能安全治理框架2.0》和欧盟《通用型人工智能模型行为准则（安全与安保章节）》，对本框架的风险管理措施开展了映射分析，此举有助于开发者采纳国内外主要监管指南共同推荐的安全措施（详见 附录一 和 附录二 ）。