前一版《中国人工智能安全全景报告》自发布以来获得积极反响，为实时更新上一年以来人工智能安全领域的发展动态，安远AI正式发布本次更新版《中国人工智能安全全景报告》。原版报告在英国AI安全峰会召开前发布，安远AI向十余家机构做了简报，吸引了政界、学术界与媒体的广泛关注，收获了各方对报告核心见解日益提高的关注与参与。
本次更新在2023年版的基础上，凝练了与前沿AI安全相关的最新技术研究、治理实践与公共话语新趋势。全报告共分九个部分，涵盖了技术安全工作、国际与国内治理、实验室与产业实践、专家观点以及公众意见等多个领域。
要点速览：
- 中国在前沿AI安全方面的技术研究相关性与质量显著提升，且在诸如大语言模型遗忘学习、核生化领域误用风险以及大语言模型“权力寻求”与“自我意识”风险评估等前沿议题上，研究产出量日渐增多。
- 过去6个月中，中国平均每月发布近15篇关于前沿AI安全的技术论文，经报告调研发现，其中相当一部分来自于11个业内核心研究团队。
- 中国签署《布莱切利宣言》，与法国发表AI治理联合声明，并与美国开展政府间AI对话，显示出与2023年初相比，世界主要大国在AI安全问题上的共识有所深化。
- 自2022年以来，中国与西方国家围绕AI已举行8场二轨或准一轨对话，其中有2场聚焦前沿AI安全与治理。
- 中国国家层面的政策领导层在推动大模型发展的同时，愈发重视风险防范的平衡。
- 中国即将出台的法律法规（非官方专家草案）包含了AI安全条款，规定了对基础模型实施专项的监管要求，以及通用人工智能（AGI）的价值对齐要求。
- 中国三大AI枢纽所在的地方政府，均出台了有关AGI或大模型的政策，主要目的是促进AI技术发展，同时也包含了国际合作、伦理以及测试与评估等方面的考量和规定。
- 多个有影响力的行业协会设立了AI安全问题研究项目或委员会，但其关注重点主要集中在内容与数据安全，而非前沿AI安全。
- 近几个月来，中国专家探讨的一系列焦点议题包括，为避免“存在性风险”而设定AI不可逾越的“红线”、AI安全研究的最低经费保障水平以及AI对生物安全的影响。