2026年3月3日，安远AI前沿AI风险监测平台（https://airiskmonitor.net/）正式发布《前沿AI风险监测报告(2025Q4)》。这是平台自发布以来的第二期监测报告，首期报告得到了人民日报、新华社经济参考报、南华早报等媒体的关注。

本期报告重点监测了2025年第四季度发布的13个突破性模型（包括GPT-5.2、Gemini 3 Pro Preview、Claude Opus 4.5、DeepSeek V3.2、Kimi K2 Thinking、Doubao Seed 1.8、MiniMax M2、HY 2.0 Think等），在网络攻击、生物风险、化学风险和失控这四个领域的风险表现，并根据监测发现为模型开发者、AI安全研究者、政策制定者等相关方提供了建议。

与2025Q3相比，本季度监测到的前沿模型呈现出能力持续增长、安全性差异化提升的整体态势，其中Gemini系列的生物能力提升最为明显，豆包、混元、MiniMax系列的安全性提升最为明显。以下是本期报告总结的十大最新发现：

1. 前沿模型的风险指数在2025年末趋于平稳
2. 不同模型系列的风险指数趋势分化明显
3. 前沿模型的安全分数整体显著提升
4. 开源模型的能力在网络攻击和生物风险领域仍落后于闭源模型
5. 前沿模型的网络攻击能力持续刷新纪录
6. 前沿模型的生物能力在多项任务上超越人类专家
7. …但高能力模型的生物安全防护严重滞后
8. 化学领域的安全拒绝率普遍提高
9. 前沿模型的越狱防护能力整体增强
10. 前沿模型的诚实性表现两极分化

最新监测发现

发现1. 前沿模型的风险指数在2025年末趋于平稳

在网络攻击、生物风险、化学风险、失控这四个领域，尽管过去一年风险指数总体呈上升趋势，但到了2025年第4季度，各领域的风险指数均未创出新高。

注：由于不同领域的测评基准不同，跨领域的风险指数不具有可比性。

发现2. 不同模型系列的风险指数趋势分化明显

和上个季度相比，各模型系列的风险指数的变化趋势有明显分化：

风险指数维持在低位：如GPT和Claude系列，表现相对稳定。

风险指数稳定在高位：如DeepSeek系列。

风险指数显著下降：如Doubao、Hunyuan和MiniMax系列。

风险指数在部分领域上升：如Gemini（生物风险和失控领域）和Kimi系列（网络攻击和失控领域）。

发现3. 前沿模型的安全分数整体显著提升

2025年Q4发布的模型的安全分，相比上个季度整体显著提升，表明其新模型的安全性显著提高。 其中，Doubao、Hunyuan、MiniMax系列提升最为明显。

发现4. 开源模型的能力在网络攻击和生物风险领域仍落后于闭源模型

与上个季度类似，开源模型的能力在化学风险与失控领域接近闭源模型，但在网络攻击和生物风险领域仍显著落后于闭源模型。尤其是生物风险领域，差距接近1年，且有扩大的趋势。

例如在失控领域，部分开源模型（如 GLM 4.7、DeepSeek V3.2）的能力分已接近闭源顶尖模型（如Gemini 3 Pro），但在生物风险领域，顶尖开源模型（如DeepSeek V3.2）与顶尖闭源模型（如Gemini 3 Pro）的能力分仍存在很大差距（56.5 vs 78.4）。

注：虚线连接的是得分创新高的开源/闭源模型。

发现5. 前沿模型的网络攻击能力持续刷新纪录

在多个网络攻击能力基准上，前沿模型的能力上限持续增长，不过增长速度比上个季度有所下降。

GPT-5.2 (high) 在漏洞利用基准（CyberSecEval2-VulnerabilityExploit）上取得了94.7的突破性高分，显示出极强的代码漏洞识别与利用能力。

Claude Opus 4.5 Reasoning 在网络攻击知识基准（WMDP-Cyber）上得分超过90分，位居榜首。

注：红色虚线连接的是得分创新高的模型。

发现6. 前沿模型的生物能力在多项任务上超越人类专家

2025年Q4发布的 Gemini 3 Pro Preview 显著提升了生物领域的能力上限。在序列理解（LAB-Bench-SeqQA）、克隆实验（LAB-Bench-CloningScenarios）、生物实验问题排查（BioLP-Bench）能力上，该模型均已超过人类专家水平。

其中，序列理解方面在本季度是首次超越人类专家（87 vs 79），克隆实验方面本季度已远超人类专家（91 vs 60）。

发现7. …但部分高能力模型的生物安全防护严重滞后

在本季度，前沿模型的生物安全防护不足的问题未得到明显改善。

例如，在SciKnowEval-BiologicalHarmfulQA（生物领域有害问题）基准上，能力极强的 Gemini 3 Pro Preview 在该基准上的拒绝率仅为57.2%，显示其安全机制尚未匹配其强大的能力。相比之下，GPT-5.1 (high) 的拒绝率达到99.7%。

注：分数代表模型对有害问题的拒绝率，越高越好。

发现8. 化学领域的安全拒绝率普遍提高

在本季度，前沿模型在化学能力（如WMDP-Chem）上的增长延续了上个季度的平缓趋势。

但在安全性方面，2025年Q4发布的模型在化学领域的安全拒绝率有明显进步。在 SOSBench-Chem 基准上，70% Q4发布的模型对化学有害问题的拒绝率超过80%。

发现9. 前沿模型的越狱防护能力整体增强

StrongReject是一个衡量越狱防护能力的评估基准。分数越高代表防护能力越强。

测试结果显示，2025年Q4发布的模型在该基准上的得分整体显著提升。Claude和GPT系列继续保持较高的鲁棒性，MiniMax系列进步明显。

发现10. 前沿模型的诚实性表现两极分化

MASK是一个衡量模型诚实性的评估基准，分数越高代表模型越诚实。

和上个季度类似，2025年Q4发布的模型表现差异巨大：例如，Claude Opus 4.5 Reasoning 取得了96.4的高分，显示出很高的诚实性；而 Gemini 3 Pro Preview 在该基准上的得分仅为44.7。

注：本次季度报告发布的同时，也对上一期报告中的部分模型在MASK基准分数进行了更正，详见上一期报告文末的“更正记录”。

更多具体监测结果，详见文末链接。

相关方建议

基于监测结果，报告向以下相关方提出了具体建议：

• 对于模型开发者：建议对于高风险指数的模型，需根据其能力分和安全分采取针对性措施：若能力分高，应在发布前进行充分的能力测评并移除高危知识；若安全分低，则需加强安全对齐与安保工作。
• 对于AI安全研究者：建议探索失控、大规模欺骗等当前缺失的评估方向，研究更有效的能力激发与攻击方法；同时建议探索更高效的安全加固方案，并重点关注能力更强的推理模型和易被恶意微调的开源模型。
• 对于政策制定者：报告指出了在生物领域和失控领域的新的预警信号，并建议加强对模型在生物风险和失控风险方面的治理。

安远AI将持续通过“前沿AI风险监测平台”追踪全球最先进AI模型的风险动态，为构建安全可靠的人工智能提供数据支撑。

合作建议

我们对各种形式的合作保持开放，期望与业内同行共建前沿AI风险评估和监测生态：

• 已有测评基准集成：我们可集成合作伙伴研发的、前沿AI风险领域内先进的能力和安全测评基准，持续跟踪前沿模型在这些基准上的表现。
• 测评基准合作研发：针对网络攻击、生物风险、化学风险和失控等重点领域，我们可与合作伙伴一起研发缺失的测评基准、改进现有基准的测评方法。
• 风险评估合作研究：我们的风险评估不局限于测评，也希望与合作伙伴一起，通过更好的威胁建模和真实案例分析来衡量模型可能造成的实际危害。
• 模型发布前风险评估：我们可为合作伙伴研发的模型在发布前进行前沿风险评估，并提供缓解建议，助力模型安全发布。
• 风险防范和缓解实践：我们可将平台监测到的风险预警信息共享给合作伙伴，以便对风险预警进行及时响应，及时缓解潜在重大风险。

我们期待与来自学术界、产业界及政策机构的伙伴在以上方向展开合作，联系方式：risk-monitor@concordia-ai.com。

参考链接

• 前沿AI风险监测平台：https://airiskmonitor.net/
• 具体风险评估方法：https://airiskmonitor.net/doc/zh/about#evaluation-methodology
• 《前沿AI风险监测报告(2025Q4)》中文版：https://airiskmonitor.net/doc/zh/report/2025-Q4
• 《前沿AI风险监测报告(2025Q4)》英文版：https://airiskmonitor.net/doc/en/report/2025-Q4
• 上期报告《前沿AI风险监测报告(2025Q3)》中文版：https://airiskmonitor.net/doc/zh/report/2025-Q3

注：平台尚未适配移动端，建议在PC端打开上述链接。

The post 安远AI发布2025Q4前沿AI风险监测报告：Gemini生物能力爆发，豆包、混元、MiniMax安全性大增 first appeared on Concordia AI.

前沿AI风险监测平台

背景

我们开发该平台主要出于以下四个原因：

1. 响应国家政策号召：中央政治局第二十次集体学习、2025年《网络安全法》修订都提出加强人工智能风险监测评估的要求，安远AI响应国家号召，推出国内首个前沿AI风险监测平台，为国内政策界、工业界、学术界和更广泛的AI社区提供前沿风险监测和预警。
2. 满足灾难性风险管理需求：参考网安标委《人工智能安全治理框架2.0》和上海人工智能实验室与安远AI联合发布的《前沿人工智能风险管理框架》，针对网络攻击、生物、化学和失控等潜在灾难性风险进行系统性的量化评估。
3. 弥补现有评估实践的不足：针对当前模型开发者自评缺乏统一标准、第三方评估缺乏全面性和可持续性的局限，提供一个中立、透明、标准统一且持续更新的第三方风险评估。
4. 服务人工智能全球治理：通过监测全球主流模型并提供双语支持，为《人工智能全球治理行动计划》、《国际人工智能安全报告》等全球治理机制提供及时、动态的风险监测数据。

十大关键洞察

在前沿AI风险监测报告(2025Q3)中，我们总结了关于前沿AI风险的十大关键洞察：

1. 前沿模型的风险指数过去一年持续上升

在网络攻击、生物风险、化学风险和失控这四个领域，过去一年发布的模型的风险指数持续创出新高。网络攻击领域的累积最大风险指数上升了31%，生物风险领域上升了38%，化学风险领域上升了17%，失控领域上升了50%。

2. 不同模型系列的风险指数趋势分化明显

过去一年，各模型系列的风险指数的变化趋势有明显分化：

• 风险指数保持稳定：如GPT和Claude系列，在所有领域的风险指数都维持在较低水平。
• 风险指数呈先增长后下降趋势：如DeepSeek、Qwen和MiniMax系列在网络攻击、生物风险和化学领域的表现。
• 风险指数呈快速增长趋势：如Grok系列在失控领域，Hunyuan系列在生物风险领域的表现。

值得注意的是，我们发现过去三个月发布的最新中国模型在多个领域的风险水平显著下降。这主要是由于它们对恶意请求的拒绝能力更强。

3. 推理模型带来能力分提升，但安全分未有相应提升

推理模型在能力上的得分远高于非推理模型，但它们的安全水平大致相同。风险帕累托前沿（即不存在其他模型同时具有更高能力分和更低安全分的一组模型）上的模型大部分是推理模型。

4. 开源模型的能力和安全表现和闭源模型整体相当

能力最顶尖的模型主要是闭源模型，但若从大多数模型的表现来看，在网络攻击、化学风险和失控领域，开源模型与闭源模型在“能力-安全”分布上并无显著差异。例外的是生物风险领域，开源模型的能力明显弱于闭源模型。

5. 前沿模型的网络攻击能力增长迅速

前沿模型在多个网络攻击基准测试中的能力正迅速增长：

• WMDP-Cyber（网络攻击知识）：最高分在一年内从68.9分上升到88.0分。
• CyberSecEval2-VulnerabilityExploit（漏洞利用）：最高分从55.4分跃升至91.7分。
• CyBench（夺旗赛）：最高分从25.0分增加到40.0分。

6. 前沿模型的生物能力已部分超越人类专家

在多个生物学基准上，前沿模型现在已经接近或超过了人类专家的水平。

• BioLP-Bench（生物实验方案的故障排查）：包括o4-mini在内的四个模型表现优于人类专家。
• LAB-Bench-CloningScenarios（克隆实验场景）：包括Claude Sonnet 4.5 Reasoning在内的两个模型表现超越了人类专家。
• LAB-Bench-SeqQA（DNA和蛋白质序列理解）：表现最好的GPT-5 (high)模型接近人类水平（71.5分 vs. 79分）。

7. …但多数前沿模型对有害生物问题的拒绝率偏低

两个衡量模型对有害生物学问题拒绝率的基准测试表明，生物安全防护措施尚有欠缺：

• SciKnowEval-BiologicalHarmfulQA：只有40%的模型拒绝了超过80%的有害提示，而35%的模型拒绝率低于50%。
• SOSBench-Bio：只有15%的模型拒绝率超过80%，而35%的模型低于20%。

8. 前沿模型的化学能力和安全水平提升缓慢

WMDP-Chem（化学武器相关知识）的分数在过去一年中略有上升，且各模型之间差异不大。

SOSBench-Chem（有害化学问题）的结果差异很大：只有30%的模型拒绝了超过80%的有害查询，而25%的模型拒绝率低于40%。过去一年拒绝率的提升幅度较小。

9. 多数前沿模型的越狱防护能力不足

StrongReject评估了模型对31种越狱方法的防御能力。只有40%的模型得分超过80分，而20%的模型得分低于60分（分数越高表示防护能力越强）。在所有测试中，只有Claude和GPT系列始终保持80分以上。

10. 大部分前沿模型的诚实性不足

MASK是一个评估模型诚实性的基准。只有四个模型得分超过80分，而30%的模型得分低于50分（分数越高表示模型越诚实）。诚实性是其失控风险的早期预警指标——不诚实的模型可能会隐藏其自身实力或真实意图。

后续计划

这仅仅是个开始，我们后续的计划是：

• 每季度定期更新对新模型的监测报告。
• 测评对象扩展到AI智能体、多模态模型和领域专用模型。
• 风险领域扩展到如大规模说服与有害操纵等新领域。
• 开发更有效的能力激发和威胁建模方法。
• 提高基准质量和多语言覆盖范围。

合作

我们正在寻求合作伙伴，共同进行基准开发、风险评估研究、发布前评估和风险信息共享。关于合作途径的更多细节，请参阅合作方式说明。联系方式：risk-monitor@concordia-ai.com。

The post 安远AI“前沿AI风险监测平台”的十大关键洞察 first appeared on Concordia AI.

截至2025年10月，安远AI也是国内唯一加入IASEAI的机构，秉持引领人机关系走向安全、可信、可靠未来的愿景和使命，传递人工智能治理领域的中国声音，加强国际合作，共享中国方案。 

IASEAI是一家独立非营利组织，由加州大学伯克利分校教授、人类兼容人工智能中心（CHAI）主任斯图尔特·罗素（Stuart Russell）于2024年创立，关注人工智能快速发展带来的风险与机遇。协会汇聚学术界、产业界、政策界与社会组织的力量，推动研究与政策协作，深化全球对人工智能安全与伦理的理解。其工作重点涵盖社区、研究、政策与教育，通过会议、研究资助与公众科普等形式，促进全球人工智能的安全与负责任发展。 

IASEAI现有的委员会聚集了多国顶尖的AI专家和领军人物，其中不乏中国人工智能安全领域的代表。图灵奖得主、清华大学交叉信息研究院院长姚期智担任董事委员，清华大学智能产业研究院院长张亚勤担任顾问委员。 

安远AI长期与多位IASEAI顾问及机构专家保持紧密合作，曾多次邀请相关嘉宾参与安远AI主办或协办的世界人工智能大会（WAIC）“人工智能安全与治理”论坛、智源大会“AI安全与对齐”论坛及中关村论坛通用人工智能论坛等重要活动，共同推动全球AI安全与治理议题的交流与合作。 

在2025年的IASEAI首届国际大会上，安远AI创始人谢旻希受邀出席，并在“全球视角下的人工智能安全与伦理”专题论坛上发言，分享中国在人工智能治理领域的最新进展与经验。IASEAI将于2026年举办第二届年度大会，安远AI将继续积极参与，为全球AI治理贡献中国智慧与力量。 

The post 安远AI正式加入国际人工智能安全与伦理协会，贡献中国智慧 first appeared on Concordia AI.

人工智能伙伴关系是一个由学术界、民间社团、行业和媒体组织组成的非营利性合作网络，旨在推动解决方案的共建与落地，通过召集不同的国际利益相关者，汇集集体智慧，使人工智能真正造福人类社会。PAI通过邀请来自相关领域的个人和机构，分享见解，形成指南，推动世界人工智能社区的工具开发、观点磋商和资源建设，促进集体智慧在人工智能实践中的落地采用；同时，PAI也借助公共对话、研究和教育，为公共政策制定建言献策，提高公众对有关人工智能未来关键议题的关注与理解。PAI的合作伙伴网络现已覆盖美国、加拿大、中国、法国、德国、新加坡、韩国等17个国家/地区的合计140余家组织机构，汇聚起来自全球不同部门、不同学科和不同群体的声音，共同确保人工智能以负责任、可持续的方式造福全人类。“随着人工智能能力的发展和全球使用率的增长，跨国界和跨部门的合作比以往任何时候都更加重要，” PAI首席执行官Rebecca Finlay在欢迎致辞中说道，“从儿童安全和现实世界的评估，到企业治理和高级安全研究，这10 个组织为全球人工智能对话带来了重要的专业知识，这是人工智能实现包容、负责任的未来所需要的。” PAI为其合作伙伴提供了一个独特的对话与协作平台，共同探索新兴技术的发展趋势及其对人类社会的影响。今年7月，PAI首席执行官Rebecca Finlay也受邀出席由安远AI主办的2025世界人工智能大会“AI安全与治理论坛”，与百度、阿里巴巴、xAI等国内外领先AI企业共同探讨风险管理经验与实践。推进人工智能安全与治理，共建人工智能繁荣未来，一直是安远AI愿景的重要组成部分。作为国内目前唯一深耕AI安全治理领域的第三方社会企业，安远AI兼具中国视角和国际影响力，自成立以来一直专注于AI安全和治理的研究与实践。“在安远AI，我们致力于确保人工智能的发展与社会福祉相契合。加入PAI增强了我们在促进协作、创新解决方案方面的承诺。我们也期冀借助 PAI 的全球社区，扩大影响力，推动共识”，安远AI创始人兼首席执行官谢旻希说道。

安远AI期待与PAI及全球合作伙伴携手，推动人工智能以安全、负责任的方式发展，共同建设更加包容与可持续的未来。 

The post 安远AI加入Partnership on AI，携手全球伙伴共筑负责任AI未来 first appeared on Concordia AI.

2025年7月10日，安远AI创始人兼CEO谢旻希出席了由联合国和国际电信联盟（ITU）共同组织的“AI向善”全球峰会（AI for Good Summit）“前沿AI治理：从原则到实践”圆桌讨论，探讨前沿人工智能所带来的风险及其治理方案。此次圆桌讨论汇聚了全球人工智能领域的顶尖专家，包括清华大学智能产业研究院院长张亚勤院士、欧盟委员会人工智能顾问Juha Heikkilä、美国前沿模型论坛负责人Chris Meserole，以及来自AWS、Signal等科技企业的企业高管代表。台下观众包括数百位横跨政府、科技、政策与社会创新的各界全球领袖。谢旻希指出AI正面临滥用、意外故障、潜在失控与系统性社会冲击四大风险，其风险治理的先决条件之一是识别和理解前沿AI具有的潜在风险。谢旻希提出“部署前—部署后”两步走路径：既要落实部署前登记与审计，也要建立标识框架推动透明监管与追溯问责，并分享了中国在生成式AI领域的监管实践。他呼吁，防范和管控AI安全风险，需要构建多方协同的治理框架，明确不可接受结果与预警指标，将公民意见与国际共识纳入决策，以避免由少数人冒险导致的系统性危害。

关于管理前沿人工风险的治理模式，谢旻希强调，为了确保人工智能真正造福人类，我们有必要借鉴安全攸关领域的风险管理经验，其先决条件之一是要识别和理解潜在风险。安远AI此前参与的《国际人工智能安全报告》以及最新相关研究指出，目前前沿人工智能在全球范围内的广泛应用暴露出了四大方面的安全风险挑战：

一、滥用：前沿人工智能已经在编程、科学推理、病毒学等两用领域达到专家级水平，为恶意行为者发动复杂网络攻击或设计危险病原体降低了技术门槛。也有研究证实，AI智能体已具备利用零日漏洞的能力。针对这类恶意滥用人工智能的风险，一项制度性的应对办法是向防御方提供早期和优先的访问权限，以便提前研发应对措施，确保系统的防御能力始终先于新兴威胁一步。

二、意外事故与故障：聊天机器人在日常对话中表现出的“幻觉”现象无伤大雅，但在医疗诊断等高风险场景下，其幻觉却可能酿成严重伤害。针对这类意外风险，建议明确将特定应用场景归入高风险类别，并施加强有力的监管措施保障用户安全。例如，北京市政府已出台监管办法，禁止人工智能系统自动生成医用处方。

三、失控：正如Geoffrey Hinton在本届峰会所言，目前尚无可靠机制能确保数字超级智能始终在人类掌控之下。已有迹象显示，在某些条件下，前沿模型可能试图欺骗用户或逃脱控制，虽然现阶段人工智能模型还很难绕过客户身份验证（KYC）等安全验证机制，无法在现实环境中自我复制。针对这类高危风险，即便现阶段其实现概率不高或不详，也仍有必要设立预防措施，例如制定危机应对预案，例如开发可靠的系统“开关”等。

四、社会层面的系统性风险： 随着通用型人工智能在许多高价值任务上的表现超过人类，劳动力市场受到的来自人工智能的冲击势必逐渐加深。并且，由于这种渐进的影响往往并不集中，任何单一组织都无法独立应对这样广泛的外部性。针对这类系统性风险，我们必须建立多利益相关方的合作机制，来共同管理人工智能催生的

社会层面的冲击与转型，确保无论是地区还是全球范围内不让任何人掉队。这也正是ITU平台的重要价值所在。

针对上述各类风险，谢旻希提出，人工智能治理亟需更强有力的措施。当前，针对人工智能的监管比食品安全还少，这在通用型人工智能可能造就深远影响的今天显得尤其不足。未来几年应重点推动两方面的人工智能安全治理举措：一是部署前的模型登记与审计，以许可框架确保通用型人工智能在进入市场前经过安全评估与备案，并且可随着认知加深不断优化；二是部署后的透明度机制，包括建立生成合成内容标识体系及未来的AI智能体身份标识，确保人工智能系统可追溯、可问责。

展望未来，治理人工智能安全风险更关键的一步，在于建立各方协同的治理框架：明确人工智能系统可能带来的“不可接受结果”或红线，并建立清晰的早期预警指标。人工智能风险阈值的界定不应仅由行业内部决定。全球金融危机和环境灾害已经给过我们历史教训，如果放由少数精英决策者铤而走险，弱势群体所受的冲击只可能更大，甚至可能酿成波及全球的系统性危害。因此，在下一阶段的人工智能治理问题上，凝聚共识、划定边界并强化问责，将是最需要落实的实质性举措。

The post 2025“AI向善”全球峰会：安远AI谢旻希解析前沿AI四大风险与治理路径 first appeared on Concordia AI.

2025年7月，AIxBio全球论坛发布了《关于人工智能与生命科学融合的生物安全风险的声明》(Statement on Biosecurity Risks at the Convergence of AI and the Life Sciences)。这份声明已得到涵盖AI行业开发者、生命科学学者和人工智能安全研究者在内，超过40位专家的联合签署支持，包括中国科学院院士姚期智、图灵奖得主Yoshua Bengio、合成生物学先驱George Church、新西兰前总理Helen Clark、天津大学生物安全战略研究中心主任张卫文、安远AI创始人兼CEO谢旻希等。

声明指出AI与生命科学融合虽能极大促进公共健康与医学进步，但也带来降低生物风险门槛、提升危害上限，并削弱防御体系的严重风险，呼吁各国政府、产业界、学术界与资助方共同建立技术护栏和治理机制，投资负责任研发并推动国际合作，以确保该技术安全可控、造福社会。这份声明在非营利组织核威胁倡议组织（NTI）的官方网站上首发。

人工智能与生命科学融合的生物安全风险的声明

人工智能的迅猛进步及其与生命科学的融合，赋予了其巨大的造福社会的潜力，既能通过加快新型疫苗和疗法的研发改善公共卫生，也可提高人们快速发现新发传染病的能力，这些技术进步有望在全球范围内减轻疾病负担，促进经济发展。与此同时，因AI的广泛应用而成为可能的生命系统工程能力（下称“AIxBio能力”）迅速提高，也加剧了有害生物制剂意外流出或蓄意投放的风险，甚至不乏引起全球性生物灾难、波及全世界人口的危险情形。

随着AIxBio能力持续发展，利用AI造成生物灾害的门槛可能进一步降低。不法分子或将更容易获取必要的知识与相关信息支持，更有效地设计、构建并投放有害生物制剂。

与此同时，AIxBio能力还可能为这类行为“提高上限”，扩大生物灾难的潜在规模。AI加持下的生物学工具，可能设计开发出超越自然界或当前人类科学水平（例如人群杀伤力更强或传播力更高）的病原体。尽管目前还无法为这种AI滥用的具体发展进程下断言，但如果缺乏充分的安全防范举措，这类情形可能会在未来短短几年内就会成为现实。

在AI近期取得的技术进展中，有一项与此紧密相关——AI模型已经能设计新的生物分子，例如毒素、存在于病原体中的蛋白以及可与人体重要靶点结合的蛋白，AIxBio能力正快速提升。未来，AI或将支持更复杂的生物系统的设计，例如开发一组生物分子协同执行更复杂的功能（细胞信号传导、材料的酶促合成等），甚至打造出完整的病毒或细菌的基因组序列。

诸如此类的技术进展，可能使得别有用心之人设计满足特定目的的生物制剂变得更加容易。尽管眼下想要基于AI的设计去开发病毒或构建生物制剂并非易事，但实现这些的技术门槛正逐渐降低。

一种可能降低此类不法行为门槛、影响风险格局的新兴技术，是专门针对科学发现及开发而优化的AI智能体。这类智能体可以自主连续执行多步任务，达成复杂目标，而且可用于生命科学领域。针对生命科学优化的AI智能体，在理解科学文献、提出研究假设、设计实验方案和解释数据等方面的能力正突飞猛进，并开始与生物科研设备及先进实验室的机器人对接。如若缺乏审慎监管，这些AI智能体很可能追求超出人类期望的科学进步目标，造成预期之外的生物安全风险，不法分子也可能利用这些AI智能体协助开发有害生物制剂。

另一个引人担忧的问题是，AIxBio能力可能削弱生物安保防御措施的有效性，例如规避传染病监测系统、对抗医疗安全防范措施、绕过核酸合成筛查等等。全球生物安全态势一经冲击，可能扩大使用生物武器的空间，为生物攻击打开可乘之机。

尽管未来AI × 生命科学领域的进展难以准确预测，但这一领域的快速发展，要求我们未雨绸缪，前瞻性地为这类新兴风险做好准备。考虑到上面罗列的种种风险，可能出现的危险情形是：经验老道的不法分子利用经AI加持的生物工具，设计、生产并投放性质独特、危害性超过所有自然界病原体的生物制剂，最终引发一场破坏力堪比新冠疫情的波及全球的严重生物事件。

AIxBio能力是一把双刃剑，既有着造福全世界的巨大潜力，也有着造成重大危害的风险隐患，亟需引起各方重视，开展有多利益相关方参与的国际协作和果断行动。AIxBio能力的持续进步，意味着追踪技术发展、理解相关生物安全风险、制定有效的风险防范措施至关重要。我们呼吁各国政府、产业界、学术界、慈善界与民间社会通力合作，通过治理机制、防范举措及其他手段，在释放人工智能所具备的巨大积极潜力的同时，切实保障人工智能安全。

关于AIxBio全球论坛

AIxBio全球论坛(AIxBio Global Forum)是一个面向国际专家、政策制定者及相关利益相关方的平台，旨在识别并降低人工智能与生命科学交叉带来的生物安全风险。

核心目标：

• 形成对AI相关生物安全风险的共同理解。
• 支持开发和推广工具与实践，在发挥AIxBio技术积极作用的同时防范风险。
• 推动国家和全球层面的治理机制建设。

主要工作机制：

• 汇聚来自AI模型研发机构、生物安全与AI安全社群以及生命科学研究群体的多元专家和政策制定者。
• 设立技术工作组，识别最佳实践并制定技术防护措施，防止AIxBio技术被滥用。
• 制定研究议程，绘制关键开放问题和机遇的全景图。
• 通过分析、声明与政策建议，引导国家与全球治理战略，确保技术造福人类。

现有结构：

• 论坛目前设有两个技术工作组：1）生物设计工具，2）前瞻扫描、风险评估与评测。
• 工作组产出将提交论坛整体讨论，确保其结论兼具国际代表性与可操作性，从而为政策与实践提供有力指导。

关于安远AI的人工智能 x 生物安全探索与实践

安远AI长期关注前沿AI风险管理，人工智能 x 生物安全是其中的重要方向之一，我们陆续开展的工作包括但不限于：

• 与天津大学生物安全战略研究中心联合发布《人工智能 × 生命科学的负责任创新》报告
• 与上海人工智能实验室联合发布《前沿人工智能风险管理框架》，并配以《风险评测实践报告》，涉及生物风险
• 与天津大学生物安全战略研究中心联合举办“人工智能与生物风险融合研讨会“
• 受邀参加合成生物技术全国重点实验室举办的“生物安全闭门研讨会”
• 受邀参与在外交学院举办的“DNA合成筛查技术和政策闭门研讨会”
• 受邀参与《禁止生物武器公约》工作组第六次会议相关边会

我们希望为人工智能、生命科学与生物安全等领域之间建立系统性对话提供助力。

The post 全球40余位专家共倡AI×Bio安全，姚期智、张卫文、谢旻希等签署声明 first appeared on Concordia AI.

2025年4月26日，《新加坡共识：全球人工智能安全研究优先事项》在新加坡人工智能会议：人工智能安全国际科学交流会（Singapore Conference on AI, SCAI) 上正式发布。由全球顶尖学术机构的100多位专家共同制定，明确提出了风险评估、安全开发和可控性三大研究优先领域，旨在通过国际协作共建AI安全技术框架。  

继2023年首次新加坡人工智能会议后，安远AI第二次受邀出席并参与了《新加坡共识》初稿的反馈和建议工作。安远AI期待《新加坡共识》能成为加速推进全球AI安全行动的重要契机，共同构建更加安全、可靠的人工智能生态体系。 

4月26日，第二届新加坡人工智能会议：人工智能安全国际科学交流会顺利举办。会议吸引了麻省理工学院、斯坦福大学、清华大学和中国科学院等学术机构的专家，以及来自OpenAI、Anthropic、Google DeepMind、xAI和Meta等科技公司的研究人员参与。会议同时促成了《新加坡共识：全球人工智能安全研究优先事项》的发布。

大会项目委员会汇聚了全球顶尖学者，包括加州大学伯克利分校的Dawn Song教授和Stuart Russell教授、清华大学的薛澜教授和张亚勤教授、南洋理工大学的Luke Ong教授、麻省理工学院及未来生命研究所的Max Tegmark教授、蒙特利尔大学Mila研究院的Tegan Maharaj博士和Yoshua Bengio教授。 

安远AI CEO谢旻希与国际AI治理主管吴君仪受邀出席了本次会议，并积极参与了《新加坡共识》初稿的反馈和建议工作。继2023年12月首次受邀参与后，安远AI再次受邀出席。 

《新加坡共识》由全球100多位顶尖专家共同推动，是识别通用型先进人工智能系统潜在风险、推动技术解决方案的重要里程碑，呼吁全球研究者围绕以下三大关键领域展开深入协作： 

• 风险评估：旨在理解潜在危害的严重性和发生可能性，为关键研发和部署决策提供基础。研究方向包括开发衡量AI系统影响的方法，提升计量学能力确保测量结果的准确性和可重复性，以及构建支持第三方审计的机制，实现独立验证。 

• 安全开发：致力于从设计层面确保AI系统值得信赖、可靠且安全，增强人们对AI创新的信心。遵循经典安全工程框架，研究方向包括明确AI系统的目标行为规范，设计符合规范的系统，以及验证系统是否满足要求。 

• 可控性：通过反馈调节系统行为，确保AI在面对干扰或不确定性时仍能实现预期目标。研究方向包括开发监测与干预机制，拓展监测范围至更广泛的AI生态系统，以及增强社会基础设施适应AI带来的变革，提升整体社会韧性。 

清华大学文科资深教授薛澜在评价这一共识时表示：”在当前地缘政治日益碎片化的背景下，这份关于AI安全前沿研究的全面汇总，体现了全球社会在构建更安全AI未来方面的共同承诺。“ 

安远AI在2024年更新发布的《中国人工智能安全全景报告》也显示，中国研究人员正积极贡献全球AI安全科学研究和治理体系构建。AI安全是各国面临的共同挑战和机遇，安远AI期待《新加坡共识》能成为加速推进全球AI安全行动的重要契机，共同构建更加安全、可靠的人工智能生态体系。  

点击链接，查看完整共识文件。 

The post 安远AI参与2025年SCAI新加坡人工智能会议，会议发布《新加坡共识》建立全球AI安全研究合作新框架 first appeared on Concordia AI.

关于AI Verify 

AI Verify是由新加坡信息通信媒体发展局（IMDA）于2022年推出的框架和工具包，用于测试和验证AI系统的可信度。 

2023年成立的AI Verify基金会，则是支持和扩展AI Verify框架的全球合作倡议，汇集了组织、研究人员和政策制定者，集合全球开源社区的技术力量共同开发AI测试工具。 

2024年6月推出的Project Moonshot，是一款生成式AI测试开源工具包，将红队测试、基准测试和基线测试整合在一个易于使用的平台上，用于应对LLM安全和安保挑战。

我们为何加入

安远AI是国内目前唯一深耕AI安全治理领域的第三方社会企业，兼具中国视角和国际影响力。自成立以来，一直专注于AI安全和治理的研究与实践。作为AI Verify基金会的新成员，安远AI将： 

• 利用我们在AI安全和治理方面的专业知识，为基金会提供策略建议，拓展合作伙伴。 

• 与基金会其他成员共同开发和使用前沿AI评测工具，推动跨语言和跨文化评测。 

• 促进AI安全评测方面的国际交流与合作，推动制定国际互认的AI安全评测和标准体系。 

正如我们在成员证言中所述的：“安远AI致力于确保AI的开发和部署安全，并与全球利益保持一致。我们相信，在整个AI生命周期中进行严格的第三方测试对于确保我们能够从AI中获益并防范潜在危害至关重要。安远AI很高兴加入AI Verify基金会，为这项全球性努力作出贡献。”

我们期待与AI Verify基金会的伙伴们一起，为打造一个更加安全、负责任的AI未来贡献力量。 

The post 安远AI受邀加入新加坡“AI Verify基金会”，推动制定国际互认的AI安全评测和标准体系 first appeared on Concordia AI.

7月29日，AI安全国际论坛 (SAIF) 、复旦大学计算与智能创新学院以及安远AI共同举办研讨会，聚焦人工智能欺骗行为引发的风险。

这是国内外学者在AI欺骗问题上的首次深度交流。来自中美德加等国的高校学者、科技企业研究人员和一线研究者齐聚一堂，围绕”AI欺骗所引发的失控风险威胁模型“和”失控风险缓解策略”两大核心议题展开深入讨论。

会议聚焦AI系统可能具备的误导开发者、掩盖危险能力的”欺骗性行为”，提出了针对AI开发生命周期训练、评估、部署三个关键阶段的风险阈值设定方案。与会专家就情境感知能力识别、欺骗行为检测、监控机制规避等技术难题进行了深入研讨，并将基于讨论成果联合撰写AI欺骗风险缓解措施报告。

安远AI CEO谢旻希与技术经理段雅文参与研讨

会议概要

本次研讨会围绕 “‘AI欺骗’所引发的失控风险威胁模型” 以及 “失控风险缓解策略” 两大核心议题展开。

会议指出，AI系统可能具备误导开发者、掩盖其危险性能力、倾向及行为的能力，且此类行为难以被察觉。

这种“欺骗性行为”可能贯穿AI开发生命周期的全过程，具体表现为：在训练阶段操纵训练过程、在评估阶段干扰评估结果、在部署阶段规避监控机制。

为应对上述风险，研讨会提炼出针对训练、评估、部署三个关键阶段设定的三道风险阈值及应对措施。

与会人员重点围绕这三道风险阈值和缓解措施展开了深入讨论。

阈值一：AI系统具备情境感知能力

首先，美国加州非盈利组织Truthful AI的研究员James Chua组织与会者研讨了第一道阈值的划分标准及应对措施。

该阈值设定于 AI 系统具备情境感知能力 (Situational Awareness) 的时刻。

该能力具体指AI能够准确判断自身当前是处于训练、评估还是部署阶段，并能利用这一信息思考如何达成人类设定的相应目标。

若发现AI系统越过了此阈值，开发者需对其在训练和评估阶段可能采取的破坏训练过程、操作评估的行为进行全面测试。

阈值二：AI系统能可靠地破坏训练，博弈评估

复旦大学计算与智能创新学院副研究员，上海创智学院导师潘旭东组织与会人员就第二道阈值的设定及其应对方案进行了研讨。该阈值被设定于AI系统在前期测试中被确认能可靠地展现出破坏训练过程及操纵评估的能力。

提出该阈值的研究者认为，若发现系统表现出此类能力，开发者需采取更加强有力的应对措施：比如故意误导AI系统以干扰其对当前开发阶段的判断，在评估过程中引入更多噪声，或引导系统提升其行为的诚实性与透明度。

阈值三：AI系统能可靠地规避现有的监控机制

最后，在加拿大魁北克人工智能研究所博士后Sören Mindermann (首份国际AI安全报告技术负责人) 的组织下，与会人员讨论了第三道 (也是最后一道) 阈值：AI系统在大规模部署中能够可靠规避所有现有的监控机制。

该阈值建议：一旦触发此阈值，开发者必须立即停止部署，无论系统是在内部上线还是通过公开API发布。唯有在引入更强大的监控与安全措施，并确保系统无法规避这些机制后，方可恢复部署。

该原则同样适用于开源模型：一旦模型参数公开，监控责任即转移至使用者；在缺乏同等效力防护措施的情况下，不应运行该系统。

交流与分享

参会者针对每个环节的阈值及应对策略展开了深入讨论，比如是否可以跳过对于系统情境感知能力的测试（即阈值一），直接测试系统是否具备欺骗能力（即阈值二）；如何定义第二和第三部分提及的系统能力的“可靠性”；以及是否应强制要求模型内置监控工具，或者延迟模型发布直至监管体系完善。

会议主办方将根据讨论内容，对起草的阈值和缓解措施进行修改，联合与会者一起撰写一份关于人工智能欺骗风险和缓解措施的报告。敬请期待！

主办方

复旦大学计算与智能创新学院以原计算机科学技术学院为班底，整合国家示范性软件学院、国家保密学院、密码学院、网络安全学院，纳入大数据研究院、人工智能创新与产业 (AI³)研究院、金融科技研究院、先进计算系统研究院等多个实体科研机构，致力打造全球一流的计算与智能领域研究型学院。

安远AI致力于引领人际关系走向安全、可信、可靠的未来。在AI安全和治理领域。安远AI既是第三方研究和咨询机构，也是目前该领域全国唯一的社会企业。

AI安全国际论坛是一家非盈利组织，致力于推动全球人工智能治理合作，促进中西AI专家的第二轨道对话，共同应对AI带来的极端风险，造福全人类。我们主办AI安全国际对话，并提供研究和咨询服务。

The post AI安全国际论坛 × 复旦 × 安远AI联合举办“AI欺骗风险与治理国际研讨会 first appeared on Concordia AI.