报告凝练呈现了新加坡在AI安全治理方面的探索与实践，强调其虽非前沿模型研发的主导国家，依然在全球AI安全规范的制定中发挥了积极而独特的作用。报告内容全面覆盖了新加坡多层次的国内治理体系，包括AI治理框架、针对性立法、国家标准，以及聚焦应用层面的测试与评估机制。同时，报告也深入分析了新加坡在全球AI治理体系中的定位，涵盖其在多边机制、区域倡议与双边合作中的活跃表现。此外，报告还介绍了新加坡AI可信市场的体系，概述本地与国际通用型AI开发者的布局情况，并绘制出涵盖高校、政府机构与研究单位的AI安全研究图谱。本报告基于截至2025年7月的最新进展，分为五个主要章节，包括：

1. 新加坡国内治理路径 (Domestic Approach)
2. 新加坡在国际治理中的角色 (International Approach)
3. 产业生态 (Industry)
4. 技术安全研究（Technical Research)
5. 公众对AI风险的认知 (Public Opinion)

The post 新加坡人工智能安全全景报告 first appeared on Concordia AI.

《国际人工智能安全报告》于2025年2月在巴黎人工智能行动峰会上正式呈现，此前的中期版本已于2024年5月在首尔人工智能峰会发布。该报告源自2023年布莱切利人工智能安全峰会的共识，由30个国家共同倡议，联合国、欧盟和经济合作与发展组织(OECD)专家顾问团支持，真正实现了国际性、独立性与包容性的愿景。

高级顾问团成员包括清华大学交叉信息科学研究院的姚期智院士、清华大学的张亚勤院士、冯雁（Pascale Fung，入职Meta前担任高级顾问）；中科院自动化所的曾毅研究员作为专家顾问小组成员；安远AI国际AI治理主管吴君仪（Kwan Yee Ng）则作为撰稿团队的一员，为报告的撰写与完善做出了贡献；安远AI为报告整体的内容提供了评论和反馈，也为中文版翻译提供了编辑和修改意见。

如报告主席Bengio所指出，自布莱切利峰会以来，”通用型人工智能的能力进一步提升”，包括”在编程和科学推理测试中表现出明显更好的性能”，同时”许多公司现在正在投资开发通用型人工智能’智能体’，它们能够自主规划并采取行动实现目标，几乎不需要或完全不需要人类监督的系统”。此份完整报告不仅“提高了所有章节的科学严谨性“，还“增加了对其他主题的讨论，如开放权重模型“，并“重组报告使其更加贴合政策制定者的需要“。

尽管《报告》汇总了科学界当前对通用型人工智能的科学理解与共识，《报告》仍强调，“作为本报告的撰稿专家，我们在有关通用型人工智能的能力、风险和风险缓解措施等方面仍存在诸多分歧，无论大小。但我们认为本报告对于增强我们对这项技术及其潜在风险的集体理解至关重要。 我们希望这份报告能够帮助国际社会就通用型人工智能达成更广泛的共识，更有效地缓解其风险，从而让人们能够安全地享受其众多潜在益处。我们期待着继续这项努力。”

The post 国际人工智能安全报告 first appeared on Concordia AI.

作为《先进人工智能安全国际科学报告》撰稿团队的一员以及安远AI的代表，吴君仪(Kwan Yee Ng)为这份政策研究报告的形成和撰写作出了贡献。在研讨会上，吴君仪强调了全球包容性的必要以及联合国的重要角色。以下为报告执行摘要的翻译：

管理人工智能风险需要多方的国际协调，这些参与者有着不同的利益、价值观和认知。应对其他全球挑战（如气候变化）的经验表明，建立一个基于科学的、共享的现实图景是实现集体行动的重要第一步。本着这一精神，去年英国政府等28个国家和欧盟，撰写并发布了《先进人工智能安全国际科学报告》。

这份报告在短时间内取得了显著成就，但其范围有限，涉及的利益相关者较少，初期任务的期限较短，目前已经接近尾声。同时，联合国正在着手建立自己的报告机制，但关键参数尚未确定。此外，包括经济合作与发展组织（OECD）、新兴的人工智能安全研究所（AISIs）网络以及全球科学家团体在内的多个机构和实体也在考虑如何为人工智能的全球性理解做出贡献。

如何让各方朝着人工智能风险的国际科学共识这一共同目标合作？尽管各国政府和国际组织正在进行静默外交行动，但围绕这一问题的公开讨论却寥寥无几。此外，这一挑战的难度并未得到充分认识。与气候变化相比，AI的影响更难以衡量和预测，且深受地缘政治紧张局势和国家战略利益的牵连。

为探讨未来发展方向，牛津大学马丁学院的人工智能治理研究所和卡内基国际和平研究院于7月召集了一批人工智能与国际关系交叉领域的专家。在此次讨论中，提出了六大观点：

• 单一的机构或流程无法引领世界就人工智能的风险达成科学共识。
• 联合国应考虑利用其比较优势，启动一个由成员国深度参与的定期产出科学报告的流程。
• 一个独立的国际机构应继续产出年度评估报告，主要由独立科学家领导，专注于”先进”人工智能系统的风险。
• 至少有三个可行的候选机构来主导针对前沿人工智能带来的风险的报告，即使它们各有利弊。
• 应仔细协调两份报告，以增强其互补性，同时又不损害其独特的优势。
• 在其他进程建立之前，可能有必要继续当前由英国主导的进程。

The post 人工智能风险国际科学评估的未来 first appeared on Concordia AI.

在这个背景下，世界工程组织联合会创新技术专委会（WFEO-CEIT）和深圳市科学技术协会主办，安远AI担任主编的《生成式人工智能安全与全球治理报告》正式发布。本报告汇集了全球40多位人工智能治理、科技伦理、大模型安全和对齐、通用人工智能风险等领域的政策制定者、企业家、专家学者、工程师等的29篇评论，旨在引起对生成式人工智能发展与安全与治理的关注和进一步的思考，呼吁开展广泛的合作。其中的具体观点并不代表任何主办和主编机构。

按照讨论主题分为以下五章：

一、生成式人工智能的风险与挑战

二、生成式人工智能的全球治理策略

三、人工智能治理助力发展中国家与全球可持续发展

四、工程视角下的人工智能治理

五、企业视角下的人工智能治理

The post 生成式人工智能安全与全球治理报告 first appeared on Concordia AI.

为持续发挥峰会影响力，系列峰会亟需在汲取以往成功经验、务实评估未来困难与挑战的基础上，建立更为制度化的会议架构。本报告对从上述两方面出发，重点剖析峰会的一系列核心设计要素：主办安排、秘书处架构、与会者遴选、议程设置与办会频率。据此形成六项针对性建议，以最大化增强该系列峰会的国际影响。

本文将借鉴现有的国际治理模式，围绕上述要素，就同类峰会日益林立、地缘政治格局演变以及技术快速迭代等挑战，提出切实可行建议。

安远 AI 国际人工智能治理负责人吴君仪（Kwan Yee Ng）与创始人兼首席执行官谢旻希（Brian Tse），任本政策备忘录的主要共同作者。

The post 人工智能系列峰会的未来 first appeared on Concordia AI.

本报告由来自47家机构的52位专家共同参与撰写，涵盖人工智能科学家、学者、产业界代表、政策专家等，广泛囊括了美国、欧洲和亚洲等多个地区的发展与视角，后续升级成为综合性著作《人工智能治理的全球视角（第一卷）》。

报告详情请见：https://www.aigovernancereview.com/

The post 2020全球人工智能治理年度观察 first appeared on Concordia AI.

1. 背景

GPT-4等前沿人工智能展现出强大的涌现能力，推动了多模态大模型、自主智能体、科学发现智能体和具身智能等众多技术方向，在多个领域已逼近甚至超越人类水平，但也引发了新的安全挑战。两届全球人工智能安全峰会先后发布的《布莱切利宣言》和《首尔宣言》推动了国家级人工智能安全研究所的设立，以应对技术风险并加强全球治理。

2. 进展

英国和美国分别在2023年首届全球人工智能安全峰会率先设立人工智能安全研究所，随后日本、新加坡、加拿大、韩国、法国等国家以及欧盟相继跟进，同时美国积极推动人工智能安全研究所国际网络的发展。此类机构以人工智能安全评测、人工智能安全研究、促进信息交流或推进标准制定为核心职能，已初步建立双边和多边的协作。

3. 对比

不同国家的国家级人工智能安全研究所在机构属性、职能定位、研究重点及国际协作等方面呈现多样性，在详细对比已官宣成立的8家国家级人工智能安全研究所的上述信息的基础上，我们重点就领先的人工智能安全研究所进行了案例分析：

• 英国人工智能安全研究所：充足的政府资金支持，吸纳大量技术人才，希望引领前沿人工智能安全评测和研究；得到OpenAI、DeepMind、Anthropic的部署前评测授权；参与全球人工智能安全峰会的筹办；已开源评测框架Inspect，为测试人员提供了评估各类模型特定能力的工具。
• 美国人工智能安全研究所：关注前沿人工智能风险，并涵盖更广泛的风险类型；依托美国国家标准与技术研究院和合作网络，成立了人工智能安全研究联盟；获得OpenAI和Anthropic新模型发布之前和之后的访问权限。初期更关注国内安全问题，后通过与英国等人工智能安全研究所合作并宣布建立人工智能安全研究所国际网络后，越来越关注全球合作，旨在协调各方制定前沿人工智能的测量科学、自愿指南和严格测试标准。然而，特朗普当选新总统后，其全球合作前景存疑。
• 其他的国家级人工智能安全研究所则结合自身需求，在标准化、安全研发、执行监管等方面各有侧重。

4. 挑战

尽管人工智能安全研究所及其国际网络在安全评测、安全研究和国际合作中具有重要作用，但未来仍需在模型访问与评测权限、信息共享与安全实践、标准制定与监管框架、资源差异与合作平衡、全球包容性与国际协调方面进行改进，以应对人工智能技术为全球治理带来的复杂挑战。

The post 国家级人工智能安全研究所及其国际网络——为何建立、如何运作及未来挑战 first appeared on Concordia AI.