自英国和美国率先成立国家级人工智能安全研究所(AI Safety Institute, 以下简称AISI)以来，安远AI始终密切关注和分析其演进过程。本文分析了当前多个国家级人工智能安全研究所及其国际网络的设立背景、进展、对比和挑战，旨在为中国在全球人工智能治理中的角色定位与政策制定提供参考。
- 背景
GPT-4等前沿人工智能展现出强大的涌现能力，推动了多模态大模型、自主智能体、科学发现智能体和具身智能等众多技术方向，在多个领域已逼近甚至超越人类水平，但也引发了新的安全挑战。两届全球人工智能安全峰会先后发布的《布莱切利宣言》和《首尔宣言》推动了国家级人工智能安全研究所的设立，以应对技术风险并加强全球治理。
- 进展
英国和美国分别在2023年首届全球人工智能安全峰会率先设立人工智能安全研究所，随后日本、新加坡、加拿大、韩国、法国等国家以及欧盟相继跟进，同时美国积极推动人工智能安全研究所国际网络的发展。此类机构以人工智能安全评测、人工智能安全研究、促进信息交流或推进标准制定为核心职能，已初步建立双边和多边的协作。
- 对比
不同国家的国家级人工智能安全研究所在机构属性、职能定位、研究重点及国际协作等方面呈现多样性，在详细对比已官宣成立的8家国家级人工智能安全研究所的上述信息的基础上，我们重点就领先的人工智能安全研究所进行了案例分析：
- 英国人工智能安全研究所：充足的政府资金支持，吸纳大量技术人才，希望引领前沿人工智能安全评测和研究；得到OpenAI、DeepMind、Anthropic的部署前评测授权；参与全球人工智能安全峰会的筹办；已开源评测框架Inspect，为测试人员提供了评估各类模型特定能力的工具。
- 美国人工智能安全研究所：关注前沿人工智能风险，并涵盖更广泛的风险类型；依托美国国家标准与技术研究院和合作网络，成立了人工智能安全研究联盟；获得OpenAI和Anthropic新模型发布之前和之后的访问权限。初期更关注国内安全问题，后通过与英国等人工智能安全研究所合作并宣布建立人工智能安全研究所国际网络后，越来越关注全球合作，旨在协调各方制定前沿人工智能的测量科学、自愿指南和严格测试标准。然而，特朗普当选新总统后，其全球合作前景存疑。
- 其他的国家级人工智能安全研究所则结合自身需求，在标准化、安全研发、执行监管等方面各有侧重。
- 挑战
尽管人工智能安全研究所及其国际网络在安全评测、安全研究和国际合作中具有重要作用，但未来仍需在模型访问与评测权限、信息共享与安全实践、标准制定与监管框架、资源差异与合作平衡、全球包容性与国际协调方面进行改进，以应对人工智能技术为全球治理带来的复杂挑战。