2024年5月17日，图灵奖得主Yoshua Bengio牵头发布了《先进人工智能安全国际科学报告》中期报告。为探讨持续推动人工智能风险国际科学评估的不同机制，牛津大学马丁学院的人工智能治理研究所和卡内基国际和平研究院，于2024年7月召集了一批人工智能与国际关系交叉领域的专家，形成并发布了《人工智能风险国际科学评估的未来》报告。
作为《先进人工智能安全国际科学报告》撰稿团队的一员以及安远AI的代表，吴君仪(Kwan Yee Ng)为这份政策研究报告的形成和撰写作出了贡献。在研讨会上，吴君仪强调了全球包容性的必要以及联合国的重要角色。以下为报告执行摘要的翻译：
管理人工智能风险需要多方的国际协调，这些参与者有着不同的利益、价值观和认知。应对其他全球挑战（如气候变化）的经验表明，建立一个基于科学的、共享的现实图景是实现集体行动的重要第一步。本着这一精神，去年英国政府等28个国家和欧盟，撰写并发布了《先进人工智能安全国际科学报告》。
这份报告在短时间内取得了显著成就，但其范围有限，涉及的利益相关者较少，初期任务的期限较短，目前已经接近尾声。同时，联合国正在着手建立自己的报告机制，但关键参数尚未确定。此外，包括经济合作与发展组织（OECD）、新兴的人工智能安全研究所（AISIs）网络以及全球科学家团体在内的多个机构和实体也在考虑如何为人工智能的全球性理解做出贡献。
如何让各方朝着人工智能风险的国际科学共识这一共同目标合作？尽管各国政府和国际组织正在进行静默外交行动，但围绕这一问题的公开讨论却寥寥无几。此外，这一挑战的难度并未得到充分认识。与气候变化相比，AI的影响更难以衡量和预测，且深受地缘政治紧张局势和国家战略利益的牵连。
为探讨未来发展方向，牛津大学马丁学院的人工智能治理研究所和卡内基国际和平研究院于7月召集了一批人工智能与国际关系交叉领域的专家。在此次讨论中，提出了六大观点：
- 单一的机构或流程无法引领世界就人工智能的风险达成科学共识。
- 联合国应考虑利用其比较优势，启动一个由成员国深度参与的定期产出科学报告的流程。
- 一个独立的国际机构应继续产出年度评估报告，主要由独立科学家领导，专注于”先进”人工智能系统的风险。
- 至少有三个可行的候选机构来主导针对前沿人工智能带来的风险的报告，即使它们各有利弊。
- 应仔细协调两份报告，以增强其互补性，同时又不损害其独特的优势。
- 在其他进程建立之前，可能有必要继续当前由英国主导的进程。