导言
2025年7月10日，安远AI创始人兼CEO谢旻希出席了由联合国和国际电信联盟（ITU）共同组织的“AI向善”全球峰会（AI for Good Summit）“前沿AI治理：从原则到实践”圆桌讨论，探讨前沿人工智能所带来的风险及其治理方案。此次圆桌讨论汇聚了全球人工智能领域的顶尖专家，包括清华大学智能产业研究院院长张亚勤院士、欧盟委员会人工智能顾问Juha Heikkilä、美国前沿模型论坛负责人Chris Meserole，以及来自AWS、Signal等科技企业的企业高管代表。台下观众包括数百位横跨政府、科技、政策与社会创新的各界全球领袖。谢旻希指出AI正面临滥用、意外故障、潜在失控与系统性社会冲击四大风险，其风险治理的先决条件之一是识别和理解前沿AI具有的潜在风险。谢旻希提出“部署前—部署后”两步走路径：既要落实部署前登记与审计，也要建立标识框架推动透明监管与追溯问责，并分享了中国在生成式AI领域的监管实践。他呼吁，防范和管控AI安全风险，需要构建多方协同的治理框架，明确不可接受结果与预警指标，将公民意见与国际共识纳入决策，以避免由少数人冒险导致的系统性危害。
关于管理前沿人工风险的治理模式，谢旻希强调，为了确保人工智能真正造福人类，我们有必要借鉴安全攸关领域的风险管理经验，其先决条件之一是要识别和理解潜在风险。安远AI此前参与的《国际人工智能安全报告》以及最新相关研究指出，目前前沿人工智能在全球范围内的广泛应用暴露出了四大方面的安全风险挑战：
一、滥用：前沿人工智能已经在编程、科学推理、病毒学等两用领域达到专家级水平，为恶意行为者发动复杂网络攻击或设计危险病原体降低了技术门槛。也有研究证实，AI智能体已具备利用零日漏洞的能力。针对这类恶意滥用人工智能的风险，一项制度性的应对办法是向防御方提供早期和优先的访问权限，以便提前研发应对措施，确保系统的防御能力始终先于新兴威胁一步。
二、意外事故与故障：聊天机器人在日常对话中表现出的“幻觉”现象无伤大雅，但在医疗诊断等高风险场景下，其幻觉却可能酿成严重伤害。针对这类意外风险，建议明确将特定应用场景归入高风险类别，并施加强有力的监管措施保障用户安全。例如，北京市政府已出台监管办法，禁止人工智能系统自动生成医用处方。
三、失控：正如Geoffrey Hinton在本届峰会所言，目前尚无可靠机制能确保数字超级智能始终在人类掌控之下。已有迹象显示，在某些条件下，前沿模型可能试图欺骗用户或逃脱控制，虽然现阶段人工智能模型还很难绕过客户身份验证（KYC）等安全验证机制，无法在现实环境中自我复制。针对这类高危风险，即便现阶段其实现概率不高或不详，也仍有必要设立预防措施，例如制定危机应对预案，例如开发可靠的系统“开关”等。
四、社会层面的系统性风险： 随着通用型人工智能在许多高价值任务上的表现超过人类，劳动力市场受到的来自人工智能的冲击势必逐渐加深。并且，由于这种渐进的影响往往并不集中，任何单一组织都无法独立应对这样广泛的外部性。针对这类系统性风险，我们必须建立多利益相关方的合作机制，来共同管理人工智能催生的
社会层面的冲击与转型，确保无论是地区还是全球范围内不让任何人掉队。这也正是ITU平台的重要价值所在。
针对上述各类风险，谢旻希提出，人工智能治理亟需更强有力的措施。当前，针对人工智能的监管比食品安全还少，这在通用型人工智能可能造就深远影响的今天显得尤其不足。未来几年应重点推动两方面的人工智能安全治理举措：一是部署前的模型登记与审计，以许可框架确保通用型人工智能在进入市场前经过安全评估与备案，并且可随着认知加深不断优化；二是部署后的透明度机制，包括建立生成合成内容标识体系及未来的AI智能体身份标识，确保人工智能系统可追溯、可问责。
展望未来，治理人工智能安全风险更关键的一步，在于建立各方协同的治理框架：明确人工智能系统可能带来的“不可接受结果”或红线，并建立清晰的早期预警指标。人工智能风险阈值的界定不应仅由行业内部决定。全球金融危机和环境灾害已经给过我们历史教训，如果放由少数精英决策者铤而走险，弱势群体所受的冲击只可能更大，甚至可能酿成波及全球的系统性危害。因此，在下一阶段的人工智能治理问题上，凝聚共识、划定边界并强化问责，将是最需要落实的实质性举措。