推动人工智能长远向善发展,引领人机关系走向安全、可信、可靠的未来
安远AI是一家位于北京的社会企业,专注于AI安全与治理。
研究聚焦
安远AI最新发布的《中国人工智能安全全景报告(2024年春季版)》对过去六个月内AI安全领域的六大关键进展进行了深入分析。这些领域包括:安全技术研究、国际治理、国内治理、实验室与行业治理、专家对AI风险的看法,以及公众对人工智能的意见。为了获得最佳阅读体验,我们推荐您查看该报告的PPT版本,您也可以直接阅读下方的PDF版本。
执行摘要
- 中国在前沿AI安全技术研究的相关性和研究质量方面取得了显著进步,关于大语言模型的遗忘学习、AI在生物和化学领域的潜在滥用风险,以及评估大语言模型的“权力寻求”和“自我意识”风险等前沿议题的研究不断增多。
- 在过去六个月中,中国机构和学者平均每月发表近15篇关于前沿AI安全的技术论文。报告中识别出11个在AI安全领域作出大量高质量的研究成果的团队。
- 中国签署了《布莱切利宣言》,并与法国发布了联合声明,共同探讨AI治理问题。同时,中国与美国展开了AI政府间对话,这些进展显示出与2023年初相比,主要大国在AI安全问题上的观点日益趋同。
- 自2022年以来,中国与西方国家之间已就AI相关议题举行了8次1.5轨或2轨的对话,其中2次专门聚焦于前沿AI安全和治理议题。
- 中国的国家政策和领导层对开发大型AI模型表现出浓厚兴趣,同时强调风险防控的重要性。
- 两版《人工智能法》专家建议稿中包含了关于AI安全的重要条款,例如对基础模型的专门监管以及对通用人工智能(AGI)的价值对齐规定。
- 国内三个AI中心所在的地方政府已发布了关于AGI或大模型的政策,旨在加速发展,同时涵盖国际合作、伦理以及测试和评估等议题。
- 国内一些有影响力的行业协会已成立相关项目或委员会,专注于研究AI安全问题;但他主要关注点集中在内容和数据安全上,而非前沿AI安全。
- 近几个月来,国内专家学者围绕AI安全的多个焦点议题进行了深入讨论,包括AI必须避免的“生存风险”的“红线”、AI安全研究的最低资助水平,以及AI对生物安全的影响等。
关于我们
在AI能力不断增强的时代,如何确保AI系统安全可控、符合人类的意图和价值观?这对人类社会与AI的可持续发展至关重要。
作为一家专注于AI安全与治理,追求社会影响力的社会企业,安远AI面向AI安全和风险的前沿问题,推动国际交流、开展AI治理研究、提供战略咨询、以及建立技术社区。我们的目标是通过这些工作,为AI的安全、可信、可靠发展提供有力支持。
工作方向
工作方向
提供AI安全和治理建议
我们的目标是提高对AI潜在风险的认识,并推广降低这些风险的最佳实践。我们为政府政策建言献策,向一流AI实验室提供咨询,并与学术界合作撰写研究报告。
支持AI安全技术社区建设
我们的目标是打造繁荣的AI安全生态系统,推动安全AI的发展。我们开展学者计划来培养AI安全人才,并为业界和学术界提供AI安全领域的教育资源。
推动AI安全国际合作
我们的目标是协调全球AI安全战略。我们促进中外专家交流,为多边组织提供建议,加深对AI风险和安全解决方案的技术理解,推进政策发展,增进不同社区之间的信任。
影响力
中西方人工智能安全交流
《人工智能治理全球视角》报告
AI安全与对齐学者计划
我们设立了中国首个AI安全与对齐学者项目。项目课程改编自由OpenAI科学家Richard Ngo设计的 AGI 安全基础课程,由在线研讨会和研究实践项目组成,旨在激励国内顶尖大学的研究生和研究人员AI安全和对齐领域研究做出贡献。
人工智能安全教育资源
团队
段雅文
技术项目经理
段雅文,安远AI技术项目经理,致力于AI安全技术社区建设。他是未来生命研究所AI Existential Safety PhD学者,关注大模型安全和对齐研究。他曾在UC Berkeley的Stuart Russell组和剑桥大学David Krueger实验室进行AI安全和对齐研究。他参与的研究项目曾在CVPR、ECCV、ICML、ACM FAccT、NeurIPS MLSafety Workshop等ML/CS会议和工作坊上发表。他拥有剑桥大学机器学习硕士学位和香港大学理学士学位。
程远
高级项目经理
程远,安远AI高级项目经理,致力于通过政策咨询、产品开发和对外合作推动国内AI安全和治理。她曾就职于字节跳动全球公共政策和企业社会责任部门,负责TikTok等国际化产品的安全合规及社会和环境影响力项目。也曾就职于多家国际组织和非盈利机构,参与一线人道主义援助和社区发展工作。她先后毕业于复旦大学和荷兰莱顿大学,拥有法学学士和国际关系与外交专业硕士学位。
合作伙伴
我们的工作离不开30位安远AI伙伴的鼎力支持。他们中有来自加州大学伯克利分校(UC Berkeley)、魁北克人工智能研究所 (Mila)、苏黎世联邦理工学院(ETH)和其他顶级计算机科学和机器学习项目的博士生;也有来自牛津大学人工智能治理中心(GovAI)和对齐研究中心(ARC)的研究人员;以及来自清华大学、哈佛大学、以及麻省理工学院等顶尖学府的毕业生。
安远AI于2023年正式获得北京市社会企业认证
安远AI是北京首批人工智能领域的社会企业之一,也是目前全国唯一的人工智能治理和科技伦理治理领域的社会企业。
在AI飞速发展的背景下,安远AI在坚持为客户创造价值的同时,将坚定不移地追求社会使命。我们将继续致力于为科技企业、投资机构和政府部门等提供风险管理咨询,希望引领人机关系走向安全、可信、可靠的方向发展。