Homepage - Concordia AI

推动人工智能长远向善发展，引领人机关系走向安全、可信、可靠的未来

安远AI是一家专注于AI安全与治理的社会企业，总部位于北京，在新加坡设有办公室。

研究聚焦

随着人工智能系统的能力不断增强并深入融入社会，人工智能的安全开发已经成为一项关键的治理挑战。《人工智能安全作为全球公共产品：影响、挑战与研究重点》（Examining AI Safety as a Global Public Good: Implications, Challenges, and Research Priorities）由安远AI、牛津马丁人工智能治理倡议和卡内基国际和平研究院共同主导，该报告借鉴气候变化、核安全和全球健康治理的经验教训，探讨了将人工智能安全视为”公共产品”是否能帮助应对这些挑战。分析确定了三个关键的协调挑战：

平衡集体责任，同时追究在人工智能开发中拥有不成比例权力的利益相关者的责任
管理共享人工智能安全最佳实践与限制潜在危险能力传播之间的张力
确保安全要求不会限制人工智能对可持续发展的潜力或延续全球不平等

上海交通大学国际与公共事务学院长聘副教授贾开、清华大学公共管理学院长聘副教授赵静、安远AI国际人工智能治理主管吴君仪、安远AI创始人谢旻希，与来自世界各地的12位学者共同撰写了这份报告。

关于我们

在AI能力不断增强的时代，如何确保AI系统安全可控、符合人类的意图和价值观？这对人类社会与AI的可持续发展至关重要。

作为一家专注于AI安全与治理，追求社会影响力的社会企业，安远AI面向AI安全和风险的前沿问题，推动国际交流、开展AI治理研究、提供战略咨询、以及建立技术社区。我们的目标是通过这些工作，为AI的安全、可信、可靠发展提供有力支持。

工作方向

提供AI安全和治理建议

我们的目标是提高对AI潜在风险的认识，并推广降低这些风险的最佳实践。我们为政府政策建言献策，向一流AI实验室提供咨询，并与学术界合作撰写研究报告。

支持AI安全技术社区建设

我们的目标是打造繁荣的AI安全生态系统，推动安全AI的发展。我们开展学者计划来培养AI安全人才，并为业界和学术界提供AI安全领域的教育资源。

推动AI安全国际合作

我们的目标是协调全球AI安全战略。我们促进中外专家交流，为多边组织提供建议，加深对AI风险和安全解决方案的技术理解，推进政策发展，增进不同社区之间的信任。

影响力

BAAI 人工智能安全与对齐论坛

作为2023年北京智源大会AI安全与对齐论坛的联合主办方，我们邀请到了包括Sam Altman (OpenAI CEO), Geoffrey Hinton (“深度学习之父”），以及姚期智（图灵奖得主）等重磅嘉宾，论坛吸引现场参与人数超过500人，在线观看人数超过20万次。本论坛是中国AI会议中首次聚焦AI安全与对齐的活动。相关报道详见：钛媒体、新智元、腾讯科技。

中西方人工智能安全交流

2023年，我们促成Stuart Russell、Max Tegmark、David Krueger等全球顶尖AI安全学者访华，与清华大学人工智能研究院开展交流，并与百度前总裁张亚勤对话。此前，我们也曾邀请Allan Dafoe（GovAI – 牛津大学AI治理中心创始人）和Jaan Tallinn（Skype联合创始人）在上海世界人工智能大会上发言。

《人工智能治理全球视角》报告

2019年至2021年，我们与上海科学研究院（SISS）共同编撰了《全球视野下的人工智能治理》报告，收录了来自北美、欧洲、亚洲和拉丁美洲的专家撰写的60篇有关AI治理的文章。该报告在2021年“两会”期间由一名委员会成员引用；并在2022由同济大学出版社汇集出版。

AI安全与对齐学者计划

我们设立了中国首个AI安全与对齐学者项目。项目课程改编自由OpenAI科学家Richard Ngo设计的 AGI 安全基础课程，由在线研讨会和研究实践项目组成，旨在激励国内顶尖大学的研究生和研究人员AI安全和对齐领域研究做出贡献。

人工智能安全教育资源

我们与国内出版商合作翻译和推广AI安全的英文书籍，如《生命3.0》、《AI新生：破解人机共存密码——人类最后一个大问题》以及《人机对齐》。我们还通过微信公众号（安远AI）发布AI安全相关内容，包括“人机对齐概述系列”、《未来生命研究所“暂停巨型人工智能实验的公开信”的解释》以及人工智能对齐失败案例数据库等。

向联合国"全球数字契约"建言

2023年3月，我们向联合国“全球数字契约”提交了关于监管人工智能风险的提议。“全球数字契约”是《我们的共同议程》下的一项倡议，旨在“推进开放、自由、安全、以人为本的数字未来，制定原则、目标和行动，使实现可持续发展目标成为可能”。在建议中，我们提出了设计和实施AI风险法规的原则，以及联合国等组织可以采取的支持这些原则的行动。

团队

谢旻希，安远AI创始人兼CEO，牛津大学人工智能治理中心政策研究员，同济大学出版社《全球视野下的人工智能治理》副主编，AAAI、IJCAI SafeAI组委会成员，IEEE P2894可信AI工作组成员。他曾应邀在清华大学、北京大学、斯坦福大学等校演讲。

方亮，安远AI安全治理主管，领导AI安全和治理咨询工作。他曾任百度高级技术顾问，推动AI伦理和治理研究、交流与项目实施。曾参与中国多项AI和科技政策制定。

吴君仪，安远AI国际治理主管，负责推进AI安全和治理国际合作项目。她曾在北大国际战略研究所跟随王缉思教授做研究，之前任牛津大学人类未来研究所研究员。她毕业于北大燕京学堂，获得硕士学位。

周杰晟，安远AI国际治理高级研究经理，推动AI安全与治理国际合作。他曾任美中贸易委员会北京代表处咨询经理，研究中国数据安全、网络安全和隐私保护政策。获得清华大学苏世民书院硕士学位。

段雅文，安远AI安全研究经理，致力于AI安全技术社区建设。他是未来生命研究所AI Existential Safety PhD学者，关注大模型安全和对齐研究。他曾在UC Berkeley的Stuart Russell组和剑桥大学David Krueger实验室进行AI安全和对齐研究。他参与的研究项目曾在CVPR、ECCV、ICML、ACM FAccT、NeurIPS MLSafety Workshop等ML/CS会议和工作坊上发表。他拥有剑桥大学机器学习硕士学位和香港大学理学士学位。

程远，安远AI安全治理高级经理，致力于通过政策咨询、产品开发和对外合作推动国内AI安全和治理。她曾就职于字节跳动全球公共政策和企业社会责任部门，负责TikTok等国际化产品的安全合规及社会和环境影响力项目。也曾就职于多家国际组织和非盈利机构，参与一线人道主义援助和社区发展工作。她先后毕业于复旦大学和荷兰莱顿大学，拥有法学学士和国际关系与外交专业硕士学位。

范韵欣，安远AI运营经理，负责品牌和媒体战略。她曾任电通高级经理，为科技和风险投资公司制定国际媒体和商业策略。她还曾在财新和经济学人智库（EIU）担任咨询师。

李沐喆，安远AI运营经理，负责管理公司的财务、人力资源和基础设施。她曾是一名红杉学者，并在元气森林先后担任策略分析师和产品经理。在此之前，她担任滴滴国际化产品团队的产品经理。

田馨媛，安远AI运营经理，负责管理公司的财务、人力资源。她曾在北京大学博古睿研究中心担任高级项目协理，负责管理中心在前沿科技与哲学、创意未来等领域的项目，并负责博古睿学者项目的运营。馨媛毕业于塔夫茨大学，获得外交学硕士学位。

李名傑，安远AI治理项目经理，工作于新加坡，负责管理推动国际合作的AI安全与治理研究及项目。曾在新加坡政府从事外交、国防领域的重要职务，积累了丰富的公共部门经验，并曾为两家AI公司提供模型微调支持。名傑毕业于剑桥大学MBA项目，并获得伦敦政治经济学院国际关系学士学位。

王伟冰，安远AI安全研究高级经理，负责AI安全和治理研究工作，包含安全评测、治理策略、对外合作等。他曾任百度资深研发工程师，负责基础架构、工程效能、云原生、大模型推理相关工作。后来又独立从事AI安全的宏观研究和写作，如AI发展趋势、安全风险和解决方案的研究。伟冰毕业于北京大学物理学院。

葛北理，安远AI国际治理兼职研究员，专注于国际人工智能治理。同时，他还在北京大学燕京学堂攻读研究生学位。此前，他曾在战略咨询公司 China Policy 担任科技政策分析师。他拥有莱顿大学国际关系学士学位，并辅修数据科学与人工智能。

安远AI于2023年正式获得北京市社会企业认证

安远AI是北京首批人工智能领域的社会企业之一，也是目前全国唯一的人工智能治理和科技伦理治理领域的社会企业。

在AI飞速发展的背景下，安远AI在坚持为客户创造价值的同时，将坚定不移地追求社会使命。我们将继续致力于为科技企业、投资机构和政府部门等提供风险管理咨询，希望引领人机关系走向安全、可信、可靠的方向发展。

联系我们

安远AI是北京谋远咨询有限公司旗下的品牌