<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>前沿人工智能风险管理 - Concordia AI</title>
	<atom:link href="https://concordia-ai.com/zh-hans/research-topics/%E5%89%8D%E6%B2%BF%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E9%A3%8E%E9%99%A9%E7%AE%A1%E7%90%86/feed/" rel="self" type="application/rss+xml" />
	<link>https://concordia-ai.com/zh-hans/</link>
	<description>Guiding the governance of AI for a long and flourishing future</description>
	<lastBuildDate>Thu, 27 Nov 2025 07:42:51 +0000</lastBuildDate>
	<language>zh-Hans</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.8.5</generator>

<image>
	<url>https://concordia-ai.com/wp-content/uploads/2025/06/cropped-Favicon-32x32.png</url>
	<title>前沿人工智能风险管理 - Concordia AI</title>
	<link>https://concordia-ai.com/zh-hans/</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>前沿人工智能风险管理框架：风险评测实践报告</title>
		<link>https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework-in-practice-a-risk-analysis-technical-report/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=frontier-ai-risk-management-framework-in-practice-a-risk-analysis-technical-report</link>
		
		<dc:creator><![CDATA[Xinyuan Tian]]></dc:creator>
		<pubDate>Sat, 26 Jul 2025 05:10:46 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/frontier-ai-risk-management-framework-in-practice-a-risk-analysis-technical-report/</guid>

					<description><![CDATA[<p>当前，人工智能技术日新月异，一系列风险隐患随之而来。全球顶尖研究机构正积极投身于前沿风险的讨论中，虽已就主要风&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework-in-practice-a-risk-analysis-technical-report/">前沿人工智能风险管理框架：风险评测实践报告</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>当前，人工智能技术日新月异，一系列风险隐患随之而来。全球顶尖研究机构正积极投身于前沿风险的讨论中，虽已就主要风险维度形成初步共识，但仍面临诸多挑战。现有AI风险治理框架往往难以有效应对高突发性、高不对称性风险。其源于前沿通用性人工智能（General-Purpose AI）的净新增能力，可导致危害规模扩大、滥用门槛降低，且具备高严重性、难以逆转等特性，因此，建立更具前瞻性的治理体系显得尤为关键。 2025年7月27日，在安远AI主办的<a href="https://mp.weixin.qq.com/mp/wappoc_appmsgcaptcha?poc_token=HCS1JWmj9XemWIVOdDEEtOlrnad9uHOBi3hHz5hN&amp;target_url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzg4NTgxNjEwMg%3D%3D%26mid%3D2247501658%26idx%3D1%26sn%3Ddd7d65b45b0b9d41f4f67f327700ff67%26scene%3D21#wechat_redirect">WAIC 2025人工智能安全与治理论坛</a>上，上海人工智能实验室与安远AI联合发布了《前沿人工智能风险管理框架》v1.0，并配以《风险评测实践报告》。作为国内首个聚焦前沿风险的风险管理框架，《框架》为通用型人工智能模型研发者提供了一套全流程的风险管理指南，旨在主动地识别、评估、缓解和治理一系列对于公共安全和国家安全的严重风险。《框架》识</p>
<p>别了四大核心风险类型：滥用风险、失控风险、意外风险和系统性风险，创新性地提出了“部署环境(E)-威胁源(T)-使能能力(C)”三维分析框架，并给出了针对性的风险识别、评估、缓解与治理建议，<a href="https://mp.weixin.qq.com/mp/wappoc_appmsgcaptcha?poc_token=HAC1JWmjyfsQdjNj7JHRqVMnVcpUaFX9vRcHiO2r&amp;target_url=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzkzNzIyNDg4MQ%3D%3D%26mid%3D2247562075%26idx%3D2%26sn%3Dbac4f995e02e67284352fda8d365df8f%26scene%3D21#wechat_redirect">推动前沿风险从“模糊的定义”到“精确的坐标”</a>。《框架》同时发布有英文版。 点击<a href="https://arxiv.org/pdf/2507.16534">链接</a>查看《实践报告》。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework-in-practice-a-risk-analysis-technical-report/">前沿人工智能风险管理框架：风险评测实践报告</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>前沿AI风险管理框架</title>
		<link>https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=frontier-ai-risk-management-framework</link>
		
		<dc:creator><![CDATA[Xinyuan Tian]]></dc:creator>
		<pubDate>Fri, 25 Jul 2025 14:58:08 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/frontier-ai-risk-management-framework/</guid>

					<description><![CDATA[<p>上海人工智能实验室联合安远AI ，正式发布《人工智能前沿风险管理框架（1.0版）》（以下简称 “框架”），旨在&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework/">前沿AI风险管理框架</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>上海人工智能实验室联合安远AI ，正式发布《人工智能前沿风险管理框架（1.0版）》（以下简称 “框架”），旨在为通用型人工智能（General-Purpose AI）模型研发者提供全面的风险管理指导 方针，主动识别、评估、缓解和治理一系列对公共安全和国家安全构成威胁的严重人工智能风险， 保障个体与社会的安全。 本框架旨在为通用型人工智能模型研发者管理其通用型人工智能模型可能带来的严重风险提供指 导。框架充分借鉴了安全攸关型行业的风险管理标准与最佳实践，涵盖风险管理的六大核心流程： 风险识别、风险阈值、风险分析、风险评价、风险缓解及风险治理。</p>
<p>· 1. 风险识别：本章节聚焦通用型人工智能模型可能引发的严重风险，明确四大核心风险类 型：滥用风险、失控风险、意外风险及系统性风险。我们计划通过持续更新风险分类体系， 动态应对未知与新兴风险。</p>
<p>· 2. 风险阈值：本章节明确了一系列不可接受的风险结果（红线）以及触发更高级别安全保障 措施的早期预警指标（黄线）。我们针对可能威胁公共安全和国家安全的几个关键领域设定 阈值，其中包括：网络攻击、生物威胁、大规模说服和有害操控，以及失控风险。</p>
<p>· 3. 风险分析：本章节建议在人工智能全生命周期中贯穿实施动态风险分析，以判断模型是 否越过黄线——即达到触发更高级别安全措施的早期预警指标。我们建议AI研发者在研发前 和部署前进行系统性评估，以便为关键的部署决策提供参考。同步应建立部署后持续监测 机制，为新一代系统研发提供安全指引。与本框架同时发布的还有一份针对一系列通用型 人工智能模型的风险评测技术报告。</p>
<p>· 4. 风险评价：建立三级风险分级体系：绿色区域（基于常规措施可安全部署）、黄色区域 （需强化安全防护与授权）、红色区域（需特殊措施，如限制部署或限制研发）。我们建议 对缓解措施实施后的剩余风险进行迭代评估，进一步采取降低风险的措施直至风险达到可接 受水平。</p>
<p>· 5. 风险缓解：构建全生命周期纵深防御风险缓解策略，包含三种风险缓解措施：安全训练措 施、部署缓解措施及模型安保措施，并根据模型处于绿色区域、黄色区域或红色区域设定不 同的保障级别。我们呼吁全球持续加大AI安全基础研究投入，当前技术手段尚难以充分保障 先进AI系统的安全性。</p>
<p>· 6. 风险治理：提出监督和调整整个风险管理流程的治理路径。建立四维治理体系：内部治理 机制、透明度与社会监督、应急管控机制、政策定期更新和反馈机制，并根据模型处于绿色 区域、黄色区域或红色区域设定不同的保障级别。</p>
<p><a href="https://concordia-ai.com/wp-content/uploads/2025/07/Frontier-AI-Risk-Management-Framework-v1.0-en.pdf">框架英文版</a>  <a href="https://concordia-ai.com/wp-content/uploads/2025/07/Frontier-AI-Risk-Management-Framework-v1.0-cn.pdf">框架中文版</a></p><p>The post <a href="https://concordia-ai.com/zh-hans/research/frontier-ai-risk-management-framework/">前沿AI风险管理框架</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>人工智能 x 生命科学的负责任创新</title>
		<link>https://concordia-ai.com/zh-hans/research/responsible-innovation-in-ai-x-life-sciences/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=responsible-innovation-in-ai-x-life-sciences</link>
		
		<dc:creator><![CDATA[Xinyuan Tian]]></dc:creator>
		<pubDate>Fri, 25 Jul 2025 14:54:52 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/responsible-innovation-in-ai-x-life-sciences/</guid>

					<description><![CDATA[<p>2025年7月27日，在安远AI主办的WAIC 2025 人工智能安全与治理论坛上，安远AI与天津大学生物安全&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/responsible-innovation-in-ai-x-life-sciences/">人工智能 x 生命科学的负责任创新</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>2025年7月27日，在安远AI主办的<a href="https://mp.weixin.qq.com/s?__biz=Mzg4NTgxNjEwMg==&amp;mid=2247501658&amp;idx=1&amp;sn=dd7d65b45b0b9d41f4f67f327700ff67&amp;scene=21#wechat_redirect">WAIC 2025 人工智能安全与治理论坛</a>上，<strong>安远</strong><strong>AI与天津大学生物安全战略研究中心联合发布了《人工智能 x 生命科学的负责任创新》报告。</strong></p>
<p>报告整体分为7个章节，篇幅逾70页，参考了300余项资料。系统探讨了人工智能与生命科学融合的关键趋势，强调其变革潜力，识别并评估相关风险，并审视现有的生物安全治理实践。最后，报告提出了风险缓解策略与治理选项，并为不同利益相关方提供了有针对性的建议。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/responsible-innovation-in-ai-x-life-sciences/">人工智能 x 生命科学的负责任创新</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>人工智能安全作为全球公共产品</title>
		<link>https://concordia-ai.com/zh-hans/research/examining-ai-safety-as-a-global-public-good/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=examining-ai-safety-as-a-global-public-good</link>
		
		<dc:creator><![CDATA[eggplant]]></dc:creator>
		<pubDate>Fri, 11 Jul 2025 11:21:06 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/examining-ai-safety-as-a-global-public-good/</guid>

					<description><![CDATA[<p>随着人工智能系统的能力不断增强并深入融入社会，人工智能的安全开发已经成为一项关键的治理挑战。《人工智能安全作为&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/examining-ai-safety-as-a-global-public-good/">人工智能安全作为全球公共产品</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>随着人工智能系统的能力不断增强并深入融入社会，人工智能的安全开发已经成为一项关键的治理挑战。《人工智能安全作为全球公共产品：影响、挑战与研究重点》（Examining AI Safety as a Global Public Good: Implications, Challenges, and Research Priorities） 由安远AI、牛津马丁人工智能治理倡议和卡内基国际和平研究院共同主导，该报告借鉴气候变化、核安全和全球健康治理的经验教训，探讨了将人工智能安全视为&#8221;公共产品&#8221;是否能帮助应对这些挑战。分析确定了三个关键的协调挑战：</p>
<ul>
<li>平衡集体责任，同时追究在人工智能开发中拥有不成比例权力的利益相关者的责任</li>
<li>管理共享人工智能安全最佳实践与限制潜在危险能力传播之间的张力</li>
<li>确保安全要求不会限制人工智能对可持续发展的潜力或延续全球不平等</li>
</ul>
<p>安远AI国际人工智能治理主管吴君仪、安远AI创始人谢旻希，与来自世界各地的14位学者共同撰写了这份报告。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/examining-ai-safety-as-a-global-public-good/">人工智能安全作为全球公共产品</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>探索人工智能前沿：人工智能自主体的演进和影响入门指南</title>
		<link>https://concordia-ai.com/zh-hans/research/navigating-the-ai-frontier-a-primer-on-the-evolution-and-impact-of-ai-agents/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=navigating-the-ai-frontier-a-primer-on-the-evolution-and-impact-of-ai-agents</link>
		
		<dc:creator><![CDATA[eggplant]]></dc:creator>
		<pubDate>Wed, 09 Jul 2025 09:21:11 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/navigating-the-ai-frontier-a-primer-on-the-evolution-and-impact-of-ai-agents/</guid>

					<description><![CDATA[<p>2024年12月16日,由安远AI参与的世界经济论坛(World Economic Forum)白皮书《探索人&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/navigating-the-ai-frontier-a-primer-on-the-evolution-and-impact-of-ai-agents/">探索人工智能前沿：人工智能自主体的演进和影响入门指南</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>2024年12月16日,由安远AI参与的世界经济论坛(World Economic Forum)白皮书《探索人工智能前沿：人工智能自主体的演进和影响入门指南》(Navigating the AI Frontier: A Primer on the Evolution and Impact of AI Agents)正式发布。白皮书探讨了人工智能自主体的发展，并研究了人工智能自主体与大语言模型和多模态模型的最新进展之间的联系，重点介绍了人工智能自主体如何提高医疗、教育和金融等各个领域的效率。</p>
<p>其追溯了人工智能从简单的基于规则的程序到具有复杂决策能力的复杂实体的演变过程，讨论了人工智能自主体的好处和风险。报告强调了透明度和问责制等道德考量，强调了建立健全治理框架和跨部门合作的必要性。</p>
<p>作为世界经济论坛人工智能治理联盟工作组的一员，安远AI深度参与了白皮书的迭代，技术经理段雅文以主要贡献者身份获报告正式致谢。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/navigating-the-ai-frontier-a-primer-on-the-evolution-and-impact-of-ai-agents/">探索人工智能前沿：人工智能自主体的演进和影响入门指南</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>基础模型的负责任开源</title>
		<link>https://concordia-ai.com/zh-hans/research/responsible-open-sourcing-of-foundation-models-cn/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=responsible-open-sourcing-of-foundation-models-cn</link>
		
		<dc:creator><![CDATA[eggplant]]></dc:creator>
		<pubDate>Sun, 15 Jun 2025 09:52:52 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/responsible-open-sourcing-of-foundation-models-cn/</guid>

					<description><![CDATA[<p>2024年4月27日，中关村论坛平行论坛之一“通用人工智能论坛”在中关村国家自主创新示范区会议中心召开。论坛由&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/responsible-open-sourcing-of-foundation-models-cn/">基础模型的负责任开源</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>2024年4月27日，中关村论坛平行论坛之一“通用人工智能论坛”在中关村国家自主创新示范区会议中心召开。论坛由北京市科学技术委员会、中关村科技园区管理委员会，北京市海淀区人民政府主办，由北京通用人工智能研究院、北京大学人工智能研究院、北京大学智能学院、清华大学自动化系承办，安远AI协办，汇聚海内外顶尖专家学者分享最新技术趋势、邀请行业专家展示前沿科技成果、吸引企业领袖探讨产业发展机遇。</p>
<p>本次论坛的一大亮点是安远AI联合北京大学人工智能研究院、北京大学武汉人工智能研究院、北京通用人工智能研究院，共同发布《基础模型的负责任开源——超越开源闭源的二元对立: 负责任开源的内涵、实践与方案》报告。</p>
<p>开源基础模型已成为创新的重要驱动力之一，如何平衡发展与安全至关重要，但目前这一领域存在诸多争论需要厘清。本报告从安全治理的角度分析AI开源的主要争论，系统性梳理了各国在开源AI治理上的政策取向，并建议超越开源闭源的二元对立，推动并建议负责任开源的务实方案。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/responsible-open-sourcing-of-foundation-models-cn/">基础模型的负责任开源</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>前沿人工智能安全的最佳实践——面向中国机构的研发实践案例与政策制定指南</title>
		<link>https://concordia-ai.com/zh-hans/research/best-practices-for-frontier-ai-safety-research-and-development-practices-and-policy-construction-guide-for-chinese-institutions-cn/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=best-practices-for-frontier-ai-safety-research-and-development-practices-and-policy-construction-guide-for-chinese-institutions-cn</link>
		
		<dc:creator><![CDATA[eggplant]]></dc:creator>
		<pubDate>Sun, 15 Jun 2025 09:46:36 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/best-practices-for-frontier-ai-safety-research-and-development-practices-and-policy-construction-guide-for-chinese-institutions-cn/</guid>

					<description><![CDATA[<p>由清华大学和香港科技大学联合主办“2023人工智能合作与治理国际论坛”12月8-9日在香港科技大学举办。其中，&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/best-practices-for-frontier-ai-safety-research-and-development-practices-and-policy-construction-guide-for-chinese-institutions-cn/">前沿人工智能安全的最佳实践——面向中国机构的研发实践案例与政策制定指南</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>由清华大学和香港科技大学联合主办“2023人工智能合作与治理国际论坛”12月8-9日在香港科技大学举办。其中，安远AI联合举办并主持了12月9日下午的“前沿人工智能安全与治理”(Frontier AI Safety and Governance)分论坛。</p>
<p>本次论坛的一大亮点是《前沿人工智能安全的最佳实践（征求意见稿）》的首次公开。经过了一个多月的专家反馈，我们对所有收到的宝贵意见均进行了认真修订，正式发布《前沿人工智能安全的最佳实践——面向中国机构的研发实践案例与政策制定指南》。</p>
<p>本报告概述了当今人工智能安全领域有前景的想法、新兴流程和相关实践，其目的是作为前沿人工智能机构安全政策制定的参考和指南。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/best-practices-for-frontier-ai-safety-research-and-development-practices-and-policy-construction-guide-for-chinese-institutions-cn/">前沿人工智能安全的最佳实践——面向中国机构的研发实践案例与政策制定指南</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>人工智能对齐：全面性综述</title>
		<link>https://concordia-ai.com/zh-hans/research/ai-alignment-a-comprehensive-survey/?utm_source=rss&#038;utm_medium=rss&#038;utm_campaign=ai-alignment-a-comprehensive-survey</link>
		
		<dc:creator><![CDATA[eggplant]]></dc:creator>
		<pubDate>Tue, 27 Feb 2024 15:18:12 +0000</pubDate>
				<guid isPermaLink="false">https://concordia-ai.com/research/ai-alignment-a-comprehensive-survey/</guid>

					<description><![CDATA[<p>北大团队联合国内外多所高校的研究者推出AI对齐全面性综述，覆盖“从反馈学习 (Learning from Fe&#8230;</p>
<p>The post <a href="https://concordia-ai.com/zh-hans/research/ai-alignment-a-comprehensive-survey/">人工智能对齐：全面性综述</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></description>
										<content:encoded><![CDATA[<p>北大团队联合国内外多所高校的研究者推出<a href="https://alignmentsurvey.com/uploads/AI-Alignment-A-Comprehensive-Survey-CN.pdf">AI对齐全面性综述</a>，覆盖“从反馈学习 (Learning from Feedback)” 、“在分布偏移下学习 (Learning under Distributional Shift)” 、“对齐保证 (Assurance)”、“AI治理(AI Governance)” &#8211; 实现AI对齐（AI Alignment）的四个核心问题，并提出AI对齐是一个不断更新、迭代改进的环路。</p>
<p>其中，安远AI的段雅文、吴君仪、谢旻希对综述整体方向、内容框架和第五章AI治理的部分做出了贡献。</p><p>The post <a href="https://concordia-ai.com/zh-hans/research/ai-alignment-a-comprehensive-survey/">人工智能对齐：全面性综述</a> first appeared on <a href="https://concordia-ai.com/zh-hans/">Concordia AI</a>.</p>]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
