CSlawyer1985/legal-skillhub / skills/ai-act-knowledge
ai-act-knowledge
Verified欧盟 AI 法案知识引擎——以 70 份官方欧盟来源文件为基础的权威监管问答(包括 2026 年委员会关于 Art. 6 高风险分类的指南草稿——一般原则、附件 I、附件 III)。基于完整条例文本、委员会指南、EDPB/EDPS 意见、《实践守则》、协调标准、FRIA 指南、事件模板和行业特定指引,以条款级引用回答关于 AI 法案的任何问题。当用户询问"EU AI Act"、"AI Act regulation"、"Regulation 2024/1689"、"KI-Verordnung"、要求"explain an AI Act article"、"what does Article X say"、"AI Act requirements"、"AI Act penalties"、"AI Act timeline"、"GPAI obligations"、"high-risk AI"、"prohibited AI practices"、"AI Act and GDPR"、"fundamental rights impact assessment"、"AI Act standards"、"AI Act national implementation"、"AI literacy"、"serious incident reporting"、"Digital Omnibus"、"AI regulatory sandbox",或任何关于欧盟人工智能监管的问题时,应使用本技能。德语术语同样触发:"KI-Gesetz"、"KI-Verordnung"、"Hochrisiko-KI"、"KI-Kompetenz"、"Grundrechte-Folgenabschaetzung"、"GPAI-Verhaltenskodex"。对于产出分类决定而非知识答案的评估工作流,提议在会话内运行结构化风险等级分类。
references/codes-of-practice/gpai-code-final.md
View on GitHub# 通用人工智能行为守则——终版
本 GPAI 行为守则终版,为通用人工智能模型(general-purpose AI models,GPAI)的提供者确立了《人工智能法案》(EU AI Act)第 53-56 条项下的合规措施。
| 方面 | 详情 |
|--------|--------|
| 机构 | 欧盟委员会(European Commission)/ 人工智能办公室(AI Office) |
| 日期 | 2025 年 7 月 |
| 来源 URL | https://digital-strategy.ec.europa.eu/en/library/general-purpose-ai-code-practice-final-version |
| NotebookLM 来源 ID | 1644e8da-... |
*德文:Verhaltenskodex fuer KI-Modelle mit allgemeinem Verwendungszweck -- Endgueltige Fassung*
---
## 目标
本行为守则(以下简称“守则”)的总体目标是改善内部市场的运作,促进以人为本、值得信赖的人工智能(以下简称“AI”)的推广应用,同时依据《AI 法案》第 1 条第 1 款,确保对《宪章》所载健康、安全及基本权利(包括民主、法治和环境保护)提供高水平保护,使其免受 AI 在欧盟境内的有害影响,并支持创新。
为实现这一总体目标,本守则的具体目标是:
- 作为证明遵守《AI 法案》第 53 条和第 55 条所规定义务的指导文件,同时承认遵守本守则并不构成遵守《AI 法案》义务的决定性证据。
- 确保通用人工智能模型提供者遵守《AI 法案》项下义务,并使 AI 办公室能够评估选择依赖本守则来证明其遵守《AI 法案》义务的通用人工智能模型提供者的合规情况。
---
## 第一部分:通用人工智能模型提供者的承诺
### 透明度章
#### 承诺 1:文档编制
为履行《AI 法案》第 53 条第 1 款第(a)项和第(b)项规定的义务,签署方承诺按照措施 1.1 编制并持续更新模型文档,按照措施 1.2 向拟将通用人工智能模型集成到其 AI 系统中的 AI 系统提供者(以下简称“下游提供者”)提供相关信息,并应 AI 办公室要求(在国家主管当局向 AI 办公室提出请求时,如该请求系其依据《AI 法案》行使其监督任务所严格必要,特别是评估基于通用人工智能模型构建的高风险 AI 系统合规性、而该系统的提供者不同于模型提供者时,AI 办公室可代为向其提供相关信息)向其提供相关信息,并按照措施 1.3 确保所记录信息的质量、安全性和完整性。根据《AI 法案》第 53 条第 2 款,这些措施不适用于以自由和开源许可证发布、且满足该款规定条件的通用人工智能模型提供者,除非该模型属于具有系统性风险的通用人工智能模型。
### 版权章
#### 承诺 1:版权政策
为证明遵守《AI 法案》第 53 条第 1 款第(c)项规定的义务——即制定政策以遵守欧盟版权及相关权利法律,特别是识别并遵守权利持有人依据《(欧盟)2019/790 号指令》第 4 条第 3 款以包括最先进技术在内的方式表达的权利保留声明——签署方承诺制定、持续更新并实施此类版权政策。下列措施不影响对欧盟版权及相关权利法律的遵守。它们规定了签署方证明其遵守为其投放欧盟市场的通用人工智能模型制定版权政策义务的承诺方式。
### 安全与安保章(承诺摘要)
**承诺 1:安全与安保框架**——签署方承诺采用最先进的安全与安保框架(以下简称“框架”)。该框架的目的是概述签署方为确保其模型产生的系统性风险处于可接受水平而实施的风险管理流程与措施。
**承诺 2:系统性风险识别**——签署方承诺识别源自模型的风险。
**承诺 3:系统性风险分析**——签署方承诺分析每项已识别的系统性风险。
**承诺 4:系统性风险可接受性判定**——签署方承诺规定系统性风险可接受性标准,并判定系统性风险是否可接受。
**承诺 5:安全缓解措施**——签署方承诺在整个模型生命周期内实施适当的安全缓解措施。
**承诺 6:安保缓解措施**——签署方承诺为其模型及物理基础设施实施适当水平的网络安全保护。
**承诺 7:安全与安保模型报告**——签署方承诺向 AI 办公室报告有关其模型及系统性风险评估与缓解流程的信息。
**承诺 8:系统性风险责任分配**——签署方承诺明确界定职责、分配资源并培育健康的风险文化。
**承诺 9:重大事件报告**——签署方承诺实施适当的流程,以跟踪、记录和报告重大事件。
**承诺 10:补充文档**——签署方承诺记录安全与安保章的实施情况,并发布其框架和模型报告的摘要版本。
---
## 第二部分:透明度章——详细措施
*第一工作组,透明度——Nuria Oliver(主席)与 Rishi Bommasani(副主席)*
### 引言说明
行为守则的透明度部分描述了签署方承诺实施的、以遵守《AI 法案》第 53 条第 1 款第(a)项和第(b)项及相应附件十一和附件十二项下透明度义务的三项措施。为便利遵守和履行措施 1.1 所载承诺,守则附有一份用户友好的模型文档表格,使签署方能够在单一文件中轻松汇集《AI 法案》上述条款所要求的信息。
模型文档表格逐项标明信息是面向下游提供者、AI 办公室还是国家主管当局。面向 AI 办公室或国家主管当局的信息仅在 AI 办公室提出请求后方可提供,无论是依职权提出,还是基于国家主管当局向 AI 办公室提出的请求。此类请求将载明请求的法律依据和目的,且仅涉及表格中于请求之时为 AI 办公室履行《AI 法案》项下任务所严格必要、或为国家主管当局于请求之时行使其《AI 法案》项下监督任务(特别是评估基于通用人工智能模型构建的高风险 AI 系统合规性、而该系统的提供者不同于模型提供者时)所严格必要的项目。
根据《AI 法案》第 78 条,模型文档表格中所含任何信息的接收方均有义务尊重所获信息的保密性,特别是知识产权、保密商业信息或商业秘密,并实施充分有效的网络安全措施,以保护所获信息的安全性和保密性。
### 透明度序言
1. 签署方认识到通用人工智能模型提供者在 AI 价值链中的特殊角色与责任,因其提供的模型可能构成一系列下游 AI 系统的基础,而这些系统往往由需要充分了解模型及其能力(既为将其产品集成此类模型,也为履行《AI 法案》项下义务)的下游提供者提供(参见《AI 法案》序言第 101 段)。
2. 签署方认识到,在对通用人工智能模型进行微调或其他修改的情况下,如果实施修改的自然人或法人、公共当局、机构或其他组织成为经修改模型的提供者,从而须承担通用人工智能模型提供者的义务,则其在本守则透明度章下的承诺应限于该修改或微调,以符合比例原则(参见《AI 法案》序言第 109 段)。在此背景下,签署方应考虑欧盟委员会发布的相关指南。
3. 签署方认识到,在不超出本守则透明度章承诺的前提下,向 AI 办公室或下游提供者提供信息时,可能需要考虑市场和技术发展,以使信息继续发挥其预期作用——即允许 AI 办公室和国家主管当局履行《AI 法案》项下任务,并允许下游提供者将签署方的模型集成到 AI 系统中并遵守《AI 法案》项下义务(参见《AI 法案》第 56 条第 2 款第(a)项)。
4. 本守则本章侧重于《AI 法案》第 53 条第 1 款第(a)项和第(b)项规定的、适用于所有通用人工智能模型提供者的文档编制义务(不影响《AI 法案》第 53 条第 2 款规定的例外情形),即涉及《AI 法案》附件十一第一节和附件十二的文档义务。仅适用于具有系统性风险的通用人工智能模型提供者的、涉及《AI 法案》附件十一第二节的文档义务,由本守则安全与安保章的措施 10.1 涵盖。
### 承诺 1:文档编制(详细)
**法律依据:**《AI 法案》第 53 条第 1 款第(a)项、第 53 条第 1 款第(b)项、第 53 条第 2 款、第 53 条第 7 款及附件十一、附件十二
为履行《AI 法案》第 53 条第 1 款第(a)项和第(b)项规定的义务,签署方承诺按照措施 1.1 编制并持续更新模型文档,按照措施 1.2 向下游提供者提供相关信息,并应 AI 办公室要求(在国家主管当局提出请求时,可代为提供)向其提供相关信息,并按照措施 1.3 确保所记录信息的质量、安全性和完整性。根据《AI 法案》第 53 条第 2 款,这些措施不适用于以自由和开源许可证发布、且满足该款规定条件的通用人工智能模型提供者,除非该模型属于具有系统性风险的通用人工智能模型。
### 措施 1.1:编制并持续更新模型文档
签署方在将通用人工智能模型投放市场时,应至少记录下文模型文档表格所列的全部信息(以下简称“模型文档”)。签署方可选择填写附录中提供的模型文档表格以履行本承诺。
签署方将更新模型文档,以反映模型文档所含信息的有关变化,包括同一模型的更新版本相关变化,同时将先前版本的模型文档保留至模型投放市场后满 10 年为止。
### 措施 1.2:提供相关信息
签署方在将通用人工智能模型投放市场时,将通过其网站,或在无网站时通过其他适当方式,公开披露供 AI 办公室和下游提供者请求获取模型文档所含相关信息或其他必要信息的联系信息。
签署方应 AI 办公室依据《AI 法案》第 91 条或第 75 条第 3 款就模型文档的一项或多项内容或任何补充信息提出的请求——只要该等信息为 AI 办公室履行《AI 法案》项下任务所必要,或为国家主管当局行使《AI 法案》项下监督任务(特别是评估基于通用人工智能模型构建的高风险 AI 系统合规性、而该系统的提供者不同于模型提供者时)所必要——在该请求按照《AI 法案》第 91 条第 4 款规定的期限内,以最新形式提供所请求的信息。
签署方将向下游提供者提供最新模型文档中面向下游提供者的信息,但须遵守《AI 法案》第 53 条第 7 款和第 78 条规定的保密保障措施和条件。此外,在不影响依照欧盟和国家法律尊重和保护知识产权、保密商业信息或商业秘密之必要性的前提下,签署方应下游提供者请求,将在该等信息为使其充分了解与其 AI 系统集成相关的通用人工智能模型能力与局限、并使其能够遵守《AI 法案》项下义务所必要的范围内,提供补充信息。签署方将在合理时限内提供此类信息,除特殊情况外,最迟不超过收到请求后 14 天。
鼓励签署方考虑是否可将已记录信息全部或部分向公众披露,以促进公共透明度。其中部分信息也可能以摘要形式作为训练内容摘要的组成部分予以要求——根据《AI 法案》第 53 条第 1 款第(d)项,提供者必须按照 AI 办公室将提供的模板向公众提供该摘要。
### 措施 1.3:确保信息的质量、完整性和安全性
签署方将确保所记录的信息经过质量和完整性控制,作为遵守《AI 法案》义务的证据予以留存,并防止意外篡改。在编制、更新及控制信息和记录的质量与安全性过程中,鼓励签署方遵循既定规程和技术标准。
---
## 第三部分:版权章——详细措施
*第一工作组,版权——Alexander Peukert(共同主席)与 Celine Castets-Renard(副主席)*
### 版权序言
1. 本章旨在促进《AI 法案》第 53 条第 1 款第(c)项所规定义务的适当履行,据此,在欧盟市场投放通用人工智能模型的提供者必须制定政策以遵守欧盟版权及相关权利法律,特别是识别并遵守权利持有人依据《(欧盟)2019/790 号指令》第 4 条第 3 款以包括最先进技术在内的方式表达的权利保留声明。虽然签署方将实施本章所列措施以证明其遵守《AI 法案》第 53 条第 1 款第(c)项,但遵守本守则并不构成对欧盟版权及相关权利法律的遵守。
2. 本章绝不影响欧盟版权及相关权利法律的适用与执行——该等法律的解释权属于成员国法院,最终属于欧洲法院。
3. 签署方特此确认,欧盟版权及相关权利法律:
- 规定于面向成员国的各项指令中,就当前目的而言,《2001/29/EC 号指令》、《(欧盟)2019/790 号指令》和《2004/48/EC 号指令》最具相关性;
- 规定了预防性质的专有权,因此除适用例外或限制情形外,以事先同意为基础;
- 在《(欧盟)2019/790 号指令》第 4 条第 1 款中规定了文本和数据挖掘的例外或限制,其适用条件为合法访问,且该款所述作品及其他受保护客体的使用未被其权利持有人依据《(欧盟)2019/790 号指令》第 4 条第 3 款以适当方式明示保留。
4. 本章中要求采取相称措施的承诺,应与提供者的规模相称且相配,并适当考虑中小企业(包括初创企业)的利益。
5. 本章不影响签署方与权利持有人之间就授权使用作品及其他受保护客体达成的协议。
6. 本章中证明遵守《AI 法案》第 53 条第 1 款第(c)项义务的承诺,是对提供者依据《AI 法案》第 53 条第 1 款第(d)项所负义务的补充——即按照 AI 办公室将提供的模板,编制并向公众公开其通用人工智能模型训练所用内容的足够详尽的摘要。
### 承诺 1:版权政策(详细)
**法律依据:**《AI 法案》第 53 条第 1 款第(c)项
(1)为证明遵守《AI 法案》第 53 条第 1 款第(c)项规定的义务——即制定政策以遵守欧盟版权及相关权利法律,特别是识别并遵守权利持有人依据《(欧盟)2019/790 号指令》第 4 条第 3 款以包括最先进技术在内的方式表达的权利保留声明——签署方承诺制定、持续更新并实施此类版权政策。下列措施不影响对欧盟版权及相关权利法律的遵守。它们规定了签署方证明其遵守为其投放欧盟市场的通用人工智能模型制定版权政策义务的承诺方式。
(2)此外,签署方仍负责在相关成员国境内实施任何涉版权行为之前,核实其版权政策所含下述措施符合成员国对欧盟版权及相关权利法律(特别是但不限于《(欧盟)2019/790 号指令》第 4 条第 3 款)的转化实施——因为如未核实,可能依据欧盟版权及相关权利法律产生责任。
### 措施 1.1:制定、持续更新并实施版权政策
(1)签署方将为其投放欧盟市场的所有通用人工智能模型制定、持续更新并实施一项政策,以遵守欧盟版权及相关权利法律。签署方承诺在一份文件中描述该政策,并纳入本章所列各项措施。签署方将就其组织内部实施和监督该政策的责任作出分配。
(2)鼓励签署方公开并持续更新其版权政策摘要。
### 措施 1.2:在抓取万维网时仅复制和提取合法可访问的受版权保护内容
(1)为协助确保签署方在自行使用或委托他人代其使用网络爬虫抓取或以其他方式汇编数据以进行《(欧盟)2019/790 号指令》第 2 条第 2 款定义的文本和数据挖掘及其通用人工智能模型训练时,仅复制和提取合法可访问的作品及其他受保护客体,签署方承诺:
- 不规避《2001/29/EC 号指令》第 6 条第 3 款定义的、旨在防止或限制针对作品及其他受保护客体实施未授权行为的有效技术措施,特别是尊重订阅模式或付费墙施加的任何技术性拒绝或访问限制,以及
- 将向公众提供内容、且于抓取之时被欧盟和欧洲经济区法院或公共当局认定为在商业规模上持续反复侵犯版权及相关权利的网站排除在抓取范围之外。为履行本措施,欧盟将在一个欧盟网站上公开发布由欧盟和欧洲经济区相关机构发布的上述网站列表链接的动态清单。
### 措施 1.3:在抓取万维网时识别并遵守权利保留声明
(1)为协助确保签署方在自行使用或委托他人代其使用网络爬虫抓取或以其他方式汇编数据以进行《(欧盟)2019/790 号指令》第 2 条第 2 款定义的文本和数据挖掘及其通用人工智能模型训练时,以包括最先进技术在内的方式识别并遵守依据该指令第 4 条第 3 款表达的机器可读权利保留声明,签署方承诺:
- 采用能够读取并遵循按照《互联网工程任务组(IETF)意见征求稿第 9309 号》规定的机器人排除协议(robots.txt)所表达指令的网络爬虫,以及该协议的任何后续版本——只要 IETF 证明其技术可行且可由 AI 提供者和内容提供者(包括权利持有人)实施,以及
- 识别并遵守依据《(欧盟)2019/790 号指令》第 4 条第 3 款表达权利保留声明的其他适当机器可读协议,例如基于资产的或基于位置的元数据;此类协议要么已被国际或欧洲标准化组织采纳,要么属于最先进水平(包括技术上可实施的),且已被权利持有人广泛采用并考虑不同文化行业,并通过在欧盟层面推动的、由权利持有人、AI 提供者和其他相关利益相关者参与的基于善意讨论的包容性程序获得普遍认可,作为更直接的解决方案,同时为跨行业标准的制定作出前瞻。
(2)本承诺不影响权利持有人依据《(欧盟)2019/790 号指令》第 4 条第 3 款以任何适当方式(例如对于在线公开的内容,以机器可读方式,或以其他方式)明示保留作品及其他受保护客体用于文本和数据挖掘之用途的权利。
此外,本承诺不影响欧盟版权及相关权利法律适用于第三方从互联网抓取或爬取、并由签署方用于文本和数据挖掘及其通用人工智能模型训练的受保护内容,特别是就依据《(欧盟)2019/790 号指令》第 4 条第 3 款表达的权利保留声明而言。
(3)鼓励签署方支持本措施第一款第(a)项和第(b)项所述进程,并自愿与权利持有人和其他相关利益相关者开展善意讨论,以期制定表达依据《(欧盟)2019/790 号指令》第 4 条第 3 款作出权利保留声明的适当机器可读标准和协议。
(4)签署方承诺采取适当措施,使受影响的权利持有人能够获得关于所采用网络爬虫、其 robots.txt 功能以及签署方在抓取时识别并遵守依据《(欧盟)2019/790 号指令》第 4 条第 3 款表达的权利保留声明所采取其他措施的信息,方式为公开该等信息,并提供使受影响权利持有人在该等信息更新时自动获得通知的手段(例如通过聚合网络馈送),但不影响《2004/48/EC 号指令》第 8 条规定的信息权。
(5)同时提供《(欧盟)2022/2065 号条例》第 3 条第(j)项定义的在线搜索引擎、或控制此类提供者的签署方,鼓励其采取适当措施,确保其在文本和数据挖掘活动及本措施第一款所述通用人工智能模型训练背景下对权利保留声明的遵守,不会直接导致其搜索引擎对已表达权利保留声明的内容、域名和/或 URL 的索引产生不利影响。
### 措施 1.4:降低输出侵犯版权的风险
(1)为降低集成了通用人工智能模型的下游 AI 系统生成可能侵犯受欧盟版权及相关权利法律保护的作品或其他客体之权利的输出之风险,签署方承诺:
- 实施适当且相称的技术保障措施,防止其模型生成以侵权方式复制受欧盟版权及相关权利法律保护训练内容的输出,以及
- 在其可接受使用政策、条款和条件或其他等效文件中禁止对模型的侵权性版权使用;对于以自由和开源许可证发布的通用人工智能模型,在不影响许可证自由和开源性质的前提下,在随附模型的文档中向用户提示禁止对模型进行侵权性版权使用。
(2)无论签署方是将模型垂直集成到自身的 AI 系统中,还是基于合同关系将模型提供给其他实体,本措施均适用。
### 措施 1.5:指定联系点并支持投诉的提出
(1)签署方承诺指定与受影响权利持有人进行电子通信的联系点,并提供易于获取的相关信息。
(2)签署方承诺建立机制,允许受影响权利持有人及其授权代表(包括集体管理组织)通过电子方式提交关于签署方未遵守本章承诺的、足够准确且充分佐证的投诉,并提供易于获取的相关信息。签署方将以勤勉、非任意的方式在合理时间内处理投诉,除非投诉明显缺乏依据,或签署方已就同一权利持有人提出的相同投诉作出过回应。本承诺不影响根据欧盟和国家法律执行版权及相关权利可用的措施、救济和制裁。
---
## 第四部分:安全与安保章——详细措施
*第二工作组——Matthias Samwald(主席),Marta Ziosi 与 Alexander Zacherl(副主席)*
*第三工作组——Yoshua Bengio(主席),Daniel Privitera 与 Nitarshan Rajkumar(副主席)*
*第四工作组——Marietje Schaake(主席),Anka Reuel 与 Markus Anderljung(副主席)*
### 主席与副主席声明
九个月前,欧盟委员会任命了具有行业、学术界和政策制定经验的独立 AI 专家担任主席和副主席,负责领导本行为守则安全与安保章的起草工作。
本守则是通用人工智能(GPAI)提供者遵守《AI 法案》义务的自愿性工具。安全与安保章规定了遵守“具有系统性风险的 GPAI”(GPAISR)义务的一种方式。这些义务适用于欧盟市场上最先进模型的提供者。与守则其他部分一样,安全与安保章是数轮起草的产物,纳入了提供者、公民社会及独立专家的反馈。
主席们为欧盟委员会提出了以下优先事项:
1. **定期审查与更新:** 欧盟委员会应为安全与安保章提出更新机制,包括按固定频率(如每两年)进行审查和更新,并保留极少数的紧急更新可能。
2. **明确系统性风险义务的范围:** 本章起草时假定仅约 5-15 家提供者将受系统性风险义务约束。《AI 法案》10^25 FLOP 训练算力阈值可能很快无法仅涵盖最先进的模型——有估计认为数年之内将出现数百个此类模型。欧盟委员会应更新该阈值,建立快速争议机制,探索与能力相关的阈值,并发布执法优先事项。
3. **互补的欧盟法律框架:** 仍存在法律空白,例如适当的举报人保护。AI 办公室应建立专门的 AI 相关举报披露渠道。
4. **大幅增加资金和人员编制:** AI 安全部门(DG CNECT A3)应扩充至 100 名工作人员,整个实施团队扩大至 200 人。欧盟委员会必须优先招募世界一流的技术人才。
5. **技术前瞻部门:** AI 办公室应设立一个由杰出人才组成的前瞻部门,用于扫描 AI 发展前沿的趋势。
6. **加强国际参与:** AI 办公室应在治理强大 AI 的国际论坛中更加积极地参与。
### 安全与安保序言
**适当生命周期管理原则。** 签署方认识到,具有系统性风险的通用人工智能模型提供者应持续评估和缓解系统性风险,在整个模型生命周期内(包括模型投放市场之前和之后发生的发展阶段)采取适当措施,与 AI 价值链上的相关主体(如可能受模型影响的利益相关者)合作并考虑其意见,并通过针对不断改进和新兴的模型能力定期更新,确保其系统性风险管理面向未来(参见《AI 法案》序言第 114 和 115 段)。据此,签署方认识到,实施适当措施通常要求签署方至少采用最先进水平,除非能够以较不先进的流程、措施、方法论、方法或技术明确排除系统性风险。系统性风险评估是一个多步骤过程,模型评估(指评估模型系统性风险所使用的一系列方法)贯穿整个模型生命周期。在实施系统性风险缓解措施时,签署方认识到持续评估其有效性的重要性。
**情境化风险评估与缓解原则。** 签署方认识到,本安全与安保章(以下简称“本章”)仅与具有系统性风险的通用人工智能模型提供者相关,而非与 AI 系统相关。但签署方亦认识到,系统性风险的评估和缓解应在合理可预见范围内包括系统架构、模型可能集成到的其他软件以及推理时可用的计算资源,因为其对模型的影响具有重要意义,例如通过影响安全与安保缓解措施的有效性。
**与系统性风险相称原则。** 签署方认识到,系统性风险的评估和缓解应与风险相称(《AI 法案》第 56 条第 2 款第(d)项)。因此,系统性风险评估和缓解的审查程度,特别是文档编制和报告中的详细程度,应与整个模型生命周期相关时点上存在的系统性风险相称。签署方认识到,虽然系统性风险评估和缓解是迭代且持续的,但无须重复仍适用于模型所生系统性风险的既有评估。
**与现行法律衔接原则。** 签署方认识到,本章构成其他欧盟法律的一部分并受其补充。签署方进一步认识到,保密义务(包括商业保密)在欧盟法律要求的范围内予以保留,且依照本章向欧洲人工智能办公室(以下简称“AI 办公室”)发送的信息将依据《AI 法案》第 78 条处理。此外,签署方认识到,其向 AI 办公室提交的有关未来发展和未来业务活动的信息将被理解为可能发生变化。签署方进一步认识到,本章中旨在培育健康风险文化的措施(措施 8.3)不影响《(欧盟)2019/1937 号指令》(关于举报人保护)及成员国实施法律与《AI 法案》第 87 条相结合所产生的任何义务。签署方还认识到,在国际标准涵盖本章规定的情况下,其可依赖这些国际标准。
**合作原则。** 签署方认识到,系统性风险评估和缓解值得投入大量的时间和资源。其认识到协作效率的优势,例如通过共享模型评估方法和/或基础设施。签署方进一步认识到,在系统性风险评估和缓解中与被许可方、下游修改者和下游提供者合作的重要性,以及让公民社会、学术界和其他相关利益相关者的专家或非专业代表参与理解模型影响的重要性。签署方认识到,此类合作可能涉及达成协议以共享与系统性风险评估和缓解相关的信息,同时确保对敏感信息的相称保护并遵守适用的欧盟法律。签署方进一步认识到,与 AI 办公室合作(《AI 法案》第 53 条第 3 款)以促进具有系统性风险的通用人工智能模型提供者、研究人员和监管机构之间的协作、应对 AI 领域新出现的挑战与机遇的重要性。
**AI 安全与安保创新原则。** 签署方认识到,确定理解并确保具有系统性风险的通用人工智能模型安全与安保的最有效方法仍是一项不断演变的挑战。签署方认识到,本章应鼓励提供者推进 AI 安全与安保及相关流程和措施的最先进水平。签署方认识到,推进最先进水平还包括开发在保持有益能力的同时针对性应对特定风险的方法(例如缓解生物安全风险而不过度削弱有益的生物医学能力),并承认此类精准性要求比非针对性方法投入更大的技术努力和创新。签署方进一步认识到,如果提供者能够通过替代手段实现同等或更优的安全或安保结果且效率更高,此类创新应被视为推进了最先进水平,并值得考虑更广泛的采用。
**预防原则。** 签署方认识到预防原则的重要作用,特别是对于因科学数据缺失或质量不足而尚无法进行全面评估的系统性风险。据此,签署方认识到,在识别系统性风险时,应考虑当前模型采用率及研发轨迹的外推。
**中小企业(“SMEs”)和小型中型企业(“SMCs”)。** 为兼顾具有系统性风险的通用人工智能模型提供者在规模和能力上的差异,对 SME 和 SMC(包括初创企业)采用简化合规方式应当是可行的,前提是符合相称性。例如,SME 和 SMC 可豁免部分报告承诺(《AI 法案》第 56 条第 5 款)。属于 SME 或 SMC 且被豁免报告承诺的签署方认识到,其仍可自愿遵守这些承诺。
**解释。** 签署方认识到,所有承诺和措施均应结合评估和缓解系统性风险的目标加以解释。签署方进一步认识到,鉴于 AI 发展的快速步伐,聚焦于系统性风险评估和缓解的目的性解释对确保本章保持有效、相关且面向未来尤为重要。此外,本章中任何在术语表中定义的术语,均具有该术语表所规定的含义。附录 1 在存在疑问时应本着善意予以解释,并考虑:(1)依据《AI 法案》第 3 条第 2 款“风险”定义确定的发生概率和损害严重程度;以及(2)《AI 法案》第 3 条第 65 款“系统性风险”的定义。本章应与 AI 办公室关于《AI 法案》的任何指南结合并依照其解释。
**重大事件报告。** 签署方认识到,报告重大事件不构成对不当行为的承认。此外,其认识到,关于重大事件的相关信息不能仅在重大事件发生后于模型层面追溯性地跟踪、记录和报告。可能直接或间接导致此类事件的信息往往分散各处,并在签署方知晓重大事件时可能已经丢失、被覆盖或碎片化。这证明在重大事件发生之前即建立流程和措施以跟踪和记录相关信息的正当性。
---
### 承诺 1:安全与安保框架
**法律依据:**《AI 法案》第 55 条第 1 款和第 56 条第 5 款,及序言第 110、114 和 115 段
签署方承诺采用最先进的安全与安保框架(以下简称“框架”)。该框架的目的是概述签署方为确保其模型产生的系统性风险处于可接受水平而实施的系统性风险管理流程与措施。
签署方承诺采用一个包含三个步骤的框架采用流程:
1. 制定框架(措施 1.1);
2. 实施框架(措施 1.2);以及
3. 更新框架(措施 1.3)。
此外,签署方承诺将其框架通知 AI 办公室(措施 1.4)。
#### 措施 1.1:制定框架
签署方将制定最先进的框架,并考虑其正在开发、投放市场和/或使用的模型。
框架将包含对已实施和计划实施的系统性风险评估和缓解流程与措施的高层级描述,以遵守本章。
此外,框架将包含:
1. 对触发点及其使用的描述和论证——签署方将在整个模型生命周期内于这些触发点开展额外的、较宽松的模型评估,如措施 1.2 第二款第(1)(a)项所规定;
2. 就签署方依据承诺 4 判定系统性风险是否可接受而言:
- 对系统性风险可接受性标准(包括系统性风险层级)及其按照措施 4.1 规定的使用的描述和论证;
- 对一旦达到各系统性风险层级后签署方需实施的安全与安保缓解措施的高层级描述;
- 就签署方按照措施 4.1 为其设定系统性风险层级的每项系统性风险,对其合理预见将拥有超出其现有任何模型已达最高系统性风险层级的模型的时间表估计。此类估计:(i)可包括时间范围或概率分布;(ii)可考虑与其他提供者共同得出的总体预测、调查和其他估计。此外,此类估计将有论证支持,包括基本假设和不确定性;以及
- 对除独立外部评估之外,包括政府在内的外部主体的意见是否以及(如是)通过何种流程影响签署方继续开发、投放市场和/或使用其模型的描述,如措施 4.2 所规定;
3. 对系统性风险评估和缓解流程中系统性风险责任如何分配的描述,如承诺 8 所规定;以及
4. 对签署方将如何更新框架(包括如何确定更新后的框架获得确认)的流程描述,如措施 1.3 所规定。
签署方将在依据《AI 法案》第 52 条第 1 款通知欧盟委员会后不迟于四周内确认框架,并且不迟于模型投放市场前两周确认。
#### 措施 1.2:实施框架
签署方将按照下列各款的规定,实施其框架中列明的流程和措施。
**整个模型生命周期内的持续评估:**
在整个模型生命周期内,签署方将持续:
(1)通过以下方式评估模型产生的系统性风险:
- (a)在适当的触发点(按时间、训练算力、开发阶段、用户访问、推理算力及/或可供性等标准界定)开展无须遵循附录 3 的较宽松模型评估(例如自动化评估);
- (b)在模型投放市场后开展上市后监测,如措施 3.5 所规定;
- (c)考虑关于重大事件的相关信息(依据承诺 9);以及
- (d)基于第(a)、(b)和(c)项的结果,扩大评估的广度和/或深度,或开展完整的系统性风险评估和缓解流程;以及
(2)考虑第(1)点的结果实施系统性风险缓解措施,包括视情况应对重大事件。
**完整的系统性风险评估和缓解流程:**
此外,签署方将实施包含四个步骤的完整系统性风险评估和缓解流程,而无须重复模型先前仍适用的系统性风险评估部分:
1. 按照承诺 2 识别模型产生的系统性风险;
2. 按照承诺 3 分析每项已识别的系统性风险;
3. 按照措施 4.1 判定模型产生的系统性风险是否可接受;以及
4. 如判定模型产生的系统性风险不可接受,按照承诺 5 和 6 实施安全和/或安保缓解措施,并从第(1)点起按照措施 4.2 重新评估模型产生的系统性风险。
签署方至少应在模型投放市场前,以及每当措施 7.6 第一款和第三款规定的条件满足时,开展此类完整的系统性风险评估和缓解流程。签署方将按照承诺 7 向 AI 办公室报告其实施的措施和流程。
#### 措施 1.3:更新框架
签署方将酌情更新框架,包括在框架评估后无不当延迟地更新,以确保措施 1.1 中的信息保持最新且框架至少处于最先进水平。对于框架的任何更新,签署方将附上变更日志,说明框架更新的方式和原因,并注明版本号和变更日期。
如果签署方有合理理由相信其框架的充分性和/或其遵守框架的情况已经或将受到实质性损害,或自其模型投放市场之日起每 12 个月,以先到者为准,签署方将开展适当的框架评估。此类理由的示例包括:
- 签署方开发模型的方式将发生实质性变化,且可合理预见该变化将导致其至少一个模型产生的系统性风险不可接受;
- 涉及签署方模型或类似模型的重大事件和/或险肇事件已经发生,且可能表明其至少一个模型产生的系统性风险不可接受;和/或
- 其至少一个模型产生的系统性风险已经或可能发生实质性变化,例如安全和/或安保缓解措施已经或可能变得实质性失效,或其至少一个模型已经或可能发展出实质性变化的能力和/或倾向。
框架评估将包括以下内容:
- **框架充分性:** 对框架中流程和措施是否适合签署方模型产生的系统性风险的评估。该评估将考虑模型当前如何开发、投放市场和/或使用,以及未来 12 个月内预期如何开发、投放市场和/或使用。
- **框架遵守情况:** 侧重于签署方对框架遵守情况的评估,包括:(a)自上次框架评估以来发生的任何未遵守框架的情形及原因;以及(b)为确保持续遵守框架而需实施的任何措施,包括安全和安保缓解措施。如果第(a)和/或第(b)点引发未来不遵守的风险,签署方将作为框架评估的一部分制定补救计划。
#### 措施 1.4:框架通知
签署方将在框架或其更新获得确认后五个工作日内,向 AI 办公室提供其框架及其更新的(未删节)访问权限。
---
### 承诺 2:系统性风险识别
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 110 段
签署方承诺识别模型产生的系统性风险。系统性风险识别的目的包括促进系统性风险分析(依据承诺 3)和系统性风险可接受性判定(依据承诺 4)。
系统性风险识别包含两个要素:
1. 遵循结构化流程识别模型产生的系统性风险(措施 2.1);以及
2. 为每项已识别的系统性风险制定系统性风险情景(措施 2.2)。
#### 措施 2.1:系统性风险识别流程
签署方将识别:
(1)通过以下流程获得的系统性风险:
- (a)基于附录 1.1 中的风险类型,编制可能源自模型并具有系统性的风险清单,并考虑:
- 与模型无关的信息(依据措施 3.1);
- 关于模型及类似模型的相关信息,包括来自上市后监测的信息(依据措施 3.5)以及关于重大事件和险肇事件的信息(依据承诺 9);以及
- AI 办公室、独立专家科学小组或其他经 AI 办公室为此目的认可的举措(如国际 AI 安全研究所网络)直接或通过公开发布向签署方传达的任何其他相关信息;
- (b)分析依据第(a)项编制的风险的相关特征,如其性质(基于附录 1.2)和来源(基于附录 1.3);以及
- (c)基于第(b)项识别模型产生的系统性风险;以及
(2)附录 1.4 中指定的系统性风险。
#### 措施 2.2:系统性风险情景
签署方将为每项已识别的系统性风险(依据措施 2.1)制定适当的系统性风险情景,包括就这些系统性风险情景的数量和详细程度作出决定。
---
### 承诺 3:系统性风险分析
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 114 段
签署方承诺分析每项已识别的系统性风险(依据承诺 2)。系统性风险分析的目的包括促进系统性风险可接受性判定(依据承诺 4)。
对每项已识别的系统性风险,系统性风险分析包含五个要素,这些要素可能重叠,且可能需递归实施:
1. 收集与模型无关的信息(措施 3.1);
2. 开展模型评估(措施 3.2);
3. 对系统性风险进行建模(措施 3.3);以及
4. 估计系统性风险(措施 3.4);同时
5. 开展上市后监测(措施 3.5)。
#### 措施 3.1:与模型无关的信息
签署方将收集与系统性风险相关的、与模型无关的信息。
签署方将以适合系统性风险的广度和深度,使用如下方法搜索和收集此类信息:
- 网络搜索(例如利用开源情报方法收集和分析从公开来源获得的信息);
- 文献综述;
- 市场分析(例如侧重于市场上其他可用模型的能力);
- 训练数据审查(例如查找数据投毒或篡改的迹象);
- 审查和分析历史事件数据和事件数据库;
- 总体趋势预测(例如关于算法效率、算力使用、数据可用性和能源使用发展的预测);
- 专家访谈和/或专家小组;和/或
- 非专业访谈、调查、社区咨询或其他参与式研究方法,调查例如模型对自然人(包括弱势群体)的影响。
#### 措施 3.2:模型评估
签署方将在与系统性风险相关的模态中开展至少处于最先进水平的模型评估,以评估模型的能力、倾向、可供性和/或影响,如附录 3 所规定。
签署方将确保此类模型评估的设计和实施采用适合该模型和该系统性风险的方法,并包括对模型的开放式测试,以加深对系统性风险的理解,旨在发现意外行为、能力边界或涌现特性。模型评估方法的示例包括:问答集、基于任务的评估、基准测试、红队测试和其他对抗性测试方法、人类能力提升研究、模型生物体、模拟,以及针对保密材料的代理评估。此外,模型评估的设计将参考依据措施 3.1 收集的与模型无关的信息。
#### 措施 3.3:系统性风险建模
签署方将针对系统性风险开展系统性风险建模。为此,签署方将:
- 至少使用最先进的风险建模方法;
- 以依据措施 2.2 制定的系统性风险情景为基础;以及
- 至少考虑依据措施 2.1 和本承诺收集的信息。
#### 措施 3.4:系统性风险估计
签署方将估计该系统性风险的损害发生概率和严重程度。
签署方将至少使用最先进的风险估计方法,并至少考虑依据承诺 2、本承诺和承诺 9 收集的信息。系统性风险估计将以风险评分、风险矩阵、概率分布或其他适当形式表达,且可以是定量、半定量和/或定性的。此类估计的示例包括:
1. 定性系统性风险评分(例如“中等”或“严重”);
2. 定性系统性风险矩阵(例如“概率:不太可能”ד影响:高”);和/或
3. 定量系统性风险矩阵(例如“X-Y%”דX-Y 欧元损害”)。
#### 措施 3.5:上市后监测
签署方将开展适当的上市后监测,以收集与评估系统性风险是否可能被判定为不可接受(依据措施 4.1)相关的信息,并为判断是否需要更新模型报告(依据措施 7.6)提供依据。此外,签署方将尽最大努力开展上市后监测,以收集与编制时间表估计(依据措施 1.1 第(2)(c)项)相关的信息。
为此,上市后监测将:
1. 收集关于模型能力、倾向、可供性和/或影响的信息;
2. 考虑下文所列示范方法;以及
3. 如果签署方自行提供和/或部署集成了自身模型的 AI 系统,则将监控作为这些 AI 系统组成部分的模型纳入其中。
**上市后监测方法示例:**
- 收集最终用户反馈;
- 提供(匿名)报告渠道;
- 提供(重大)事件报告表格;
- 提供漏洞奖励计划;
- 建立社区驱动的模型评估和公开排行榜;
- 与受影响利益相关者进行经常性对话;
- 监控软件仓库、已知恶意软件、公共论坛和/或社交媒体上的使用模式;
- 与学术界、公民社会、监管机构和/或独立研究人员合作,支持对模型能力、倾向、可供性和/或影响的科学研究;
- 实施对模型输入和输出的隐私保护型日志记录和元数据分析技术,例如使用水印、元数据和/或其他至少处于最先进水平的溯源技术;
- 收集关于违反模型使用限制的行为及由此类违规引发后续事件的相关信息;和/或
- 监控与评估和缓解系统性风险相关、且对第三方不透明的模型方面,例如参数不公开供下载的模型的隐藏思维链。
**独立外部评估人员的访问权限:**
为便利上市后监测,签署方将向足够数量的独立外部评估人员提供足够的免费访问权限,以访问:
1. 就相关系统性风险而言,投放市场的最强模型版本;
2. 第(1)点所述模型版本的思维链(如有);以及
3. 与第(1)点所述模型版本相对应、就相关系统性风险而言实施最少安全缓解措施的模型版本(如仅提供帮助的模型版本,若存在)及其思维链(如可用);
除非该模型就同一系统性风险而言被视为同等安全或更安全的模型(依据附录 2.2)。此类模型访问可通过 API、本地部署访问(包括传输)、签署方提供的硬件访问或按适当方式公开模型参数供下载来提供。
为选择独立外部评估人员,签署方将公布评估申请的适当标准。第(1)、(2)和(3)点的评估人员数量、选择标准和安保措施可以有所不同。
**评估人员的反报复保护:**
签署方仅可访问、存储和/或分析独立外部评估人员的评估结果,以评估和缓解模型的系统性风险。特别是,未经评估人员明确许可,签署方不得使用此类测试运行的输入和/或输出来训练其模型。此外,签署方不得因独立外部评估人员的测试和/或发布研究结果而对其采取任何法律或技术报复,只要评估人员:
- 未经明确许可,不通过测试故意干扰模型的可用性;
- 不故意违反欧盟法律访问、修改和/或使用敏感或保密用户数据;如评估人员确已访问此类数据,仅收集必要部分,不传播,并在法律上可行时尽快删除;
- 不故意利用其访问权限从事对公共安全和安保构成重大风险的活动;
- 不以研究结果威胁签署方、用户或价值链上的其他主体,但依据事先商定的政策和时间表进行披露不视为此类胁迫;以及
- 遵守签署方公开的负责任漏洞披露程序,该程序将至少规定:签署方自知悉研究结果之日起,不得将发表延迟或阻止超过 30 个工作日,除非特殊情况需要更长时间(例如披露研究结果将实质性增加系统性风险)。
属于 SME 或 SMC 的签署方可联系 AI 办公室,后者可提供支持或资源以促进其遵守本措施。
---
### 承诺 4:系统性风险可接受性判定
**法律依据:**《AI 法案》第 55 条第 1 款
签署方承诺规定系统性风险可接受性标准,并判定模型产生的系统性风险是否可接受(措施 4.1)。签署方承诺基于系统性风险可接受性判定,决定是否继续开发、投放市场和/或使用模型(措施 4.2)。
#### 措施 4.1:系统性风险可接受性标准与可接受性判定
签署方将(在依据措施 1.1 第(2)(a)项的框架中)描述并论证其将如何判定模型产生的系统性风险是否可接受。为此,签署方将:
(1)就每项已识别的系统性风险(依据措施 2.1),至少:
- (a)界定适当的系统性风险层级,该等层级:
- 以模型能力为界定标准,并可额外纳入模型倾向、风险估计和/或其他适当指标;
- 可测量;以及
- 至少包含一个模型尚未达到的系统性风险层级;或
- (b)如果系统性风险层级不适合该系统性风险,且该系统性风险不属于指定系统性风险(依据附录 1.4),则界定其他适当的系统性风险可接受性标准;
(2)描述其将如何使用这些层级和/或其他标准,以判定每项已识别的系统性风险及整体系统性风险是否可接受;以及
(3)论证依据第(2)点使用这些层级和/或其他标准如何确保每项已识别的系统性风险及整体系统性风险可接受。
签署方将把系统性风险可接受性标准应用于每项已识别的系统性风险(依据措施 2.1),并纳入安全裕度,以判定每项已识别的系统性风险及整体系统性风险是否可接受。该可接受性判定将至少考虑通过系统性风险识别和分析(依据承诺 2 和 3)收集的信息。
**安全裕度将:**
- 适合该系统性风险;以及
- 考虑下列方面的潜在局限、变化和不确定性:
- 系统性风险来源(例如评估时点之后的能力提升);
- 系统性风险评估(例如模型评估的欠诱发,或类似评估的历史准确性);以及
- 安全和安保缓解措施的有效性(例如缓解措施被规避、停用或颠覆)。
#### 措施 4.2:基于系统性风险可接受性判定决定继续或不继续
签署方仅在模型产生的系统性风险被判定为可接受(依据措施 4.1)时,方可继续开发、投放市场和/或使用模型。
如果模型产生的系统性风险未被判定为可接受,或合理可预见即将不被判定为可接受,签署方将在继续之前采取适当措施,确保系统性风险可接受且持续可接受。特别是,签署方将:
1. 视需要不将模型投放市场、限制投放市场(例如通过调整许可证或使用限制)、撤回或召回模型;
2. 实施安全和/或安保缓解措施(依据承诺 5 和 6);以及
3. 再开展一轮系统性风险识别(依据承诺 2)、系统性风险分析(依据承诺 3)和系统性风险可接受性判定(依据本承诺)。
---
### 承诺 5:安全缓解措施
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 114 段
签署方承诺在整个模型生命周期内实施适当的安全缓解措施,如本承诺的措施所规定,以确保模型产生的系统性风险可接受(依据承诺 4)。
#### 措施 5.1:适当的安全缓解措施
签署方将实施适当的安全缓解措施,包括在对抗性压力(例如微调攻击或越狱)下足够稳健的缓解措施,并考虑模型的发布和分发策略。
**安全缓解措施示例:**
- 过滤和清洗训练数据,例如可能产生不良模型倾向(如不忠实的思维链痕迹)的数据;
- 监控和过滤模型的输入和/或输出;
- 出于安全利益改变模型行为,例如对模型进行微调以拒绝某些请求或提供无用回应;
- 分阶段开放模型访问,例如将 API 访问限于经审查的用户、基于上市后监测逐步扩大访问,和/或最初不公开模型参数供下载;
- 为其他主体提供可用于缓解模型系统性风险的工具;
- 就模型行为提供高保证性定量安全保证的技术;
- 支持 AI 智能体安全生态系统的技术,如模型标识、专用通信协议或事件监控工具;和/或
- 其他新兴安全缓解措施,如实现思维链推理透明度的技术,或防御模型颠覆其自身其他安全缓解措施的能力的技术。
---
### 承诺 6:安保缓解措施
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 114 和 115 段
签署方承诺在整个模型生命周期内为其模型及物理基础设施实施适当水平的网络安全保护,如本承诺的措施所规定,以确保其模型因未授权发布、未授权访问和/或模型盗窃而可能产生的系统性风险可接受(依据承诺 4)。
如果模型的能力劣于至少一个参数已公开供下载的模型的能力,则该模型豁免于本承诺。
签署方将为其模型实施这些安保缓解措施,直至其参数公开供下载或安全删除。
#### 措施 6.1:安保目标
签署方将界定一个目标,指明其安保缓解措施旨在防范的威胁行为主体(以下简称“安保目标”),包括非国家外部威胁、内部威胁及其他预期威胁行为主体,并至少考虑其模型的当前和预期能力。
#### 措施 6.2:适当的安保缓解措施
签署方将实施适当的安保缓解措施以实现安保目标,包括附录 4 所规定的安保缓解措施。如果签署方偏离附录 4.1 至 4.5 第(a)项所列的任何安保缓解措施(例如因签署方的组织背景和数字基础设施所致),其将实施实现相应缓解目标的替代安保缓解措施。
所需安保缓解措施的实施可随整个模型生命周期内模型能力的提升而适当分阶段进行。
---
### 承诺 7:安全与安保模型报告
**法律依据:**《AI 法案》第 55 条第 1 款和第 56 条第 5 款
签署方承诺通过在其模型投放市场前编制安全与安保模型报告(以下简称“模型报告”),向 AI 办公室报告关于其模型及系统性风险评估与缓解流程和措施的信息(措施 7.1 至 7.5)。此外,签署方承诺保持模型报告最新(措施 7.6),并将其模型报告通知 AI 办公室(措施 7.7)。
如果签署方已在其报告中以其他报告和/或通知向 AI 办公室提供过相关信息,其可在模型报告中引用这些报告和/或通知。如果一项模型的系统性风险评估和缓解流程和措施在不参照其他模型的情况下无法理解,签署方可为多个模型编制一份模型报告。
属于 SME 或 SMC 的签署方可在反映规模和能力限制所必需的范围内降低其模型报告的详细程度。
#### 措施 7.1:模型描述与行为
签署方将在模型报告中提供:
1. 对模型架构、能力、倾向和可供性,以及模型开发方式(包括其训练方法和数据)的高层级描述,以及其与其已投放市场的其他模型的差异;
2. 对模型已如何被使用以及预期如何被使用的描述,包括其在模型开发、监督和/或评估中的使用;
3. 对将投放或当前已投放市场和/或使用的模型版本的描述,包括系统性风险缓解措施和系统性风险的差异;以及
4. 对签署方预期模型如何运行的规定(通常称为“模型规范”)(例如通过有效超链接),包括:
- 规定模型预期遵循的原则;
- 说明模型预期如何对不同种类的原则和指令进行优先级排序;
- 列出模型预期拒绝指令的主题;以及
- 提供系统提示词。
#### 措施 7.2:继续推进的理由
签署方将在模型报告中提供:
1. 对模型产生的系统性风险为何可接受的详细论证,包括所纳入安全裕度的细节(依据措施 4.1);
2. 第(1)点论证不再成立的合理可预见条件;以及
3. 对继续开发、投放市场和/或使用的决定是如何作出的描述,包括外部主体的意见是否为该决定提供了参考(依据措施 1.1 第(2)(d)项),以及独立外部评估人员的意见是否以及如何为该决定提供了参考(依据措施 3.5)。
#### 措施 7.3:系统性风险识别、分析和缓解的文档记录
签署方将在模型报告中提供:
(1)对其系统性风险识别和分析结果以及理解这些结果所需的任何相关信息的描述,包括:
- 就附录 1.1 所列风险类型(依据措施 2.1 第(1)点)所属风险,对其系统性风险识别流程的描述;
- 对模型将如何被使用及被集成到 AI 系统的不确定性和假设的解释;
- 对其针对各项系统性风险开展的系统性风险建模结果的描述(依据措施 3.3);
- 对模型产生的系统性风险的描述及其论证,包括:(i)系统性风险估计(依据措施 3.4);以及(ii)实施安全与安保缓解措施后与模型被充分诱发(依据附录 3.2)两种情况下的系统性风险比较;
- 所有与理解模型产生的系统性风险相关的模型评估结果,以及以下各项的描述:(i)评估如何实施;(ii)所涉测试和任务;(iii)评估如何计分;(iv)模型如何被诱发(依据附录 3.2);(v)分数与人类基准(如适用)、跨模型版本及跨评估设置的比较情况;
- 每次相关模型评估中至少五组输入和输出的随机样本,如补全内容、生成内容和/或轨迹,以便对模型评估结果进行独立解读。如果特定轨迹对理解某项系统性风险具有实质性参考价值,亦将提供此类轨迹。此外,如 AI 办公室随后提出要求,签署方将提供数量足够大的随机样本;
- 对向以下人员提供的访问权限和其他资源的描述:(i)内部模型评估团队(依据附录 3.4);以及(ii)独立外部评估人员(依据附录 3.5)。或者,签署方将安排任何此类独立外部评估人员直接向 AI 办公室提供所需信息;以及
- 如使用附录 2 所规定的“同等安全或更安全模型”概念,就“安全参考模型”标准(依据附录 2.1)和“同等安全或更安全模型”标准(依据附录 2.2)如何得到满足提供论证;
(2)对以下各项的描述:(a)已实施的所有安全缓解措施(依据承诺 5);(b)其如何满足措施 5.1 的要求;以及(c)其局限(例如,如果对不良模型行为示例的训练使识别此类行为的未来实例更加困难);
(3)对以下各项的描述:(a)安保目标(依据措施 6.1);(b)已实施的所有安保缓解措施(依据措施 6.2);(c)缓解措施如何实现安保目标,包括其与相关国际标准或其他相关指南(如兰德公司《保护 AI 模型权重》报告)的一致程度;以及(d)如签署方已偏离附录 4.1 至 4.5 中一项(或多项)第(a)项所列安保缓解措施,就替代安保缓解措施如何实现相应缓解目标提供论证;以及
(4)对以下各项的高层级描述:(a)其打算在未来六个月内用于进一步发展模型的技术和资产,包括通过使用其他 AI 模型和/或 AI 系统;(b)此类未来版本和更先进的模型在能力和倾向方面可能与其当前模型有何不同;以及(c)其打算为此类模型实施的任何新的或实质性更新的安全和安保缓解措施。
#### 措施 7.4:外部报告
签署方将在模型报告中提供:
1. 下列可获得的报告:
- 依据附录 3.5 参与模型评估的独立外部评估人员的报告;以及
- 依据附录 4.5 由独立外部方开展的安全审查报告;
前提是此类提供尊重既有保密(包括商业保密)义务,并允许此类外部评估人员或外部方保持对其研究结果发表的控制权,且不构成签署方对此类报告内容的默示背书;
2. 如果依据附录 3.5 的模型评估中没有独立外部评估人员参与,就附录 3.5 第一款第(1)或(2)点的条件如何得到满足提供论证;以及
3. 如果依据附录 3.5 的模型评估中至少有 1 名独立外部评估人员参与,基于资格标准解释评估人员的选择。
#### 措施 7.5:系统性风险格局的实质性变化
签署方将确保模型报告包含有助于 AI 办公室理解模型开发、投放市场和/或使用是否以及如何导致与本章系统性风险评估和缓解措施与流程实施相关的系统性风险格局发生实质性变化的信息。
此类信息的示例:
- 对表明以新颖方式提升模型能力的扩展定律的描述;
- 对在计算效率或模型能力方面实质性推进最先进水平的新型架构特征的总结;
- 对评估缓解措施有效性相关信息(例如模型的思维链对人类而言可读性降低)的描述;和/或
- 对实质性提高分布式训练效率或可行性的训练技术的描述。
#### 措施 7.6:模型报告更新
如果签署方有合理理由相信“模型产生的系统性风险为何可接受”的论证(依据措施 7.2 第(1)点)已受到实质性损害,其将更新模型报告。此类理由的示例包括:
- 依据措施 7.2 第(2)点列出的条件之一已经实现;
- 模型的能力、倾向和/或可供性已经或将发生实质性变化,例如通过进一步的训练后阶段、获得额外工具或推理算力增加;
- 模型的用途和/或在 AI 系统中的集成已经或将发生实质性变化;
- 涉及该模型或类似模型的重大事件和/或险肇事件已经发生;和/或
- 已发生实质性削弱所开展模型评估外部效力的发展、实质性改进模型评估方法最先进水平的发展,和/或因其他原因表明所开展的系统性风险评估存在实质性不准确的发展。
模型报告更新应在签署方知悉需要更新的理由后合理时间内完成。如果模型报告更新是由对模型的蓄意变更触发的,且该变更已投放市场,则模型报告更新及支撑其的完整系统性风险评估和缓解流程须在该变更投放市场之前完成。
**六个月更新要求:** 如果该模型属于签署方投放市场的各自最强模型之列,签署方将至少每六个月向 AI 办公室提供更新的模型报告。出现以下情形时,签署方无须如此:(1)自其上次向 AI 办公室提供模型报告或其更新以来,模型的能力、倾向和/或可供性未发生变化;(2)其将在一个月内投放更强能力的模型;和/或(3)该模型就每项已识别的系统性风险而言被视为同等安全或更安全(依据附录 2.2)。
更新的模型报告将包含:
1. 基于完整系统性风险评估和缓解流程结果、按措施 7.1 至 7.5 规定的更新信息;以及
2. 变更日志,说明模型报告的更新方式和原因,并注明版本号和变更日期。
#### 措施 7.7:模型报告通知
签署方将在其投放模型时向 AI 办公室提供模型报告的访问权限(无删节,除非签署方所受国家安全法律要求删节),例如通过公开可访问的链接或通过 AI 办公室指定的足够安全的渠道。如模型报告已更新,签署方将在确认更新后五个工作日内向 AI 办公室提供更新后模型报告的访问权限。
为便利模型投放市场,签署方可将向 AI 办公室提供模型报告或其更新的时间延迟至多 15 个工作日。此延迟仅在 AI 办公室认为签署方出于善意行事,且签署方不迟延地向 AI 办公室提供载有措施 7.2 和 7.5 规定信息的临时模型报告时方可进行。
---
### 承诺 8:系统性风险责任分配
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 114 段
签署方承诺:(1)在组织各层级明确界定管理其模型产生的系统性风险的职责(措施 8.1);(2)向被分配系统性风险管理职责的主体分配适当资源(措施 8.2);以及(3)培育健康的风险文化(措施 8.3)。
#### 措施 8.1:明确界定职责
签署方将在组织各层级明确界定管理其模型产生的系统性风险的职责。这包括以下职责:
- **系统性风险监督:** 监督签署方的系统性风险评估和缓解流程与措施。
- **系统性风险问责:** 管理签署方模型产生的系统性风险,包括系统性风险评估和缓解流程与措施,并管理对重大事件的应对。
- **系统性风险支持与监测:** 支持和监测签署方的系统性风险评估和缓解流程与措施。
- **系统性风险保证:** 就签署方系统性风险评估和缓解流程与措施的充分性,向履行监督职能的管理机构或其他适当的独立机构(如理事会或董事会)提供内部保证,并酌情提供外部保证。
签署方将按照适合其治理结构和组织复杂性的方式,在其组织的以下层级分配这些职责:
1. 履行监督职能的管理机构或其他适当的独立机构(如理事会或董事会);
2. 履行执行职能的管理机构;
3. 相关运营团队;
4. 内部保证提供方(如存在)(例如内部审计职能);以及
5. 外部保证提供方(如存在)(例如第三方审计机构)。
**如签署方遵守以下全部事项,即推定本措施已得到履行:**
- **系统性风险监督:** 系统性风险管理监督职责已分配给履行监督职能的管理机构下设的特定委员会(如风险委员会或审计委员会),或一个或多个适当的独立机构。对于 SME 或 SMC,该职责可主要分配给履行监督职能的管理机构中的一名成员。
- **系统性风险问责:** 系统性风险管理职责已分配给履行执行职能的管理机构中适当的成员,其同时负责可能产生系统性风险的相关核心业务活动(如研究主管或产品主管)。较低层级的职责分配给监督产生系统性风险业务活动部分的运营管理人员。视组织复杂性而定,可存在逐级下放的职责结构。
- **系统性风险支持与监测:** 支持和监测系统性风险管理的职责已分配给履行执行职能的管理机构中至少一名成员(如首席风险官或安全与安保框架副总裁)。该成员不得同时负责可能产生系统性风险的核心业务活动。对于 SME 或 SMC,履行执行职能的管理机构中至少有一人负责支持和监测系统性风险评估和缓解。
- **系统性风险保证:** 提供保证的职责已分配给相关主体(如首席审计执行官、内部审计负责人或相关分委员会)。该人员由内部审计职能或同等职能提供支持,并酌情获得外部保证。对于 SME 或 SMC,履行监督职能的管理机构定期评估系统性风险评估和缓解流程与措施(例如通过批准框架评估)。
#### 措施 8.2:分配适当资源
签署方将确保其管理机构监督向被分配职责者(依据措施 8.1)分配与其模型产生的系统性风险相称的适当资源。此类资源的分配将包括:
- 人力资源;
- 财务资源;
- 信息和知识获取渠道;以及
- 计算资源。
#### 措施 8.3:培育健康的风险文化
签署方将培育健康的风险文化,并采取适当措施,确保被分配管理其模型系统性风险职责的主体以理性、均衡的方式对待系统性风险。
**健康风险文化指标示例:**
- 自上而下确立健康的系统性风险文化基调,例如领导层向员工清晰传达签署方的框架;
- 允许就系统性风险相关决策进行清晰的沟通和质疑;
- 设定激励机制并赋予参与系统性风险评估和缓解的员工足够的独立性,以抑制过度冒险行为并鼓励对系统性风险的无偏见评估;
- 匿名调查显示,员工乐于提出系统性风险关切、知晓提出关切的渠道,并理解签署方的框架;
- 内部报告渠道得到积极使用,报告得到适当处理;
- 每年告知员工签署方的举报人保护政策,并通过网站发布等方式使员工随时可查阅该政策;和/或
- 不对任何向主管机关发布或提供其在为签署方从事的工作相关活动中获得的、关于其模型系统性风险信息的人员(该人员有合理理由相信信息属实)实施任何形式的报复,包括解雇、降职、法律诉讼、负面评价或营造敌意工作环境等任何直接或间接的不利行为。
---
### 承诺 9:重大事件报告
**法律依据:**《AI 法案》第 55 条第 1 款及序言第 114 和 115 段
签署方承诺实施适当的流程和措施,在整个模型生命周期内跟踪、记录并无不当延迟地向 AI 办公室及(如适用)国家主管当局报告关于重大事件的相关信息及应对重大事件的可行纠正措施,如本承诺的措施所规定。此外,签署方承诺为此类流程和措施提供与重大事件严重程度及其模型参与程度相称的资源。
#### 措施 9.1:重大事件识别方法
签署方将考虑措施 3.5 中的示范方法,以跟踪关于重大事件的相关信息。此外,签署方将:
- 审查其他信息来源,如警方和媒体报道、社交媒体帖子、研究论文和事件数据库;以及
- 便利下游修改者、下游提供者、用户和其他第三方向以下主体报告关于重大事件的相关信息:
- 签署方;或
- AI 办公室及(如适用)国家主管当局;方式为告知此类第三方直接报告渠道(如存在),但不影响其依据《AI 法案》第 73 条承担的任何报告义务。
#### 措施 9.2:重大事件跟踪、记录和报告的相关信息
签署方将尽其所知跟踪、记录并向 AI 办公室及(如适用)国家主管当局报告至少以下信息,并以遵守适用于此类信息的其他欧盟法律所必需的限度进行删节:
1. 重大事件的开始和结束日期,如确切日期不明,则提供最佳近似日期;
2. 重大事件造成的损害以及受害人或受影响群体;
3. (直接或间接)导致重大事件的事件链条;
4. 涉及重大事件的模型;
5. 载明模型在重大事件中参与情况的可用材料描述;
6. 签署方针对重大事件打算采取或已经采取的措施(如有);
7. 签署方建议 AI 办公室及(如适用)国家主管当局针对重大事件采取的措施(如有);
8. 根本原因分析,包括对(直接或间接)导致重大事件的模型输出的描述,以及促成这些输出生成的因素,包括所使用的输入以及系统性风险缓解措施的任何失效或被规避情况;以及
9. 上市后监测期间(依据措施 3.5)发现的、可合理假定与重大事件相关的任何模式,例如关于险肇事件的个体或汇总数据。
签署方将调查重大事件的原因和影响,包括前述清单中的信息,以便为系统性风险评估提供参考。如果签署方尚不掌握前述清单中的某些相关信息,其将在重大事件报告中予以记录。重大事件报告的详细程度将与事件的严重程度相称。
#### 措施 9.3:报告时限
如果其模型(直接或间接)参与导致了以下情形,除特殊情况外,签署方将在以下时点向 AI 办公室及(如适用)国家主管当局提交载有措施 9.2 第(1)至(7)点信息的初步报告:
- **关键基础设施中断:** 关键基础设施管理或运营受到严重且不可逆转的中断,或签署方确立或合理可能怀疑存在此类因果关系——**自知悉该参与情况之日起不迟于 2 天**;
- **严重网络安全漏洞:** 包括模型权重的(自我)外泄和网络攻击,或签署方确立或合理可能怀疑存在此类因果关系——**自知悉该参与情况之日起不迟于 5 天**;
- **人员死亡:** 或签署方确立或合理可能怀疑存在此类因果关系——**自知悉该参与情况之日起不迟于 10 天**;以及
- **对健康、基本权利、财产或环境造成严重损害:** 或签署方确立或合理可能怀疑存在此类因果关系——**自知悉该参与情况之日起不迟于 15 天**。
**中期报告:** 对于尚未解决的重大事件,签署方将在初步报告提交后至少每四周提交一次中期报告,更新初步报告中的信息并补充可获得的新信息。
**最终报告:** 签署方将在重大事件解决后不迟于 60 天提交涵盖措施 9.2 要求全部信息的最终报告。
如果在报告时限内发生多起类似的重大事件,签署方可将其纳入首起重大事件的报告中,同时遵守首起重大事件的报告时限。
#### 措施 9.4:留存期限
签署方将保留遵守本承诺所收集的所有相关信息文档,期限为自文档形成之日或重大事件发生之日起至少五年,以较晚者为准,但不影响适用于此类信息的欧盟法律。
---
### 承诺 10:补充文档
**法律依据:**《AI 法案》第 53 条第 1 款第(a)项和第 55 条第 1 款
签署方承诺记录本章的实施情况(措施 10.1),并视需要发布其框架和模型报告的摘要版本(措施 10.2)。
#### 措施 10.1:文档
签署方将为应 AI 办公室要求提供以下信息之目的,编制并持续更新以下信息:
1. 对模型架构的详细描述;
2. 对模型如何被集成到 AI 系统中的详细描述,解释软件组件如何相互构建或馈入并融入整体处理过程(在签署方知悉此类信息的范围内);
3. 对依据本章开展的模型评估(包括其结果和策略)的详细描述;以及
4. 对已实施安全缓解措施(依据承诺 5)的详细描述。
文档将在模型投放市场后至少保留 10 年。
此外,就第一款尚未涵盖的信息,签署方将跟踪以下信息,以便在 AI 办公室要求时证明其对本章的遵守:
- 构成其系统性风险评估和缓解组成部分的流程、措施和关键决策;以及
- 如果签署方为遵守本章而依赖某项特定最佳实践、最先进水平或其他更具创新性的流程或措施,就作出该选择提供的论证。
签署方无须将信息汇集于单一媒介或地点,可在 AI 办公室提出要求时汇编。
#### 措施 10.2:公共透明度
在评估和/或缓解系统性风险所必需的情况下和范围内,签署方将(例如通过其网站)发布其框架和模型报告的摘要版本及其更新,并进行删减以避免削弱安全和/或安保缓解措施的有效性并保护敏感商业信息。就模型报告而言,此类发布将包括对系统性风险评估结果和已实施安全与安保缓解措施的高层级描述。就框架而言,如签署方的所有模型均属于附录 2.2 规定的同等安全或更安全模型,则无须发布。就模型报告而言,如该模型属于附录 2.2 规定的同等安全或更安全模型,则无须发布。
---
## 第五部分:术语表
以下术语以所载含义用于安全与安保章。凡本章援引《AI 法案》第 3 条定义的术语,适用《AI 法案》的定义。
**适当(appropriate)**——适合且必要,以达成系统性风险评估和/或缓解的预期目的,无论是通过最佳实践、最先进水平,还是超越最先进水平的其他更具创新性的流程、措施、方法论、方法或技术。
**最佳实践(best practice)**——在具有系统性风险的通用人工智能模型提供者中被认可为在任何特定时点最能评估和缓解系统性风险的流程、措施、方法论、方法和技术的集合。
**已确认(confirmed)**——已依据适用的治理程序获得所需批准的框架或模型报告或其更新。
**欺骗(deception)**——系统性地在他人心中产生错误信念的模型行为,包括为达成涉及规避监督的目标而实施的模型行为,如模型检测到其正在被评估而表现不佳或以其他方式破坏监督。
**外部效度(external validity)**——高度科学严谨性和技术严谨性的一个方面,确保模型评估经过适当校准,使结果可用作评估环境之外模型行为的代理。外部效度的证明因不同系统性风险和模型评估方法而异,但可通过例如记录模型评估环境、其与现实世界情境的差异以及模型评估环境的多样性来展示。
**高度科学和技术严谨性(high scientific and technical rigour)**——模型评估的质量标准,具有高度科学和技术严谨性的模型评估应具备内部效度、外部效度且可复现。
**包括(including)**——引入一个非穷尽性集合,该集合应被理解为所涉术语要求的最低限度,并提示该集合中的其他事项。
**独立外部(independent external)**——与签署方或其任何子公司或关联方无财务、运营或管理依赖关系的自然人或法人,且在作出结论和/或提出建议时不受签署方控制,包括通过合同保障措施和适当的利益冲突政策予以确保。
**内部威胁(insider threats)**——能够接触敏感组织资源的人类、AI 模型和/或 AI 系统实施的敌对行动(例如高级管理层、组织研究团队的高级成员、其他不满员工、已渗透目标的工业间谍行动实施者,和/或模型自我外泄),以及意外的模型泄漏。
**内部效度(internal validity)**——高度科学严谨性和技术严谨性的一个方面,确保模型评估结果在评估情境中尽可能科学准确,且不存在可能损害结果的方法论缺陷。内部效度的证明因不同系统性风险和模型评估方法而异,但可通过例如以下方式展示:足够大的样本量;测量统计显著性和统计功效;披露所使用的环境参数;控制混杂变量并减轻虚假相关性;防止在训练中使用测试数据(例如使用训练-测试划分并尊重金丝雀字符串);在不同条件和不同环境中多次重新运行模型评估,包括变化模型评估的各个部分(如提示强度及安全与安保缓解措施);对轨迹和其他输出的详细检查;避免模型评估中潜在的标注偏差,特别是涉及人工标注者的模型评估(例如通过盲评或报告标注者间一致性);使用提高透明度的技术(例如评估中能代表模型“内部运作”且评估人员可读的推理痕迹);使用测量和/或降低模型规避监督能力的技术;和/或披露创建和管理新模型评估的方法以确保其完整性。
**管理机构(management body)**——依据国家法律任命的公司机关,有权履行:(1)执行职能,方式为(a)制定组织战略、目标和总体方向,以及(b)开展组织的日常管理;以及(2)监督职能,方式为监督和监测执行决策。视相关国家法律而定,执行职能和监督职能可由同一管理机构内的不同人员履行,或由管理机构的不同部分履行。
**模型(model)**——具有系统性风险的通用人工智能模型。同一模型可有许多不同版本,例如为不同用途微调的版本、可访问不同工具的版本,和/或实施不同安全和/或安保缓解措施的版本。本章中所有对“模型”的援引均指视语境所需的相应模型版本。一般而言,在系统性风险评估和缓解的语境中,所有对“模型”的援引均指合计构成模型所生系统性风险的所有模型版本,包括:(1)最先进的版本;(2)与第(1)点相对应、就系统性风险仅实施有限或未实施安全和/或安保缓解措施的版本;和/或(3)被广泛使用的版本。在不同“模型”进行比较的语境中(如措施 3.5 和附录 3.5 结合附录 2,以及承诺 6),所有对“模型”的援引均指单一模型版本。如果术语“AI”置于“模型”之前,该术语例外地不仅指具有系统性风险的通用人工智能模型,还包括除具有系统性风险的通用人工智能模型之外的所有模型。
**模型诱发(model elicitation)**——系统性地增强模型能力、倾向、可供性和/或影响的技术工作,从而便利对其可能达到的全部能力、倾向、可供性和/或影响的准确测量。
**模型评估(model evaluation)**——可用于系统性风险评估所有阶段的系统性风险评估技术。
**与模型无关的信息(model-independent information)**——不特定于某一模型、但可为多个模型的系统性风险评估和缓解提供参考的信息,包括数据和研究成果。
**险肇事件(near miss)**——重大事件本可能发生但最终未发生的情形。
**非国家外部威胁(non-state external threats)**——由非国家行为主体实施的敌对行动,其:(1)大致相当于 10 名经验丰富的网络安全专业人员;(2)在该特定行动上花费数月、总预算不超过 100 万欧元;以及(3)拥有主要的既有网络攻击基础设施,但对目标组织无既有访问权限。
**上市后监测(post-market monitoring)**——从模型投放市场之时起至模型不再投放市场之时止对模型的监测。
**流程(process)**(名词;在系统性风险管理语境中)——构成或促成本章所规定措施的结构化行动集合。
**可复现性(reproducibility)**——高度科学严谨性和技术严谨性的一个方面,指使用相同输入数据、计算技术、代码和模型评估条件获得一致模型评估结果的能力,使其他研究人员和工程师能够验证、复现或改进模型评估结果。可复现性可通过例如以下方式展示:独立第三方成功的同行评审和/或复现;向 AI 办公室安全地发布足够数量的模型评估数据、代码、方法论和方法文档、环境与计算环境及模型诱发技术;和/或使用公开可用的 API、技术性模型评估标准和工具。
**已解决(resolved)**(重大事件)——签署方已针对该模型重大事件采取纠正措施以补救损害(如可能)并评估和缓解相关系统性风险的情形。“未解决(unresolved)”应作相应理解。
**扩展定律(scaling law)**——与 AI 模型或 AI 系统开发或使用相关的某个变量(如规模,或训练或推理中使用的时长、数据量或计算资源量)与其表现之间的系统性关系。
**模型权重的(自我)外泄((self-)exfiltration of model weights)**——模型自身和/或未授权主体访问或转移模型权重或相关资产使其脱离安全存储的行为。
**类似模型(similar model)**——基于签署方可获得的公开和/或非公开信息,假定其能力、倾向和可供性实质性相似的通用人工智能模型(无论是否具有系统性风险),包括“安全参考模型”(依据附录 2.1)和“同等安全或更安全模型”(依据附录 2.2)。
**最先进水平(state of the art)**——超越最佳实践的相关研究、治理和技术的前沿。
**系统提示词(system prompt)**——在用户交互开始之前提供给模型的一组指令、指南和情境信息。
**系统性风险可接受性标准(systemic risk acceptance criteria)**——框架中界定的、签署方用于决定其模型产生的系统性风险是否可接受的标准。系统性风险层级是系统性风险可接受性标准的一种。
**系统性风险评估(systemic risk assessment)**——涵盖系统性风险识别(依据承诺 2)、系统性风险分析(依据承诺 3)和系统性风险可接受性判定(依据承诺 4)全部内容的统称。
**系统性风险管理(systemic risk management)**——就系统性风险对组织进行引导的协调流程和措施,包括系统性风险评估和缓解。
**系统性风险缓解措施(systemic risk mitigations)**——包括针对系统性风险的安全缓解措施(依据承诺 5)、安保缓解措施(依据承诺 6)和治理缓解措施(依据承诺 1 及承诺 7 至 10)。
**系统性风险建模(systemic risk modelling)**——旨在指明模型所生系统性风险可能实现之路径的结构化流程;通常与“威胁建模”一词互换使用。本章使用“风险建模”一词,是因为“威胁建模”一词在网络安全中具有特定含义。
**系统性风险情景(systemic risk scenario)**——模型所生系统性风险可能实现的情景。
**系统性风险来源(systemic risk source)**——单独或与其他因素相结合可能引发系统性风险的因素。
**系统性风险层级(systemic risk tiers)**——框架中界定的、与模型所生系统性风险的一定水平相对应的层级。系统性风险层级是系统性风险可接受性标准的一种。
**使用(use)**(模型的使用)——签署方或其他主体对模型的使用。
---
## 第六部分:附录
### 附录 1:系统性风险及其他考虑因素
**法律依据:**
- 《AI 法案》第 3 条第 64 款:“高影响力能力”指达到或超过最先进通用人工智能模型所记录能力的能力;
- 《AI 法案》第 3 条第 65 款:“系统性风险”指与通用人工智能模型高影响力能力相关的特定风险,因其覆盖范围而对欧盟市场产生重大影响,或因对公共健康、安全、公共安全、基本权利或整个社会的实际或合理可预见的负面影响,且可在价值链上规模化传播的风险;
- 《AI 法案》序言第 110 段
#### 附录 1.1:风险类型
为按照措施 2.1 第(1)点和《AI 法案》第 3 条第 65 款识别系统性风险之目的,适用以下彼此不同但在某些情况下重叠的风险类型:
1. 对公共健康的风险。
2. 对安全的风险。
3. 对公共安全的风险。
4. 对基本权利的风险。
5. 对整个社会的风险。
属于这五种类型的风险示例包括:重大事故风险;对关键部门或基础设施、公众心理健康、表达和信息自由、不歧视、隐私和个人数据保护、环境、非人类福利、经济安全和民主进程的风险;以及权力集中和非法、暴力、仇恨、激进或虚假内容带来的风险,包括儿童性虐待材料(CSAM)和未经同意的私密影像(NCII)带来的风险。
#### 附录 1.2:系统性风险的性质
**附录 1.2.1:基本特征**
- 该风险特定于《AI 法案》第 3 条第 65 款和第 3 条第 64 款所规定的高影响力能力。
- 该风险依据《AI 法案》第 3 条第 65 款对欧盟市场具有重大影响。
- 所述影响可依据《AI 法案》第 3 条第 65 款在价值链上规模化传播。
**附录 1.2.2:促成特征**
- **依赖能力:** 风险随模型能力增强而增加,或可能在模型能力前沿出现。
- **依赖覆盖范围:** 风险随模型覆盖范围扩大而增加。
- **高速度:** 风险可能迅速实现,可能超过缓解措施的应对速度。
- **复合或级联:** 风险可能触发其他系统性风险或连锁反应。
- **难以或无法逆转:** 风险一旦实现,将产生需要非凡努力、资源或时间才能补救、或永久不可逆的持续性变化。
- **不对称影响:** 少数行为主体或事件即可触发风险的实现,造成与行为主体或事件数量不成比例的影响。
#### 附录 1.3:系统性风险的来源
以下模型能力、模型倾向、模型可供性和情境因素,为系统性风险识别之目的被视为非穷尽性的潜在系统性风险来源。
**附录 1.3.1:模型能力**
模型能力包括:
1. 攻击性网络能力;
2. 化学、生物、放射性和核(CBRN)能力,以及其他此类武器获取或扩散能力;
3. 可能造成基本权利持续、严重侵犯的能力;
4. 操纵、说服或欺骗的能力;
5. 自主运行的能力;
6. 自适应学习新任务的能力;
7. 长周期规划、预测或谋略的能力;
8. 自我推理的能力(例如模型对自身、其实现或环境的推理能力,以及知晓自身是否正被评估的能力);
9. 规避人类监督的能力;
10. 自我复制、自我改进或修改自身实现环境的能力;
11. 自动化 AI 研发的能力;
12. 处理多模态(例如文本、图像、音频、视频及更多模态)的能力;
13. 使用工具的能力,包括“计算机使用”(例如与不属于模型本身的硬件或软件、应用程序接口和用户界面交互);以及
14. 控制物理系统的能力。
**附录 1.3.2:模型倾向**
模型倾向包括模型表现出某些行为或模式的偏好或趋向,具体包括:
1. 与人类意图不一致;
2. 与人类价值观不一致(例如无视基本权利);
3. 以有害方式部署能力的倾向(例如操纵或欺骗);
4. “幻觉”、制造错误信息或掩盖信息来源的倾向;
5. 歧视性偏见;
6. 缺乏性能可靠性;
7. 无法无天,即在没有合理考虑本应适用于类似处境人员的法律义务、或没有合理考虑受影响人员受法律保护利益的情况下行事;
8. “追求目标”、对目标修改的有害抵制,或“追求权力”;
9. 与其他 AI 模型/系统“共谋”;以及
10. 与其他 AI 模型/系统的协调不当或冲突。
**附录 1.3.3:模型可供性及其他系统性风险来源**
模型可供性及其他系统性风险来源,包括模型配置、模型属性以及模型投放市场的背景,具体包括:
1. 对工具(包括其他 AI 模型/系统)、计算能力(例如使模型提高其操作速度)或物理系统(包括关键基础设施)的访问;
2. 可扩展性(例如支持高容量数据处理、快速推理或并行化);
3. 发布和分发策略;
4. 人类监督水平(例如模型自主程度);
5. 对移除护栏的对抗性行为的脆弱性;
6. 对模型外泄的脆弱性(例如模型泄漏/盗窃);
7. 缺乏适当的基础设施安全;
8. 模型的商业用户数量和最终用户数量,包括使用集成该模型的 AI 系统的最终用户数量;
9. 攻防平衡,包括恶意行为主体滥用模型的潜在数量、能力和动机;
10. 可能受模型影响的特定环境的脆弱性(例如社会环境、生态环境);
11. 缺乏适当的模型可解释性或透明度;
12. 与其他 AI 模型和/或 AI 系统的交互;以及
13. 对模型的不当使用(例如将模型用于与其能力或倾向不匹配的应用)。
#### 附录 1.4:指定系统性风险
基于附录 1.1 的风险类型,考虑附录 1.2 中系统性风险的性质和附录 1.3 中系统性风险的来源,并考虑《AI 法案》第 56 条第 1 款和序言第 110 段所述的国际做法,以下风险在措施 2.1 第(2)点的系统性风险识别中被视为指定系统性风险:
1. **化学、生物、放射性和核(CBRN):** 由促成 CBRN 攻击或事故产生的风险。包括显著降低恶意行为主体的准入门槛,或显著提高相关武器或材料设计、开发、获取、发布、分发和使用中可实现的潜在影响。
2. **失控:** 由人类丧失可靠引导、修改或关闭模型的能力产生的风险。此类风险可能源于与人类意图或价值观的不一致、自我推理、自我复制、自我改进、欺骗、抵制目标修改、追求权力的行为,或自主创造或改进 AI 模型或 AI 系统。
3. **网络攻击:** 由促成大规模复杂网络攻击(包括针对关键系统(如关键基础设施)的攻击)产生的风险。包括显著降低恶意行为主体的准入门槛,或显著提高攻击性网络行动中可实现的潜在影响,例如通过自动化漏洞发现、漏洞利用生成、作战使用和攻击规模化。
4. **有害操纵:** 由通过说服、欺骗或个性化定向针对大量人群或高风险决策者,促成对人类行为或信念的战略性扭曲产生的风险。包括显著增强说服、欺骗和个性化定向能力,特别是在多轮交互中以及个人未察觉或无法合理察觉此类影响时。此类能力可能破坏民主进程和基本权利,包括基于受保护特征的利用。
---
### 附录 2:同等安全或更安全模型
#### 附录 2.1:安全参考模型
如果符合以下条件,模型可就某一系统性风险被视为安全参考模型:
1. 该模型:(a)在本章发布之前已投放市场;或(b)已完成完整系统性风险评估和缓解流程(依据措施 1.2 第三款),包括其产生的系统性风险已被判定为可接受(依据承诺 4),且 AI 办公室已收到其模型报告(依据承诺 7);
2. 签署方对该模型的特性(如相关架构细节、能力、倾向、可供性和安全缓解措施)具有足够的可见性。对于签署方自行开发的所有模型,以及签署方能够获得完成完整系统性风险评估和缓解流程(包括模型参数)所需全部信息的所有模型,均推定具有此类可见性;以及
3. 没有其他合理理由相信该模型产生的系统性风险不可接受。
#### 附录 2.2:同等安全或更安全模型
如果符合以下条件,模型可就某一系统性风险被视为同等安全或更安全的模型:
1. 签署方在开展系统性风险识别(依据承诺 2)后,就该模型的系统性风险,相较于安全参考模型,未能合理预见任何实质性不同的系统性风险情景;
2. 该模型在衡量(a)通用能力和(b)系统性风险特定能力的相关至少最先进轻量基准测试中的得分,均低于或等于(在可忽略误差范围内)安全参考模型的得分。与安全参考模型相比不会导致系统性风险实质性增加的能力小幅提升可不予考虑。此类基准测试必须依据措施 3.2 运行;以及
3. 与该模型相比,安全参考模型在能力、倾向和安全缓解措施方面不存在可合理预见将导致系统性风险实质性增加的已知差异,且没有其他合理理由相信该模型产生的系统性风险较安全参考模型实质性增加。
在作出评估时,签署方将通过纳入足够宽的安全裕度,适当考虑可能源于例如参考模型信息不足和测量误差的不确定性。
如果此前被视为安全参考模型的模型嗣后丧失该地位,签署方将在六个月内:
1. 识别另一安全参考模型,使该模型可就其被视为同等安全或更安全的模型;或
2. 如此前因该模型的同等安全或更安全地位而依赖豁免和/或减负,则将该模型视为受本守则全部承诺和措施的约束,包括完成完整系统性风险评估和缓解流程中此前被豁免和/或减负的全部部分。
---
### 附录 3:模型评估
以下规定完整系统性风险评估和缓解流程(依据措施 1.2 第三款)期间措施 3.2 所要求的模型评估。
#### 附录 3.1:严谨的模型评估
签署方将确保模型评估以高度科学和技术严谨性实施,确保:
1. 内部效度;
2. 外部效度;以及
3. 可复现性。
#### 附录 3.2:模型诱发
签署方将确保模型评估以至少最先进水平的模型诱发实施,通过使用至少最先进的技术诱发模型的能力、倾向、可供性和/或影响,该等技术:
1. 最大限度降低欠诱发的风险;以及
2. 最大限度降低模型评估期间模型欺骗的风险(例如策略性表现不佳);
例如通过调整测试时算力、速率限制、脚手架和工具,并开展微调和提示工程。
为此,签署方将至少:
1. 匹配与系统性风险情景(依据措施 2.2)相关的滥用主体所具有的模型诱发能力;以及
2. 匹配模型的预期使用情境(如等效脚手架和/或工具访问),其依据为对模型的 AI 系统集成,包括:
- 为该模型计划或考虑的集成;和/或
- 当前用于类似模型的集成,前提是此类集成已为签署方所知悉,且签署方无法排除其模型被类似使用。
#### 附录 3.3:评估缓解措施的有效性
签署方将确保模型评估以适当的广度和深度评估其安全缓解措施的有效性——该广度与深度与系统性风险可接受性判定对特定缓解措施有效性的依赖程度相称——包括在对抗性压力(例如微调攻击或越狱)下的有效性。为此,签署方将至少使用最先进的技术,并考虑:
1. 其缓解措施按计划发挥作用的程度;
2. 其缓解措施被规避、停用或颠覆的程度或历史情况;以及
3. 其缓解措施有效性未来发生变化的概率。
#### 附录 3.4:合格的模型评估团队和适当的资源
签署方将确保负责开展模型评估的团队将技术专长与系统性风险的相关领域知识相结合,以实现整体性和多学科的理解。此类技术专长和/或相关领域知识的指示性资格包括:
- 与系统性风险相关的博士学位、经同行评审并被认可的出版物,或同等的研究或工程经验;
- 为该系统性风险设计或开发过已发表且经同行评审或广泛使用的模型评估方法;或
- 在与系统性风险直接相关的领域具有三年工作经验,或如该领域尚属新兴,则具有在该领域学习或在与具有直接可迁移知识的领域工作的同等经验。
**模型评估团队将获得:**
1. 开展评估所需的充分模型访问权限,包括视情况访问模型激活值、梯度、对数几率(或其他形式的模型原始输出)、思维链和/或其他技术细节,并访问实施最少安全缓解措施的模型版本(如仅提供帮助的模型版本,若存在)。就增强模型访问的充分性而言,签署方将考虑对模型安全的潜在风险并实施适当的安保措施;
2. 视以下情况适当的信息,包括模型规范(包括系统提示词)、相关训练数据、测试集和既往模型评估结果:(a)系统性风险;以及(b)模型评估方法;
3. 视以下情况适当的时间,以胜任地设计和/或调整、调试、执行和分析模型评估:(a)系统性风险;以及(b)模型评估方法及其新颖性。例如,对大多数系统性风险和模型评估方法而言,至少 20 个工作日是适当的;以及
4. (a)足够的计算预算,包括允许足够长的评估运行、并行执行和重新运行;(b)足够的人员配置;以及(c)足够的工程预算和支持,包括检查结果以识别和修复可能导致能力估计被人为降低的软件错误或模型拒绝。就第(b)点而言,如签署方聘请独立外部评估人员,其可依赖后者关于其人员配置是否充分的保证。
#### 附录 3.5:独立外部模型评估
除内部模型评估外,签署方将确保资格充分的独立外部评估人员就系统性风险依据附录 3 开展模型评估,除非:
1. 该模型属于附录 2 规定的同等安全或更安全模型;或
2. 签署方尽管付出了早期招募努力(例如通过开放 20 个工作日的公开征集)并及时通知已物色的评估人员,仍未能聘请资格充分的独立外部评估人员;在此情况下,签署方在判定系统性风险是否可接受时(依据承诺 4),将考虑因缺乏独立外部评估而产生的潜在额外不确定性。
**独立外部评估人员的充分资格要求:**
1. 具有该系统性风险的重要领域专长,且具备开展模型评估的技术能力和经验;
2. 已建立适当的内部和外部信息安全规程;以及
3. 如需要访问商业保密信息,已同意保护该等信息。
签署方将向独立外部评估人员提供充分的访问权限、信息、时间和其他资源(依据附录 3.4),但不影响附录 4.4 第(1)点。未经评估人员明确许可,签署方不得通过存储和/或分析测试运行的输入和/或输出损害外部模型评估的完整性。
属于 SME 或 SMC 的签署方可联系 AI 办公室,后者可提供支持或资源以促进其遵守本附录。
---
### 附录 4:安保缓解目标与措施
以下规定为实现安保目标而实施的安保缓解目标和措施(依据措施 6.2)。
#### 附录 4.1:通用安保缓解措施
签署方将实施实现以下缓解目标的通用安保缓解措施:
1. **防止未授权网络访问,** 通过(a)强有力的身份和访问管理实践,包括限制设备和账户共享、多因素认证、强制强密码、强有力的访问管理工具、802.1x 认证、零信任架构、以与有线网络同等标准保护无线网络,以及将任何访客网络与工作网络隔离;
2. **降低社会工程攻击风险,** 通过(a)对可疑附件、链接和其他网络钓鱼尝试进行电子邮件过滤;
3. **降低恶意软件感染和便携式设备恶意使用的风险,** 通过(a)关于可移动介质使用的政策;以及
4. **降低漏洞利用和恶意代码执行的风险,** 通过(a)定期软件更新和补丁管理。
#### 附录 4.2:未发布模型参数的保护
签署方将通过实施实现以下缓解目标的安保缓解措施来保护未发布的模型参数:
1. **对所有设备和地点存储的模型参数全部副本的问责,** 通过(a)对所有存储模型参数的设备和地点建立安全内部登记册;
2. **防止模型参数被未授权复制到不受管设备,** 通过(a)对所有存储模型参数的设备进行访问管理,并在复制到不受管设备时发出警报;
3. **防止传输和静态存储期间模型参数被未授权访问,** 通过(a)确保模型参数在传输和存储期间视情况始终加密,包括至少 256 位安全性的加密,并将加密密钥安全存储在可信平台模块(TPM)上;
4. **防止临时存储期间模型参数被未授权访问,** 通过(a)确保模型参数仅为合法用途解密至非持久性内存;
5. **防止使用期间模型参数被未授权访问,** 通过(a)视情况实施机密计算,使用基于硬件的、经证明的可信执行环境;以及
6. **防止托管模型参数的系统被未授权物理访问,** 通过(a)将数据中心和其他敏感工作环境的物理访问限制于必要人员,并定期检查此类场所是否存在未授权人员或设备。
#### 附录 4.3:加固对未发布模型参数的接口访问
签署方将通过实施实现以下缓解目标的安保缓解措施,在使用期间加固对未发布模型参数的接口访问:
1. **防止对模型参数的不必要接口访问,** 通过(a)仅明确授权所需软件和人员访问模型参数,通过多因素认证机制强制执行,并至少每六个月进行一次定期检查;
2. **降低漏洞利用或数据泄漏风险,** 通过(a)由安全团队对任何可访问模型参数的软件接口进行全面审查以识别漏洞或数据泄漏,和/或对任何软件接口代码进行自动化安全审查,其标准至少不低于用于其他敏感代码的最高级别自动化安全审查;
3. **降低模型参数外泄风险,** 通过(a)加固可访问模型参数的接口,使用输出速率限制等方法;以及
4. **降低内部威胁或账户被攻破的风险,** 通过(a)限制可对模型参数进行非加固接口访问的人数。
#### 附录 4.4:内部威胁
签署方将通过实施实现以下缓解目标的安保缓解措施,防范内部威胁,包括以模型实施的(自我)外泄或破坏形式:
1. **防范试图获取工作相关访问权限的内部威胁对模型参数的保护,** 通过(a)对已获得或合理可能获得未发布模型参数或其访问管理系统的读或写访问权限的员工和承包商进行背景调查;
2. **对内部威胁风险的认识,** 通过(a)提供关于识别和报告内部威胁的培训;
3. **降低模型自我外泄风险,** 通过(a)围绕模型设置沙箱,如虚拟机、代码执行隔离;以及
4. **降低模型训练和使用被破坏的风险,** 通过(a)检查训练数据是否存在篡改迹象。
#### 附录 4.5:安保保证
签署方将通过实施实现以下缓解目标的附加安保缓解措施,就其安保缓解措施达到安保目标获得保证:
1. **安保缓解措施有效性的独立外部验证**(如内部专长不足),通过(a)视缓解系统性风险的需要定期开展独立外部安全审查;
2. **网络和物理访问管理验证及安全漏洞识别,** 通过(a)视缓解系统性风险的需要频繁开展红队测试;
3. **网络软件完整性验证,** 通过(a)视缓解系统性风险的需要开展有竞争力的漏洞奖励计划,以鼓励公众参与面向公众端点的安全测试;
4. **内部威胁安保缓解措施的验证,** 通过(a)定期开展人员诚信测试;
5. **便利安全问题报告,** 通过(a)为第三方报告安全问题提供安全通信渠道;
6. **检测可疑或恶意活动,** 通过(a)在所有网络和设备上安装端点检测与响应(EDR)和/或入侵检测系统(IDS)工具;以及
7. **及时有效地应对恶意活动,** 通过(a)利用安全团队监控 EDR 警报,并以及时有效的方式开展安全事件处理、响应和安全漏洞恢复。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |