CSlawyer1985/legal-skillhub / skills/ai-governance-reviewer-carl-ditzler
ai-governance-reviewer-carl-ditzler
Verified当用户希望对内部 AI 用例、AI 产品功能、LLM 工作流或第三方 AI 供应商进行 AI 治理、法律风险、隐私、合规、采购或供应商风险审查时,使用本技能。当事实或证据缺失时,技能首先提出受理和澄清问题,识别所需的文件和缺失的证据,将用例映射到 AI 治理框架和适用的法律领域,并产出带记分卡、发现、责任方、补救行动和后续问题的初步或最终治理审查。
references/working/EU AI ACT.md
View on GitHub# 欧盟人工智能法
### 欧洲议会和理事会条例(EU)2024/1689
```
2024年6月13日
```
```
关于制定人工智能统一规则并修订条例(EC)第300/2008号、(EU)第167/2013号、(EU)第168/2013号、
(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令2014/90/EU、
(EU)2016/797号和(EU)2020/1828号(人工智能法)
```
```
(与欧洲经济区相关的文本)
```
```
欧洲议会和欧洲联盟理事会,
```
```
考虑到《欧洲联盟运行条约》,特别是其第16条和第114条,
```
```
考虑到欧盟委员会的建议,
```
```
在将立法草案送交各国家议会之后,
```
```
考虑到欧洲经济和社会委员会的意见(^1),
```
```
考虑到欧洲中央银行的意见(^2),
```
```
考虑到地区委员会的意见(^3),
```
```
按照普通立法程序行事(^4),
```
```
鉴于:
```
```
(1) 本条例的目的是改善内部市场的运作,特别是在联盟内为人工智能系统(AI系统)的开发、投放市场、
投入使用和使用制定统一的法律框架,并依照联盟价值观促进以人为本和值得信赖的人工智能(AI)的推广应用,
同时确保对健康、安全、《欧洲联盟基本权利宪章》(《宪章》)所载基本权利(包括民主、法治和环境保护)的高度保护,
保护联盟免受AI系统的有害影响,并支持创新。本条例确保基于AI的商品和服务在跨境层面自由流动,
从而防止成员国对AI系统的开发、营销和使用施加限制,除非本条例明确授权。
```
```
(2) 本条例应依照《宪章》所载的联盟价值观适用,促进对自然人、企业、民主、法治和环境保护的保护,
同时促进创新和就业,使联盟成为推广应用值得信赖的AI的领导者。
```
```
(3) AI系统可以轻松部署在经济的大量部门和社会许多领域,包括跨境部署,并且可以在整个联盟内自由流通。
某些成员国已经探索通过国内规则来确保AI值得信赖且安全,并依照基本权利义务进行开发和使用。
各自不同的国内规则可能导致内部市场碎片化,并可能降低开发、进口或使用AI系统的经营者的法律确定性。
因此,应确保整个联盟内一致且高水平的保护,以实现值得信赖的AI,同时应通过为经营者规定统一义务,
防止阻碍AI系统及相关产品和服务在内部市场内自由流通、创新、部署和推广的分歧,
```
```
欧盟官方公报
```
### 英文版
```
L系列
```
## 2024/1689 12.7.
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 1/
```
(^1) 欧盟公报 C 517,2021年12月22日,第56页。
(^2) 欧盟公报 C 115,2022年3月11日,第5页。
(^3) 欧盟公报 C 97,2022年2月28日,第60页。
(^4) 欧洲议会2024年3月13日的立场(尚未在官方公报上公布)和理事会2024年5月21日的决定。
```
```
保障内部市场内压倒性公共利益和个人权利的统一保护,其依据是《欧洲联盟运行条约》(TFEU)第114条。
就本条例载有关于在执法目的下限制使用AI系统进行远程生物特征识别、执法目的下使用AI系统对自然人进行风险评估
以及执法目的下使用AI系统进行生物特征分类等方面处理个人数据的个人保护专门规则而言,
在涉及这些专门规则的范围内,宜将本条例建立在《欧洲联盟运行条约》第16条的基础上。
鉴于这些专门规则并诉诸《欧洲联盟运行条约》第16条,宜咨询欧洲数据保护委员会(EDPB)。
```
```
(4) AI是一个快速发展的技术家族,为整个行业和社会活动范围内的广泛经济、环境和社会效益作出贡献。
通过改进预测、优化运营和资源配置,以及为个人和组织提供个性化数字解决方案,AI的使用可以为企业提供关键竞争优势,
并支持对社会和环境有益的结果,例如在医疗保健、农业、食品安全、教育和培训、媒体、体育、文化、
基础设施管理、能源、交通和物流、公共服务、安全、司法、资源和能源效率、环境监测、
生物多样性和生态系统的养护与恢复以及气候变化减缓和适应等领域。
```
```
(5) 与此同时,根据其具体应用、使用情况和技术发展水平的相关情形,AI可能产生风险,并对受联盟法律保护的
公共利益和基本权利造成损害。此类损害可能是有形或无形的,包括身体、心理、社会或经济损害。
```
```
(6) 鉴于AI可能对社会产生的重大影响以及建立信任的需要,AI及其监管框架必须依照《欧洲联盟条约》(TEU)第2条
所载的联盟价值观、《条约》所载的基本权利和自由以及依据《欧洲联盟条约》第6条所载的《宪章》进行开发。
作为先决条件,AI应是一项以人为本的技术。它应作为服务于人的工具,最终目标是增进人类福祉。
```
```
(7) 为确保在健康、安全和基本权利方面对公共利益进行一致且高水平的保护,应为高风险AI系统制定共同规则。
这些规则应与《宪章》一致、非歧视,并符合联盟的国际贸易承诺。它们还应考虑《数字十年数字权利与原则欧洲宣言》
以及人工智能高级别专家组(AI HLEG)的《值得信赖的AI伦理指南》。
```
```
(8) 因此,需要一个制定AI统一规则的联盟法律框架,以促进AI在内部市场中的开发、使用和推广,
同时满足对公共利益(如健康和安全以及对基本权利的保护,包括联盟法律承认和保护民主、法治和环境保护)的高水平保护。
为实现该目标,应制定规范某些AI系统的投放市场、投入使用和使用的规则,从而确保内部市场的顺畅运作,
并允许这些系统受益于商品和服务自由流动原则。这些规则应清晰有力,保护基本权利,
支持新的创新解决方案,使欧洲的公共和私营行为者生态系统能够依照联盟价值观创建AI系统,
并在联盟所有地区释放数字化转型的潜力。通过制定这些规则以及支持创新的措施,并特别关注中小企业(SME)
(包括初创企业),本条例支持促进欧洲以人为本的AI方法以及如欧洲理事会所述(^5)在开发安全、值得信赖和合乎伦理的AI
方面成为全球领导者的目标,并确保欧洲议会特别要求(^6)的伦理原则得到保护。
```
# 英文版 欧盟公报 L,12.7.
2/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^5) 欧洲理事会,欧洲理事会特别会议(2020年10月1日和2日)——结论,EUCO 13/20,2020年,第6页。
(^6) 欧洲议会2020年10月20日关于向委员会提出人工智能、机器人及相关技术伦理方面框架建议的决议,2020/2012(INL)。
```
```
(9) 适用于高风险AI系统投放市场、投入使用和使用的统一规则,应依照欧洲议会和理事会条例(EC)第765/2008号(^7)、
欧洲议会和理事会决定第768/2008/EC号(^8)以及欧洲议会和理事会条例(EU)2019/1020号(^9)(新立法框架)制定。
本条例规定的统一规则应适用于各部门,并依照新立法框架,不损害现行联盟法律,特别是关于数据保护、消费者保护、
基本权利、就业和工人保护以及产品安全的法律,本条例是对这些法律的补充。
因此,此类联盟法律为消费者以及可能受到AI系统负面影响的其他人(包括依据理事会指令85/374/EEC(^10)就可能损害赔偿
获得补偿)提供的所有权利和救济不受影响并完全适用。此外,在就业和工人保护方面,本条例不应影响关于就业和工作条件
(包括工作中的健康与安全以及雇主与工人之间的关系)的联盟社会政策法律和符合联盟法律的国家劳动法。
本条例也不应影响成员国和联盟层面承认的基本权利的行使,包括罢工权或采取成员国特定劳资关系制度所涵盖的其他行动
的自由,以及依照国内法谈判、缔结和执行集体协议或采取集体行动的权利。本条例不应影响欧洲议会和理事会关于改善平台工作
工作条件的指令所规定的旨在改善平台工作中工作条件的条款。此外,本条例旨在通过制定具体要求和义务
(包括关于AI系统的透明度、技术文档和记录保存方面的要求和义务)来加强此类现有权利和救济的有效性。
此外,本条例对AI价值链中各经营者施加的义务,应在不损害符合联盟法律的国家法律的前提下适用,
前提是此类法律属于本条例范围之外,或追求与本条例所追求的目标不同的合法公共利益目标,且其效果是限制某些AI系统的使用。
例如,关于就业的国家劳动法和保护未成年人(即18岁以下的人)的法律——考虑到联合国儿童权利委员会关于数字环境中儿童权利的
第25号一般性意见(2021年)——只要这些法律并非专门针对AI系统并追求其他合法公共利益目标,就不应受本条例影响。
```
```
(10) 保护个人数据的基本权利尤其由欧洲议会和理事会条例(EU)2016/679(^11)和(EU)2018/1725(^12)
以及欧洲议会和理事会指令(EU)2016/(^13)保障。欧洲议会和理事会指令2002/58/EC(^14)还保护隐私和通信保密性,
包括为在终端设备中存储个人和非个人数据以及从终端设备访问此类数据规定条件。
这些联盟法律文书为可持续和负责任的数据处理提供了基础,包括在数据集混合包含个人和非个人数据的情况下。
本条例无意影响管辖个人数据处理的现行联盟法律的适用,包括负责监督遵守这些文书的独立监督机构的任务和权力。
在AI系统的设计、开发或使用涉及处理个人数据的情况下,本条例也不影响AI系统的提供者和部署者作为数据控制者或处理者
依据联盟或国家个人数据保护法律承担的义务。还宜澄清,数据主体继续享有以下所有——
```
# 欧盟公报 L,12.7.2024 英文版
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 3/
```
(^7) 欧洲议会和理事会2008年7月9日条例(EC)第765/2008号,规定认证要求并废止条例(EEC)第339/93号(欧盟公报 L 218,2008年8月13日,第30页)。
(^8) 欧洲议会和理事会2008年7月9日决定第768/2008/EC号,关于产品营销的共同框架,并废止理事会决定93/465/EEC(欧盟公报 L 218,2008年8月13日,第82页)。
(^9) 欧洲议会和理事会2019年6月20日条例(EU)2019/1020号,关于市场监督和产品合规,并修订指令2004/42/EC以及条例(EC)第765/2008号和(EU)第305/2011号(欧盟公报 L 169,2019年6月25日,第1页)。
(^10) 理事会1985年7月25日指令85/374/EEC,关于协调成员国有关缺陷产品责任的各项法律、法规和行政规定(欧盟公报 L 210,1985年8月7日,第29页)。
(^11) 欧洲议会和理事会2016年4月27日条例(EU)2016/679号,关于在个人数据处理方面保护自然人以及此类数据的自由流动,并废止指令95/46/EC(《通用数据保护条例》,GDPR)(欧盟公报 L 119,2016年5月4日,第1页)。
(^12) 欧洲议会和理事会2018年10月23日条例(EU)2018/1725号,关于联盟机构、机关、办公室和署在处理个人数据时对自然人的保护以及此类数据的自由流动,并废止条例(EC)第45/2001号和决定第1247/2002/EC号(欧盟公报 L 295,2018年11月21日,第39页)。
(^13) 欧洲议会和理事会2016年4月27日指令(EU)2016/680号,关于主管当局为预防、调查、侦查或起诉刑事犯罪或执行刑事处罚之目的处理个人数据时对自然人的保护以及此类数据的自由流动,并废止理事会框架决定2008/977/JHA(欧盟公报 L 119,2016年5月4日,第89页)。
(^14) 欧洲议会和理事会2002年7月12日指令2002/58/EC,关于电子通信部门个人数据处理和隐私保护(《隐私和电子通信指令》)(欧盟公报 L 201,2002年7月31日,第37页)。
```
```
此类联盟法律授予数据主体的所有权利和保障,包括与完全自动化的个人决策(含用户画像)相关的权利。
本条例规定的AI系统投放市场、投入使用和使用的统一规则,应促进有效实施,并使数据主体能够行使其依据联盟个人数据保护
法律和其他基本权利法律所保障的权利及其他救济。
```
```
(11) 本条例不应影响欧洲议会和理事会条例(EU)2022/2065号(^15)所规定的中介服务提供者责任条款。
```
```
(12) 本条例中的“AI系统”概念应有明确定义,并应与从事AI工作的国际组织的成果紧密保持一致,
以确保法律确定性、促进国际趋同和广泛接受,同时提供灵活性以适应该领域快速的技术发展。
此外,该定义应基于将AI系统与更简单的传统软件系统或编程方法区分开来的关键特征,
不应涵盖仅由自然人定义的规则来自动执行操作的系统。AI系统的一个关键特征是其推理能力。
这种推理能力是指获得输出(如预测、内容、建议或决策,这些输出可以影响物理和虚拟环境)的过程,
以及AI系统从输入或数据中推导出模型或算法(或两者)的能力。在构建AI系统时能够实现推理的技术包括:
从数据中学习如何实现特定目标的机器学习方法,以及从编码知识或待解决问题符号表示中进行推理的
基于逻辑和知识的方法。AI系统的推理能力超越基本数据处理,可实现学习、推理或建模。
“基于机器的”一词指AI系统在机器上运行的事实。提及明示或隐含目标强调AI系统可以按照明确定义的目标
或隐含目标运行。AI系统的目标可能不同于AI系统在特定情境中的预期用途。就本条例而言,
环境应理解为AI系统运行的背景,而AI系统生成的输出反映AI系统执行的不同功能,包括预测、内容、建议或决策。
AI系统被设计为以不同程度的自主性运行,这意味着其行动在某种程度上独立于人类介入,并具有无需人工干预即可运行的能力。
AI系统在部署后可能表现出的适应性,指自主学习能力,允许系统在使用过程中发生变化。
AI系统可以独立使用或作为产品的组成部分使用,无论该系统是物理集成到产品中(嵌入式),
还是未集成到产品中但为该产品提供功能(非嵌入式)。
```
```
(13) 本条例所称“部署者”,应解释为在其职权范围内使用AI系统的任何自然人或法人,包括公共机关、机构或其他团体,
但AI系统用于个人非职业活动的情形除外。根据AI系统的类型,系统的使用可能影响到部署者以外的人。
```
```
(14) 本条例所用“生物特征数据”概念,应参照条例(EU)2016/679号第4条第(14)项、条例(EU)2018/1725号第3条第(18)项
以及指令(EU)2016/680号第3条第(13)项所定义的生物特征数据概念加以解释。生物特征数据可用于自然人的认证、识别或分类,
以及识别自然人的情绪。
```
```
(15) 本条例所称“生物特征识别”,应定义为通过将该个人的生物特征数据与参考数据库中存储的多个个人的生物特征数据
进行比较来确定个人身份的目的,对人类的物理、生理和行为特征(如面部、眼球运动、体型、声音、韵律、步态、姿势、
心率、血压、气味、按键特征)进行的自动识别,无论该个人是否已表示同意。这排除了旨在用于生物特征验证
(包括认证)的AI系统,此类系统的唯一目的是确认特定自然人确为其自称之人,并仅为访问服务、解锁设备或获得场所安全准入
之目的确认自然人身份。
```
# 英文版 欧盟公报 L,12.7.
4/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^15) 欧洲议会和理事会2022年10月19日条例(EU)2022/2065号,关于数字服务单一市场并修订指令2000/31/EC(《数字服务法》)(欧盟公报 L 277,2022年10月27日,第1页)。
```
```
(16) 本条例所称“生物特征分类”,应定义为根据自然人的生物特征数据将其归入特定类别。此类特定类别可涉及性别、
年龄、发色、瞳色、纹身、行为或性格特征、语言、宗教、少数民族成员身份、性取向或政治取向等方面。
这不包括纯粹作为另一商业服务内在附属功能的生物特征分类系统,即该功能因客观技术原因不能脱离主服务使用,
且该功能或特性的整合并非规避本条例规则适用性的手段。例如,在线市场上用于对面部或身体特征进行分类的滤镜
可能构成此类附属功能,因为此类滤镜只能在主服务(即允许消费者预览产品在自己身上的展示效果并帮助消费者做出购买决定的
商品销售服务)的背景下使用。在线社交网络服务中用于对面部或身体特征进行分类以允许用户添加或修改图片或视频的滤镜,
也可以视为附属功能,因为此类滤镜不能脱离社交网络服务的主服务(即在线上分享内容)而使用。
```
```
(17) 本条例所称“远程生物特征识别系统”,应从功能上定义,即一种旨在无需自然人积极参与、通常在一定距离之外、
通过将人的生物特征数据与参考数据库所含生物特征数据进行比较来识别自然人的AI系统,无论使用何种特定技术、
流程或生物特征数据类型。此类远程生物特征识别系统通常用于同时感知多人或其行为,以显著便利在无需自然人积极参与的
情况下识别自然人。这排除了旨在用于生物特征验证(包括认证)的AI系统,此类系统的唯一目的是确认特定自然人确为其自称之人,
并仅为访问服务、解锁设备或获得场所安全准入之目的确认自然人身份。该排除的合理性在于:与可能被用于在无需大量人员积极参与的
情况下处理其生物特征数据的远程生物特征识别系统相比,此类系统对自然人基本权利的影响可能较小。
就“实时”系统而言,生物特征数据的采集、比较和识别均即时、近乎即时发生,或无论如何不存在显著延迟。
在此方面,不应有任何空间通过人为设定轻微延迟来规避本条例关于相关AI系统“实时”使用的规则。“实时”系统涉及使用由摄像头
或其他具有类似功能的设备生成的“实时”或“近实时”材料,如视频画面。相反,就“事后”系统而言,生物特征数据已被采集,
比较和识别仅在显著延迟之后发生。这涉及在系统对相关自然人使用之前生成的材料,如闭路电视摄像机或私人设备生成的图片或视频画面。
```
```
(18) 本条例所称“情绪识别系统”,应定义为基于自然人的生物特征数据识别或推断其情绪或意图的AI系统。
该概念指快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞愧、轻蔑、满意和愉悦等情绪或意图。
它不包括身体状态,如疼痛或疲劳,例如用于检测专业飞行员或驾驶员疲劳状态以防止事故的系统。
它也不包括仅检测显而易见的表情、手势或动作,除非这些用于识别或推断情绪。这些表情可以是基本的面部表情,
如皱眉或微笑,或手势,如手、手臂或头部的动作,或人的声音特征,如提高声音或低语。
```
```
(19) 就本条例而言,“公众可进入的场所”概念应理解为指任何可供不特定数量的自然人进入的物理空间,
无论该空间属于私人所有还是公共所有,无论该空间可用于何种活动,例如商业活动——如商店、餐馆、咖啡馆;
服务活动——如银行、专业活动、招待业;体育活动——如游泳池、健身房、体育场;交通活动——如公交、地铁和火车站、
机场、交通工具;娱乐活动——如电影院、剧院、博物馆、音乐厅和会议厅;或休闲或其他活动——如公共道路和广场、公园、
森林、游乐场。如果进入某空间不受潜在容量或安全限制的影响,而须满足可由不特定数量的人履行的某些预定条件,
如购买门票或交通票据、事先登记或达到一定年龄,则该空间也应被归类为公众可进入的场所。相反,如果进入某空间仅限于
通过直接涉及公共安全或治安的联盟或国家法律、或通过对该空间拥有相关权限的人的明确意思表示而限定的特定和明确自然人,
则该空间不应被视为公众可进入的场所。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 5/
```
仅存在事实上的进入可能性(如未上锁的门或围栏中敞开的大门)本身,在存在表明相反情况的迹象或情形
(如有禁止或限制进入的标志)时,并不意味着该空间是公众可进入的。公司和工厂场所,以及仅面向相关员工和
服务提供者开放的办公室和工作场所,属于非公众可进入的场所。公众可进入的场所不应包括监狱或边境管制。
某些其他场所可能同时包含公众可进入和不可进入的空间,例如进入医生办公室或机场所需的私人住宅楼走廊。
在线空间不包括在内,因为它们不是物理空间。然而,某一特定空间是否对公众开放,应视具体情况逐案确定,
并考虑手头个案的具体情况。
```
```
(20) 为在保护基本权利、健康和安全的同时从AI系统中获得最大利益,并实现民主控制,AI素养应使提供者、部署者和
受影响者具备就AI系统作出知情决定所需的必要概念。这些概念可能因相关情境而异,可以包括理解AI系统开发阶段
技术要素的正确应用、使用期间应适用的措施、解释AI系统输出的适当方式,以及就受影响者而言,理解在AI协助下作出的
决定将如何影响他们所需的知识。在本条例适用的背景下,AI素养应为AI价值链中的所有相关行为者提供确保适当合规及其
正确执行所需的见解。此外,广泛实施AI素养措施并推出适当的后续行动,有助于改善工作条件,并最终支持联盟内值得信赖的
AI的巩固和创新之路。欧洲人工智能委员会(“委员会”)应支持欧盟委员会推广AI素养工具,提高公众对使用AI系统的
益处、风险、保障措施、权利和义务的认识和理解。欧盟委员会和成员国应与相关利益相关方合作,推动制定自愿性行为准则,
以提高从事AI开发、运营和使用的人员的AI素养。
```
```
(21) 为确保联盟范围内公平的竞争环境以及对个人权利和自由的有效保护,本条例确立的规则应以非歧视方式适用于AI系统提供者,
无论其设立于联盟境内还是第三国,并适用于设立于联盟境内的AI系统部署者。
```
```
(22) 鉴于其数字性质,某些AI系统即使在——它们并未在联盟内投放市场、投入使用或使用的情况下,也应属于本条例的范围。例如,设立于联盟内的经营者
就本应属于高风险的活动将某些服务承包给设立于第三国的经营者时,即属此种情形。在这种情况下,
第三国经营者使用的AI系统可以处理在联盟内合法收集并传输的数据,并将该AI系统处理产生的输出提供给联盟内的
承包经营者,而该AI系统并未在联盟内投放市场、投入使用或使用。为防止规避本条例并确保对联盟内自然人的有效保护,
本条例也应适用于设立于第三国的AI系统提供者和部署者,只要这些系统产生的输出旨在联盟内使用。
然而,考虑到与交换信息和证据的外国伙伴现有的安排以及未来合作的特殊需要,本条例不适用于第三国公共机关和国际组织
在联盟或国家层面为与联盟或成员国进行执法和司法合作而缔结的合作框架或国际协定范围内行事的情形,
前提是相关第三国或国际组织在保护个人基本权利和自由方面提供充分保障。在相关情况下,这可涵盖第三国委托执行
支持此类执法和司法合作的特定任务的实体的活动。此类合作框架或协定已在成员国与第三国之间,或欧洲联盟、
欧洲刑警组织(Europol)和其他联盟机构与第三国和国际组织之间双边建立。根据本条例负责监督执法和司法机关的主管机关
应评估这些合作框架或国际协定是否包含关于保护个人基本权利和自由的充分保障。接受国
```
# 英文版 欧盟公报 L,12.7.
6/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
国家当局以及联盟机构、机关、办公室和署在联盟内使用此类输出的,仍应负责确保其使用符合联盟法律。
当这些国际协定被修订或未来缔结新协定时,缔约方应尽最大努力使这些协定与本条例的要求保持一致。
```
```
(23) 本条例也应适用于以AI系统提供者或部署者身份行事的联盟机构、机关、办公室和署。
```
```
(24) 如果AI系统为军事、国防或国家安全目的而投放市场、投入使用或使用(无论是否对这些系统进行修改),
则此类系统应排除在本条例范围之外,无论开展这些活动的是何种类型的实体(如公共或私人实体)。
就军事和国防目的而言,此种排除既依据《欧洲联盟条约》第4条第(2)项,也依据《欧洲联盟条约》第五编第二章涵盖的
成员国和联盟共同防务政策的特殊性,这些活动受国际公法管辖,因此国际公法是监管军事和国防活动中使用致命武力
及其他AI系统的更适当的法律框架。就国家安全目的而言,此种排除既依据国家安全仍属成员国依据《欧洲联盟条约》
第4条第(2)项承担的唯一责任这一事实,也依据国家安全活动的特殊性质和业务需要以及适用于这些活动的具体国家规则。
然而,如果为军事、国防或国家安全目的而开发、投放市场、投入使用或使用的AI系统在暂时或永久脱离这些目的之外
用于其他目的(例如民用或人道主义目的、执法或公共安全目的),则该系统属于本条例的范围。在这种情况下,
将AI系统用于军事、国防或国家安全以外目的的实体应确保该AI系统符合本条例,除非该系统已符合本条例。
为被排除目的(即军事、国防或国家安全)以及一个或多个未被排除目的(如民用目的或执法)而投放市场或投入使用的
AI系统,属于本条例的范围,这些系统的提供者应确保其符合本条例。在这些情况下,AI系统可能属于本条例范围这一事实,
不应影响开展国家安全、国防和军事活动的实体(无论开展这些活动的实体为何种类型)将AI系统用于国家安全、军事和国防目的,
此类用途被排除在本条例范围之外。为民事或执法目的而投放市场、无论是否经修改即用于军事、国防或国家安全目的的AI系统,
不应属于本条例的范围,无论开展这些活动的是何种类型的实体。
```
```
(25) 本条例应支持创新,应尊重科学自由,不应损害研究和发展活动。因此,有必要将专门为科学研究和发展唯一目的而开发
和投入使用的AI系统和模型排除在其范围之外。此外,有必要确保本条例不以其他方式影响AI系统或模型在投放市场或
投入使用之前的研究和发展活动。就涉及AI系统或模型的面向产品的研究、测试和发展活动而言,本条例的规定在这些系统和
模型投入使用或投放市场之前也不应适用。该排除不影响下列义务:如果属于本条例范围的AI系统因此类研究和发展活动而
投放市场或投入使用,则须遵守本条例;也不影响关于AI监管沙盒和真实世界条件测试条款的适用。此外,在不影响专门为
科学研究和发展唯一目的而开发和投入使用的AI系统被排除的前提下,任何可能用于开展研究和发展活动的其他AI系统仍应
受本条例规定的约束。无论如何,任何研究和发展活动都应依照公认的科学研究伦理和职业标准进行,并应依照适用的联盟法律开展。
```
```
(26) 为引入一套相称且有效的AI系统约束性规则,应遵循明确定义的基于风险的方法。该方法应使此类规则的类型和内容
适应AI系统可能产生的风险强度和范围。因此,有必要禁止某些不可接受的AI实践,为高风险AI系统规定要求并为相关经营者
规定义务,并为某些AI系统规定透明度义务。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 7/
```
(27) 虽然基于风险的方法是制定一套相称且有效的约束性规则的基础,但重要的是回顾欧盟委员会任命的独立AI HLEG
制定的2019年《值得信赖的AI伦理指南》。在该指南中,AI HLEG为AI制定了七项非约束性伦理原则,旨在帮助确保AI
值得信赖且合乎伦理。这七项原则包括:人的能动性与监督;技术稳健性与安全性;隐私与数据治理;透明度;多样性、
非歧视与公平;社会和环境福祉;以及问责制。在不影响本条例具有法律约束力的要求以及任何其他适用的联盟法律的前提下,
这些指南有助于按照《宪章》和联盟赖以建立的价值观设计连贯、值得信赖和以人为本的AI。根据AI HLEG的指南,
人的能动性与监督意味着AI系统被开发和用作服务于人的工具,尊重人的尊严和个人自主权,并以能够由人适当控制和监督的
方式运作。技术稳健性与安全性意味着AI系统的开发和使用的方式使其在出现问题的情况下具有稳健性,能够抵御旨在改变
AI系统用途或性能以允许第三方非法使用的企图,并最大限度减少意外伤害。隐私与数据治理意味着AI系统的开发和使用
符合隐私和数据保护规则,同时处理的数据在质量和完整性方面达到高标准。透明度意味着AI系统的开发和使用方式允许
适当的可追溯性和可解释性,同时使人们意识到他们在与AI系统交流或互动,并适当告知部署者该AI系统的能力和局限性,
以及告知受影响者其权利。多样性、非歧视和公平意味着AI系统的开发和使用方式包容多元行为者,促进平等获取、
性别平等和文化多样性,同时避免受联盟或国家法律禁止的歧视性影响和不公平偏见。社会和环境福祉意味着AI系统以
可持续和环保的方式开发和使用,并以造福全人类的方式开发和使用,同时监测和评估对个人、社会和民主的长期影响。
这些原则的应用应尽可能转化为AI模型的设计和使用。它们无论如何都应作为根据本条例起草行为准则的基础。
鼓励包括产业界、学术界、民间社会以及标准化组织在内的所有利益相关方酌情考虑为制定自愿性最佳实践和标准
而采纳这些伦理原则。
```
```
(28) 除了AI的许多有益用途外,它也可能被滥用,并为操纵、剥削和社会控制实践提供新颖而强大的工具。
此类实践特别有害和恶劣,应予禁止,因为它们违背联盟尊重人的尊严、自由、平等、民主和法治的价值观以及
《宪章》所载的基本权利,包括不受歧视的权利、数据保护权和隐私权以及儿童权利。
```
```
(29) 借助AI的操纵技术可用于说服人们从事不受欢迎的行为,或通过推动他们作出决定的方式欺骗他们,从而颠覆和
损害他们的自主权、决策权和自由选择。投放市场、投入使用或使用某些以实质扭曲人类行为为目标或产生此类效果的
AI系统,可能造成重大损害,特别是对身体、心理健康或经济利益产生足够严重的不利影响,此类系统尤其危险,应予禁止。
此类AI系统采用潜意识成分,如人无法感知的音频、图像、视频刺激(因为这些刺激超出人类感知范围),或其他操纵或欺骗技术,
以人们未意识到这些技术的方式(或即使意识到,仍可能被欺骗或无法控制或抵抗)颠覆或损害人的自主权、决策权或自由选择。
例如,脑机接口或虚拟现实可能助长这种情况,因为它们允许更高程度地控制向人呈现的刺激,只要它们可能以显著有害的方式
实质扭曲人的行为。此外,AI系统还可能利用一个人或特定群体的脆弱性,其原因是年龄、欧洲议会和理事会指令(EU)2019/882号(^16)
意义上的残疾,或可能使这些人更容易受到剥削的特定社会或经济状况,如生活在极端贫困中的人、族裔或宗教少数群体。
此类AI系统可以以实质扭曲人的行为为目标或产生此类效果,并以造成或合理可能造成对该人或其他人或群体重大损害
(包括可能随时间累积的损害)的方式投放市场、投入使用或使用,因此应予禁止。如果行为扭曲源于AI系统外部的因素,
即提供者或部署者无法控制、可能无法合理预见、因此AI系统的提供者或部署者无法缓解的因素,则不能推定存在扭曲行为的意图。
```
# 英文版 欧盟公报 L,12.7.
8/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^16) 欧洲议会和理事会2019年4月17日指令(EU)2019/882号,关于产品和服务的无障碍要求(欧盟公报 L 151,2019年6月7日,第70页)。
```
```
在任何情况下,提供者或部署者不必具有造成重大损害的意图,只要此类损害源于借助AI的操纵或剥削实践即可。
对此类AI实践的禁止是对欧洲议会和理事会指令2005/29/EC(^17)所含条款的补充,特别是对消费者造成经济或金融损害的
不公平商业行为在任何情况下均予禁止,无论其是否通过AI系统实施。本条例对操纵和剥削实践的禁止不应影响医疗治疗
(如精神疾病的心理治疗或身体康复)背景下的合法实践,只要这些实践依照适用的法律和医疗标准进行,
例如个人或其法定代表人明确同意。此外,符合适用法律的常见和合法商业实践(例如广告领域的实践)
本身不应被视为构成有害的借助AI的操纵实践。
```
```
(30) 基于自然人生物特征数据(如个人的面部或指纹)推断或推导个人的政治观点、工会会员身份、宗教或哲学信仰、
种族、性生活或性取向的生物特征分类系统应予禁止。该禁止不应涵盖依照联盟或国家法律获得的生物特征数据集的合法标注、
过滤或分类(如按发色或瞳色对图像进行分类,此类分类可用于执法领域)。
```
```
(31) 由公共或私人行为者提供对自然人进行社会评分的AI系统可能导致歧视性结果和排斥某些群体。它们可能侵犯
尊严和不受歧视的权利以及平等和正义的价值观。此类AI系统基于与自然人在多种情境下的社会行为相关的多个数据点,
或基于在一段时间内已知、推断或预测的个人或性格特征,对自然人及其群体进行评估或分类。从此类AI系统获得的社会评分
可能导致自然人或其整个群体在与数据最初生成或收集情境无关的社会情境中受到不利或不公正的对待,或导致与其社会行为
严重程度不相称或缺乏正当理由的不利对待。因此,具有此类不可接受评分实践并导致此类不利或不公正结果的AI系统应予禁止。
该禁止不应影响依照联盟和国家法律为特定目的对自然人进行的合法评估实践。
```
```
(32) 为执法目的在公众可进入的场所对自然人进行“实时”远程生物特征识别,对相关人员的权利和自由尤其具有侵扰性,对——因为它可能影响大部分人口的私人生活,唤起持续被监控的感觉,并间接劝阻行使集会自由和其他基本权利。
旨在对自然人进行远程生物特征识别的AI系统的技术不准确可能导致有偏见的结果并造成歧视性影响。此类可能的
有偏见结果和歧视性影响在年龄、族裔、种族、性别或残疾方面尤其相关。此外,与在实时运行的此类系统使用相关的
影响的即时性以及进一步检查或纠正的机会有限,在执法活动的背景下或受执法活动影响的人,其权利和自由面临更高的风险。
```
```
(33) 因此,为执法目的使用这些系统应予禁止,但详尽列举和严格界定、且使用为达成重大公共利益所严格必要、
其重要性超过风险的情形除外。这些情形包括:搜寻某些犯罪受害者,包括失踪人员;对自然人生命或人身安全的某些威胁
或恐怖袭击威胁;以及定位或识别本条例附件所列刑事犯罪的行为人或嫌疑人,前提是该刑事犯罪在相关成员国可判处
监禁或羁押
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 9/
```
(^17) 欧洲议会和理事会2005年5月11日指令2005/29/EC,关于内部市场中企业对消费者不公平商业行为并修订理事会指令84/450/EEC、
欧洲议会和理事会指令97/7/EC、98/27/EC和2002/65/EC以及欧洲议会和理事会条例(EC)第2006/2004号(《不公平商业行为指令》)
(欧盟公报 L 149,2005年6月11日,第22页)。
```
```
命令,最高刑期至少四年,且该犯罪按该成员国的法律界定。依照国内法设定监禁或羁押命令的门槛,有助于确保该犯罪
应严重到足以可能证明使用“实时”远程生物特征识别系统的正当性。此外,本条例附件所列刑事犯罪清单以理事会框架决定
2002/584/JHA(^18)所列的32种刑事犯罪为基础,同时考虑到其中某些犯罪在实践中可能比其他犯罪更相关,
因为就实际定位或识别所列不同刑事犯罪的行为人或嫌疑人而言,诉诸“实时”远程生物特征识别可预见地可能具有
高度不同的必要性和相称性,并考虑到损害或可能的负面后果在严重性、可能性和规模上的可能差异。
对自然人生命或人身安全的紧迫威胁也可能源于欧洲议会和理事会指令(EU)2022/2557号(^19)第2条第(4)项所定义的
关键基础设施的严重破坏,如果此类关键基础设施的破坏或摧毁会导致对人的生命或人身安全的紧迫威胁,
包括严重损害向民众提供基本供应或国家核心职能的行使。此外,本条例应保留执法、边境管制、移民或庇护机关
按照联盟和国家法律为此类检查设定的条件,在相关人员在场的情况下进行身份检查的能力。特别是,执法、边境管制、
移民或庇护机关应能够按照联盟或国家法律使用信息系统,以识别在身份检查中拒绝表明身份或无法陈述或证明其身份的人,
而无需本条例要求其事先获得授权。例如,可能是在犯罪中涉案的人,出于不愿意或因事故或医疗状况而无法向执法机关披露其身份。
```
```
(34) 为确保这些系统以负责任和相称的方式使用,还有必要确定,在每一种详尽列举和严格界定的情形中,
应考虑某些要素,特别是关于产生请求的情形的性质、使用对所有人权利和自由以及随使用而提供的保障和条件的后果。
此外,为执法目的在公众可进入的场所使用“实时”远程生物特征识别系统,应仅用于确认具体目标个人的身份,
并应限于就时间以及地域和个人范围而言严格必要的内容,尤其考虑到有关威胁、受害者或行为人的证据或迹象。
只有在相关执法机关已完成基本权利影响评估,并且除非本条例另有规定,已按照本条例在数据库中登记该系统的情况下,
才应授权在公众可进入的场所使用实时远程生物特征识别系统。人员的参考数据库应适合上述每一种情形中的每一个使用案例。
```
```
(35) 为执法目的在公众可进入的场所每次使用“实时”远程生物特征识别系统,均须获得司法机关或成员国独立行政机关
明确和具体的授权,其决定具有约束力。此类授权原则上应在使用AI系统识别一个人或多个人之前获得。
在经适当证明的紧急情形下(即需要使用相关系统的必要性达到在实际和客观上不可能在使用AI系统开始前获得授权的程度),
可以允许该规则的例外。在此类紧急情形下,AI系统的使用应限于绝对必要的最低限度,并应符合适当的保障措施和条件,
由国内法确定并在每个个别紧急使用案例中由执法机关自身具体规定。此外,执法机关在此类情形下应无不当延迟地请求此类授权,
最迟在24小时内提供未能更早请求的理由。如果此类授权被拒绝,与该授权相关的实时生物特征识别系统的使用应立即停止,
与此类使用相关的所有数据应予丢弃和删除。此类数据包括
```
# 英文版 欧盟公报 L,12.7.
10/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^18) 理事会2002年6月13日框架决定2002/584/JHA,关于欧洲逮捕令和成员国之间的移交程序(欧盟公报 L 190,2002年7月18日,第1页)。
(^19) 欧洲议会和理事会2022年12月14日指令(EU)2022/2557号,关于关键实体的韧性并废止理事会指令2008/114/EC
(欧盟公报 L 333,2022年12月27日,第164页)。
```
```
AI系统在使用此类系统过程中直接获取的输入数据,以及与该授权相关的使用结果和输出。
它不应包括依照另一联盟或国家法律合法获取的输入。无论如何,不得仅依据远程生物特征识别系统的输出
作出对个人产生不利法律影响的决定。
```
```
(36) 为按照本条例以及国家规则规定的要求履行职责,每次使用实时生物特征识别系统均应通知相关的市场监督机关和
国家数据保护机关。已获通知的市场监督机关和国家数据保护机关应向欧盟委员会提交关于使用实时生物特征识别系统的年度报告。
```
```
(37) 此外,宜在本条例设定的详尽框架内规定:只有在相关成员国已决定在其国内法详细规则中明确规定可以授权此类使用的
情况下,才可以在该成员国领土内按照本条例进行此类使用,且仅在相应范围内进行。因此,根据本条例,成员国仍可自由地
完全不规定此类可能性,或仅就本条例所确定的能够证明授权使用正当性的部分目标规定此类可能性。此类国家规则应在其
通过后30天内通知欧盟委员会。
```
```
(38) 为执法目的在公众可进入的场所使用AI系统对自然人进行实时远程生物特征识别,必然涉及生物特征数据的处理。
本条例基于《欧洲联盟运行条约》第16条、在若干例外前提下禁止此类使用的规则,应作为特别法(lex specialis)适用于
指令(EU)2016/680号第10条所含的生物特征数据处理规则,从而以详尽的方式规范此类使用以及所涉及的生物特征数据处理。
因此,只有在符合本条例设定框架的情况下,此类使用和处理才属可能;在该框架之外,主管机关为执法目的行事时,
不得以指令(EU)2016/680号第10条所列理由使用此类系统并处理与之相关的此类数据。在此背景下,本条例无意提供
指令(EU)2016/680号第8条下处理个人数据的法律依据。然而,为执法以外目的(包括主管机关)在公众可进入的场所使用
实时远程生物特征识别系统,不应属于本条例为此类执法目的使用所设定的专门框架的范围。因此,此类执法以外目的的使用
不应受本条例授权要求以及可能实施该授权的适用国家详细规则要求的约束。
```
```
(39) 除本条例规范的为执法目的在公众可进入的场所使用实时远程生物特征识别系统之外,AI系统用于生物特征识别所涉及的
任何生物特征数据和其他个人数据的处理,应继续遵守指令(EU)2016/680号第10条产生的所有要求。就执法以外目的而言,
条例(EU)2016/679号第9条第(1)款和条例(EU)2018/1725号第10条第(1)款禁止处理生物特征数据,但那些条款规定的
有限例外除外。在适用条例(EU)2016/679号第9条第(1)款时,为执法以外目的使用远程生物特征识别已经受到国家数据保护机关
禁止决定的约束。
```
```
(40) 依照附于《欧洲联盟条约》和《欧洲联盟运行条约》的关于联合王国和爱尔兰在自由、安全和司法领域地位的
第21号议定书第6a条,爱尔兰不受本条例基于《欧洲联盟运行条约》第16条通过的下述规则的约束:第5条第(1)款第一项
第(g)目(在适用于为警察合作和刑事事项司法合作领域的活动使用生物特征分类系统的范围内)、第5条第(1)款第一项
第(d)目(在适用于该条款涵盖的AI系统使用的范围内)、第5条第(1)款第一项第(h)目、第5条第(2)至(6)款和第26条第(10)款,
这些规则涉及成员国在开展属于《欧洲联盟运行条约》第三部分第五编第四章或第五章范围内的活动时对个人数据的处理,
而爱尔兰不受要求遵守基于《欧洲联盟运行条约》第16条制定的条款的刑事事项司法合作或警察合作形式的规则约束。
```
```
(41) 依照附于《欧洲联盟条约》和《欧洲联盟运行条约》的关于丹麦地位的第22号议定书第2条和第2a条,
丹麦不受本条例基于《欧洲联盟运行条约》第16条通过的下述规则的约束,也不受其适用的约束:第5条第(1)款第一项第(g)目
(在适用于为警察合作和刑事事项司法合作领域的活动使用生物特征分类系统的范围内)、第5条第(1)款第一项第(d)目
(在适用于该条款涵盖的AI系统使用的范围内)、第5条第(1)款第一项第(h)目、第(2)至(6)款和第26条第(10)款,
这些规则涉及成员国在开展属于
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 11/
```
《欧洲联盟运行条约》第三部分第五编第四章或第五章范围内的活动时对个人数据的处理。
```
```
(42) 依照无罪推定原则,联盟内的自然人应始终依据其实际行为受到评判。在没有基于客观可核实事实的合理怀疑
认定该人参与犯罪活动且未经人工评估的情况下,自然人绝不应仅依据对其画像、人格特质或特征(如国籍、出生地、
居住地、子女数量、债务水平或汽车类型)进行的AI预测行为受到评判。因此,为评估自然人犯罪可能性或预测实际或
潜在刑事犯罪的发生而仅基于对其画像或评估其人格特质和特征进行的风险评估应予禁止。在任何情况下,该禁止均不涉及
或不触及不基于对个人的画像或个人人格特质和特征的风险分析,例如使用风险分析评估企业基于可疑交易实施金融欺诈
可能性的AI系统,或海关机关基于已知贩运路线预测麻醉品或非法货物定位可能性的风险分析工具。
```
```
(43) 通过无针对性抓取互联网或闭路电视画面中的面部图像来创建或扩大面部识别数据库的AI系统,其投放市场、
为该特定目的投入使用或使用应予禁止,因为这种做法加剧了大规模监控的感觉,并可能导致对基本权利(包括隐私权)
的严重侵犯。
```
```
(44) 对于旨在识别或推断情绪的AI系统的科学基础存在严重关切,特别是因为情绪表达在文化和情境之间以及
甚至在同一人内部差异很大。此类系统的主要缺点包括可靠性有限、缺乏特异性以及泛化能力有限。因此,
基于自然人生物特征数据识别或推断其情绪或意图的AI系统可能导致歧视性结果,并可能侵犯相关人员的权利和自由。
考虑到工作或教育背景下权力的不平衡,加上这些系统的侵扰性质,此类系统可能导致某些自然人或其整个群体受到
不利或不公正的对待。因此,旨在用于检测工作场所和教育相关情境中个人情绪状态的AI系统的投放市场、投入使用或
使用应予禁止。该禁止不应涵盖严格为——医疗或安全原因而投放市场的AI系统,例如旨在用于治疗用途的系统。
```
```
(45) 被联盟法律(包括数据保护法、反歧视法、消费者保护法和竞争法)禁止的实践不应受本条例影响。
```
```
(46) 高风险AI系统只有符合某些强制性要求,才应投放联盟市场、投入使用或使用。这些要求应确保联盟内可得或
其输出在联盟内使用的其他高风险AI系统,不对联盟法律承认和保护的重要联盟公共利益构成不可接受的风险。
基于新立法框架,如欧盟委员会通知《欧盟产品规则实施“蓝皮书”2022》(^20)所澄清的,一般规则是,
同一产品可能适用不止一项联盟协调立法法律文书,如欧洲议会和理事会条例(EU)2017/745号(^21)和(EU)2017/746号(^22)
或欧洲议会和理事会指令2006/42/EC号(^23),因为产品的提供或投入使用只有在产品符合所有适用的联盟协调立法时方可发生。
```
# 英文版 欧盟公报 L,12.7.
12/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^20) 欧盟公报 C 247,2022年6月29日,第1页。
(^21) 欧洲议会和理事会2017年4月5日条例(EU)2017/745号,关于医疗器械,修订指令2001/83/EC、条例(EC)第178/2002号和
条例(EC)第1223/2009号并废止理事会指令90/385/EEC和93/42/EEC(欧盟公报 L 117,2017年5月5日,第1页)。
(^22) 欧洲议会和理事会2017年4月5日条例(EU)2017/746号,关于体外诊断医疗器械并废止指令98/79/EC和欧盟委员会决定
2010/227/EU(欧盟公报 L 117,2017年5月5日,第176页)。
(^23) 欧洲议会和理事会2006年5月17日指令2006/42/EC,关于机械并修订指令95/16/EC(欧盟公报 L 157,2006年6月9日,第24页)。
```
```
为确保一致性并避免不必要的行政负担或成本,含有适用本条例要求以及本条例附件所列联盟协调立法要求的一个或多个
高风险AI系统的产品的提供者,应在如何以最优方式确保含有一个或多个AI系统的产品符合联盟协调立法所有适用要求的
运营决策方面拥有灵活性。被确定为高风险的AI系统应限于对联盟内人的健康、安全和基本权利具有重大有害影响的系统,
且此种限制应尽量减少对国际贸易的任何潜在限制。
```
```
(47) AI系统可能对人的健康和安全产生不利影响,特别是当此类系统作为产品的安全组件运行时。与联盟协调立法旨在
促进产品在内部市场自由流动并确保只有安全且在其他方面合规的产品进入市场的目标相一致,重要的是,产品作为一个整体
因其数字组件(包括AI系统)而可能产生的安全风险应得到适当预防和减轻。例如,日益自主的机器人,无论是在制造还是
个人辅助和护理方面,都应能够在复杂环境中安全运行并履行其功能。同样,在生命和健康风险尤其高的医疗部门,
日益复杂的诊断系统和支持人类决策的系统应可靠且准确。
```
```
(48) AI系统对《宪章》保护的基本权利造成不利影响的程度,在将AI系统归类为高风险时尤其相关。这些权利包括:
人的尊严权;尊重私人和家庭生活;个人数据保护;言论和信息自由;集会和结社自由;不受歧视的权利;受教育权;
消费者保护;工人权利;残疾人权利;性别平等;知识产权;获得有效救济和公平审判的权利;辩护权和无罪推定;
以及良好行政权。除这些权利外,重要的是强调儿童具有《宪章》第24条和《联合国儿童权利公约》所载的特定权利,
并在联合国儿童权利委员会关于数字环境的第25号一般性意见中进一步发展,两者都要求考虑儿童的脆弱性,并为儿童福祉
提供必要的保护和照顾。《宪章》所载并落实于联盟政策的高度环境保护基本权利,在评估AI系统可能造成的损害严重性时
(包括与人的健康和安全相关的损害)也应予以考虑。
```
```
(49) 对于作为产品或系统安全组件的高风险AI系统,或其本身属于欧洲议会和理事会条例(EC)第300/2008号(^24)、
欧洲议会和理事会条例(EU)第167/2013号(^25)、欧洲议会和理事会条例(EU)第168/2013号(^26)、
欧洲议会和理事会指令2014/90/EU号(^27)、欧洲议会和理事会指令(EU)2016/797号(^28)、
欧洲议会和理事会条例(EU)2018/858号(^29)、欧洲议会和理事会条例(EU)2018/1139号
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 13/
```
(^24) 欧洲议会和理事会2008年3月11日条例(EC)第300/2008号,关于民航安全领域的共同规则并废止条例(EC)第2320/2002号
(欧盟公报 L 97,2008年4月9日,第72页)。
(^25) 欧洲议会和理事会2013年2月5日条例(EU)第167/2013号,关于农用和林业车辆的批准和市场监督(欧盟公报 L 60,
2013年3月2日,第1页)。
(^26) 欧洲议会和理事会2013年1月15日条例(EU)第168/2013号,关于两轮或三轮车辆和四轮车的批准和市场监督
(欧盟公报 L 60,2013年3月2日,第52页)。
(^27) 欧洲议会和理事会2014年7月23日指令2014/90/EU,关于船用设备并废止理事会指令96/98/EC(欧盟公报 L 257,
2014年8月28日,第146页)。
(^28) 欧洲议会和理事会2016年5月11日指令(EU)2016/797号,关于欧洲联盟内铁路系统的互操作性(欧盟公报 L 138,
2016年5月26日,第44页)。
(^29) 欧洲议会和理事会2018年5月30日条例(EU)2018/858号,关于机动车及其挂车以及为此类车辆设计的系统、组件和独立技术
单元的批准和市场监督,修订条例(EC)第715/2007号和(EC)第595/2009号并废止指令2007/46/EC(欧盟公报 L 151,
2018年6月14日,第1页)。
```
```
以及欧洲议会和理事会条例(EU)2018/1139号(^30)和欧洲议会和理事会条例(EU)2019/2144号(^31)范围内的产品或系统,
宜修订这些法律文书,以确保欧盟委员会在基于这些法律文书通过任何相关的授权法案或实施法案时,
在考虑各行业的技术和监管特殊性且不干扰其中既定的治理、合格评定和执法机制及机关的前提下,
考虑本条例为高风险AI系统规定的强制性要求。
```
```
(50) 对于属于本条例附件所列某些联盟协调立法范围、作为产品安全组件或其本身为产品的AI系统,
如果相关产品依照该相关联盟协调立法由第三方合格评定机构进行合格评定程序,则宜根据本条例将其归类为高风险。
特别是,此类产品包括:机械、玩具、电梯、拟在潜在爆炸性环境中使用的设备和保护系统、无线电设备、压力设备、
游乐船设备、索道装置、燃气燃烧器具、医疗器械、体外诊断医疗器械、汽车和航空产品。
```
```
(51) 根据本条例将AI系统归类为高风险,不应必然意味着以该AI系统为安全组件的产品或该AI系统本身作为产品,
在适用于该产品的相关联盟协调立法所确立的标准下被视为高风险。这在条例(EU)2017/745号和(EU)2017/746号
的情况下尤其如此,其中对中风险和高风险产品规定了第三方合格评定。
```
```
(52) 对于独立AI系统,即不属于产品安全组件或本身不是产品的那些高风险AI系统以外的系统,如果根据其预期用途,
考虑到可能损害的严重性及其发生概率,它们对人的健康和安全或基本权利构成高损害风险,并且它们用于本条例规定的
若干具体预先确定的领域,则宜将其归类为高风险。这些系统的识别基于与未来任何对高风险AI系统清单的修订相同的
方法和标准,欧盟委员会应被授权通过授权法案对清单进行修订,以考虑技术的快速发展以及AI系统使用的潜在变化。
```
```
(53) 还有必要澄清,可能存在特定情况,即本条例规定的预先确定领域所指的AI系统不会对在这些领域保护的法律利益
造成重大损害风险,因为它们不实质影响决策或不实质损害这些利益。就本条例而言,不实质影响决策结果的AI系统
应理解为对决策(无论是人工还是自动化)的实质内容、从而对结果没有影响的AI系统。不实质影响决策结果的AI系统
可能包括满足以下一项或多项条件的情形。第一个条件应是:AI系统旨在执行狭窄的程序性任务,例如将非结构化数据
转换为结构化数据的AI系统、将来文文件分类归类的AI系统或用于在大量申请中检测重复的AI系统。这些任务性质狭窄且有限,
只构成有限风险,而这些风险不会因在本条例附件列为高风险用途的背景中使用AI系统而增加。第二个条件应是:
```
# 英文版 欧盟公报 L,12.7.
14/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^30) 欧洲议会和理事会2018年7月4日条例(EU)2018/1139号,关于民航领域的共同规则并设立欧洲联盟航空安全局,修订
条例(EC)第2111/2005号、(EC)第1008/2008号、(EU)第996/2010号、(EU)第376/2014号和欧洲议会和理事会指令
2014/30/EU和2014/53/EU,并废止欧洲议会和理事会条例(EC)第552/2004号和(EC)第216/2008号以及理事会条例(EEC)
第3922/91号(欧盟公报 L 212,2018年8月22日,第1页)。
(^31) 欧洲议会和理事会2019年11月27日条例(EU)2019/2144号,关于机动车及其挂车以及为此类车辆设计的系统、组件和独立
技术单元就一般安全以及车辆乘员和弱势道路使用者的保护方面的型式批准要求,修订欧洲议会和理事会条例(EU)2018/858号
并废止欧洲议会和理事会条例(EC)第78/2009号、(EC)第79/2009号和(EC)第661/2009号以及欧盟委员会条例(EC)
第631/2009号、(EU)第406/2010号、(EU)第672/2010号、(EU)第1003/2010号、(EU)第1005/2010号、
(EU)第1008/2010号、(EU)第1009/2010号、(EU)第19/2011号、(EU)第109/2011号、(EU)第458/2011号、
(EU)第65/2012号、(EU)第130/2012号、(EU)第347/2012号、(EU)第351/2012号、(EU)第1230/2012号和
(EU)2015/166号(欧盟公报 L 325,2019年12月16日,第1页)。
```
```
AI系统执行的任务旨在改进先前完成、且可能与本条例附件所列高风险用途相关的人类活动的结果。考虑到这些特征,
AI系统仅向人类活动提供一个额外层次,因此风险降低。例如,该条件适用于旨在改进先前起草文档所用语言的AI系统,
如就专业语气、学术语言风格或将文本与特定品牌信息对齐而言。第三个条件应是:AI系统旨在检测决策模式或与先前
决策模式的偏离。由于AI系统的使用是在先前完成且不拟由其替代或影响(未经适当人工审查)的人工评估之后进行的,
风险会降低。此类AI系统包括例如:给定教师的特定评分模式,可用于事后检查教师是否可能偏离该评分模式,以标记
潜在的不一致或异常。第四个条件应是:AI系统旨在执行仅为本条例附件所列AI系统目的的评估做准备的任务,
从而使系统输出对后续评估构成风险方面的可能影响非常低。该条件尤其涵盖智能文件处理解决方案,其中包括从索引、
搜索、文本和语音处理或将数据与其他数据源链接的各种功能,或用于翻译初始文件的AI系统。在任何情况下,
用于本条例附件所列高风险使用案例的AI系统,如果该AI系统涉及条例(EU)2016/679号第4条第(4)项或指令(EU)
2016/680号第3条第(4)项或条例(EU)2018/1725号第3条第(5)项意义上的用户画像,则应被视为对健康、安全或基本权利
构成重大损害风险。为确保可追溯性和透明度,认为AI系统基于上述条件不属于高风险的提供者,应在该系统投放市场或
投入使用前起草评估文件,并应在请求时向国家主管机关提供该文件。此类提供者应有义务在本条例设立的欧盟数据库中
登记该AI系统。为就本条例附件所列AI系统在例外情况下不构成高风险的条件的实际实施提供进一步指导,
欧盟委员会应在咨询欧洲人工智能委员会后提供指南,具体说明该实际实施,并辅以一份全面的高风险AI系统使用案例
和非高风险使用案例的实际示例清单。
```
```
(54) 由于生物特征数据构成一类特殊的个人数据,宜将生物特征系统的若干关键使用案例归类为高风险,
只要其使用依照相关联盟和国家法律获得允许。旨在对自然人进行远程生物特征识别的AI系统的技术不准确可能导致
有偏见的结果并造成歧视性影响。此类有偏见结果和歧视性影响的风险在年龄、族裔、种族、性别或残疾方面尤其相关。
因此,远程生物特征识别系统鉴于其构成的风险应归类为高风险。此类归类不包括AI——旨在用于生物特征验证(包括认证)的系统,此类系统的唯一目的是确认特定自然人确为其自称之人,并仅为访问服务、
解锁设备或获得场所安全准入之目的确认自然人身份。此外,旨在基于生物特征数据、按照条例(EU)2016/679号第9条第(1)款
受保护的敏感属性或特征进行生物特征分类的AI系统(只要这些系统未被本条例禁止),以及本条例未禁止的情绪识别系统,
应归类为高风险。仅旨在用于实现网络安全和个人数据保护措施的生物特征系统不应被视为高风险AI系统。
```
```
(55) 关于关键基础设施的管理和运营,宜将旨在用作指令(EU)2022/2557号附件第(8)点所列关键数字基础设施、
道路交通以及水、天然气、供暖和电力供应管理和运营中安全组件的AI系统归类为高风险,因为其故障或失灵可能危及
大规模人的生命和健康,并导致社会和经济活动正常开展受到明显干扰。关键基础设施(包括关键数字基础设施)的安全组件
是指用于直接保护关键基础设施物理完整性或人和财产安全与健康、但系统运行所非必需的系统。此类组件的故障或失灵
可能直接导致关键基础设施物理完整性的风险,从而对人的健康和财产造成风险。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 15/
```
仅用于网络安全目的而设计的组件不应构成安全组件。此类关键基础设施安全组件的示例可包括监测水压的系统或
云计算中心中控制火警的系统。
```
```
(56) 在教育中部署AI系统对于促进高质量数字教育和培训、使所有学习者和教师能够获取和分享必要的数字技能和能力
(包括媒体素养和批判性思维)、积极参与经济、社会和民主进程十分重要。然而,用于教育或职业培训的AI系统,
特别是用于确定入学或录取、将人员分配到各级教育和职业培训机构或课程、评估人员学习成果、评估个人适当教育水平
并实质影响个人将接受或能够获得的教育和培训水平,或用于在考试期间监测和检测学生被禁止行为的AI系统,应归类为
高风险AI系统,因为它们可能决定一个人的教育和职业人生轨迹,从而可能影响该人维持生计的能力。当此类系统设计或
使用不当时,可能特别具有侵扰性,并可能侵犯受教育和培训的权利以及不受歧视的权利,并使历史歧视模式(例如针对妇女、
某些年龄组、残疾人或某些种族或族裔出身或性取向的人)长期存在。
```
```
(57) 用于就业、工人管理和自主就业准入的AI系统,特别是用于人员的招聘和甄选、作出影响工作相关关系条款的决定、
晋升和终止工作相关合同关系、基于个人行为、人格特质或特征分配任务以及监测或评估工作相关合同关系中人员的AI系统,
也应归类为高风险,因为这些系统可能对未来的职业前景、这些人的生计和工人权利产生明显影响。相关工作相关合同关系
应有意义地涉及雇员和通过欧盟委员会2021年工作计划所提平台提供服务的个人。在整个招聘过程以及在评估、晋升或
保留工作相关合同关系中的人员时,此类系统可能使历史歧视模式(例如针对妇女、某些年龄组、残疾人或某些种族或族裔
出身或性取向的人)长期存在。用于监测此类人员表现和行为的AI系统也可能损害其数据保护和隐私的基本权利。
```
```
(58) 另一个值得特别考虑使用AI系统的领域是获取和享受某些必要的私人及公共服务和福利,这些服务和福利是人们
充分参与社会或改善生活水平所必需的。特别是,申请或接受公共机关提供的基本公共援助福利和服务的自然人——
即医疗保健服务、社会保障福利、在生育、疾病、工伤事故、依赖或年老以及失业等情况下提供保护的社会服务以及社会和
住房援助——通常依赖这些福利和服务,且相对于主管机关处于弱势地位。如果AI系统被用于确定此类福利和服务是否应被
授予、拒绝、减少、撤销或追回,包括确定受益人是否合法有权获得此类福利或服务,这些系统可能对人们的生计产生重大影响,
并可能侵犯其基本权利,如社会保护权、不受歧视的权利、人的尊严或有效救济的权利,因此应归类为高风险。尽管如此,
本条例不应阻碍公共行政中创新方法的开发和使用,公共行政将受益于更广泛使用合规且安全的AI系统,前提是这些系统
不对法律和自然人构成高风险。此外,用于评估自然人信用评分或信用度的AI系统应归类为高风险AI系统,因为它们决定
这些人获得金融资源或基本服务(如住房、电力和电信服务)的机会。用于这些目的的AI系统可能导致个人或群体之间的
歧视,并可能使历史歧视模式(如基于种族或族裔出身、性别、残疾、年龄或性取向的歧视)长期存在,或可能产生新形式的
歧视性影响。然而,联盟法律为在金融服务提供中检测欺诈目的以及为审慎目的计算信贷机构和保险企业资本要求而规定的
AI系统,不应被视为本条例下的高风险。
```
# 英文版 欧盟公报 L,12.7.
16/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
此外,拟用于健康和寿险中对自然人进行风险评估和定价的AI系统也可能对人们的生计产生重大影响,如果设计、开发和使用
不当,可能侵犯其基本权利,并可能导致对人们生活和健康的严重后果,包括金融排斥和歧视。最后,用于评估和分类自然人
紧急呼叫,或调度紧急第一响应服务(包括警察、消防员和医疗救助)或确定其调度优先级,以及用于紧急医疗患者分诊系统的
AI系统,也应归类为高风险,因为它们在对人的生命和健康及其财产极为关键的情况下作出决定。
```
```
(59) 鉴于执法机关的作用和责任,其涉及某些AI系统使用的行动以显著程度的权力不对等为特征,并可能导致监控、
逮捕或剥夺自然人自由以及对《宪章》保障的基本权利的其他不利影响。特别是,如果AI系统未使用高质量数据训练,
在性能、准确性或稳健性方面不符合适当要求,或在投放市场或以其他方式投入使用前未经适当设计和测试,
它可能以歧视性或以其他方式不正确或不公正的方式将人单列出来。此外,重要的程序性基本权利的行使,
如获得有效救济和公平审判的权利以及辩护权和无罪推定,可能受到阻碍,尤其是当此类AI系统不够透明、可解释和
有文档记录时。因此,在相关联盟和国家法律允许其使用的范围内,宜将若干拟在执法背景下使用、而准确性、可靠性和
透明度对于避免不利影响、保持公众信任以及确保问责和有效救济尤为重要的AI系统归类为高风险。鉴于活动的性质及其相关风险,
这些高风险AI系统应特别包括:拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关而使用的、
用于评估自然人成为刑事犯罪受害者风险的AI系统;作为测谎仪和类似工具使用的AI系统;用于在刑事犯罪调查或起诉过程中
评估证据可靠性的AI系统;以及(在本条例未予禁止的范围内)用于评估自然人犯罪或再犯罪风险——且不仅仅基于对自然人的
画像或对人格特质和特征的评估或自然人及其群体过往犯罪行为——的AI系统;以及在刑事犯罪侦查、调查或起诉过程中用于
画像的AI系统。专门拟用于税务和海关机关以及履行依据联盟反洗钱法律分析信息的行政任务的金融情报部门行政程序的
AI系统,不应归类为执法机关为预防、侦查、调查和起诉刑事犯罪目的使用的高风险AI系统。执法机关和其他相关机关使用
AI工具不应成为不平等或排斥的因素。不应忽视使用AI工具对嫌疑人辩护权的影响,特别是难以获得有关这些系统运作的
有意义信息以及由此产生的在法庭上质疑其结果(尤其是受调查自然人质疑其结果)的困难。
```
```
(60) 用于移民、庇护和边境管制管理的AI系统影响的人员通常处于特别弱势的地位,并依赖于主管公共机关行动的结果。
因此,在这些背景下使用的AI系统的准确性、非歧视性和透明度对于保证受影响者基本权利得到尊重尤为重要,
特别是其自由流动权、不受歧视的权利、私生活和数据保护权、国际保护权和良好行政权。因此,在相关联盟和国家法律允许
其使用的范围内,宜将下列AI系统归类为高风险:拟由主管公共机关或代表主管公共机关,或由承担移民、庇护和边境管制
管理领域任务的联盟机构、机关、办公室或署作为测谎仪和类似工具使用的AI系统;用于评估进入成员国领土或申请签证或庇护的
自然人构成的某些风险的AI系统;用于协助主管公共机关审查庇护、签证和居留许可申请及相关申诉(包括对证据可靠性的
相关评估)——以确定申请某种身份的自然人是否符合资格为目标的AI系统;以及在移民、庇护和边境管制管理背景下用于
侦查、识别或确认自然人的AI系统,但旅行证件验证除外。本条例涵盖的移民、庇护和边境管制管理领域的AI系统
应遵守欧洲议会和理事会条例(EC)第810/2009号(^32)和欧洲议会和理事会指令2013/32/EU号(^33)以及
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 17/
```
其他相关联盟法律规定的相关程序要求。成员国或联盟机构、机关、办公室或署在任何情况下都不得将在移民、庇护和
边境管制管理中使用AI系统作为规避其根据1951年7月28日于日内瓦订立、经1967年1月31日议定书修订的
《联合国难民地位公约》所承担的国际义务的手段。它们也不得被用于以任何方式侵犯不推回原则,或剥夺进入联盟领土的
安全有效的合法途径,包括获得国际保护的权利。
```
```
(61) 某些拟用于司法和民主进程管理的AI系统应归类为高风险,考虑到它们对民主、法治、个人自由以及获得有效救济和
公平审判权利的潜在重大影响。特别是,为应对潜在偏见、错误和不透明的风险,宜将拟由司法机关或代表司法机关使用、
以协助司法机关研究和解释事实与法律并将法律适用于具体事实的AI系统定性为高风险。拟由替代性争议解决机构为这些
目的使用的AI系统,当替代性争议解决程序的结果对当事人产生法律效力时,也应被视为高风险。使用AI工具可以支持
法官的决策权或司法独立,但不应取代它们:最终决策必须保持由人类驱动。然而,将AI系统归类为高风险不应延伸至
拟用于纯粹辅助性行政活动的AI系统,此类活动不影响个案中的实际司法管理,如司法判决、文件或数据的匿名化或
假名化、人员之间的通信、行政任务。
```
```
(62) 在不影响欧洲议会和理事会条例(EU)2024/900号(^34)规定的规则的前提下,为应对《宪章》第39条所载投票权
受到不当外部干预的风险以及对民主和法治的不利影响,拟用于影响选举或公投结果或影响自然人在选举或公投中行使
投票权时的投票行为的AI系统应归类为高风险AI系统,但自然人不直接接触其输出的AI系统除外,例如从行政和后勤角度
用于组织、优化和构建政治竞选活动的工具。
```
```
(63) 根据本条例将AI系统归类为高风险AI系统,不应被解释为表明依照其他联盟法律文书或与联盟法律兼容的国家法律
(如关于个人数据保护、使用测谎仪和类似工具或其他检测自然人情绪状态的系统的法律)使用该系统是合法的。
任何此类使用仍应完全依照《宪章》和适用的次级联盟法律及国家法律产生的适用要求进行。本条例不应被理解为为处理
个人数据(包括相关的特殊类别个人数据)提供法律依据,除非本条例另有明确规定。
```
```
(64) 为减轻投放市场或投入使用的高风险AI系统的风险并确保高度可信赖性,某些强制性要求应适用于高风险AI系统,
同时考虑AI系统的预期用途和使用背景,并依照提供者将建立的风险管理体系。提供者为遵守本条例强制性要求而采取的
措施应考虑公认的AI最新技术水平,相称且有效,以满足本条例的目标。基于新立法框架,如欧盟委员会通知
《欧盟产品规则实施“蓝皮书”2022》所澄清的,一般规则是——同一产品可能适用不止一项联盟协调立法法律文书,因为产品的提供或投入使用只有在产品符合所有适用的联盟协调立法时
方可发生。本条例要求所涵盖的AI系统的危险涉及与现有联盟协调立法不同的方面,因此本条例的要求将补充现有的
联盟协调立法体系。例如,包含AI系统的机械或医疗器械产品可能带来相关联盟协调立法中基本健康和安全要求未涵盖的风险,
因为该部门法律不处理AI系统特有的风险。这要求同时且互补地适用各种立法文书。
```
# 英文版 欧盟公报 L,12.7.
18/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^32) 欧洲议会和理事会2009年7月13日条例(EC)第810/2009号,制定共同体签证法典(《签证法典》)(欧盟公报 L 243,
2009年9月15日,第1页)。
(^33) 欧洲议会和理事会2013年6月26日指令2013/32/EU,关于授予和撤回国际保护的共同程序(欧盟公报 L 180,
2013年6月29日,第60页)。
(^34) 欧洲议会和理事会2024年3月13日条例(EU)2024/900号,关于政治广告的透明度和定向投放(欧盟公报 L,2024/900,
2024年3月20日,ELI: http://data.europa.eu/eli/reg/2024/900/oj)。
```
```
为确保一致性并避免不必要的行政负担和成本,含有适用本条例要求以及基于新立法框架并列入本条例附件中的
联盟协调立法要求的、一个或多个高风险AI系统的产品的提供者,应在如何以最优方式确保含有一个或多个AI系统的
产品符合该联盟协调立法所有适用要求的运营决策方面拥有灵活性。这种灵活性可意味着,例如,提供者决定将本条例
要求的部分必要测试和报告流程、信息和文件整合到基于新立法框架并列入本条例附件的现有联盟协调立法所要求的
现有文件和程序中。这绝不应损害提供者遵守所有适用要求的义务。
```
```
(65) 风险管理系统应由一个在高风险AI系统整个生命周期内规划和运行的持续、迭代过程组成。该过程应旨在识别和
减轻AI系统对健康、安全和基本权利的相关风险。风险管理系统应定期审查和更新,以确保其持续有效,并根据本条例
采取的、任何重大决定和行动的正当理由和记录。该过程应确保提供者识别风险或不利影响,并针对AI系统对健康、
安全和基本权利已知和合理可预见的风险(鉴于其预期用途和合理可预见的滥用,包括AI系统与其运行环境之间相互作用
可能产生的风险)实施缓解措施。风险管理系统应采用鉴于AI最新技术水平最适当的风险管理措施。在确定最适当的
风险管理措施时,提供者应记录并解释所作的选择,并在相关时让专家和外部利益相关方参与。在识别高风险AI系统的
合理可预见滥用时,提供者应涵盖虽不直接属于预期用途和使用说明规定范围、但考虑到特定AI系统的具体特征和使用
仍可合理预期由易于预测的人类行为产生的AI系统使用。与按照预期用途或处于合理可预见滥用条件下使用高风险AI系统
相关的、可能导致健康和安全或基本权利风险的任何已知或可预见情形,均应纳入提供者提供的使用说明。这是为了确保
部署者在使用时了解并考虑这些情形。根据本条例为可预见的滥用识别和实施风险缓解措施,不应要求提供者对高风险
AI系统进行特定的额外培训以应对可预见的滥用。但鼓励提供者考虑此类额外的培训措施,以在必要和适当时缓解
合理可预见的滥用。
```
```
(66) 要求应适用于高风险AI系统的风险管理、所用数据集的质量和相关性、技术文档和记录保存、透明度以及向部署者
提供信息、人工监督、稳健性、准确性和网络安全。这些要求对于有效减轻健康、安全和基本权利的风险是必要的。
由于没有其他贸易限制性较低的合理可用措施,这些要求不构成对贸易的不合理限制。
```
```
(67) 高质量数据和获取高质量数据在提供结构和确保许多AI系统的性能方面发挥着至关重要的作用,尤其是在使用涉及
模型训练的技术时,以确保高风险AI系统按预期安全运行,并且不会成为联盟法律禁止的歧视的来源。用于训练、验证和
测试的高质量数据集需要实施适当的数据治理和管理实践。用于训练、验证和测试的数据集(包括标签)应具有相关性、
充分的代表性,并尽可能无错误且在考虑系统预期用途的情况下完整。为便利遵守联盟数据保护法律(如条例(EU)
2016/679号),数据治理和管理实践应在涉及个人数据的情况下包括数据收集原始目的的透明度。数据集还应具有
适当的统计特性,包括就高风险AI系统拟用于的人或人群而言,并特别关注减轻数据集中可能的偏见,这些偏见可能影响
人的健康和安全、对基本权利产生负面影响或导致联盟法律禁止的歧视,尤其是当数据输出影响未来运营的输入时
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 19/
```
(反馈回路)。例如,偏见可能是底层数据集固有的,尤其是在使用历史数据时,或可能在系统在真实世界环境中实施时产生。
AI系统提供的结果可能受到此类固有偏见的影响,这些偏见倾向于逐渐增加,从而使现有歧视长期存在并放大,
特别是对属于某些弱势群体(包括种族或族裔群体)的人。数据集尽可能完整且无错误的要求不应影响在AI系统开发和
测试背景下使用隐私保护技术。特别是,数据集应在预期用途要求的范围内,考虑AI系统拟使用的特定地理、背景、
行为或功能环境所特有的特征、特性或要素。与数据治理相关的要求可以通过诉诸提供认证合规服务的第三方来满足,
包括数据治理验证、数据集完整性以及数据训练、验证和测试实践验证,只要本条例的数据要求得到遵守。
```
```
(68) 为开发和评估高风险AI系统,某些行为者,如提供者、公告机构和其他相关实体(如欧洲数字创新中心、测试实验设施
和研究人员),应能够在其与本条例相关的活动领域内获取和使用高质量数据集。欧盟委员会建立的欧洲公共数据空间以及
在公共利益下促进企业之间以及企业与政府之间的数据共享,将有助于为AI系统的训练、验证和测试提供可信赖、
负责任且非歧视的高质量数据获取渠道。例如,在健康领域,欧洲健康数据空间将以隐私保护、安全、及时、透明和可信赖的
方式并以适当的机构治理,促进非歧视地获取健康数据以及在这些数据集上训练AI算法。提供或支持数据获取的相关主管机关
(包括部门主管机关)也可以支持为AI系统的训练、验证和测试提供高质量数据。
```
```
(69) 隐私权和个人数据保护权必须在AI系统的整个生命周期内得到保障。在这方面,联盟数据保护法律所规定的
数据最小化原则以及设计即保护和默认即保护原则适用于个人数据的处理。提供者为确保遵守这些原则而采取的措施
不仅可包括匿名化和加密,还可包括使用允许将算法引入数据、允许在各方之间不传输或复制原始或结构化数据本身的情况下
训练AI系统的技术,但不影响本条例规定的数据治理要求。
```
```
(70) 为保护他人的权利免受AI系统偏见可能导致的歧视,提供者应例外地、在为确保与高风险AI系统相关的偏见检测和
纠正目的严格必要的范围内,在遵守自然人基本权利和自由的适当保障措施并适用本条例规定的所有适用条件以及条例
(EU)2016/679号和(EU)2018/1725号及指令(EU)2016/680号规定的条件之后,也能够作为条例(EU)2016/679号
第9条第(2)款第(g)项和条例(EU)2018/1725号第10条第(2)款第(g)项意义上的重大公共利益事项处理特殊类别的个人数据。
```
```
(71) 拥有关于高风险AI系统如何开发及其在其整个生命周期中如何表现的易懂信息,对于实现这些系统的可追溯性、
验证其是否符合本条例要求以及监测其运营和售后监测至关重要。这要求保存记录并提供技术文档,其中包含评估AI系统
是否符合相关要求并便利售后监测所必要的信息。此类信息应包括系统的一般特征、能力和局限性、所使用的算法、数据、
训练、测试和验证流程,以及相关的风险管理系统文件,并以清晰全面的形式起草。技术文档应在AI系统的整个生命周期内
适当保持最新。此外,高风险AI系统应在技术上允许通过日志在系统生命周期内自动记录事件。
```
# 英文版 欧盟公报 L,12.7.
20/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(72) 为应对某些AI系统不透明和复杂性的关切,并帮助部署者履行其在本条例下的义务,应在高风险AI系统投放市场或
投入使用前要求其具备透明度。高风险AI系统应设计为使部署者能够理解AI系统如何运作、评估其功能并理解其优势和局限。
高风险AI系统应附有适当形式的使用说明信息。此类信息应包括AI系统的性能特征、能力和局限性。这些信息应涵盖与使用
高风险AI系统相关的已知和可预见情形(包括可能影响系统行为和性能的部署者行动,在这些情形下AI系统可能导致健康、
安全和基本权利风险)、提供者已预先确定并经合格评定评估的变更,以及相关的人工监督措施(包括便利部署者解释
AI系统输出的措施)。透明度(包括随附的使用说明)应帮助部署者使用系统并支持他们作出知情决定。部署者应特别能够
更好地根据适用于他们的义务选择其打算使用的系统,了解预期用途和排除用途,并正确适当地使用AI系统。为增强使用说明
所含信息的可读性和可获取性,在适当时应包含说明性示例,例如关于AI系统的局限性以及预期和排除用途的示例。
提供者应确保所有文件(包括使用说明)包含有意义、全面、可获取和可理解的信息,同时考虑目标部署者的需求和可预见的知识。
使用说明应以便于目标部署者理解的语言提供,由相关成员国确定。
```
```
(73) 高风险AI系统的设计和开发方式应使自然人能够监督其运作,确保其按预期使用,并确保其影响在系统生命周期内得到
处理。为此,系统的提供者应在其投放市场或投入使用前确定适当的人工监督措施。特别是,在适当时,此类措施应保证:
系统受制于其自身无法覆盖的内置运行约束,并对人工操作员作出响应;被分配人工监督职责的自然人具备履行职责所需的
必要能力、培训和权限。在适当时,还必须确保高风险AI系统包含引导和告知被分配人工监督职责的自然人作出知情决定的
机制,即是否、何时以及如何干预以避免负面后果或风险,或在系统未按预期运行时停止系统。考虑到某些生物特征识别系统
错误匹配对人的重大后果,宜为此类系统规定强化的人工监督要求,使部署者不得基于系统识别结果采取任何行动或作出任何
决定,除非该结果已由至少两名自然人单独验证和确认。这些人可以来自一个或多个实体,并可包括操作或使用该系统的个人。
该要求不应造成不必要的负担或延误,不同人员进行的单独验证自动记录在系统生成的日志中即可满足要求。鉴于执法、
移民、边境管制和庇护领域的特殊性,如果联盟或国家法律认为适用该要求不相称,则该要求不应适用。
```
```
(74) 高风险AI系统应在其整个生命周期内持续表现一致,并鉴于其预期用途和按照公认的最新技术水平达到适当水平的
准确性、稳健性和网络安全。鼓励欧盟委员会和相关组织及利益相关方适当考虑减轻AI系统的风险和负面影响。
预期性能指标水平应在随附的使用说明中声明。敦促提供者以清晰易懂的方式向部署者传达该信息,避免误解或误导性陈述。
关于法定计量的联盟法律,包括欧洲议会和理事会指令2014/31/EU号(^35)和2014/32/EU号(^36)——旨在确保测量的准确性并有助于商业交易的透明度和公平性。在此背景下,欧盟委员会应与相关利益相关方和组织
(如计量和基准测试机关)合作,酌情鼓励为AI系统制定基准和测量方法。在这样做时,欧盟委员会应注意并与从事
AI相关计量和测量指标工作的国际伙伴合作。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 21/144
```
(^35) 欧洲议会和理事会2014年2月26日指令2014/31/EU,关于协调成员国非自动衡器投放市场的法律(欧盟公报 L 96,
2014年3月29日,第107页)。
(^36) 欧洲议会和理事会2014年2月26日指令2014/32/EU,关于协调成员国测量仪器投放市场的法律(欧盟公报 L 96,
2014年3月29日,第149页)。
```
```
(75) 技术稳健性是高风险AI系统的关键要求。它们应能够抵御可能由系统内部局限或系统运行环境(如错误、故障、
不一致、意外情况)导致的有害或其他不良行为。因此,应采取技术和组织措施确保高风险AI系统的稳健性,例如通过
设计和开发适当的技术解决方案来防止或尽量减少有害或其他不良行为。这些技术解决方案可包括例如使系统在存在
某些异常或运行超出某些预定边界时能够安全中断其运行的机制(故障安全方案)。未能防范这些风险可能导致安全影响
或对基本权利产生负面影响,例如由于AI系统产生的错误决定或错误或有偏见的输出。
```
```
(76) 网络安全在确保AI系统能够抵御恶意第三方利用系统漏洞改变其用途、行为、性能或破坏其安全属性的企图方面
发挥着至关重要的作用。针对AI系统的网络攻击可以利用AI特定资产,如训练数据集(例如数据投毒)或训练模型
(例如对抗性攻击或成员推断攻击),或利用AI系统数字资产或底层信息通信技术基础设施中的漏洞。为确保与风险相适应的
网络安全水平,高风险AI系统的提供者应采取适当措施,如安全控制,并酌情考虑底层信息通信技术基础设施。
```
```
(77) 在不影响本条例规定的稳健性和准确性要求的前提下,属于欧洲议会和理事会关于具有数字元素产品的横向网络安全
要求条例范围内的、高风险AI系统,可以依照该条例,通过履行该条例规定的基本网络安全要求来证明其符合本条例的
网络安全要求。当高风险AI系统满足欧洲议会和理事会关于具有数字元素产品的横向网络安全要求条例的基本要求时,
只要这些要求的实现已在该条例下签发的欧盟符合性声明或其部分中得到证明,则应被视为符合本条例规定的网络安全要求。
为此,根据欧洲议会和理事会关于具有数字元素产品的横向网络安全要求条例,对根据本条例被归类为高风险AI系统的、
具有数字元素的产品进行的网络安全风险评估,应考虑AI系统的网络韧性风险,即未经授权的第三方试图改变其用途、
行为或性能(包括数据投毒或对抗性攻击等AI特定漏洞)的风险,以及在相关情况下,本条例要求的基本权利风险。
```
```
(78) 本条例规定的合格评定程序应适用于属于欧洲议会和理事会关于具有数字元素产品的横向网络安全要求条例范围、
并根据本条例被归类为高风险AI系统的、具有数字元素产品的基本网络安全要求。然而,该规则不应导致降低属于欧洲议会和
理事会关于具有数字元素产品的横向网络安全要求条例范围的关键性数字产品所必需的保证水平。因此,作为该规则的例外,
属于本条例范围并依据欧洲议会和理事会关于具有数字元素产品的横向网络安全要求条例被定性为重要和关键数字产品的
高风险AI系统,且适用于本条例附件规定的基于内部控制的合格评定程序的,在涉及该条例的基本网络安全要求时,
应遵守欧洲议会和理事会关于具有数字元素产品的横向网络安全要求条例的合格评定规定。在这种情况下,
对于本条例涵盖的所有其他方面,应适用本条例附件规定的基于内部控制的合格评定的相应规定。基于ENISA在网络安全
政策方面的知识和专门知识以及条例(EU)2019/881号(^37)赋予ENISA的任务,欧盟委员会应就与AI系统网络安全相关的
问题与ENISA合作。
```
# 英文版 欧盟公报 L,12.7.2024
22/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^37) 欧洲议会和理事会2019年4月17日条例(EU)2019/881号,关于ENISA(欧洲联盟网络安全局)以及信息和通信技术
网络安全认证并废止条例(EU)第526/2013号(《网络安全法》)(欧盟公报 L 151,2019年6月7日,第15页)。
```
```
(79) 宜由被界定为提供者的特定自然人或法人对高风险AI系统的投放市场或投入使用承担责任,无论该自然人或法人
是否为设计或开发该系统的人。
```
```
(80) 作为《联合国残疾人权利公约》的签署方,联盟和成员国有法律义务保护残疾人免受歧视并促进其平等,确保残疾人
在与他人平等的基础上获得信息和通信技术及系统,并确保尊重残疾人的隐私。鉴于AI系统日益增长的重要性和使用,
将通用设计原则应用于所有新技术和服务,应确保所有可能受AI技术影响或使用AI技术的人(包括残疾人)都能充分和平等地
获取,同时充分考虑其固有的尊严和多样性。因此,提供者必须确保完全遵守无障碍要求,包括欧洲议会和理事会指令
(EU)2016/2102号(^38)和指令(EU)2019/882号。提供者应确保通过设计遵守这些要求。因此,必要措施应尽可能
整合到高风险AI系统的设计中。
```
```
(81) 提供者应建立完善的质量管理体系,确保完成所要求的合格评定程序,起草相关文件并建立稳健的售后监测系统。
根据相关部门联盟法律承担质量管理体系义务的高风险AI系统提供者,应有可能将本条例规定的质量管理体系要素作为
该其他部门联盟法律规定的现有质量管理体系的一部分。本条例与现有部门联盟法律之间的互补性也应在欧盟委员会未来的
标准化活动或通过的指南中得到考虑。为自身使用而投入使用高风险AI系统的公共机关,可以酌情采用和实施质量管理体系规则,
作为在国家或区域层面通过的质量管理体系的一部分,同时考虑部门的具体情况以及相关公共机关的能力和组织。
```
```
(82) 为能够执行本条例并为经营者创造公平的竞争环境,并考虑到数字产品的不同提供形式,重要的是确保在任何情况下,
设立于联盟内的人都能向主管机关提供关于AI系统合规性的所有必要信息。因此,设立于第三国的提供者在使其AI系统在
联盟内可用之前,应通过书面委托指定一名设立于联盟内的授权代表。该授权代表在确保未设立于联盟内的提供者投放市场或
投入使用的、联盟内的高风险AI系统合规方面发挥着关键作用,并作为其在联盟内设立的联系人。
```
```
(83) 鉴于AI系统价值链的性质和复杂性,并依照新立法框架,确保法律确定性并便利遵守本条例至关重要。因此,
有必要澄清该价值链上相关经营者(如可能参与AI系统开发的进口商和分销商)的角色和具体义务。在某些情况下,
这些经营者可同时充当一个以上的角色,因此应累积履行与这些角色相关的所有相关义务。例如,经营者可以同时充当
分销商和进口商。
```
```
(84) 为确保法律确定性,有必要澄清,在特定条件下,任何分销商、进口商、部署者或其他第三方应被视为高风险AI系统的
提供者,从而承担所有相关义务。如果该方将其名称或商标置于已投放市场或已投入使用的高风险AI系统上,即属此种情形,
但不影响约定以其他方式分配义务的合同安排。如果该方对已投放市场或已投入使用的、根据本条例仍属高风险AI系统的高风险
AI系统作出重大修改,或改变尚未被归类为高风险且已投放市场或投入使用的AI系统(包括通用人工智能系统)的预期用途,
使其根据本条例成为高风险AI系统,也属此种情形。这些规定应不影响基于新立法框架的某些联盟协调立法中更具体的规定,
本条例应与这些规定一并适用。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 23/144
```
(^38) 欧洲议会和理事会2016年10月26日指令(EU)2016/2102号,关于公共部门机构网站和移动应用程序的无障碍性
(欧盟公报 L 327,2016年12月2日,第1页)。
```
```
例如,条例(EU)2017/745号第16条第(2)款(规定某些变更不应被视为可能影响设备符合适用要求的修改)应继续适用于
该条例意义上的医疗器械类高风险AI系统。
```
```
(85) 通用人工智能系统可以本身用作高风险AI系统,或成为其他高风险AI系统的组件。因此,鉴于其特殊性质并为确保
AI价值链上责任的公平分担,此类系统的提供者——无论其是否可能被其他提供者作为高风险AI系统本身使用,还是作为
高风险AI系统的组件使用——除非本条例另有规定,应与相关高风险AI系统的提供者密切合作,使其能够遵守本条例下的
相关义务,并与根据本条例设立的主管机关密切合作。
```
```
(86) 如果在根据本条例规定的条件下,最初将AI系统投放市场或投入使用的提供者不再被视为本条例意义上的提供者,
且该提供者未明确排除将AI系统变更为高风险AI系统,则原提供者仍应密切合作,提供必要的信息,并提供为履行本条例
规定的义务(特别是关于高风险AI系统合格评定合规)所合理预期的技术访问和其他协助。
```
```
(87) 此外,如果作为属于基于新立法框架的联盟协调立法范围产品的安全组件的高风险AI系统,不独立于该产品投放市场
或投入使用,则该立法中界定的产品制造商应遵守本条例规定的提供者义务,并应特别确保嵌入最终产品的AI系统符合
本条例的要求。
```
```
(88) 在AI价值链中,多方经常提供AI系统、工具和服务,也提供提供者出于各种目标(包括模型训练、模型再训练、
模型测试和评估、集成到软件或模型开发的其他方面)整合到AI系统中的组件或流程。这些方在其AI系统、工具、服务、
组件或流程被整合到其中的高风险AI系统提供者的价值链中发挥着重要作用,并应通过书面协议向该提供者提供必要的
信息、能力、技术访问和基于公认最新技术水平的其他协助,以使提供者能够完全遵守本条例规定的义务,同时不损害
他们自己的知识产权或商业秘密。
```
```
(89) 向公众提供工具、服务、流程或通用人工智能模型以外的AI组件的第三方,不应被强制遵守针对——AI价值链责任的义务,特别是对使用或整合了这些工具、服务、流程或AI组件的提供者的义务,前提是这些工具、服务、
流程或AI组件以自由和开源许可提供。应鼓励通用人工智能模型以外的自由和开源工具、服务、流程或AI组件的开发者
实施广泛采用的文档实践,如模型卡和数据表,以加速AI价值链上的信息共享,从而促进联盟内值得信赖的AI系统的推广。
```
```
(90) 欧盟委员会可以制定并推荐高风险AI系统提供者与提供用于或整合到高风险AI系统中的工具、服务、组件或流程的
第三方之间的自愿性示范合同条款,以促进价值链上的合作。在制定自愿性示范合同条款时,欧盟委员会还应考虑
特定部门或业务案例中可能适用的合同要求。
```
```
(91) 鉴于AI系统的性质以及其使用可能带来的安全和基本权利风险,包括需要确保对AI系统在真实环境中的性能进行
适当监测,宜为部署者设定具体责任。部署者应特别采取适当的技术和组织措施,确保按照使用说明使用高风险AI系统,
并应酌情规定关于监测AI系统运作和记录保存的某些其他义务。此外,部署者应确保被指派执行本条例规定的使用说明和
人工监督的人员具备必要的
```
# 英文版 欧盟公报 L,12.7.2024
24/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
能力,特别是适当水平的AI素养、培训和权限,以妥善履行这些任务。这些义务不应影响部署者依据联盟或国家法律
就高风险AI系统承担的其他义务。
```
```
(92) 本条例不影响雇主依照联盟或国家法律和实践(包括欧洲议会和理事会指令2002/14/EC号(^39))就投入使用或
使用AI系统的决定告知或告知并咨询工人或其代表的义务。在其他法律文书中关于告知或告知并咨询的义务条件未满足时,
仍有必要确保工人及其代表获知在工作场所计划部署高风险AI系统的信息。此外,此类信息权是本条例所依据的保护基本权利
目标的附属且必要的组成部分。因此,应在本条例中规定相应效果的信息要求,而不影响工人的任何现有权利。
```
```
(93) 虽然与AI系统相关的风险可能源于此类系统的设计方式,风险也可能源于此类AI系统的使用方式。因此,
高风险AI系统的部署者在确保基本权利得到保护方面发挥着关键作用,补充了提供者在开发AI系统时的义务。
部署者最有条件理解高风险AI系统将如何被具体使用,因此可以识别开发阶段未预见到的潜在重大风险,
因为他们对使用背景、可能受影响的人或人群(包括弱势群体)有更精确的了解。本条例附件所列高风险AI系统的部署者
在告知自然人方面也发挥着关键作用,当他们作出或协助作出与自然人相关的决定时,应在适用情况下告知自然人
其受到高风险AI系统使用的约束。该信息应包括预期用途以及该系统所作决定的类型。部署者还应告知自然人其根据
本条例享有的解释权。就用于执法目的的高风险AI系统而言,该义务应按照指令(EU)2016/680号第13条实施。
```
```
(94) 为执法目的使用AI系统进行生物特征识别所涉及的生物特征数据的任何处理,均须遵守指令(EU)2016/680号
第10条,该条仅在严格必要、符合数据主体权利和自由的适当保障措施且经联盟或成员国法律授权的情况下才允许此类处理。
此类使用在被授权时,还需要遵守指令(EU)2016/680号第4条第(1)款规定的原则,包括合法性、公平性和透明度、
目的限制、准确性和存储限制。
```
```
(95) 在不影响适用的联盟法律(特别是条例(EU)2016/679号和指令(EU)2016/680号)的前提下,考虑到
事后远程生物特征识别系统的侵扰性,使用事后远程生物特征识别系统应受到保障措施的约束。事后远程生物特征识别系统
应始终以相称、合法且严格必要的方式使用,从而在待识别个人、地点、时间范围方面具有针对性,并基于合法获取的
视频画面的封闭数据集。在任何情况下,事后远程生物特征识别系统都不得在执法框架内导致无差别监控。
事后远程生物特征识别的条件在任何情况下都不得为规避实时远程生物特征识别的禁止条件和严格例外提供基础。
```
```
(96) 为有效确保基本权利得到保护,属公法规范的机构或提供公共服务的私人实体的高风险AI系统部署者,以及
本条例附件所列某些高风险AI系统(如银行或保险实体)的部署者,应在投入使用前进行基本权利影响评估。
对个人重要的公共服务也可由私人实体提供。提供此类公共服务的私人实体与教育、医疗保健、社会服务、住房、
司法管理等领域的公共利益任务相关联。基本权利影响评估的目的是让部署者识别可能受影响个人或人群的权利
面临的具体风险,并确定在这些风险成为现实时应采取的措施。影响评估应在部署高风险AI系统之前进行,
并应在
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 25/144
```
(^39) 欧洲议会和理事会2002年3月11日指令2002/14/EC,建立欧共体范围内告知和咨询员工的一般框架(欧盟公报 L 80,
2002年3月23日,第29页)。
```
```
部署者认为任何相关因素发生变化时予以更新。影响评估应识别部署者将按照预期用途使用高风险AI系统的相关流程,
并应包括对拟使用系统的时间和频率的说明,以及在特定使用背景下可能受到影响的自然人及其群体的具体类别。
评估还应包括识别可能对这些个人或群体的基本权利产生影响的、具体的损害风险。在进行此评估时,部署者应考虑与
适当评估影响相关的信息,包括但不限于高风险AI系统提供者在使用说明中提供的信息。根据已识别的风险,
部署者应确定在这些风险成为现实时应采取的措施,包括例如该特定使用背景下的治理安排,如按照使用说明进行
人工监督的安排,或投诉处理和救济程序,因为这些安排可在具体使用案例中有助于减轻对基本权利的风险。
完成该影响评估后,部署者应通知相关的市场监督机关。在适当时,为收集执行影响评估所需的必要信息,
高风险AI系统的部署者(尤其是AI系统在公共部门使用时)可以让相关利益相关方参与进行此类影响评估和设计风险
成为现实时应采取的措施,包括可能受AI系统影响的人群的代表、独立专家和民间社会组织。欧洲人工智能办公室(AI Office)
应制定问卷模板,以便利合规并减轻部署者的行政负担。
```
```
(97) 通用人工智能模型的概念应明确定义,并与AI系统的概念区分开来,以实现法律确定性。该定义应基于通用人工
智能模型的关键功能特征,特别是通用性以及有能力胜任地执行广泛的不同任务。这些模型通常通过各种方法
(如自监督、无监督或强化学习)在大量数据上训练。通用人工智能模型可以通过多种方式投放市场,包括通过库、
应用程序编程接口(API)、直接下载或实体副本。这些模型可以被进一步修改或微调成新模型。虽然AI模型是AI系统的
基本组件,但它们本身并不构成AI系统。AI模型需要添加进一步组件(例如用户界面)才能成为AI系统。AI模型通常
被整合到AI系统中并构成其一部分。本条例为通用人工智能模型和构成系统性风险的通用人工智能模型规定了具体规则,
这些规则在这些模型被整合到AI系统中或构成AI系统的一部分时也应适用。应理解,通用人工智能模型提供者的义务
在通用人工智能模型投放市场后即适用。当通用人工智能模型的提供者将其自有模型整合到其自身投放市场或投入使用的
AI系统中时,该模型应被视为已投放市场,因此,本条例为模型规定的义务除AI系统的义务外应继续适用。
当自有模型仅用于对第三方提供产品或服务并非必需、且自然人权利不受影响的纯粹内部流程时,为模型规定的义务
在任何情况下都不应适用。考虑到其潜在的显著负面影响,构成系统性风险的通用人工智能模型应始终遵守本条例下的
相关义务。该定义不应涵盖在其投放市场前仅为研究、开发和原型设计活动而使用的AI模型。这不妨碍在开展此类活动后
模型被投放市场时遵守本条例的义务。
```
```
(98) 虽然模型的通用性除其他外也可以通过参数数量来确定,但具有至少十亿个参数并使用大规模自监督方法在大量数据上
训练的模型,应被视为展现出显著的通用性,并能够胜任地执行广泛的不同任务。
```
```
(99) 大型生成式AI模型是通用人工智能模型的典型示例,因为它们允许灵活生成内容,如文本、音频、图像或视频形式,
可以轻松适应广泛的不同任务。
```
```
(100) 当通用人工智能模型被整合到AI系统中或构成AI系统的一部分时,如果由于这种整合,该系统具有服务于多种目的的
能力,则该系统应被视为通用人工智能系统。通用人工智能系统可以直接使用,也可以被整合到其他AI系统中。
```
# 英文版 欧盟公报 L,12.7.2024
26/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(101) 通用人工智能模型的提供者在AI价值链上具有特殊的角色和责任,因为他们提供的模型可能构成一系列下游系统的
基础,这些系统通常由下游提供者提供,下游提供者需要对模型及其能力有良好的理解,既为了将此类模型整合到其产品中,
也为了履行其在本条例或其他法规下的义务。因此,应规定相称的透明度措施,包括起草并保持更新的文档,以及为下游提供者
使用通用人工智能模型提供信息。通用人工智能模型提供者应准备并保持更新的技术文档,以便在请求时向AI Office和
国家主管机关提供。此类文档应包含的最少要素集应在本条例的特定附件中规定。欧盟委员会应被授权通过授权法案,
根据不断发展的技术发展修订这些附件。
```
```
(102) 以允许公开共享、用户可自由访问、使用、修改和重新分发软件和数据(包括模型)或其修改版本的自由和开源许可
发布的软件和数据,可以为市场的研究和创新作出贡献,并为联盟经济提供显著的增长机会。以自由和开源许可发布的
通用人工智能模型,如果其参数(包括权重)、模型架构信息和模型使用信息公开可得,应被视为确保高水平的透明度和开放性。
如果许可允许用户在注明模型原始提供者、尊重相同或可比较的分发条款的条件下运行、复制、分发、研究、更改和改进
软件和数据(包括模型),该许可也应被视为自由和开源的。
```
```
(103) 自由和开源AI组件涵盖AI系统的软件和数据(包括模型和通用人工智能模型)、工具、服务或流程。
自由和开源AI组件可以通过不同渠道提供,包括在开放存储库中开发。就本条例而言,对价提供或以其他方式货币化的
AI组件(包括通过提供与AI组件相关的技术支持或其他服务,包括通过软件平台,或出于纯粹改善软件安全、兼容性或
互操作性以外原因使用个人数据),除微型企业之间的交易外,不应受益于为自由和开源AI组件提供的例外。
通过开放存储库提供AI组件这一事实本身不应构成货币化。
```
```
(104) 以自由和开源许可发布、其参数(包括权重)、模型架构信息和模型使用信息公开可得的通用人工智能模型的提供者,
应就强加于通用人工智能模型的透明度相关要求享有例外,除非他们可被视为构成系统性风险,在此情况下,
模型透明并附带开源许可这一事实不应被视为排除遵守本条例义务的充分理由。在任何情况下,鉴于以自由和开源许可
发布通用人工智能模型不一定揭示用于模型训练或微调的数据集的实质信息,也不一定揭示如何由此确保版权法的合规,
为通用人工智能模型规定的、免除透明度相关要求的例外不应涉及下列义务:就模型训练所用内容制作摘要的义务,
以及制定符合联盟版权法政策的义务,特别是识别并遵守欧洲议会和理事会指令(EU)2019/790号(^40)第4条第(3)款
规定的权利保留。
```
```
(105) 能够生成文本、图像和其他内容的通用人工智能模型,特别是大型生成式AI模型,带来了独特的创新机会,
也给艺术家、作者和其他创作者及其创作内容的创作、分发、使用和消费方式带来了挑战。此类模型的开发和训练需要
获取大量文本、图像、视频和其他数据。文本和数据挖掘技术可在此背景下广泛用于检索和分析此类内容,这些内容可能
受版权和相关权利保护。对受版权保护内容的任何使用都需要获得相关权利人的授权,除非相关的版权例外和限制适用。
指令(EU)2019/790号引入了例外和限制,允许在特定条件下为文本和数据挖掘
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 27/144
```
(^40) 欧洲议会和理事会2019年4月17日指令(EU)2019/790号,关于数字单一市场中的版权和相关权利并修订指令96/9/EC和
2001/29/EC(欧盟公报 L 130,2019年5月17日,第92页)。
```
```
目的复制和提取作品或其他客体。根据这些规则,权利人可以选择保留对其作品或其他客体的权利,以防止文本和数据挖掘,
除非这是为科学研究目的而进行。如果选择退出的权利已以适当方式明确保留,通用人工智能模型的提供者若希望对
此类作品进行文本和数据挖掘,则需要获得权利人的授权。
```
```
(106) 将通用人工智能模型投放联盟市场的提供者应确保遵守本条例中的相关义务。为此,通用人工智能模型的提供者
应制定符合联盟版权和相关权利法律的政策,特别是识别并遵守权利人依据指令(EU)2019/790号第4条第(3)款表达的
权利保留。任何将通用人工智能模型投放联盟市场的提供者都应遵守该义务,无论支撑这些通用人工智能模型训练的
版权相关行为发生在哪个司法管辖区。这对于确保通用人工智能模型提供者之间的公平竞争环境是必要的,
任何提供者都不应能够通过适用比联盟规定的版权标准更低的标准在联盟市场中获得竞争优势。
```
```
(107) 为提高通用人工智能模型预训练和训练所用数据(包括受版权法保护的文本和数据)的透明度,此类模型的提供者
应起草并公开发布一份足够详细、关于训练通用人工智能模型所用内容的摘要。在适当考虑保护商业秘密和保密商业信息
的需要的同时,该摘要的范围应总体全面而非技术细节化,以便利包括版权持有人在内的具有合法利益的各方行使其依据
联盟法律的权力并执行其权利,例如通过列出进入模型训练的主要数据集合或数据集(如大型私人或公共数据库或数据档案),
并就所使用的其他数据来源提供叙述性说明。宜由AI Office提供摘要模板,该模板应简单、有效,并允许提供者以叙述形式
提供所需摘要。
```
```
(108) 关于强加于通用人工智能模型提供者的、制定符合联盟版权法政策并公开发布训练所用内容摘要的义务,
AI Office应监测提供者是否履行了这些义务,而无须逐作品验证或评估训练数据在版权合规方面的情况。
本条例不影响联盟法律规定下版权规则的执行。
```
```
(109) 对通用人工智能模型提供者适用义务的遵守应与模型提供者的类型相称和匹配,不包括为非职业或科学研究目的
开发或使用模型的人遵守的需要,但鼓励他们自愿遵守这些要求。在不影响联盟版权法的前提下,遵守这些义务应适当考虑
提供者的规模,并允许中小企业(包括初创企业)采用简化合规方式,这些方式不应代表过高的成本,也不应阻碍此类模型的
使用。在模型被修改或微调的情况下,通用人工智能模型提供者的义务应限于该修改或微调,例如通过以包括新训练数据来源
在内的修改信息补充现有技术文档,作为遵守本条例规定的价值链义务的一种手段。
```
```
(110) 通用人工智能模型可能构成系统性风险,包括但不限于:与重大事故、关键部门中断以及对公共健康和安全的严重后果
相关的任何实际或合理可预见的负面影响;对民主进程、公共和经济安全的任何实际或合理可预见的负面影响;非法、
虚假或歧视性内容的传播。系统性风险应被理解为随模型能力和模型覆盖范围而增加,可能在整个模型生命周期内出现,
并受到滥用条件、模型可靠性、模型公平性和模型安全性、模型自主程度、
```
# 英文版 欧盟公报 L,12.7.2024
28/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
模型对工具的访问、新颖或组合模态、发布和分发策略、移除护栏的可能性以及其他因素的影响。特别是,
国际方法迄今为止已确定需要关注以下风险:潜在故意滥用或与人类意图对齐相关的意外控制问题的风险;
化学、生物、放射性和核风险,如降低进入壁垒的方式,包括武器开发、设计获取或使用;进攻性网络能力,
如启用漏洞发现、利用或作战使用的方式;交互和工具使用的影响,例如控制物理系统和干扰关键基础设施的能力;
模型自我复制或“自我复制”或训练其他模型的风险;模型产生有害偏见和歧视、对个人、社区或社会构成风险的方式;
助长虚假信息或危害隐私、对民主价值观和人权构成威胁;特定事件可能引发连锁反应、产生可能影响整个城市、
整个领域活动或整个社区的相当大负面影响的风险。
```
```
(111) 宜建立将通用人工智能模型归类为构成系统性风险的通用人工智能模型的方法。由于系统性风险源于特别高的能力,
如果通用人工智能模型具有高影响力能力(基于适当的技术工具和方法进行评估),或因覆盖面而对内部市场产生重大影响,
则该模型应被视为构成系统性风险。通用人工智能模型的高影响力能力是指匹配或超过最先进通用人工智能模型所记录
能力的能力。模型的全范围能力可能在其投放市场后或当部署者与模型互动时才能得到更好的理解。根据本条例生效时
的最新技术水平,用于训练通用人工智能模型的计算累计量(以浮点运算衡量)是模型能力的一个相关近似指标。
用于训练的计算累计量包括旨在部署前增强模型能力的活动和方法的计算,如预训练、合成数据生成和微调。
因此,应设定一个浮点运算的初始阈值,通用人工智能模型若达到该阈值,则推定该模型为构成系统性风险的通用人工智能模型。
该阈值应随时间调整以反映技术和工业变化(如算法改进或硬件效率提高),并应以模型能力的基准和指标加以补充。
为提供这方面的信息,AI Office应与科学界、产业界、民间社会和其他专家互动。阈值以及用于评估高影响力能力的工具和
基准,应是通用性、能力及相关系统性风险的有力预测指标,并可考虑模型投放市场的方式或可能受影响的用户数量。
为补充该体系,欧盟委员会应有可能在发现特定通用人工智能模型具有与既定阈值所捕获能力或影响相当的能力或影响时,
通过个别决定将该模型指定为构成系统性风险的通用人工智能模型。该决定应基于对本条例附件所载构成系统性风险的
通用人工智能模型指定标准的总体评估,如训练数据集的质量或规模、企业和最终用户数量、其输入和输出模态、
其自主性和可扩展性水平,或其可访问的工具。在其模型被指定为构成系统性风险的通用人工智能模型的提供者提出
合理请求后,欧盟委员会应考虑该请求,并可以决定重新评估该通用人工智能模型是否仍可被视为构成系统性风险。
```
```
(112) 还有必要澄清构成系统性风险的通用人工智能模型的分类程序。达到高影响力能力适用阈值的通用人工智能模型
应被推定为构成系统性风险的通用人工智能模型。提供者应在要求满足后最迟两周内,或在得知通用人工智能模型将满足
导致该推定的要求时,通知AI Office。这在浮点运算阈值方面尤其相关,因为通用人工智能模型的训练需要大量规划,
包括预先分配计算资源,因此通用人工智能模型的提供者能够在训练完成前就知道其模型是否会达到该阈值。
在该通知的背景下,提供者应能够证明,由于其特定特征,通用人工智能模型例外地不构成系统性风险,
因此不应被归类为构成系统性风险的通用人工智能模型。该信息对AI Office预判构成系统性风险的通用人工智能模型的
投放市场很有价值,提供者也可以尽早开始与AI Office互动。该信息尤其
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 29/144
```
对于计划以开源形式发布的通用人工智能模型非常重要,因为在开源模型发布后,为确保遵守本条例义务而采取的必要措施
可能更难实施。
```
```
(113) 如果欧盟委员会得知某一通用人工智能模型满足归类为构成系统性风险的通用人工智能模型的要求,而此前
要么无人知晓,要么相关提供者未向欧盟委员会通知,则欧盟委员会应被授权将其指定为此类模型。合格警示制度应确保
除AI Office的监测活动外,科学小组能够使AI Office了解可能应被归类为构成系统性风险的通用人工智能模型的
通用人工智能模型。
```
```
(114) 构成系统性风险的通用人工智能模型的提供者,除承担为通用人工智能模型提供者规定的义务外,还应承担旨在
识别和减轻这些风险并确保适当水平网络安全保护的义务,无论该模型是作为独立模型提供,还是嵌入AI系统或产品中。
为实现这些目标,本条例应要求提供者执行必要的模型评估,特别是在其首次投放市场之前,包括进行并记录对抗性测试
(可酌情通过内部或独立外部测试)。此外,构成系统性风险的通用人工智能模型的提供者应持续评估和减轻系统性风险,
包括例如制定风险管理政策(如问责和治理流程)、实施售后监测、在整个模型生命周期内采取适当措施,
并与AI价值链上的相关行为者合作。
```
```
(115) 构成系统性风险的通用人工智能模型的提供者应评估和减轻可能的系统性风险。如果尽管努力识别和预防可能与
构成系统性风险的通用人工智能模型相关的风险,模型的发展或使用仍造成严重事件,通用人工智能模型提供者应及时
跟踪该事件,并向欧盟委员会和国家主管机关报告任何相关信息及可能的纠正措施。此外,提供者应在适当情况下
在整个模型生命周期内确保模型及其物理基础设施获得适当水平的网络安全保护。与恶意使用或攻击相关的系统性风险的
网络安全保护应适当考虑意外模型泄漏、未经授权的发布、规避安全措施,以及防御网络攻击、未经授权的访问或模型盗窃。
该保护可以通过保护模型权重、算法、服务器和数据集来促进,例如通过信息安全操作安全措施、特定的网络安全政策、
适当的技术和既定解决方案,以及与相关情况和所涉风险相适应的网络和物理访问控制。
```
```
(116) AI Office应鼓励并便利行为准则的起草、审查和调整,同时考虑——国际方法。可以邀请所有通用人工智能模型的提供者参与。为确保行为准则反映最新技术水平并适当考虑多样化的视角,
AI Office应与相关国家主管机关合作,并可在适当时就起草此类准则咨询民间社会组织和相关利益相关方及专家,
包括科学小组。行为准则应涵盖通用人工智能模型提供者和构成系统性风险的通用人工智能模型提供者的义务。
此外,关于系统性风险,行为准则应有助于在联盟层面建立系统性风险的类型和性质的风险分类体系,包括其来源。
行为准则还应侧重于具体的风险评估和缓解措施。
```
```
(117) 行为准则应代表本条例为通用人工智能模型提供者规定的义务得到适当遵守的核心工具。提供者应能够依赖
行为准则来证明遵守义务。通过实施法案,欧盟委员会可以决定批准某项行为准则并在联盟内赋予其普遍效力,
或者,如果在本条例适用之时行为准则无法最终完成或被AI Office认为不充分,则为相关义务的实施提供共同规则。
一旦协调标准
```
# 英文版 欧盟公报 L,12.7.2024
30/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
发布并被AI Office评估为适合涵盖相关义务,遵守欧洲协调标准应为提供者提供符合性推定。通用人工智能模型的提供者
还应能够在行为准则或协调标准不可用或他们选择不依赖这些工具时,使用替代的适当手段证明合规。
```
```
(118) 本条例通过为将AI系统和AI模型投放联盟市场、投入使用或使用的相关市场行为者规定某些要求和义务来规范
AI系统和AI模型,从而补充了条例(EU)2022/2065号所规范的、将此类系统或模型嵌入其服务中的中介服务提供者的义务。
在此类系统或模型嵌入被指定的超大型在线平台或超大型在线搜索引擎的范围内,它们受条例(EU)2022/2065号规定的
风险管理框架的约束。因此,本条例的相应义务应被推定已履行,除非出现条例(EU)2022/2065号未涵盖且在此类模型中
被识别的重大系统性风险。在此框架内,超大型在线平台和超大型在线搜索引擎的提供者有义务评估其服务的设计、
运作和使用可能产生的系统性风险,包括服务中使用的算法系统的设计可能如何促成此类风险,以及潜在滥用产生的
系统性风险。这些提供者还有义务在尊重基本权利的前提下采取适当的缓解措施。
```
```
(119) 考虑到创新步伐的加快以及不同联盟法律文书范围内数字服务的技术演变,特别是考虑到其受众的使用和感知,
本条例所规范的AI系统可以作为条例(EU)2022/2065号意义上的中介服务或其组成部分提供,该条例应以技术中立的方式
解释。例如,AI系统可用于提供在线搜索引擎,特别是当在线聊天机器人等AI系统对原则上所有网站进行搜索,
然后将结果纳入其现有知识,并利用更新后的知识生成结合不同信息来源的单一输出时。
```
```
(120) 此外,本条例对某些AI系统的提供者和部署者施加的、使这些系统的输出能够被检测和披露为人工生成或操纵的义务,
对于促进条例(EU)2022/2065号的有效实施尤其相关。这特别适用于超大型在线平台或超大型在线搜索引擎提供者
识别和减轻可能由人工生成或操纵内容的传播引起的系统性风险的义务,特别是对民主进程、公民话语和选举进程的
实际或可预见负面影响(包括通过虚假信息)的风险。
```
```
(121) 标准化应在按照最新技术水平向提供者提供技术解决方案以确保遵守本条例、促进单一市场的创新以及竞争力和
增长方面发挥关键作用。遵守条例(EU)第1025/2012号(^41)第2条第(1)款第(c)项所定义的协调标准
(通常预期反映最新技术水平),应作为提供者证明符合本条例要求的一种手段。因此,应鼓励在标准制定中实现涉及所有
相关利益相关方(特别是中小企业、消费者组织以及环境和社会利益相关方)的均衡利益代表,依据条例(EU)第1025/2012号
第5条和第6条。为便利合规,欧盟委员会应无不当延迟地发出标准化请求。在准备标准化请求时,欧盟委员会应咨询
咨询论坛和欧洲人工智能委员会以收集相关专业知识。然而,在缺乏相关协调标准引用的情形下,欧盟委员会应能够在
咨询咨询论坛后,通过实施法案为本条例下的某些要求制定共同规范。共同规范应作为例外情况下的后备解决方案,
在标准化请求未被任何欧洲标准化组织接受、相关协调标准未充分处理基本权利关切、协调标准不符合请求、
或适当协调标准的通过出现延误时,便利提供者遵守本条例要求的义务。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 31/144
```
(^41) 欧洲议会和理事会2012年10月25日条例(EU)第1025/2012号,关于欧洲标准化,修订理事会指令89/686/EEC和93/15/EEC
以及欧洲议会和理事会指令94/9/EC、94/25/EC、95/16/EC、97/23/EC、98/34/EC、2004/22/EC、2007/23/EC、
2009/23/EC和2009/105/EC,并废止理事会决定87/95/EEC和欧洲议会和理事会决定第1673/2006/EC号(欧盟公报 L 316,
2012年11月14日,第12页)。
```
```
欧盟委员会在考虑制定共同规范之前应考虑协调标准通过延误的原因。在制定共同规范时,鼓励欧盟委员会与国际伙伴
和国际标准化机构合作。
```
```
(122) 宜规定,在不影响协调标准和共同规范使用的前提下,如果高风险AI系统是在反映AI系统拟使用的特定地理、
行为、背景或功能环境的数据上训练和测试的,则应推定其提供者符合本条例规定的数据治理要求下的相关措施。
在不影响本条例规定的稳健性和准确性要求的前提下,依据条例(EU)2019/881号第54条第(3)款,
根据该条例下的网络安全计划获得认证或已签发符合性声明的、且其引用已在欧盟官方公报上公布的高风险AI系统,
只要该网络安全证书或符合性声明或其部分涵盖本条例的网络安全要求,则应被推定符合本条例的网络安全要求。
这仍不影响该网络安全计划的自愿性质。
```
```
(123) 为确保高风险AI系统的高度可信赖性,这些系统应在其投放市场或投入使用前接受合格评定。
```
```
(124) 宜规定,为尽量减少经营者的负担并避免任何可能的重复,对于与基于新立法框架的现有联盟协调立法所涵盖产品
相关的高风险AI系统,这些AI系统对本条例要求的合规应作为该法律中已规定的合格评定的一部分进行评估。
因此,本条例要求的适用性不应影响相关联盟协调立法下合格评定的特定逻辑、方法或总体结构。
```
```
(125) 鉴于高风险AI系统的复杂性及其相关风险,重要的是为高风险AI系统制定涉及公告机构的适当合格评定程序,
即所谓的第三方合格评定。然而,鉴于产品安全领域专业上市前认证机构目前的经验以及所涉风险的不同性质,
宜至少在适用本条例的初始阶段,将第三方合格评定对除与产品相关的高风险AI系统以外的系统的适用范围加以限制。
因此,此类系统的合格评定一般应由提供者自行负责进行,唯一例外是拟用于生物特征识别的AI系统。
```
```
(126) 为在需要时进行第三方合格评定,公告机构应由国家主管机关根据本条例予以通知,前提是它们符合一系列要求,
特别是关于独立性、能力、无利益冲突和适当的网络安全要求。国家主管机关应通过欧盟委员会根据决定第768/2008/EC号
附件一第R23条开发和管理的电子通知工具,将这些机构的通知发送给欧盟委员会和其他成员国。
```
```
(127) 依照联盟在世界贸易组织《技术性贸易壁垒协定》下的承诺,宜便利对合格评定机构(无论其设立于何领土)
所产生合格评定结果的相互承认,前提是依据第三国法律设立的这些合格评定机构符合本条例的适用要求,
且联盟已就此缔结协定。在此背景下,欧盟委员会应积极探索为此目的的可能的国际文书,特别是推动与第三国缔结
相互承认协定。
```
```
(128) 依照对受联盟协调立法规范的产品进行重大修改的公认概念,宜规定:无论何时发生可能影响高风险AI系统
符合本条例的变化(如操作系统或软件架构的变化),或系统预期用途发生变化,该AI系统应被视为新的AI系统,
须进行新的合格评定。然而,在投放市场或投入使用后继续“学习”(即自动调整功能执行方式)的AI系统的算法和
性能发生的变化,不应构成重大修改,前提是这些变化已由提供者预先确定并在合格评定之时经过评估。
```
# 英文版 欧盟公报 L,12.7.2024
32/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(129) 高风险AI系统应带有CE标志,以表明其符合本条例,从而能够在内部市场中自由流通。对于嵌入产品中的高风险
AI系统,应粘贴实体CE标志,并可以数字CE标志加以补充。对于仅以数字方式提供的高风险AI系统,应使用数字CE标志。
成员国不应为符合本条例规定要求并带有CE标志的高风险AI系统的投放市场或投入使用制造不合理的障碍。
```
```
(130) 在特定条件下,创新技术的快速可用性可能对人的健康和安全、环境保护和气候变化以及整个社会至关重要。
因此,宜规定:在公共安全或保护自然人生命和健康的特殊理由、环境保护以及保护关键工业和基础设施资产的情况下,
市场监督机关可以授权未经过合格评定的AI系统投放市场或投入使用。在本条例规定的经适当证明的情形下,
执法机关或民事保护机关可以在未经市场监督机关授权的情况下将特定高风险AI系统投入使用,前提是在使用期间或
使用之后无不当延迟地请求此类授权。
```
```
(131) 为便利欧盟委员会和成员国在AI领域的工作并提高对公众的透明度,属于相关现有联盟协调立法范围的产品之外的
高风险AI系统的提供者,以及认为本条例附件所列高风险使用案例中的AI系统依据减损不构成高风险的提供者,
应被要求在拟由欧盟委员会建立和管理的欧盟数据库中登记其自身及其AI系统的信息。在使用本条例附件所列高风险
使用案例中的AI系统之前,作为公共机关、机构或团体的高风险AI系统部署者应在该数据库中登记其自身并选择其拟
使用的系统。其他部署者应有权自愿这样做。欧盟数据库的这一部分应可公开访问、免费,信息应易于浏览、理解和
机器可读。欧盟数据库还应用户友好,例如通过提供搜索功能(包括关键词搜索),使公众能够找到为高风险AI系统登记
时提交的相关信息,以及本条例附件所列、高风险AI系统对应的高风险使用案例的信息。高风险AI系统的任何重大修改
也应登记在欧盟数据库中。就执法、移民、庇护和边境管制管理领域的高风险AI系统而言,登记义务应在欧盟数据库的
安全非公开部分履行。对安全非公开部分的访问应受到严格——限制于欧盟委员会以及市场监督机关就其在数据库中的国家部分。关键基础设施领域的高风险AI系统应仅在国家层面登记。
欧盟委员会应依照条例(EU)2018/1725号作为欧盟数据库的控制者。为确保欧盟数据库在部署时的完整功能,
建立数据库的程序应包括欧盟委员会制定功能规范以及独立审计报告。欧盟委员会在履行其作为欧盟数据库数据控制者的
职责时应考虑网络安全风险。为使公众能够最大限度地获得和使用欧盟数据库,欧盟数据库(包括通过其提供的信息)
应符合指令(EU)2019/882号的要求。
```
```
(132) 某些旨在与自然人互动或生成内容的AI系统,无论其是否构成高风险,都可能构成冒充或欺骗的特定风险。
在特定情况下,因此应使这些系统的使用遵守特定的透明度义务,同时不影响高风险AI系统的要求和义务,
并考虑执法特殊需要设定有针对性的例外。特别是,应通知自然人他们正在与AI系统互动,除非从合理知悉、观察敏锐且
审慎的自然人的角度来看,考虑到使用的情形和背景,这一点是显而易见的。在实施该义务时,如果AI系统也拟与因年龄
或残疾而属于弱势群体的自然人互动,则应考虑这些群体的特征。此外,当自然人接触到通过处理其生物特征数据而能够
识别或推断其情绪或意图、或将他们归入特定类别的AI系统时,应通知他们。此类特定类别可涉及性别、年龄、发色、
瞳色、纹身、个人特质、族裔出身、个人偏好和兴趣等方面。此类信息和通知应以残疾人可获取的格式提供。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 33/144
```
(133) 各种AI系统可以生成大量合成内容,人类越来越难以将其与人类生成和真实内容区分开来。这些系统的广泛可用性
和不断增强的能力对信息生态系统的完整性和信任产生重大影响,带来了大规模虚假信息和操纵、欺诈、冒充和消费者
欺骗的新风险。鉴于这些影响、快速的技术步伐以及追踪信息来源的新方法和技术的需要,宜要求这些系统的提供者嵌入
技术解决方案,使输出能够以机器可读格式被标记并被检测为由AI系统而非人类生成或操纵。此类技术和方法应在技术上
可行的范围内足够可靠、可互操作、有效且稳健,同时考虑可用技术或此类技术的组合,如水印、元数据标识、用于证明
内容来源和真实性的加密方法、日志方法、指纹或其他适当技术。在实施该义务时,提供者还应考虑不同类型内容的特殊性
和局限性,以及该领域相关技术和市场的发展,如公认的最新技术水平所反映的。此类技术和方法可以在AI系统层面或
AI模型层面实施,包括生成内容的通用人工智能模型,从而便利AI系统的下游提供者履行该义务。为保持相称性,
宜设想该标记义务不应涵盖主要执行标准编辑辅助功能的AI系统,或实质上不改变部署者提供的输入数据或其语义的AI系统。
```
```
(134) 除AI系统提供者采用的技术解决方案外,使用AI系统生成或操纵与现有人员、物体、地点、实体或事件明显相似、
且会使人误以为真实或可信的图像、音频或视频内容(深度伪造)的部署者,也应通过相应地标记AI输出并披露其
人工来源,清晰且可区分地披露该内容已被人工创建或操纵。遵守该透明度义务不应被解释为表明使用AI系统或其输出
妨碍《宪章》保障的言论自由权和艺术与科学自由权,特别是当内容属于明显具有创意性、讽刺性、艺术性、虚构性或
类似性质的作品或节目的一部分时,但须遵守保护第三方权利和自由的适当保障措施。在这些情况下,本条例规定的
深度伪造透明度义务仅限于以不阻碍作品展示或欣赏(包括其正常利用和使用)的适当方式披露此类生成或操纵内容的
存在,同时保持作品的实用性和质量。此外,宜设想对AI生成或操纵的文本适用类似的披露义务,只要该文本为向公众
通报公共利益事项而发布,除非AI生成的内容已经过人工审查或编辑控制过程,且自然人或法人对内容的发布承担编辑责任。
```
```
(135) 在不影响透明度义务的强制性和完全适用性的前提下,欧盟委员会还可以鼓励并便利在联盟层面起草行为准则,
以促进有效实施关于检测和标记人工生成或操纵内容的义务,包括支持作出适当的实际安排,使检测机制可获取,
并便利与价值链上其他行为者(传播内容或检查其真实性和来源的行为者)合作,使公众能够有效区分AI生成的内容。
```
```
(136) 本条例对某些AI系统的提供者和部署者施加的、使这些系统的输出能够被检测和披露为人工生成或操纵的义务,
对于促进条例(EU)2022/2065号的有效实施尤其相关。这特别适用于超大型在线平台或超大型在线搜索引擎提供者
识别和减轻可能由人工生成或操纵内容的传播引起的系统性风险的义务,特别是对民主进程、公民话语和选举进程的
实际或可预见负面影响(包括通过虚假信息)的风险。本条例下标记AI系统生成内容的要求不影响条例(EU)2022/2065号
第16条第(6)款规定的托管服务提供者处理根据该条例第16条第(1)款收到的非法内容通知的义务,也不应影响对特定内容
非法性的评估和决定。该评估应仅参照规范内容合法性的规则进行。
```
# 英文版 欧盟公报 L,12.7.2024
34/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(137) 遵守本条例所涵盖AI系统的透明度义务不应被解释为表明使用该AI系统或其输出在本条例或其他联盟和成员国
法律下是合法的,也不应影响联盟或国家法律为AI系统部署者规定的其他透明度义务。
```
```
(138) AI是一个快速发展的技术家族,需要监管监督和安全受控的实验空间,同时确保负责任的创新以及适当保障措施和
风险缓解措施的整合。为确保一个促进创新、面向未来且对破坏具有韧性的法律框架,成员国应确保其国家主管机关在
国家层面建立至少一个AI监管沙盒,以便在这些系统投放市场或以其他方式投入使用之前,在严格的监管监督下促进
创新AI系统的开发和测试。成员国也可以通过参与现有监管沙盒或与一个或多个成员国的主管机关共同建立一个沙盒
来履行该义务,只要该参与为参与成员国提供同等的国家覆盖水平。AI监管沙盒可以以实体、数字或混合形式建立,
并可容纳实体和数字产品。建立机关还应确保AI监管沙盒拥有其运作所需的适当资源,包括财政和人力资源。
```
```
(139) AI监管沙盒的目标应是通过在开发和上市前阶段建立受控的实验和测试环境来促进AI创新,以确保创新AI系统
符合本条例以及其他相关联盟和国家法律。此外,AI监管沙盒应旨在为创新者增强法律确定性,增强主管机关对AI使用
的机会、新兴风险和影响的监督和理解,便利机关和企业进行监管学习(包括着眼于法律框架的未来调整),支持与参与
AI监管沙盒的机关的合作和最佳实践分享,并加速进入市场,包括消除中小企业(包括初创企业)的障碍。AI监管沙盒
应在整个联盟内广泛可用,并应特别关注其对中小企业(包括初创企业)的可及性。参与AI监管沙盒应侧重于为提供者和
潜在提供者在联盟内创新和试验AI并促进基于证据的监管学习带来法律不确定性的问题。因此,对AI监管沙盒中AI系统的
监督应涵盖其在投放市场或投入使用之前的开发、训练、测试和验证,以及可能需要新合格评定程序的重大修改的概念和发生。
在开发此类AI系统期间识别的任何重大风险都应导致适当的缓解,否则应中止开发过程。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 35/144
```
在适当情况下,建立AI监管沙盒的国家主管机关应与其他相关机关合作,包括监督基本权利保护的机关,并可允许AI生态系统
中的其他行为者参与,如国家或欧洲标准化组织、公告机构、测试和实验设施、研究和实验实验室、欧洲数字创新中心以及
相关利益相关方和民间社会组织。为确保联盟范围内的统一实施和规模经济,宜为AI监管沙盒的实施制定共同规则,
并为参与沙盒监督的相关机关之间的合作建立框架。根据本条例建立的AI监管沙盒应不影响允许建立旨在确保遵守本条例
以外法律的其他沙盒的法律。在适当情况下,负责这些其他监管沙盒的相关主管机关应考虑使用这些沙盒来确保AI系统
遵守本条例的益处。在国家主管机关与AI监管沙盒参与者达成一致的情况下,也可以在AI监管沙盒框架内进行和监督
真实世界条件下的测试。
```
```
(140) 本条例应为AI监管沙盒中的提供者和潜在提供者提供法律依据,使其能够根据条例(EU)2016/679号第6条第(4)款
和第9条第(2)款第(g)项以及条例(EU)2018/1725号第5条、第6条和第10条,在特定条件下,仅出于在AI监管沙盒内
为公共利益开发某些AI系统的目的,使用为其他目的收集的个人数据,且不影响指令(EU)2016/680号第4条第(2)款和
第10条。数据控制者在条例(EU)2016/679号和(EU)2018/1725号及指令(EU)2016/680号下的所有其他义务和
数据主体的权利仍然适用。特别是,本条例不应提供条例(EU)2016/679号第22条第(2)款第(b)项和条例(EU)2018/1725号
第24条第(2)款第(b)项意义上的法律依据。AI监管沙盒中的提供者和潜在
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 35/144
```
提供者应确保适当的保障措施并与主管机关合作,包括遵循其指导并迅速、善意地采取行动,以充分缓解在该沙盒中的
开发、测试和实验期间可能出现的任何已识别的对安全、健康和基本权利的重大风险。
```
```
(141) 为加速本条例附件所列高风险AI系统的开发和投放市场进程,重要的是此类系统的提供者或潜在提供者也可以
在不参与AI监管沙盒的情况下,受益于在真实世界条件下测试这些系统的特定制度。然而,在此类情况下,考虑到此类
测试对个人的可能后果,应确保本条例为提供者或潜在提供者引入适当和充分的保障措施和条件。此类保障措施应特别
包括:征求自然人参加真实世界条件测试的知情同意,但执法除外——在执法情况下,寻求知情同意会妨碍AI系统被测试。
根据本条例,受试者参加此类测试的同意不同于且不影响数据主体根据相关数据保护法同意处理其个人数据。
同样重要的是尽量减少风险并实现主管机关的监督,因此应要求潜在提供者向主管市场监督机关提交真实世界测试计划、
在欧盟数据库的专门部分登记测试(但有若干有限例外)、对可以进行测试的期限设定限制,并要求对属于某些弱势群体
的人提供额外保障,以及要求签订界定潜在提供者和部署者角色和责任的书面协议,并由参与真实世界测试的主管人员
进行有效监督。此外,宜设想额外的保障措施,以确保AI系统的预测、建议或决定能够被有效逆转和忽略,
并且当受试者撤回参加测试的同意时,其个人数据得到保护并被删除,但不影响其作为数据主体在联盟数据保护法律下
的权利。关于数据传输,还宜设想:为真实世界条件测试目的收集和处理的数据,仅在实施联盟法律下适当和适用的保障
措施(特别是依照联盟数据保护法律下的个人数据传输依据)时才应转移到第三国,而对于非个人数据,应按照联盟法律
(如欧洲议会和理事会条例(EU)2022/868号(^42)和(EU)2023/2854号(^43))实施适当保障措施。
```
```
(142) 为确保AI带来对社会和环境有益的结果,鼓励成员国通过分配足够的资源(包括公共和联盟资金),支持和促进
有利于社会和环境结果的AI解决方案的研究和开发,如提高残疾人无障碍性的基于AI的解决方案、解决社会经济不平等
或实现环境目标,并在适当时且符合资格和选择标准的情况下,特别考虑追求这些目标的项目。此类项目应基于——AI开发者、不平等和反歧视专家、无障碍、消费者、环境和数字权利专家以及学术界之间的跨学科合作原则。
```
```
(143) 为促进和保护创新,重要的是特别考虑作为AI系统提供者或部署者的中小企业(包括初创企业)的利益。
为此,成员国应制定针对这些经营者的举措,包括提高认识和信息宣传。成员国应向在联盟内有注册办事处或分支机构的
中小企业(包括初创企业)提供AI监管沙盒的优先准入,前提是它们满足资格条件和选择标准,并且不排除满足相同
条件和标准的其他提供者和潜在提供者进入沙盒。成员国应利用现有渠道,并在适当时建立新的专门渠道,与中小企业
(包括初创企业)、部署者、其他创新者以及(在适当时)地方公共机关沟通,通过提供指导并回答关于本条例实施的
问题,在中小企业(包括初创企业)的整个发展过程中予以支持。在适当时,这些渠道应协同工作,以创造协同效应并
确保其向中小企业(包括初创企业)和部署者提供的指导的一致性。此外,成员国应便利中小企业和其他相关利益相关方
参与标准化制定过程。此外,公告机构设定合格评定费用时应考虑作为中小企业的提供者
```
# 英文版 欧盟公报 L,12.7.2024
36/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^42) 欧洲议会和理事会2022年5月30日条例(EU)2022/868号,关于欧洲数据治理并修订条例(EU)2018/1724号
(《数据治理法》)(欧盟公报 L 152,2022年6月3日,第1页)。
(^43) 欧洲议会和理事会2023年12月13日条例(EU)2023/2854号,关于公平获取和使用数据的统一规则并修订条例(EU)2017/2394号
和指令(EU)2020/1828号(《数据法》)(欧盟公报 L,2023/2854,2023年12月22日,ELI: http://data.europa.eu/eli/reg/2023/2854/oj)。
```
```
(包括初创企业)的具体利益和需要。欧盟委员会应通过透明的磋商定期评估中小企业(包括初创企业)的认证和合规成本,
并与成员国合作降低此类成本。例如,与强制性文件和与主管机关沟通相关的翻译成本可能对提供者和其他经营者
(尤其是规模较小的经营者)构成重大成本。成员国应尽可能确保其为相关提供者文件和与经营者沟通所确定和接受的
语言之一是尽可能多的跨境部署者广泛理解的语言。为满足中小企业(包括初创企业)的具体需要,欧盟委员会应在
欧洲人工智能委员会请求时,为本条例涵盖的领域提供标准化模板。此外,欧盟委员会应通过提供包含关于本条例的
易于使用信息的单一信息平台、组织适当的宣传运动以提高对本条例产生义务的认识、以及评估和促进AI系统公共采购
程序中最佳实践的趋同,来补充成员国的努力。最近才有资格被归类为欧盟委员会建议2003/361/EC(^44)附件意义上
小企业的中型企业,应有机会获得这些支持措施,因为这些新的中型企业有时可能缺乏确保正确理解和遵守本条例
所必需的法律资源和培训。
```
```
(144) 为促进和保护创新,AI按需平台、由欧盟委员会和成员国在联盟或国家层面实施的所有相关联盟资助计划和项目
(如数字欧洲计划、地平线欧洲)应在适当时为实现本条例的目标作出贡献。
```
```
(145) 为尽量减少因市场上缺乏知识和专门知识而产生的实施风险,并便利提供者(特别是中小企业,包括初创企业)
和公告机构遵守其在本条例下的义务,由欧盟委员会和成员国在联盟或国家层面建立的AI按需平台、欧洲数字创新中心
以及测试和实验设施应为本条例的实施作出贡献。在其各自的使命和能力领域内,AI按需平台、欧洲数字创新中心以及
测试和实验设施尤其能够为提供者和公告机构提供技术和科学支持。
```
```
(146) 此外,鉴于某些经营者规模极小,并为确保创新成本方面的相称性,宜允许微型企业以简化方式履行最昂贵的
义务之一,即建立质量管理体系,这将减少这些企业的行政负担和成本,而不影响保护水平以及遵守高风险AI系统
要求的需要。欧盟委员会应制定指南,具体规定微型企业应以该简化方式履行的质量管理体系要素。
```
```
(147) 宜由欧盟委员会尽可能便利依据任何相关联盟协调立法设立或认可的、并在该联盟协调立法所涵盖产品或设备
合格评定背景下履行职责的机构、团体或实验室进入测试和实验设施。特别是关于医疗器械领域依据条例(EU)2017/745号
和(EU)2017/746号的专家小组、专家实验室和参考实验室的情况。
```
```
(148) 本条例应建立一个治理框架,既允许在国家层面协调和支持本条例的适用,也在联盟层面建设能力并整合AI领域的
利益相关方。本条例的有效实施和执行需要一个能够在联盟层面协调和建设核心专业知识的治理框架。AI Office由
欧盟委员会决定(^45)设立,其使命是发展联盟在AI领域的专门知识和能力,并为联盟AI法律的实施作出贡献。
成员国应便利AI Office的任务,以支持在联盟层面发展联盟专门知识和能力,并加强数字单一市场的运作。此外,
应建立一个由成员国代表组成的欧洲人工智能委员会(Board)、一个整合科学界的科学小组以及一个在联盟和国家层面
为本条例实施提供利益相关方意见的咨询论坛。联盟专门知识和能力的建设
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 37/144
```
(^44) 欧盟委员会2003年5月6日关于微型、小型和中型企业定义的建议(欧盟公报 L 124,2003年5月20日,第36页)。
(^45) 欧盟委员会2024年1月24日设立欧洲人工智能办公室的决定 C(2024) 390。
```
```
还应包括利用现有资源和专门知识,特别是通过与联盟层面执行其他法律背景下建立的结构的协同效应,以及与联盟层面
相关举措(如欧洲高性能计算联合企业(EuroHPC Joint Undertaking)和数字欧洲计划下的AI测试和实验设施)的协同效应。
```
```
(149) 为便利本条例平稳、有效和协调的实施,应建立一个欧洲人工智能委员会。该委员会应反映AI生态系统的各种利益,
由成员国代表组成。该委员会应负责若干咨询任务,包括就与本条例实施相关的事项(包括执行事项、技术规范或与本条例
所确立要求相关的现有标准)发表意见、建议、提供咨询或为指南作出贡献,并就与AI相关的具体问题向欧盟委员会和
成员国及其国家主管机关提供建议。为给予成员国在指定其在委员会中的代表方面的灵活性,此类代表可以是属于公共
实体的任何人员,他们应具有促进国家层面协调和为实现委员会任务作出贡献的相关能力和权力。委员会应设立两个常设
分组,为市场监督机关和通知机关分别就市场监督和公告机构相关事项提供合作和交流平台。市场监督常设分组应作为
本条例在条例(EU)2019/1020号第30条意义上的行政合作组(ADCO)。根据该条例第33条,欧盟委员会应支持市场监督
常设分组的活动,进行市场评估或研究,特别是着眼于识别本条例中需要市场监督机关之间具体和紧急协调的方面。
委员会可以为审查具体问题的目的酌情设立其他常设或临时分组。委员会还应酌情与在相关联盟法律背景下活跃的相关
联盟机构、专家组和网络合作,特别是那些根据联盟关于数据、数字产品和服务的相关法律活跃的机构和网络。
```
```
(150) 为确保利益相关方参与本条例的实施和适用,应建立一个咨询论坛,向委员会和欧盟委员会提供建议和技术专业知识。
为确保商业和非商业利益之间以及商业利益类别内中小企业与其他企业之间多样化和均衡的利益相关方代表,
咨询论坛应包括产业界、初创企业、中小企业、学术界、民间社会(包括社会伙伴),以及基本权利署(FRA)、
ENISA、欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)和欧洲电信标准化协会(ETSI)。
```
```
(151) 为支持本条例的实施和执行,特别是AI Office关于通用人工智能模型的监测活动,应建立一个由独立专家组成的
科学小组。构成科学小组的独立专家应基于AI领域最新的科学或技术专业知识选拔,并应公正、客观地履行职责,
确保对其在履行职责和活动中获得的信息和数据的保密。为允许加强有效执行本条例所必需的国家能力,
成员国应能够就其为执行活动请求科学小组专家库的支持。
```
```
(152) 为支持对AI系统的充分执行并加强成员国的能力,应建立联盟AI测试支持结构并向成员国提供。
```
```
(153) 成员国在本条例的适用和执行中发挥着关键作用。在这方面,每个成员国应指定至少一个通知机关和至少一个
市场监督机关作为国家主管机关,以监督本条例的适用和实施。成员国可以按照其具体的国家组织特征和需要,
决定指定任何类型的公共实体履行本条例意义上的国家主管机关的任务。为提高成员国方面的组织效率,
并在成员国和联盟层面为公众和其他对应方设定单一联系点,每个成员国应指定一个市场监督机关作为单一联系点。
```
# 英文版 欧盟公报 L,12.7.2024
38/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(154) 国家主管机关应独立、公正、无偏见地行使其权力,以维护其活动和任务客观性的原则,并确保本条例的适用和
实施。这些机关的成员应避免任何与其职责不相容的行动,并应遵守本条例下的保密规则。
```
```
(155) 为确保高风险AI系统的提供者能够考虑使用高风险AI系统的经验以改进其系统和设计及开发过程,或能够及时
采取任何可能的纠正措施,所有提供者都应建立售后监测系统。在相关情况下,售后监测应包括对与其他AI系统
(包括其他设备和软件)互动的分析。售后监测不应涵盖属于执法机关的部署者的敏感运营数据。该系统对于确保
在投放市场或投入使用后继续“学习”的AI系统可能产生的新风险能够得到更有效和及时的处理也至关重要。
在此背景下,还应要求提供者建立系统,向相关机关报告因其AI系统使用而导致的任何严重事件,即导致死亡或对健康
造成严重损害、关键基础设施管理和运营严重且不可逆转的中断、违反旨在保护基本权利的联盟法律义务或对财产或
环境造成严重损害的事件或故障。
```
```
(156) 为确保有效和适当地执行本条例(属于联盟协调立法)所规定的要求和义务,条例(EU)2019/1020号建立的
市场监督和产品合规制度应整体适用。根据本条例指定的市场监督机关应拥有本条例和条例(EU)2019/1020号规定的
所有执行权力,并应独立、公正、无偏见地行使其权力和履行职责。虽然大多数AI系统不受本条例下特定要求和义务的
约束,但市场监督机关可以在所有AI系统根据本条例构成风险时对其采取措施。由于属于本条例范围的联盟机构、机关和
团体的特殊性,宜指定欧洲数据保护监督员(EDPS)作为它们的胜任市场监督机关。这不应影响成员国指定国家主管机关。
市场监督活动不应影响受监督实体——在联盟法律要求此类独立性的情况下独立履行任务的能力。
```
```
(157) 本条例不影响监督保护基本权利的联盟法律适用的相关国家公共机关或机构(包括平等机构和数据保护机关)的
权限、任务、权力和独立性。在其任务必要时,这些国家公共机关或机构也应能够查阅根据本条例创建的任何文件。
应为确保对构成健康、安全和基本权利风险的AI系统进行充分和及时执行制定具体的保障程序。此类构成风险的AI系统的
程序应适用于构成风险的高风险AI系统、违反本条例规定的禁止实践而投放市场、投入使用或使用的被禁止系统,
以及违反本条例规定的透明度要求而提供并构成风险的AI系统。
```
```
(158) 联盟金融服务法律包括适用于受监管金融机构在提供这些服务过程中(包括使用AI系统时)的内部治理和风险管理
规则及要求。为确保本条例下的义务与联盟金融服务法律文书的规则和要求得到协调一致的适用和执行,负责监督和执行
这些法律文书的主管机关,特别是条例(EU)第575/2013号(^46)以及欧洲议会和理事会指令2008/48/EC(^47)、
2009/138/EC(^48)、
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 39/144
```
(^46) 欧洲议会和理事会2013年6月26日条例(EU)第575/2013号,关于信贷机构和投资公司的审慎要求并修订条例(EU)第648/2012号
(欧盟公报 L 176,2013年6月27日,第1页)。
(^47) 欧洲议会和理事会2008年4月23日指令2008/48/EC,关于消费者信贷协议并废止理事会指令87/102/EEC(欧盟公报 L 133,
2008年5月22日,第66页)。
(^48) 欧洲议会和理事会2009年11月25日指令2009/138/EC,关于保险和再保险业务的开展和经营(《偿付能力II》)
(欧盟公报 L 335,2009年12月17日,第1页)。
```
```
2013/36/EU(^49)、2014/17/EU(^50)和(EU)2016/97号(^51)定义的欧洲议会和理事会指令,应在其各自的权限内
被指定为监督本条例实施(包括市场监督活动)的主管机关,涉及受监管和受监督金融机构提供或使用的AI系统,
除非成员国决定指定另一机关履行这些市场监督任务。这些主管机关应拥有本条例和条例(EU)2019/1020号下的所有权力,
以执行本条例的要求和义务,包括进行事后市场监督活动的权力,这些活动可酌情整合到其根据相关联盟金融服务法律
现有的监督机制和程序中。宜设想:当根据本条例作为市场监督机关行事时,负责监督依据指令2013/36/EU受监管的
信贷机构(其参与理事会条例(EU)第1024/2013号(^52)建立的单一监督机制)的国家机关,应及时向欧洲中央银行
报告在其市场监督活动过程中发现的、可能对欧洲中央银行在该条例中规定的审慎监督任务有潜在利益的信息。
为进一步加强本条例与适用于依据指令2013/36/EU受监管的信贷机构的规则之间的一致性,还宜将提供者在风险管理、
售后监测和文件方面的部分程序性义务整合到指令2013/36/EU下的现有义务和程序中。为避免重叠,还应在适用于依据
指令2013/36/EU受监管的信贷机构的范围内,就提供者的质量管理体系和高风险AI系统部署者的监测义务设想有限的减损。
同样的制度应适用于指令2009/138/EC下的保险和再保险企业及保险控股公司、指令(EU)2016/97号下的保险中介机构,
以及根据相关联盟金融服务法律须遵守内部治理、安排或流程要求的其他类型的金融机构,以确保金融部门的一致性和平等待遇。
```
```
(159) 本条例附件所列生物特征领域高风险AI系统的每个市场监督机关(只要这些系统用于执法、移民、庇护和边境管制
管理或司法和民主进程管理目的),都应拥有有效的调查和纠正权力,至少包括获取所有正在处理的个人数据以及
履行职责所必需的所有信息的权力。市场监督机关应能够完全独立地行使其权力。本条例下对其获取敏感运营数据的
任何限制,不应影响指令(EU)2016/680号授予它们的权力。本条例下关于向国家数据保护机关披露数据的任何排除,
不应影响这些机关在本条例范围之外的现有或未来权力。
```
```
(160) 市场监督机关和欧盟委员会应能够提议联合活动,包括由市场监督机关或市场监督机关与欧盟委员会联合进行的
联合调查,其目的是促进合规、识别不合规、提高认识并就本条例下被发现在两个或更多成员国构成严重风险的特定
类别高风险AI系统提供指导。促进合规的联合活动应按照条例(EU)2019/1020号第9条进行。AI Office应为联合调查
提供协调支持。
```
```
(161) 有必要澄清联盟和国家层面关于基于通用人工智能模型构建的AI系统的责任和能力。为避免权限重叠,
如果AI系统基于通用人工智能模型且模型和系统由同一提供者提供,则监督
```
# 英文版 欧盟公报 L,12.7.2024
40/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^49) 欧洲议会和理事会2013年6月26日指令2013/36/EU,关于信贷机构活动的准入和信贷机构及投资公司的审慎监督,修订指令
2002/87/EC并废止指令2006/48/EC和2006/49/EC(欧盟公报 L 176,2013年6月27日,第338页)。
(^50) 欧洲议会和理事会2014年2月4日指令2014/17/EU,关于与住宅不动产相关的消费者信贷协议并修订指令2008/48/EC和
2013/36/EU以及条例(EU)第1093/2010号(欧盟公报 L 60,2014年2月28日,第34页)。
(^51) 欧洲议会和理事会2016年1月20日指令(EU)2016/97号,关于保险分销(欧盟公报 L 26,2016年2月2日,第19页)。
(^52) 理事会2013年10月15日条例(EU)第1024/2013号,授予欧洲中央银行关于信贷机构审慎监督政策的特定任务
(欧盟公报 L 287,2013年10月29日,第63页)。
```
```
应在联盟层面通过AI Office进行,为此目的,AI Office应拥有条例(EU)2019/1020号意义上的市场监督机关的权力。
在所有其他情况下,国家市场监督机关仍负责监督AI系统。然而,对于可被部署者直接用于至少一个被归类为高风险的
目的的通用人工智能系统,市场监督机关应与AI Office合作进行合规评估,并相应通知委员会和其他市场监督机关。
此外,如果市场监督机关因无法获取与高风险AI系统所基于的通用人工智能模型相关的某些信息而无法结束对高风险
AI系统的调查,市场监督机关应能够请求AI Office提供协助。在此类情况下,条例(EU)2019/1020号第六章中关于
跨境案件相互协助的程序应比照适用。
```
```
(162) 为充分利用联盟层面的集中专门知识和协同效应,对通用人工智能模型提供者义务的监督和执行权力应属于
欧盟委员会的权限。AI Office应能够采取所有必要行动,监测本条例关于通用人工智能模型的规定的有效实施。
它应能够主动调查可能违反通用人工智能模型提供者规则的行为(在其监测活动结果之后),或应市场监督机关
按照本条例规定的条件提出的请求进行调查。为支持AI Office的有效监测,应规定下游提供者可以就通用人工智能模型
和系统的提供者规则的可能违规提出投诉。
```
```
(163) 为补充通用人工智能模型的治理体系,科学小组应支持AI Office的监测活动,并在某些情况下可向AI Office
发出合格警示,触发后续行动,如调查。当科学小组有理由怀疑某一通用人工智能模型在联盟层面构成具体且可识别的
风险时,即属此种情况。此外,当科学小组有理由怀疑某一通用人工智能模型符合会导致被归类为构成系统性风险的
通用人工智能模型的标准时,也属此种情况。为向科学小组提供履行这些任务所需的信息,应建立一种机制,
科学小组可通过该机制请求欧盟委员会要求提供者提供文件或信息。
```
```
(164) AI Office应能够采取必要行动,监测本条例规定的通用人工智能模型提供者义务的有效实施和遵守情况。
AI Office应能够按照本条例规定的权力调查可能的违规行为,包括请求提供文件和信息、进行评估,以及请求通用
人工智能模型提供者采取措施。在进行评估时,为利用独立专业知识,AI Office应能够聘请独立专家代表其进行评估。
义务的遵守应可强制执行,除其他外,可通过要求采取适当措施来执行,包括在识别出系统性风险的情况下采取风险
缓解措施,以及限制提供上市、撤回或召回模型。作为保障措施,在超出本条例规定的程序性权利所需时,通用人工智能
模型提供者应享有条例(EU)2019/1020号第18条规定的程序性权利,该条应比照适用,但不影响本条例规定的更具体的
程序性权利。
```
```
(165) 按照本条例的要求开发高风险AI系统以外的AI系统,可能导致联盟内更多采用合乎伦理和值得信赖的AI。
应鼓励非高风险AI系统的提供者制定行为准则,包括相关的治理机制,旨在促进自愿适用适用于高风险AI系统的部分或
全部强制性要求,并根据系统的预期用途和所涉及的较低风险进行调整,同时考虑可用的技术解决方案和行业最佳实践
(如模型卡和数据卡)。还应鼓励所有AI系统(无论是否高风险)和AI模型的提供者以及(在适当时)部署者自愿适用
与联盟《值得信赖的AI伦理指南》要素相关的额外要求,
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 41/144
```
如环境可持续性、AI素养措施、包容和多元的AI系统设计和开发(包括关注弱势群体和残疾人无障碍)、利益相关方参与
(在适当时让企业界和民间社会组织、学术界、研究机构、工会和消费者保护组织等相关利益相关方参与AI系统的设计和
开发),以及开发团队的多样性(包括性别平衡)。为确保自愿行为准则有效,它们应基于明确的目标和衡量目标实现
情况的关键绩效指标。它们还应酌情以包容的方式制定,让企业界和民间社会组织、学术界、研究机构、工会和消费者
保护组织等相关利益相关方参与。欧盟委员会可以制定举措(包括部门性质的举措),以促进降低阻碍AI开发数据跨境
交换的技术壁垒,包括数据访问基础设施、不同类型数据的语义和技术互操作性方面。
```
```
(166) 重要的是,与产品相关、根据本条例不构成高风险、因此无需遵守为高风险AI系统规定的要求的AI系统,
在投放市场或投入使用时应仍然安全。为促进该目标的实现,欧洲议会和理事会条例(EU)2023/988号(^53)
将作为安全网适用。
```
```
(167) 为确保联盟和国家层面主管机关可信赖和建设性的合作,参与适用本条例的所有各方应依照联盟或国家法律,
尊重其在履行职责过程中获得的信息和数据的保密性。它们履行职责和活动的方式应特别保护知识产权、保密商业信息和
商业秘密、本条例的有效实施、公共和国家安全利益、刑事和行政程序的完整性以及机密信息的完整性。
```
```
(168) 遵守本条例应通过施加处罚和其他执行措施来强制执行。成员国应采取一切必要措施,确保本条例的条款得到实施,
包括为其违法行为规定有效、相称和劝阻性的处罚,并尊重一事不再理原则。为加强和统一对违反本条例的行政处罚,
应规定对某些特定违法行为设定行政罚款的上限。在评估罚款金额时,成员国应在每个个案中考虑具体情况的所有
相关情形,并适当特别考虑——违法行为的性质、严重程度和持续时间及其后果,以及提供者的规模,特别是如果提供者是中小企业(包括初创企业)。
欧洲数据保护监督员应有权对属于本条例范围的联盟机构、机关和团体处以罚款。
```
```
(169) 遵守本条例为通用人工智能模型提供者施加的义务应可通过罚款等手段强制执行。为此,还应规定对违反这些
义务(包括未能遵守欧盟委员会根据本条例要求的措施)的适当罚款水平,但须根据相称性原则适用适当的时效期限。
欧盟委员会根据本条例作出的所有决定均须依照《欧洲联盟运行条约》接受欧洲联盟法院的审查,包括法院根据
《欧洲联盟运行条约》第261条对处罚享有的无限管辖权。
```
```
(170) 联盟和国家法律已经为权利和自由受到AI系统使用不利影响的自然人和法人提供有效救济。在不影响这些救济的
前提下,任何有理由认为本条例受到侵犯的自然人或法人应有权向相关的市场监督机关提出投诉。
```
```
(171) 当部署者的决定主要基于本条例范围内的某些高风险AI系统的输出,且该决定对相关人员产生法律效力或以
他们视为对其健康、安全或基本权利产生不利影响的类似方式显著影响他们时,受影响者应有权获得解释。
```
# 英文版 欧盟公报 L,12.7.2024
42/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^53) 欧洲议会和理事会2023年5月10日条例(EU)2023/988号,关于一般产品安全,修订欧洲议会和理事会条例(EU)第1025/2012号
和欧洲议会和理事会指令(EU)2020/1828号,并废止欧洲议会和理事会指令2001/95/EC和理事会指令87/357/EEC
(欧盟公报 L 135,2023年5月23日,第1页)。
```
```
该解释应清晰且有意义,并应为受影响者提供行使其权利的基础。获得解释的权利不应适用于联盟或国家法律规定了
例外或限制的AI系统的使用,并且仅在该权利尚未由联盟法律规定的范围内适用。
```
```
(172) 对违反本条例的行为进行举报的人员应受到联盟法律的保护。因此,欧洲议会和理事会指令(EU)2019/1937号(^54)
应适用于举报违反本条例行为以及保护举报此类违法行为的人员。
```
```
(173) 为确保监管框架能够在必要时进行调整,应授权欧盟委员会根据《欧洲联盟运行条约》第290条通过法案,修订:
AI系统不应被视为高风险的各项条件;高风险AI系统清单;关于技术文档的规定;欧盟符合性声明的内容;关于合格评定
程序的规定;确定应适用基于质量管理体系评估和技术文档评估的合格评定程序的高风险AI系统的规定;构成系统性风险的
通用人工智能模型分类规则中的阈值、基准和指标(包括补充这些基准和指标);构成系统性风险的通用人工智能模型
指定标准;通用人工智能模型提供者的技术文档;以及通用人工智能模型提供者的透明度信息。特别重要的是,
欧盟委员会应在准备工作中进行适当的磋商,包括在专家层面进行,并且这些磋商应按照2016年4月13日《关于改进
立法的机构间协定》(^55)规定的原则进行。特别是,为确保平等参与授权法案的准备工作,欧洲议会和理事会应同时
收到与成员国专家相同的所有文件,其专家应有系统地参加处理授权法案准备的欧盟委员会专家组会议。
```
```
(174) 鉴于快速的技术发展以及有效适用本条例所需的技术专业知识,欧盟委员会应最迟于2029年8月2日评估和审查
本条例,此后每四年一次,并向欧洲议会和理事会报告。此外,考虑到对本条例范围的影响,欧盟委员会应每年评估
一次是否需要修订高风险AI系统清单和禁止实践清单。此外,最迟于2028年8月2日及其后每四年一次,欧盟委员会应
评估并向欧洲议会和理事会报告是否需要修订本条例附件中高风险领域标题的清单、属于透明度义务范围的AI系统、
监督和治理体系的有效性,以及通用人工智能模型节能开发标准化成果制定的进展,包括是否需要进一步措施或行动。
最后,最迟于2028年8月2日及其后每三年一次,欧盟委员会应评估自愿性行为准则在非高风险AI系统情况下促进适用
为高风险AI系统规定的要求以及此类AI系统可能的其他额外要求的影响和有效性。
```
```
(175) 为确保本条例实施的统一条件,应授予欧盟委员会实施权力。这些权力应按照欧洲议会和理事会条例(EU)
第182/2011号(^56)行使。
```
```
(176) 由于本条例的目标,即改善内部市场的运作并促进以人为本和值得信赖的AI的推广应用,同时确保对健康、
安全、《宪章》所载基本权利(包括民主、法治和环境保护)的高度保护,使其免受联盟内AI系统的有害影响,并支持创新,
不能由成员国充分实现,而由于行动的规模或效果,可以在联盟层面更好地实现,因此联盟可以依照
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 43/144
```
(^54) 欧洲议会和理事会2019年10月23日指令(EU)2019/1937号,关于保护举报违反联盟法律行为的人员(欧盟公报 L 305,
2019年11月26日,第17页)。
(^55) 欧盟公报 L 123,2016年5月12日,第1页。
(^56) 欧洲议会和理事会2011年2月16日条例(EU)第182/2011号,规定成员国控制欧盟委员会行使实施权力的机制的一般规则
和原则(欧盟公报 L 55,2011年2月28日,第13页)。
```
```
《欧洲联盟条约》第5条规定的辅助性原则采取措施。依照该条规定的相称性原则,本条例不超过实现该目标所必需的范围。
```
```
(177) 为确保法律确定性,确保经营者有适当的适应期,避免市场混乱(包括确保AI系统使用的连续性),宜规定:
本条例仅在本条例一般适用日期之后,对在该日期之前已投放市场或投入使用的高风险AI系统适用,前提是这些系统
从该日期起在其设计或预期用途方面发生重大变化。宜澄清,在此方面,重大变化的概念在实质上应等同于重大修改的概念,
后者仅就本条例下的高风险AI系统使用。在特殊情况下,基于公共问责制,作为本条例附件所列法律文书建立的大型
信息技术系统组件的AI系统经营者,以及拟由公共机关使用的高风险AI系统的经营者,应分别不迟于2030年底和
2030年8月2日采取必要步骤遵守本条例的要求。
```
```
(178) 鼓励高风险AI系统的提供者在过渡期内即自愿开始遵守本条例的相关义务。
```
```
(179) 本条例应自2026年8月2日起适用。然而,考虑到以某些方式使用AI所带来的不可接受风险,本条例的禁止性规定
以及一般性规定应自2025年2月2日起适用。虽然这些禁止的全部效力随本条例治理和执行的建立而实现,
但提前适用禁止对于考虑不可接受的风险并影响其他程序(如民法程序)很重要。此外,与治理和合格评定体系相关的
基础设施应在2026年8月2日前投入运行,因此关于公告机构和治理结构的规定应自2025年8月2日起适用。
```
鉴于通用人工智能模型技术进步和采用的快速步伐,通用人工智能模型提供者的义务应自2025年8月2日起适用。
行为准则应在2025年5月2日前准备就绪,以使提供者能够及时证明合规。AI Office应确保分类规则和程序根据技术
发展保持最新。此外,成员国应制定处罚规则(包括行政罚款)并通知欧盟委员会,并确保在本条例适用日期前
适当有效地实施这些规则。因此,关于处罚的规定应自2025年8月2日起适用。
```
(180) 欧洲数据保护监督员和欧洲数据保护委员会已按照条例(EU)2018/1725号第42条第(1)款和第(2)款进行了磋商,
并于2021年6月18日发表了联合意见。
```
```
兹通过本条例:
```
```
第一章
一般规定
```
```
第1条
```
```
标的
```
1. 本条例的目的是改善内部市场的运作,促进以人为本和值得信赖的人工智能(AI)的推广应用,同时确保对健康、
安全、《宪章》所载基本权利(包括民主、法治和环境保护)的高度保护,使其免受联盟内AI系统的有害影响,并支持创新。
2. 本条例规定:
```
(a) AI系统在联盟内投放市场、投入使用和使用的统一规则;
```
# 英文版 欧盟公报 L,12.7.2024
44/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(b) 对某些AI实践的禁止;
```
```
(c) 对高风险AI系统的具体要求以及此类系统经营者的义务;
```
```
(d) 对某些AI系统的统一透明度规则;
```
```
(e) 通用人工智能模型投放市场的统一规则;
```
```
(f) 关于市场监测、市场监督、治理和执行的规则;
```
```
(g) 支持创新的措施,特别关注中小企业(包括初创企业)。
```
```
第2条
范围
```
1. 本条例适用于:
```
(a) 在联盟内投放市场或投入使用AI系统或投放市场通用人工智能模型——的提供者,无论这些提供者设立或位于联盟内还是第三国;
```
```
(b) 在联盟内设有营业地或位于联盟内的AI系统部署者;
```
```
(c) 在第三国设有营业地或位于第三国的AI系统提供者和部署者,前提是AI系统产生的输出在联盟内使用;
```
```
(d) AI系统的进口商和分销商;
```
```
(e) 以其自身名义或商标将其AI系统与其产品一起投放市场或投入使用的产品制造商;
```
```
(f) 未设立于联盟内的提供者的授权代表;
```
```
(g) 位于联盟内的受影响者。
```
2. 对于根据第6条第(1)款被归类为高风险AI系统、与附件一B节所列联盟协调立法所涵盖产品相关的AI系统,
仅适用第6条第(1)款、第102条至第109条和第112条。第57条仅在本条例对高风险AI系统的要求已整合到该联盟
协调立法中的范围内适用。
3. 本条例不适用于联盟法律范围以外的领域,并且在任何情况下均不得影响成员国关于国家安全的权限,
无论成员国委托何种类型的实体执行与这些权限相关的任务。
```
本条例不适用于为军事、国防或国家安全目的(无论是否进行修改)投放市场、投入使用或使用的AI系统,
无论开展这些活动的是何种类型的实体。
```
```
本条例不适用于未在联盟内投放市场或投入使用、其输出仅用于军事、国防或国家安全目的且位于联盟外使用的
AI系统,无论开展这些活动的是何种类型的实体。
```
4. 本条例既不适用于第三国公共机关,也不适用于根据第1款属于本条例范围、在与联盟或一个或多个成员国进行
执法和司法合作的国际合作或协定框架内使用AI系统的国际组织,前提是该第三国或国际组织在保护个人基本权利和
自由方面提供充分保障。
5. 本条例不应影响条例(EU)2022/2065号第二章所规定的中介服务提供者责任条款的适用。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 45/144
6. 本条例不适用于专门为科学研究和发展唯一目的而开发和投入使用的AI系统或AI模型(包括其输出)。
7. 关于个人数据保护、隐私和通信保密性的联盟法律适用于与本条例规定的权利和义务相关的个人数据处理。
本条例不应影响条例(EU)2016/679号或(EU)2018/1725号、指令2002/58/EC或(EU)2016/680号,
但不影响本条例第10条第(5)款和第59条。
8. 本条例不适用于AI系统或AI模型在投放市场或投入使用之前的任何研究、测试或开发活动。此类活动应依照
适用的联盟法律进行。真实世界条件下的测试不包括在该排除范围内。
9. 本条例不影响其他联盟法律文书规定的与消费者保护和产品安全相关的规则。
10. 本条例不适用于在纯粹个人非职业活动中使用AI系统的自然人部署者的义务。
11. 本条例不阻止联盟或成员国维持或引入在雇主使用AI系统方面更有利于保护工人权利的法律、法规或行政规定,
也不阻止鼓励或允许适用对工人更有利的集体协议。
12. 本条例不适用于以自由和开源许可发布的AI系统,除非它们作为高风险AI系统或属于第5条或第50条范围的
AI系统投放市场或投入使用。
```
第3条
```
```
定义
```
```
就本条例而言,适用下列定义:
```
```
(1) “AI系统”指基于机器的系统,其设计以不同程度的自主性运行,并可在部署后表现出适应性,且为了明示或
隐含的目标,从其所接收的输入推断如何生成预测、内容、建议或决定等输出,这些输出可影响物理或虚拟环境;
```
```
(2) “风险”指损害发生概率与损害严重程度的组合;
```
```
(3) “提供者”指开发AI系统或通用人工智能模型,或委托他人开发AI系统或通用人工智能模型,并以自身名义或
商标将其投放市场或将AI系统投入使用(无论有偿还是免费)的自然人或法人、公共机关、机构或其他团体;
```
```
(4) “部署者”指在其职权范围内使用AI系统的自然人或法人、公共机关、机构或其他团体,但AI系统在个人非职业
活动中使用的情形除外;
```
```
(5) “授权代表”指位于或设立于联盟内、已从AI系统或通用人工智能模型提供者处收到并接受书面委托、分别代表其
履行和承担本条例所确立的义务和程序的自然人或法人;
```
```
(6) “进口商”指位于或设立于联盟内、投放带有设立于第三国的自然人或法人名称或商标的AI系统的自然人或法人;
```
```
(7) “分销商”指供应链中除提供者或进口商之外、在联盟市场上提供AI系统的自然人或法人;
```
```
(8) “经营者”指提供者、产品制造商、部署者、授权代表、进口商或分销商;
```
# 英文版 欧盟公报 L,12.7.2024
46/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(9) “投放市场”指首次在联盟市场上提供AI系统或通用人工智能模型;
```
```
(10) “在市场上提供”指在商业活动过程中,为在联盟市场分发或使用而供应AI系统或通用人工智能模型,
无论有偿还是免费;
```
```
(11) “投入使用”指为预期用途,将AI系统首次直接供应给部署者或在联盟内供自身使用;
```
```
(12) “预期用途”指提供者预期AI系统被用于的用途,包括特定的使用背景和条件,如提供者在使用说明、促销或
销售材料和陈述以及技术文档中提供的信息所规定的;
```
```
(13) “合理可预见的滥用”指不符合AI系统预期用途、但可能由合理可预见的人类行为或与其他系统(包括其他
AI系统)的互动所产生的使用方式;
```
```
(14) “安全组件”指产品或AI系统中对该产品或AI系统履行安全功能、其故障或失灵危及人和财产的健康与安全的组件;
```
```
(15) “使用说明”指提供者提供的信息,用于特别告知部署者AI系统的预期用途和正确使用方式;
```
```
(16) “AI系统召回”指旨在实现将已提供给部署者的AI系统退回提供者、停止使用或禁用其使用的任何措施;
```
```
(17) “AI系统撤回”指旨在防止供应链中的AI系统在市场上提供的任何措施;
```
```
(18) “AI系统的性能”指AI系统实现其预期用途的能力;
```
```
(19) “通知机关”指负责建立和执行合格评定机构评估、指定和通知以及对其监测的必要程序的国家机关;
```
```
(20) “合格评定”指证明第三章第二节规定的与高风险AI系统相关的要求是否已得到满足的过程;
```
```
(21) “合格评定机构”指进行第三方合格评定活动(包括测试、认证和检查)的机构;
```
```
(22) “公告机构”指根据本条例和其他相关联盟协调立法获得通知的合格评定机构;
```
```
(23) “重大修改”指AI系统在其投放市场或投入使用后发生的变化,该变化未在提供者进行的初始合格评定中
预见或计划,且由此导致AI系统对第三章第二节规定的要求的符合性受到影响,或导致已评估的AI系统预期用途
发生变化;
```
```
(24) “CE标志”指提供者用以表明AI系统符合第三章第二节规定的要求以及其他规定加贴该标志的适用联盟协调
立法的标志;
```
```
(25) “售后监测系统”指AI系统提供者为收集和审查其投放市场或投入使用的AI系统的使用经验、以识别是否需要
立即采取任何必要的纠正或预防措施而开展的所有活动;
```
```
(26) “市场监督机关”指依照条例(EU)2019/1020号开展活动并采取措施的国家机关;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 47/144
```
(27) “协调标准”指条例(EU)第1025/2012号第2条第(1)款第(c)项所定义的协调标准;
```
```
(28) “共同规范”指条例(EU)第1025/2012号第2条第(4)项所定义的一套技术规范,为遵守本条例规定的某些要求
提供手段;
```
```
(29) “训练数据”指通过拟合AI系统的可学习参数来训练AI系统所用的数据;
```
```
(30) “验证数据”指用于对已训练AI系统进行评估并调整其不可学习参数及其学习过程的数据,目的除其他外包括
防止欠拟合或过拟合;
```
```
(31) “验证数据集”指独立的数据集或训练数据集的一部分,可以是固定或可变分割;
```
```
(32) “测试数据”指用于对AI系统进行独立评估、以在其投放市场或投入使用前确认该系统预期性能的数据;
```
```
(33) “输入数据”指提供给AI系统或由AI系统直接获取、系统据此产生输出的数据;
```
```
(34) “生物特征数据”指对自然人的物理、生理或行为特征(如面部图像或指纹数据)进行特定技术处理所产生的个人数据;
```
```
(35) “生物特征识别”指为确定自然人身份的目的,通过将该个人的生物特征数据与数据库中存储的多个个人的
生物特征数据进行比较,对人类物理、生理、行为或心理特征进行的自动识别;
```
```
(36) “生物特征验证”指通过将自然人的生物特征数据与其先前提供的生物特征数据进行比较,对自然人身份进行的
自动、一对一验证,包括认证;
```
```
(37) “特殊类别的个人数据”指条例(EU)2016/679号第9条第(1)款、指令(EU)2016/680号第10条和条例
(EU)2018/1725号第10条第(1)款所述的个人数据类别;
```
```
(38) “敏感运营数据”指与预防、侦查、调查或起诉刑事犯罪活动相关的运营数据,披露这些数据可能危及刑事程序的
完整性;
```
```
(39) “情绪识别系统”指基于自然人的生物特征数据识别或推断其情绪或意图的AI系统;
```
```
(40) “生物特征分类系统”指基于自然人的生物特征数据将自然人归入特定类别的AI系统,除非它附属于另一商业服务
且出于客观技术原因严格必要;
```
```
(41) “远程生物特征识别系统”指旨在无需自然人积极参与、通常在一定距离之外通过将人的生物特征数据与参考数据库
所含生物特征数据进行比较来识别自然人的AI系统;
```
```
(42) “实时远程生物特征识别系统”指一种远程生物特征识别系统,其生物特征数据的采集、比较和识别均无显著延迟,
不仅包括即时识别,还包括为避免规避而设定的有限短暂延迟;
```
```
(43) “事后远程生物特征识别系统”指实时远程生物特征识别系统以外的远程生物特征识别系统;
```
```
(44) “公众可进入的场所”指任何可供不特定数量自然人进入的公有或私有物理场所,无论进入是否有某些条件,
也无论是否有潜在的容量限制;
```
# 英文版 欧盟公报 L,12.7.2024
48/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(45) “执法机关”指:
```
```
(a) 任何有权预防、侦查、调查或起诉刑事犯罪或执行刑事处罚的公共机关,包括防范和预防对公共安全的威胁;或
```
```
(b) 由成员国法律委托行使公共权力和公共权威、以预防、侦查、调查或起诉刑事犯罪或执行刑事处罚为目的
(包括防范和预防对公共安全的威胁)的任何其他机构或实体;
```
```
(46) “执法”指执法机关或代表执法机关为预防、侦查、调查或起诉刑事犯罪或执行刑事处罚而开展的活动,
包括防范和预防对公共安全的威胁;
```
```
(47) “AI Office”指欧盟委员会2024年1月24日决定所规定的、负责为AI系统和通用人工智能模型的实施、监测和
监督以及AI治理作出贡献的委员会职能;本条例中对AI Office的引用应解释为对欧盟委员会的引用;
```
```
(48) “国家主管机关”指通知机关或市场监督机关;就联盟机构、机关、办公室和署投入使用或使用的AI系统而言,
本条例中对国家主管机关或市场监督机关的引用应解释为对欧洲数据保护监督员的引用;
```
```
(49) “严重事件”指直接或间接导致以下任何情况的AI系统事件或故障:
```
```
(a) 人的死亡或对人的健康造成严重损害;
```
```
(b) 关键基础设施管理或运营的严重且不可逆转的中断;
```
```
(c) 违反旨在保护基本权利的联盟法律义务;
```
```
(d) 对财产或环境造成严重损害;
```
```
(50) “个人数据”指条例(EU)2016/679号第4条第(1)项所定义的个人数据;
```
```
(51) “非个人数据”指条例(EU)2016/679号第4条第(1)项所定义的个人数据以外的数据;
```
```
(52) “用户画像”指条例(EU)2016/679号第4条第(4)项所定义的用户画像;
```
```
(53) “真实世界测试计划”指描述在真实世界条件下测试的目标、方法、地理、人群和时间范围、监测、组织和开展
的文件;
```
```
(54) “沙盒计划”指参与提供者与主管机关商定的文件,描述在沙盒内开展活动的目标、条件、时间框架、方法和要求;
```
```
(55) “AI监管沙盒”指由主管机关建立的控制框架,为AI系统的提供者或潜在提供者提供在监管监督下、按照沙盒计划
在一定时间内(适当时在真实世界条件下)开发、训练、验证和测试创新AI系统的可能性;
```
```
(56) “AI素养”指使提供者、部署者和受影响者(考虑到他们在本条例背景下的各自权利和义务)能够作出知情的AI系统
部署、并了解AI的机会和风险及其可能造成的损害的技能、知识和理解;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 49/144
```
(57) “真实世界条件下的测试”指在实验室或其他模拟环境之外的现实环境中,为预期用途对AI系统进行的临时测试,
以收集可靠和稳健的数据并评估和验证AI系统是否符合本条例的要求;只要第57条或第60条规定的所有条件均已满足,
该测试不构成本条例意义上的投放AI系统市场或投入使用;
```
```
(58) 就真实世界测试而言,“受试者”指参与真实世界条件下测试的自然人;
```
```
(59) “知情同意”指受试者在被告知与受试者参加决定相关的测试的所有方面后,自由给予的、具体的、明确的和自愿的
参加特定真实世界条件测试意愿的表达;
```
```
(60) “深度伪造”指AI生成或操纵的、与现有人员、物体、地点、实体或事件相似且会使人误以为真实或可信的图像、
音频或视频内容;
```
```
(61) “广泛侵权”指违反保护个人利益的联盟法律的任何作为或不作为,且:
```
```
(a) 已经损害或可能损害居住在至少两个成员国的个人的集体利益,但下列情况所在的成员国除外:
```
```
(i) 该作为或不作为起源或发生地;
```
```
(ii) 相关提供者或其授权代表(如适用)所在地或设立地;或
```
```
(iii) 当侵权由部署者实施时,部署者的设立地;
```
```
(b) 已经损害、正在损害或可能损害个人的集体利益,具有共同特征(包括相同的非法做法或相同利益受到侵犯),
并在至少三个成员国由同一经营者同时实施;
```
```
(62) “关键基础设施”指令(EU)2022/2557号第2条第(4)项所定义的关键基础设施;
```
```
(63) “通用人工智能模型”指显示出显著通用性、能够胜任地执行广泛不同任务的AI模型(包括使用大量数据以大规模
自监督方式训练的AI模型),无论该模型以何种方式投放市场,且可被整合到各种下游系统或应用中,但不包括在投放
市场前用于研究、开发或原型设计活动的AI模型;
```
```
(64) “高影响力能力”指匹配或超过最先进通用人工智能模型所记录能力的能力;
```
```
(65) “系统性风险”指通用人工智能模型高影响力能力特有的风险,由于覆盖面或对公共健康、安全、公共治安、
基本权利或整个社会的实际或合理可预见负面影响而对联盟市场产生重大影响,并可在价值链上大规模传播;
```
```
(66) “通用人工智能系统”指基于通用人工智能模型、能够服务于多种目的(既可直接使用,也可整合到其他AI系统中)
的AI系统;
```
```
(67) “浮点运算”指涉及浮点数的任何数学运算或赋值,浮点数是实数的一个子集,在计算机上通常以固定精度整数
乘以固定基数的整数指数来表示;
```
```
(68) “下游提供者”指整合AI模型的AI系统(包括通用人工智能系统)的提供者,无论该AI模型是由其自身提供并
垂直整合,还是基于合同关系由另一实体提供。
```
# 英文版 欧盟公报 L,12.7.2024
50/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第4条
```
```
AI素养
```
```
AI系统的提供者和部署者应采取措施,尽其最大努力确保其员工以及代表其处理AI系统运营和使用的人员具备
适当水平的AI素养,同时考虑他们的技术知识、经验、教育和培训以及AI系统将使用的背景,并考虑AI系统将用于的
个人或人群。
```
```
第二章
被禁止的AI实践
```
```
第5条
```
```
被禁止的AI实践
```
1. 下列AI实践应予禁止:
```
(a) 投放市场、投入使用或使用部署超越个人意识范围的潜意识技术或故意操纵或欺骗技术的AI系统,其目标或效果是
通过显著损害一个人或一群人作出知情决定的能力来实质扭曲其行为,从而促使其作出本不会作出的决定,并以造成或
合理可能造成该人、另一个人或一群人重大损害的方式为之;
```
```
(b) 投放市场、投入使用或使用利用自然人因年龄、残疾或特定社会或经济状况而具有的任何脆弱性的AI系统,其目标
或效果是以造成或合理可能造成该人或另一个人重大损害的方式实质扭曲该人或该群体中成员的行为;
```
```
(c) 投放市场、投入使用或使用基于自然人或其群体在一段时间内的社会行为或已知、推断或预测的个人或性格特征
对其进行评估或分类的AI系统,其社会评分导致以下任一或两种情况:
```
```
(i) 在某些自然人或群体在与数据最初生成或收集背景无关的社会背景下受到不利或不公正的对待;
```
```
(ii) 某些自然人或群体受到与其社会行为或其严重程度不相称或不合理的不利或不公正对待;
```
```
(d) 投放市场、为该特定目的投入使用或使用基于仅对自然人画像或评估其人格特质和特征来评估或预测自然人实施
刑事犯罪风险的AI系统;该禁止不适用于用于支持对某人参与犯罪活动进行人工评估的AI系统,前提是该评估已基于
与犯罪活动直接相关的客观可核实事实;
```
```
(e) 投放市场、为该特定目的投入使用或使用通过无针对性抓取互联网或闭路电视画面中的面部图像来创建或扩大
面部识别数据库的AI系统;
```
```
(f) 投放市场、为该特定目的投入使用或使用在工作场所和教育机构领域推断自然人情绪的AI系统,但拟为医疗或
安全原因而投入设置或投放市场的AI系统除外;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 51/144
```
(g) 投放市场、为该特定目的投入使用或使用基于自然人的生物特征数据对自然人进行个别分类、以推导或推断其
种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向的生物特征分类系统;该禁止不涵盖对合法获得的
生物特征数据集(如图像)基于生物特征数据进行的任何标注或过滤,也不涵盖执法领域对生物特征数据的分类;
```
```
(h) 为执法目的在公众可进入的场所使用“实时”远程生物特征识别系统,除非且仅在严格必要以实现下列目标之一
的情况下:
```
```
(i) 有针对性地搜寻绑架、人口贩运或性剥削的特定受害者,以及搜寻失踪人员;
```
```
(ii) 预防对自然人生命或人身安全的具体、重大和紧迫威胁,或真实存在或真实可预见的恐怖袭击威胁;
```
```
(iii) 定位或识别被怀疑实施了刑事犯罪的人,以便对附件二所述、且在相关成员国可判处最高至少四年监禁或
羁押命令的犯罪进行调查或起诉或执行刑事处罚。
```
```
第一项第(h)目不影响条例(EU)2016/679号第9条关于为执法以外目的处理生物特征数据的规定。
```
2. 为第1款第一项第(h)目所述任何目标在公众可进入的场所为执法目的使用“实时”远程生物特征识别系统,应仅用于
确认具体目标个人的身份,并应考虑以下要素:
```
(a) 可能使用系统所依据情形的性质,特别是如果不使用系统将造成的损害的严重性、可能性和规模;
```
```
(b) 使用系统对所有相关人员权利和自由的影响,特别是这些影响的严重性、可能性和规模。
```
```
此外,为本条第1款第一项第(h)目所述任何目标在公众可进入的场所为执法目的使用“实时”远程生物特征识别系统,
应遵守授权其使用的国内法规定的与使用相关的必要且相称的保障措施和条件,特别是关于时间、地域和个人范围限制的
保障和条件。只有在执法机关已完成第27条规定的的基本权利影响评估并根据第49条在欧盟数据库中登记该系统的情况下,
才应授权在公众可进入的场所使用“实时”远程生物特征识别系统。然而,在经适当证明的紧急情况下,可以在完成欧盟
数据库登记之前开始使用此类系统,前提是此类登记无不当延迟地完成。
```
3. 就第1款第一项第(h)目和第2款而言,为执法目的在公众可进入的场所每次使用“实时”远程生物特征识别系统,
均须事先获得使用地所在成员国的司法机关或其决定具有约束力的独立行政机关的授权,该授权基于合理请求并按照
第5款所述国家详细规则签发。然而,在经适当证明的紧急情况下,可以在未经授权的情况下开始使用此类系统,
前提是该授权无不当延迟地请求,最迟在24小时内请求。如果该授权被拒绝,使用应立即停止,
该次使用的所有数据以及结果和输出应立即丢弃和删除。
```
主管司法机关或其决定具有约束力的独立行政机关,只有在基于向其提交的客观证据或明确迹象确信相关“实时”远程
生物特征识别系统的使用对于实现第1款第一项第(h)目所述的、请求中确定的目标之一是必要且相称的,
```
# 英文版 欧盟公报 L,12.7.2024
52/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
并特别限于就时间以及地理和个人范围而言严格必要的内容时,才应授予授权。在决定该请求时,该机关应考虑
第2款所述要素。不得仅基于“实时”远程生物特征识别系统的输出作出对个人产生不利法律影响的决定。
```
4. 在不影响第3款的前提下,为执法目的在公众可进入的场所每次使用“实时”远程生物特征识别系统,应按照第5款
所述国家规则通知相关的市场监督机关和国家数据保护机关。该通知应至少包含第6款规定的信息,且不应包含敏感运营数据。
5. 成员国可以决定规定完全或部分授权使用“实时”远程生物特征识别——系统的可能性,且限于第1款第一项第(h)目和第2款及第3款所列的限制和条件内,并为执法目的在公众可进入的场所使用。
相关成员国应在其国内法中规定第3款所述授权的请求、签发和行使以及监督和报告的必要的详细规则。这些规则还应具体
规定主管机关可被授权为第1款第一项第(h)目所列哪些目标(包括其中第(h)(iii)目所述的哪些刑事犯罪)为执法目的使用
这些系统。成员国应在通过这些规则后最迟30天内通知欧盟委员会。成员国可以依照联盟法律,对远程生物特征识别系统的
使用引入更严格的法律。
6. 已根据第4款获知为执法目的在公众可进入的场所使用“实时”远程生物特征识别系统的成员国国家市场监督机关和
国家数据保护机关,应向欧盟委员会提交关于此类使用的年度报告。为此,欧盟委员会应向成员国和国家市场监督及数据
保护机关提供模板,包括关于主管司法机关或其决定具有约束力的独立行政机关按照第3款对授权请求作出的决定数量
及其结果的信息。
7. 欧盟委员会应基于成员国根据第6款所述年度报告的汇总数据,公布为执法目的在公众可进入的场所使用实时远程
生物特征识别系统的年度报告。这些年度报告不应包括相关执法活动的敏感运营数据。
8. 本条不应影响AI实践侵犯其他联盟法律时适用的禁止。
```
第三章
高风险AI系统
```
```
第一节
```
```
将AI系统归类为高风险
```
```
第6条
```
```
高风险AI系统的分类规则
```
1. 无论AI系统是否独立于第(a)项和第(b)项所述产品投放市场或投入使用,只要满足以下两个条件,该AI系统即应
被视为高风险:
```
(a) 该AI系统拟用作附件一所列联盟协调立法所涵盖产品的安全组件,或该AI系统本身即为产品;
```
```
(b) 依据附件一所列联盟协调立法,以该AI系统为第(a)项所述安全组件的产品、或作为产品本身的该AI系统,
为投放市场或投入使用之目的须进行第三方合格评定。
```
2. 除第1款所述高风险AI系统外,附件三所述AI系统应被视为高风险。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 53/144
3. 作为第2款的减损,附件三所述AI系统在不构成对自然人健康、安全或基本权利的重大损害风险(包括不实质影响
决策结果)时,不应被视为高风险。
```
第一项在满足以下任何条件时适用:
```
```
(a) AI系统旨在执行狭窄的程序性任务;
```
```
(b) AI系统旨在改进先前完成的人类活动的结果;
```
```
(c) AI系统旨在检测决策模式或与先前决策模式的偏离,且不拟在未经适当人工审查的情况下替代或影响先前完成的人工
评估;或
```
```
(d) AI系统旨在执行为附件三所列使用案例目的的评估做准备的预备性任务。
```
```
尽管有第一项的规定,如果附件三所述AI系统对自然人进行用户画像,则该AI系统应始终被视为高风险。
```
4. 认为附件三所述AI系统不构成高风险的提供者,应在其投放市场或投入使用前记录其评估。该提供者应受第49条第(2)款
规定的登记义务的约束。应国家主管机关的请求,提供者应提供评估文件。
5. 欧盟委员会应在咨询欧洲人工智能委员会(“委员会”)后,最迟于2026年2月2日,结合第96条提供具体说明
本条实际实施的指南,并附上高风险和非高风险AI系统使用案例的实际示例的全面清单。
6. 欧盟委员会被授权按照第97条通过授权法案,在有具体可靠证据表明存在属于附件三范围但对自然人健康、安全或
基本权利不构成重大损害风险的AI系统时,通过增加新条件或修改其中条件来修订本条第3款第二项。
7. 欧盟委员会应按照第97条通过授权法案,在有具体可靠证据表明为维持本条例规定的健康、安全和基本权利保护水平
有必要时,通过删除其中任何条件来修订本条第3款第二项。
8. 按照本条第6款和第7款通过的对第3款第二项所规定条件的任何修订,均不得降低本条例规定的健康、安全和基本
权利保护的总体水平,并应确保与根据第7条第(1)款通过的授权法案保持一致,同时考虑市场和技术发展。
```
第7条
```
```
附件三的修订
```
1. 欧盟委员会被授权按照第97条通过授权法案,在满足以下两个条件时修订附件三,增加或修改高风险AI系统的使用案例:
```
(a) AI系统拟用于附件三所列任何领域;
```
```
(b) AI系统构成对健康和安全的风险或对基本权利的不利影响,且该风险或不利影响与附件三中已述高风险AI系统所
构成的风险或不利影响相当或更大。
```
# 英文版 欧盟公报 L,12.7.2024
54/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 在评估第1款第(b)项的条件时,欧盟委员会应考虑以下标准:
```
(a) AI系统的预期用途;
```
```
(b) AI系统已被使用或可能被使用的程度;
```
```
(c) AI系统处理和使用的数据的性质和数量,特别是是否处理特殊类别的个人数据;
```
```
(d) AI系统自主行动的程度以及人类推翻可能导致潜在损害的决定或建议的可能性;
```
```
(e) AI系统的使用已在何种程度上对健康和安全造成损害、对基本权利产生不利影响或引起对此类损害或不利影响
可能性的重大关切,例如通过向国家主管机关提交的报告或经记录的主张或其他适当的报告所证明的;
```
```
(f) 此类损害或不利影响的潜在范围,特别是就其强度及其影响多人或不成比例地影响特定人群的能力而言;
```
```
(g) 可能受到损害或遭受不利影响的人对使用AI系统产生的结果的依赖程度,特别是因为出于实际或法律原因,
合理而言不可能选择退出该结果;
```
```
(h) 存在权力不对等的程度,或可能受到损害或遭受不利影响的人在相对于AI系统部署者方面的弱势地位,
特别是由于地位、权威、知识、经济或社会状况或年龄;
```
```
(i) 涉及AI系统产生的结果易于纠正或逆转的程度,同时考虑可用于纠正或逆转的技术解决方案,
其中对健康、安全或基本权利产生不利影响的结果不应被视为易于纠正或逆转;
```
```
(j) AI系统的部署对个人、群体或整个社会的益处的大小和可能性,包括产品安全的可能改进;
```
```
(k) 现有联盟法律在何种程度上规定:
```
```
(i) 与AI系统构成的风险相关的有效救济措施,但损害赔偿请求除外;
```
```
(ii) 防止或大幅尽量减少这些风险的有效措施。
```
3. 欧盟委员会被授权按照第97条通过授权法案,在满足以下两个条件时,通过删除附件三清单中的高风险AI系统来
修订该清单:
```
(a) 考虑第2款所列标准后,相关高风险AI系统不再对基本权利、健康或安全构成任何重大风险;
```
```
(b) 删除不降低联盟法律下健康、安全和基本权利保护的总体水平。
```
```
第二节
```
```
对高风险AI系统的要求
```
```
第8条
```
```
遵守要求
```
1. 高风险AI系统应遵守本节规定的要求,同时考虑其预期用途以及AI和AI相关技术公认的最新技术水平。
在确保遵守这些要求时,应考虑第9条所述的风险管理体系。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 55/144
2. 当产品包含适用本条例要求以及附件一A节所列联盟协调立法要求的AI系统时,提供者应负责确保其产品完全符合
适用的联盟协调立法下的所有适用要求。在确保第1款所述高风险AI系统遵守本节规定的要求时,为保持一致性、
避免重复并尽量减少额外负担,提供者应可选择酌情将其就产品提供的必要测试和报告流程、信息和文件整合到
附件一A节所列联盟协调立法已要求且已存在的文件和程序中。
```
第9条
```
```
风险管理系统
```
1. 应针对高风险AI系统建立、实施、记录和维护风险管理系统。
2. 风险管理系统应被理解为在高风险AI系统整个生命周期内规划和运行的持续迭代过程,需要定期系统审查和更新。
它应包括以下步骤:
```
(a) 识别和分析高风险AI系统按照预期用途使用时对健康、安全或基本权利可能构成的已知和合理可预见风险;
```
```
(b) 估计和评估高风险AI系统按照预期用途使用以及处于合理可预见滥用条件下可能出现的风险;
```
```
(c) 基于对第72条所述售后监测系统收集的数据的分析,评估可能产生的其他风险;
```
```
(d) 采取旨在处理根据第(a)项识别的风险的适当和有针对性风险管理措施。
```
3. 本条所述风险应仅涉及通过高风险AI系统的开发或设计或提供适当技术信息可以合理缓解或消除的风险。
4. 第2款第(d)项所述风险管理措施应适当考虑本节规定的要求组合适用所产生的效果和可能的相互作用,
以期在实施满足这些要求的措施时实现适当平衡,同时更有效地减少风险。
5. 第2款第(d)项所述风险管理措施应使与每个危险相关的相关残余风险以及高风险AI系统的总体残余风险
被判定为可接受的。
```
在确定最适当的风险管理措施时,应确保:
```
```
(a) 通过高风险AI系统的适当设计和开发,尽可能在技术上可行的范围内消除或减少根据第2款识别和评估的风险;
```
```
(b) 在适当时,实施针对无法消除的风险的适当缓解和控制措施;
```
```
(c) 提供第13条要求的信息,并在适当时向部署者提供培训。
```
```
为消除或减少与使用高风险AI系统相关的风险,应适当考虑部署者应具备的技术知识、经验、教育、培训
以及系统拟使用的可推定背景。
```
# 英文版 欧盟公报 L,12.7.2024
56/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
6. 高风险AI系统应进行测试,以识别最适当和有针对性的风险管理措施。测试应确保高风险AI系统按照预期用途
保持一致性能,并符合本节规定的要求。
7. 测试程序可包括按照第60条在真实世界条件下进行的测试。
8. 高风险AI系统的测试应在适当时在开发过程期间任何时候进行,并且在任何情况下都应在其投放市场或投入使用之前
进行。测试应依据预先定义的、适合高风险AI系统预期用途的指标和概率阈值进行。
9. 在实施第1至7款规定的风险管理系统时,提供者应考虑鉴于其预期用途,高风险AI系统是否可能对18岁以下的人
以及在适当时其他弱势群体产生不利影响。
10. 对于根据联盟法律其他相关规定须遵守内部风险管理流程要求的高风险AI系统的提供者,第1至9款规定的方面
可以构成依据该法律建立的风险管理程序的一部分,或与其合并。
```
第10条
数据和数据治理
```
1. 使用涉及用数据训练AI模型技术的高风险AI系统,只要使用此类数据集,就应在满足第2至5款所述质量标准
的训练、验证和测试数据集的基础上开发。
2. 训练、验证和测试数据集应遵守适合高风险AI系统预期用途的数据治理和管理实践。这些实践应特别涉及:
```
(a) 相关的设计选择;
```
```
(b) 数据收集流程和数据来源,以及就个人数据而言,数据收集的原始目的;
```
```
(c) 相关的数据预处理操作,如标注、标记、清理、更新、充实和聚合;
```
```
(d) 假设的表述,特别是关于数据应当测量和代表的假设信息;
```
```
(e) 对所需数据集的可用性、数量和适用性的评估;
```
```
(f) 考虑到可能影响人的健康和安全、对基本权利产生负面影响或导致联盟法律禁止歧视的可能偏见,特别是当数据输出
影响未来运营的输入时;
```
```
(g) 识别、预防和减轻根据第(f)项识别的可能偏见的适当措施;
```
```
(h) 识别妨碍遵守本条例的相关数据缺口或缺陷,以及如何解决这些缺口和缺陷。
```
3. 训练、验证和测试数据集应具有相关性、充分的代表性,并尽可能无错误且在考虑预期用途的情况下完整。
它们应具有适当的统计特性,包括在适用情况下就高风险AI系统拟用于的人或人群而言。这些数据集特征可以在单个
数据集层面或数据组合层面得到满足。
4. 数据集应在预期用途要求的范围内,考虑高风险AI系统拟使用的特定地理、背景、行为或功能环境所特有的
特征或要素。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 57/144
5. 在按照本条第(2)款第(f)项和第(g)项为确保高风险AI系统相关偏见检测和纠正目的严格必要的范围内,
此类系统的提供者可以例外地处理特殊类别的个人数据,但须遵守保护自然人基本权利和自由的适当保障措施。
除条例(EU)2016/679号和(EU)2018/1725号及指令(EU)2016/680号的规定外,进行此类处理必须满足以下
所有条件:
```
(a) 通过处理其他数据(包括合成或匿名化数据)无法有效实现偏见检测和纠正;
```
```
(b) 特殊类别的个人数据受到个人数据再利用的技术限制,并采取最先进的安全和隐私保护措施,包括假名化;
```
```
(c) 特殊类别的个人数据受到确保所处理的个人数据安全、受保护、附有适当保障措施的措施约束,包括严格的访问控制和
访问记录,以避免滥用并确保只有经授权的人员才能在适当的保密义务下访问这些个人数据;
```
```
(d) 特殊类别的个人数据不得被其他方传输、转移或以其他方式访问;
```
```
(e) 一旦偏见得到纠正或个人数据达到其保存期限(以先到者为准),特殊类别的个人数据即被删除;
```
```
(f) 根据条例(EU)2016/679号和(EU)2018/1725号及指令(EU)2016/680号的处理活动记录包括:处理特殊类别
个人数据对于检测和纠正偏见严格必要的理由,以及为何通过处理其他数据无法实现该目标。
```
6. 对于不使用涉及训练AI模型技术的、高风险AI系统的开发,第2至5款仅适用于测试数据集。
```
第11条
```
```
技术文档
```
1. 高风险AI系统的技术文档应在其投放市场或投入使用之前起草,并应保持最新。
```
技术文档的起草方式应能够证明高风险AI系统符合本节规定的要求,并以清晰全面的形式向国家主管机关和公告机构
提供必要信息,以评估该AI系统是否符合这些——要求。它应至少包含附件四所列要素。中小企业(包括初创企业)可以以简化方式提供附件四规定的技术文档要素。
为此,欧盟委员会应建立针对小型和微型企业需要的简化技术文档表格。当中小企业(包括初创企业)选择以简化方式
提供附件四要求的信息时,应使用本款所述表格。公告机构应接受该表格用于合格评定目的。
```
2. 当与附件一A节所列联盟协调立法所涵盖产品相关的高风险AI系统投放市场或投入使用时,应起草一套包含
第1款所列所有信息以及这些法律文书所要求信息的技术文档。
3. 欧盟委员会被授权按照第97条通过授权法案,在必要时修订附件四,以确保鉴于技术进步,技术文档提供评估
系统是否符合本节规定要求所需的全部信息。
# 英文版 欧盟公报 L,12.7.2024
58/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第12条
```
```
记录保存
```
1. 高风险AI系统应在技术上允许在系统生命周期内自动记录事件(日志)。
2. 为确保高风险AI系统的运作具有适合系统预期用途的可追溯性水平,日志记录能力应能够记录与以下相关的事件:
```
(a) 识别可能导致高风险AI系统构成第79条第(1)款意义上的风险或发生重大修改的情形;
```
```
(b) 便利第72条所述的售后监测;以及
```
```
(c) 监测第26条第(5)款所述高风险AI系统的运行。
```
3. 对于附件三第1(a)点所述高风险AI系统,日志记录能力应至少提供:
```
(a) 记录系统每次使用的期间(每次使用的开始日期和时间以及结束日期和时间);
```
```
(b) 系统对其检查输入数据的参考数据库;
```
```
(c) 搜索产生匹配的输入数据;
```
```
(d) 第14条第(5)款所述参与验证结果的自然人的身份识别。
```
```
第13条
```
```
透明度及向部署者提供信息
```
1. 高风险AI系统的设计和开发方式应确保其运作足够透明,使部署者能够解释系统输出并适当使用。应确保适当类型
和程度的透明度,以实现第3节所规定的提供者和部署者相关义务的遵守。
2. 高风险AI系统应附有适当数字格式或其他格式的使用说明,其中包含对部署者相关、可获取和可理解的简洁、完整、
正确和清晰的信息。
3. 使用说明应至少包含以下信息:
```
(a) 提供者及其授权代表(如适用)的身份和联系方式;
```
```
(b) 高风险AI系统的性能特征、能力和局限性,包括:
```
```
(i) 其预期用途;
```
```
(ii) 第15条所述的、高风险AI系统已据此测试和验证并可预期达到的准确性水平(包括其指标)、稳健性和网络安全,
以及可能影响该预期准确性、稳健性和网络安全水平的任何已知和可预见情形;
```
```
(iii) 与按照预期用途或处于合理可预见滥用条件下使用高风险AI系统相关的、可能导致第9条第(2)款所述健康和安全
或基本权利风险的任何已知或可预见情形;
```
```
(iv) 在适用情况下,高风险AI系统提供与其输出解释相关信息的技术能力和特征;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 59/144
```
(v) 在适当时,系统拟用于的特定个人或人群方面的性能;
```
```
(vi) 在适当时,输入数据规范,或就所用训练、验证和测试数据集而言的任何其他相关信息,同时考虑高风险AI系统的
预期用途;
```
```
(vii) 在适用情况下,使部署者能够解释高风险AI系统输出并适当使用它的信息;
```
```
(c) 提供者在初始合格评定之时已预先确定的高风险AI系统及其性能的变化(如有);
```
```
(d) 第14条所述的人工监督措施,包括为便利部署者解释高风险AI系统输出而设置的技术措施;
```
```
(e) 确保该AI系统正常运行所需的计算和硬件资源、高风险AI系统的预期寿命以及任何必要的维护和保养措施
(包括其频率),包括软件更新方面;
```
```
(f) 在相关情况下,对高风险AI系统内包含的、使部署者能够按照第12条正确收集、存储和解释日志的机制的说明。
```
```
第14条
```
```
人工监督
```
1. 高风险AI系统的设计和开发方式(包括使用适当的人机界面工具)应使其在使用期间能够被自然人有效监督。
2. 人工监督应旨在预防或尽量减少高风险AI系统按照预期用途或处于合理可预见滥用条件下使用时可能出现的对健康、
安全或基本权利的风险,特别是在尽管适用本节规定的其他要求此类风险仍然存在的情况下。
3. 监督措施应与高风险AI系统的风险、自主程度和使用背景相称,并应通过以下类型措施中的一种或两种来确保:
```
(a) 由提供者在高风险AI系统投放市场或投入使用之前识别并在技术可行时内置到系统中的措施;
```
```
(b) 由提供者在投放市场或投入使用之前识别、且适合由部署者实施的措施。
```
4. 为实施第1款、第2款和第3款,高风险AI系统应以使被分配人工监督职责的自然人能够在适当地、相称地情况下
做到以下事项的方式提供给部署者:
```
(a) 适当理解高风险AI系统的相关能力和局限,并能够适当监测其运行,包括发现和处理异常、功能障碍和意外性能;
```
```
(b) 保持对自动依赖或过度依赖高风险AI系统所产生输出(自动化偏见)可能倾向的认识,特别是对于用于为自然人
待作决定提供信息或建议的高风险AI系统;
```
```
(c) 正确解释高风险AI系统的输出,例如考虑可用的解释工具和方法;
```
# 英文版 欧盟公报 L,12.7.2024
60/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(d) 在任何特定情况下决定不使用高风险AI系统或以其他方式忽略、推翻或逆转高风险AI系统的输出;
```
```
(e) 通过“停止”按钮或允许系统以安全状态停下来的类似程序干预高风险AI系统的运行或中断系统。
```
5. 对于附件三第1(a)点所述高风险AI系统,本条第3款所述措施应确保:除非该识别已由至少两名具备必要能力、
培训和权限的自然人单独验证和确认,否则部署者不得基于系统产生的识别结果采取任何行动或作出任何决定。
```
要求至少两名自然人单独验证的规定不适用于为执法、移民、边境管制或庇护目的使用的高风险AI系统,
前提是联盟或国家法律认为适用该要求不相称。
```
```
第15条
```
```
准确性、稳健性和网络安全
```
1. 高风险AI系统的设计和开发方式应使其达到适当水平的准确性、稳健性和网络安全,并在其整个生命周期内在
这些方面保持一致表现。
2. 为处理如何衡量第1款规定的适当准确性、稳健性水平以及任何其他相关性能指标的技术方面,欧盟委员会应与
相关利益相关方和组织(如计量和基准测试机关)合作,酌情鼓励制定基准和测量方法。
3. 高风险AI系统的准确性水平和相关准确性指标应在随附的使用说明中声明。4. 高风险AI系统应尽可能对系统内部或系统运行环境中可能出现的错误、故障或不一致(特别是由于与自然人或其他
系统的互动而产生的不一致)具有韧性。为此应采取技术和组织措施。
```
高风险AI系统的稳健性可以通过技术冗余解决方案实现,其中包括备份或故障安全方案。
```
```
在投放市场或投入使用后继续学习的高风险AI系统,其开发方式应尽可能消除或减少可能有偏见的输出影响未来运营
输入(反馈回路)的风险,并确保任何此类反馈回路通过适当的缓解措施得到妥善处理。
```
5. 高风险AI系统应能够抵御未经授权的第三方利用系统漏洞改变其用途、输出或性能的企图。
```
旨在确保高风险AI系统网络安全的技术解决方案应适合相关情况和风险。
```
```
处理AI特定漏洞的技术解决方案应在适当时包括以下措施:预防、检测、响应、解决和控制试图操纵训练数据集
(数据投毒)或训练中所用预训练组件(模型投毒)的攻击、旨在导致AI模型出错的输入(对抗性示例或模型规避)、
保密性攻击或模型缺陷。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 61/144
```
第三节
```
```
高风险AI系统的提供者和部署者及其他方的义务
```
```
第16条
```
```
高风险AI系统提供者的义务
```
```
高风险AI系统的提供者应:
```
```
(a) 确保其高风险AI系统符合第2节规定的要求;
```
```
(b) 在高风险AI系统上,或在不可能时在其包装或随附文件上(视情况而定)标明其名称、注册商号或注册商标以及
可与其联系的地址;
```
```
(c) 建立符合第17条的质量管理体系;
```
```
(d) 保存第18条所述的文件;
```
```
(e) 在其控制下,保存其高风险AI系统自动生成的、第19条所述的日志;
```
```
(f) 确保高风险AI系统在其投放市场或投入使用之前接受第43条所述的相关合格评定程序;
```
```
(g) 按照第47条起草欧盟符合性声明;
```
```
(h) 按照第48条,在高风险AI系统上,或在不可能时在其包装或随附文件上加贴CE标志,以表明其符合本条例;
```
```
(i) 遵守第49条第(1)款所述的登记义务;
```
```
(j) 采取必要的纠正措施并按第20条的要求提供信息;
```
```
(k) 应国家主管机关的合理请求,证明高风险AI系统符合第2节规定的要求;
```
```
(l) 确保高风险AI系统符合指令(EU)2016/2102号和(EU)2019/882号的无障碍要求。
```
```
第17条
```
```
质量管理系统
```
1. 高风险AI系统的提供者应建立确保遵守本条例的质量管理体系。该体系应以书面政策、程序和指示的形式
系统有序地记录,并应至少包括以下方面:
```
(a) 监管合规战略,包括遵守合格评定程序和管理高风险AI系统修改的程序;
```
```
(b) 用于高风险AI系统设计、设计控制和设计验证的技术、程序和系统行动;
```
```
(c) 用于高风险AI系统开发、质量控制和质量保证的技术、程序和系统行动;
```
```
(d) 在高风险AI系统开发之前、期间和之后进行的检查、测试和验证程序及其必须进行的频率;
```
# 英文版 欧盟公报 L,12.7.2024
62/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(e) 应适用的技术规范(包括标准),以及在相关协调标准未全部适用或未涵盖第2节规定的所有相关要求时,
用以确保高风险AI系统符合这些要求的手段;
```
```
(f) 数据管理系统和程序,包括数据获取、数据收集、数据分析、数据标注、数据存储、数据过滤、数据挖掘、
数据聚合、数据保留以及在投放市场或投入使用高风险AI系统之前并为该目的执行的任何其他数据操作;
```
```
(g) 第9条所述的风险管理体系;
```
```
(h) 按照第72条建立、实施和维护售后监测系统;
```
```
(i) 按照第73条报告严重事件的程序;
```
```
(j) 处理与国家主管机关、其他相关机关(包括提供或支持数据获取的机关)、公告机构、其他经营者、客户或其他
利害关系方的沟通;
```
```
(k) 记录保存所有相关文件和信息的系统和程序;
```
```
(l) 资源管理,包括供应安全相关措施;
```
```
(m) 问责框架,规定管理层和其他工作人员就本款所列所有方面的职责。
```
2. 第1款所述方面的实施应与提供者组织的规模相称。提供者在任何情况下都应遵守确保其高风险AI系统符合本条例
所需的严谨程度和保护水平。
3. 根据相关部门联盟法律承担质量管理体系或同等职能义务的高风险AI系统提供者,可以将第1款所列方面纳入
依据该法律的质量管理体系。
4. 对于须遵守联盟金融服务法律下内部治理、安排或流程要求的、作为金融机构的提供者,建立质量管理体系的义务
(本条第1款第(g)、(h)和(i)项除外)应被视为通过遵守相关联盟金融服务法律下的内部治理安排或流程规则而履行。
为此,应考虑第40条所述的任何协调标准。
```
第18条
```
```
文件保存
```
1. 提供者应在高风险AI系统投放市场或投入使用后10年期间内,将下列文件保存以供国家主管机关查阅:
```
(a) 第11条所述的技术文档;
```
```
(b) 第17条所述的质量管理体系相关文件;
```
```
(c) 公告机构批准的变更相关文件(如适用);
```
```
(d) 公告机构作出的决定和签发的其他文件(如适用);
```
```
(e) 第47条所述的欧盟符合性声明。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 63/144
2. 每个成员国应确定在提供者或其设立于其领土上的授权代表在该款所述期间届满之前破产或停止活动的情况下,
第1款所述文件在该款所述期间内继续供国家主管机关查阅的条件。
3. 作为金融机构、须遵守其内部治理、安排或——流程要求的提供者,应将技术文档作为根据相关联盟金融服务法律保存的文件的一部分予以保存。
```
第19条
自动生成的日志
```
1. 高风险AI系统的提供者应保存其高风险AI系统自动生成的、第12条第(1)款所述的日志,但以此类日志在其控制之下
为限。在不影响适用的联盟或国家法律的前提下,日志的保存期限应适合高风险AI系统的预期用途,至少为六个月,
除非适用的联盟或国家法律(特别是联盟个人数据保护法律)另有规定。
2. 作为金融机构、须遵守联盟金融服务法律下内部治理、安排或流程要求的提供者,应将其高风险AI系统自动生成的
日志作为根据相关金融服务法律保存的文件的一部分予以保存。
```
第20条
纠正措施和信息义务
```
1. 认为或有理由认为其投放市场或投入使用的高风险AI系统不符合本条例的高风险AI系统提供者,应立即采取必要的
纠正措施,使该系统符合要求、将其撤回、停用或召回(视情况而定)。他们应相应通知相关高风险AI系统的分销商,
并在适用时通知部署者、授权代表和进口商。
2. 当高风险AI系统构成第79条第(1)款意义上的风险且提供者得知该风险时,应立即与报告该风险的部署者(如适用)
合作调查原因,并通知对相关高风险AI系统主管的市场监督机关,以及在适用时通知按照第44条为该高风险AI系统签发
证书的公告机构,特别是告知不合规的性质以及所采取的任何相关纠正措施。
```
第21条
```
```
与主管机关合作
```
1. 高风险AI系统的提供者应应主管机关的合理请求,以该机关易于理解的语言(以相关成员国指明的联盟机构官方语言
之一)向该机关提供证明高风险AI系统符合第2节规定要求所需的全部信息和文件。
2. 应主管机关的合理请求,提供者还应酌情向提出请求的主管机关提供第12条第(1)款所述高风险AI系统自动生成的
日志的访问权限,但以此类日志在其控制之下为限。
3. 主管机关根据本条获得的任何信息,应按照第78条规定的保密义务处理。
# 英文版 欧盟公报 L,12.7.2024
64/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第22条
```
```
高风险AI系统提供者的授权代表
```
1. 在使其高风险AI系统在联盟市场上可用之前,设立于第三国的提供者应通过书面委托指定一名设立于联盟内的
授权代表。
2. 提供者应使其中授权代表能够履行从提供者处收到的委托中规定的任务。
3. 授权代表应履行从提供者处收到的委托中规定的任务。它应应市场监督机关的要求,以主管机关指明的联盟机构
官方语言之一提供委托副本。就本条例而言,委托应授权授权代表执行以下任务:
```
(a) 核验第47条所述的欧盟符合性声明和第11条所述的技术文档已经起草,且提供者已进行适当的合格评定程序;
```
```
(b) 在高风险AI系统投放市场或投入使用后10年期间内,将指定该授权代表的提供者的联系方式、第47条所述欧盟
符合性声明的副本、技术文档以及(如适用)公告机构签发的证书保存以供主管机关和第74条第(10)款所述的国家机关
或机构查阅;
```
```
(c) 应主管机关的合理请求,提供证明高风险AI系统符合第2节规定要求所需的全部信息和文件,包括本项第(b)目
所述的信息和文件,以及第12条第(1)款所述、高风险AI系统自动生成的日志的访问权限,但以此类日志在提供者
控制之下为限;
```
```
(d) 应主管机关的合理请求,在主管机关就高风险AI系统采取的任何行动中合作,特别是降低和减轻高风险AI系统
构成的风险;
```
```
(e) 在适用情况下,遵守第49条第(1)款所述的登记义务,或者,如果登记由提供者自身进行,则确保附件八A节
第3点所述信息正确。
```
```
委托应授权主管机关就与确保遵守本条例相关的所有问题,除提供者之外或代替提供者与授权代表接洽。
```
4. 如果授权代表认为或有理由认为提供者的行为违反其依据本条例承担的义务,则应终止委托。在此情况下,
授权代表应立即将委托的终止及其原因告知相关的市场监督机关以及在适用时的相关公告机构。
```
第23条
进口商的义务
```
1. 在将高风险AI系统投放市场之前,进口商应通过核验以下事项确保该系统符合本条例:
```
(a) 高风险AI系统的提供者已进行第43条所述的相关合格评定程序;
```
```
(b) 提供者已按照第11条和附件四起草了技术文档;
```
```
(c) 系统带有要求的CE标志,并附有第47条所述的欧盟符合性声明和使用说明;
```
```
(d) 提供者已按照第22条第(1)款指定了授权代表。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 65/144
2. 当进口商有充分理由认为高风险AI系统不符合本条例、或是伪造的或附有伪造文件时,在该系统被使其符合要求
之前,进口商不得将其投放市场。当高风险AI系统构成第79条第(1)款意义上的风险时,进口商应就此通知系统的提供者、
授权代表和市场监督机关。
3. 进口商应视情况在高风险AI系统上及其包装或随附文件上标明其名称、注册商号或注册商标以及可与其联系的地址。
4. 进口商应确保在其责任期间,高风险AI系统的存储或运输条件(如适用)不损害其符合第2节规定的要求。
5. 进口商应在高风险AI系统投放市场或投入使用后10年期间内,保存公告机构签发的证书副本(如适用)、使用说明
以及第47条所述的欧盟符合性声明。
6. 进口商应应相关主管机关的合理请求,以主管机关易于理解的语言提供证明高风险AI系统符合第2节规定要求所需的
全部信息和文件,包括第5款所述的信息和文件。为此,进口商还应确保技术文档能够提供给这些机关。
7. 进口商应在主管机关就进口商投放市场的高风险AI系统采取的任何行动中与相关主管机关合作,
特别是降低和减轻其构成的风险。
```
第24条
```
```
分销商的义务
```
1. 在使高风险AI系统在市场上可用之前,分销商应核验该系统带有要求的CE标志、附有第47条所述欧盟符合性声明的
副本和使用说明,且该系统的提供者和进口商(如适用)已遵守第16条第(b)项和第(c)项及第23条第(3)款规定的各自义务。
2. 当分销商基于其所掌握的信息认为或有理由认为高风险AI系统不符合第2节规定的要求时,在该系统被使其符合
这些要求之前,分销商不得使该高风险AI系统在市场上可用。此外,当高风险AI系统构成第79条第(1)款意义上的风险时,
分销商应就此通知系统的提供者或进口商(视情况而定)。
3. 分销商应确保在其责任期间,高风险AI系统的存储或运输条件(如适用)不损害该系统符合第2节规定的要求。
4. 基于其所掌握的信息认为或有理由认为其已在市场上提供的高风险AI系统不符合第2节规定要求的分销商,
应采取必要的纠正措施使该系统符合这些要求、将其撤回或召回,或应确保提供者、进口商或任何相关经营者
(视情况而定)采取这些纠正措施。当高风险AI系统构成第79条第(1)款意义上的风险时,分销商应立即通知系统的提供者
或进口商以及对相关高风险AI系统主管的机关,并特别提供不合规的详情以及所采取的任何纠正措施。
5. 应相关主管机关的合理请求,高风险AI系统的分销商应向该机关提供其依据第1至4款采取的行动所需的、
证明该系统符合第2节规定要求的全部信息和文件。
6. 分销商应在主管机关就分销商在市场上提供的高风险AI系统采取的任何行动中与相关主管机关合作,
特别是降低或减轻其构成的风险。
# 英文版 欧盟公报 L,12.7.2024
66/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第25条
```
```
AI价值链上的责任
```
1. 任何分销商、进口商、部署者或其他第三方在下列任何情况下,均应根据本条例被视为高风险AI系统的提供者,
并应承担第16条规定的提供者义务:
```
(a) 他们将其名称或商标置于已投放市场或已投入使用的高风险AI系统上,但不影响约定以其他方式分配义务的
合同安排;
```
(b) 他们对已投放市场或已投入使用的、且根据第6条仍属高风险AI系统的高风险AI系统作出重大修改;
```
```
(c) 他们改变尚未被归类为高风险且已投放市场或投入使用的AI系统(包括通用人工智能系统)的预期用途,
使该AI系统根据第6条成为高风险AI系统。
```
2. 当第1款所述情形发生时,最初将AI系统投放市场或投入使用的提供者就本条例而言不再被视为该特定AI系统的
提供者。该初始提供者应与新提供者密切合作,并提供必要的信息以及为履行本条例规定义务(特别是关于高风险AI系统
合格评定合规)所合理预期的技术访问和其他协助。在初始提供者已明确说明其AI系统不应变更为高风险AI系统、
因此不承担移交文件义务的情况下,本款不适用。
3. 对于作为附件一A节所列联盟协调立法所涵盖产品安全组件的高风险AI系统,产品制造商在下列任一情况下应被视为
高风险AI系统的提供者,并应承担第16条规定的义务:
```
(a) 高风险AI系统以产品制造商的名义或商标与产品一起投放市场;
```
```
(b) 高风险AI系统在产品投放市场后以产品制造商的名义或商标投入使用。
```
4. 高风险AI系统的提供者与供应用于或整合到高风险AI系统中的AI系统、工具、服务、组件或流程的第三方,
应通过书面协议明确基于公认最新技术水平所必要的信息、能力、技术访问和其他协助,以使高风险AI系统的提供者
能够完全遵守本条例规定的义务。本款不适用于以自由和开源许可向公众提供通用人工智能模型以外的工具、服务、
流程或组件的第三方。
```
AI Office可以制定并推荐高风险AI系统提供者与供应用于或整合到高风险AI系统中的工具、服务、组件或流程的
第三方之间的自愿性示范合同条款。在制定这些自愿性示范条款时,AI Office应考虑特定部门或业务案例中可能适用的
合同要求。自愿性示范条款应予以公布,并以易于使用的电子格式免费提供。
```
5. 第2款和第3款不影响按照联盟和国家法律遵守和保护知识产权、保密商业信息和商业秘密的需要。
```
第26条
```
```
高风险AI系统的部署者的义务
```
1. 高风险AI系统的部署者应采取适当的技术和组织措施,确保按照第3款和第6款使用随系统附带的说明使用此类系统。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 67/144
2. 部署者应将人工监督分配给具备必要能力、培训和权限以及必要支持的自然人。
3. 第1款和第2款规定的义务不影响部署者在联盟或国家法律下的其他义务,也不影响部署者为实施提供者指示的
人工监督措施而自行组织其资源和活动的自由。
4. 在不影响第1款和第2款的前提下,在部署者对输入数据行使控制权的范围内,该部署者应确保输入数据
在考虑高风险AI系统预期用途的情况下具有相关性和充分的代表性。
5. 部署者应依据使用说明监测高风险AI系统的运行,并在相关时按照第72条通知提供者。当部署者有理由认为
按照使用说明使用高风险AI系统可能导致该AI系统构成第79条第(1)款意义上的风险时,应及时通知提供者或分销商
以及相关的市场监督机关,并应暂停使用该系统。当部署者识别到严重事件时,还应立即首先告知提供者,
然后告知进口商或分销商以及相关的市场监督机关。如果部署者无法联系到提供者,第73条应比照适用。
该义务不应涵盖作为执法机关的AI系统部署者的敏感运营数据。
```
对于作为金融机构、须遵守联盟金融服务法律下内部治理、安排或流程要求的部署者,第一项规定的监测义务应被视为
通过遵守相关金融服务法律下的内部治理安排、流程和机制规则而履行。
```
6. 高风险AI系统的部署者应在其控制范围内保存该高风险AI系统自动生成的日志,保存期限应适合高风险AI系统的
预期用途,至少为六个月,除非适用的联盟或国家法律(特别是联盟个人数据保护法律)另有规定。
```
作为金融机构、须遵守联盟金融服务法律下内部治理、安排或流程要求的部署者,应将日志作为依据相关联盟金融服务
法律保存的文件的一部分予以保存。
```
7. 在将高风险AI系统投入工作场所使用之前,作为雇主的部署者应告知工人代表和受影响的工人他们将受到该高风险
AI系统使用的约束。该信息应在适用时按照联盟和国家法律及实践中关于告知工人及其代表的信息规则和程序提供。
8. 作为公共机关或联盟机构、机关、办公室或署的高风险AI系统部署者应遵守第49条所述的登记义务。当此类部署者
发现其拟使用的高风险AI系统未在第71条所述的欧盟数据库中登记时,不得使用该系统,并应告知提供者或分销商。
9. 高风险AI系统的部署者应在适用时使用本条例第13条提供的信息,以履行其按照条例(EU)2016/679号第35条或
指令(EU)2016/680号第27条进行数据保护影响评估的义务。
10. 在不影响指令(EU)2016/680号的前提下,在为有针对性地搜寻涉嫌或已被判犯有刑事犯罪的人而进行的调查
框架内,用于事后远程生物特征识别的高风险AI系统的部署者,应事先或在无不当延迟且最迟不超过48小时内,
获得司法机关或其决定具有约束力并须接受司法审查的行政机关对该系统使用的授权,除非该系统用于基于与犯罪直接
相关的客观可核实事实初步识别潜在嫌疑人。每次使用均应限于调查特定刑事犯罪所严格必要的范围。
```
如果根据第一项请求的授权被拒绝,与所请求授权相关的事后远程生物特征识别系统的使用应立即停止,
与请求授权的该高风险AI系统使用相关的个人数据应予删除。
```
# 英文版 欧盟公报 L,12.7.2024
68/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
在任何情况下,此类用于事后远程生物特征识别的高风险AI系统都不得以无针对性方式为执法目的使用,
即与刑事犯罪、刑事程序、真实存在或真实可预见的刑事犯罪威胁或搜寻特定失踪人员没有任何关联。应确保执法机关
不得仅基于此类事后远程生物特征识别系统的输出作出对个人产生不利法律影响的决定。
```
```
本款不影响条例(EU)2016/679号第9条和指令(EU)2016/680号第10条关于生物特征数据处理的规定。
```
```
无论目的或部署者为何,此类高风险AI系统的每次使用都应在相关的警方档案中记录,并应应请求提供给相关的
市场监督机关和国家数据保护机关,但排除披露与执法相关的敏感运营数据。本项不影响指令(EU)2016/680号
授予监督机关的权力。
```
```
部署者应就其使用事后远程生物特征识别系统的情况向相关的市场监督和国家数据保护机关提交年度报告,
但排除披露与执法相关的敏感运营数据。报告可以汇总以涵盖一次以上的部署。
```
```
成员国可以依照联盟法律,对事后远程生物特征识别系统的使用引入更严格的法律。
```
11. 在不影响本条例第50条的前提下,作出与自然人相关的决定或协助作出此类决定的附件三所述高风险AI系统的
部署者,应告知自然人其受到该高风险AI系统使用的约束。对于为执法目的使用的高风险AI系统,应适用指令
(EU)2016/680号第13条。
12. 部署者应在主管机关为实施本条例而就高风险AI系统采取的任何行动中与相关主管机关合作。
```
第27条
```
```
高风险AI系统的基本权利影响评估
```
1. 在部署第6条第(2)款所述高风险AI系统之前(拟用于附件三第2点所列领域的除外),作为公法规范机构或提供
公共服务的私人实体的部署者,以及附件三第5(b)点和第(c)点所述高风险AI系统的部署者,应评估使用此类系统可能
产生的基本权利影响。为此,部署者应进行评估,评估包括:
```
(a) 对部署者将按照预期用途使用高风险AI系统的流程的描述;
```
```
(b) 对每个高风险AI系统拟使用的时间范围和频率的描述;
```
```
(c) 在特定背景下可能受其使用影响的自然人及群体的类别;
```
```
(d) 依据本款第(c)项识别的自然人及人群类别可能受到影响的、具体的损害风险,同时考虑提供者依据第13条
提供的信息;
```
```
(e) 按照使用说明实施人工监督措施的说明;
```
```
(f) 在这些风险成为现实时应采取的措施,包括内部治理安排和投诉机制。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 69/144
2. 第1款规定的义务适用于高风险AI系统的首次使用。在类似情况下,部署者可以依赖先前进行的基本权利影响评估
或提供者已进行的现有影响评估。如果在使用高风险AI系统期间,部署者认为第1款所列任何要素已发生变化或不再
最新,部署者应采取必要步骤更新信息。
3. 一旦进行了本条第1款所述的评估,部署者应将其结果通知市场监督机关,并提交本条第5款所述的、已填写的——模板作为通知的一部分。在第46条第(1)款所述情况下,部署者可以免除该通知义务。
4. 如果本条规定的任何义务已通过依据条例(EU)2016/679号第35条或指令(EU)2016/680号第27条进行的
数据保护影响评估得到履行,本条第(1)款所述的基本权利影响评估应补充该数据保护影响评估。
5. AI Office应制定问卷模板,包括通过自动化工具,以简化方式便利部署者遵守其在本条下的义务。
```
第四节
```
```
通知机关和公告机构
```
```
第28条
```
```
通知机关
```
1. 每个成员国应指定或设立至少一个通知机关,负责建立和执行合格评定机构评估、指定和通知及其监测的必要程序。
这些程序应由所有成员国的通知机关合作制定。
2. 成员国可以决定第1款所述的评估和监测由条例(EC)第765/2008号意义上的国家认可机构按照该条例进行。
3. 通知机关的设立、组织和运作方式应避免与合格评定机构产生利益冲突,并保障其活动的客观性和公正性。
4. 通知机关的组织方式应使与合格评定机构通知相关的决定由与对该机构进行评估的人员不同的人员作出。
5. 通知机关不应以商业或竞争性基础提供或从事合格评定机构开展的任何活动,也不应提供任何咨询服务。
6. 通知机关应按照第78条保障其获得的信息的保密性。
7. 通知机关应拥有足够数量的称职人员以妥善履行其任务。称职人员应在其职能所需的适当情况下具备必要的专业知识,
领域包括信息技术、AI和法律,包括基本权利监督。
```
第29条
```
```
合格评定机构申请通知
```
1. 合格评定机构应向其所设立成员国的通知机关提交通知申请。
# 英文版 欧盟公报 L,12.7.2024
70/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 通知申请应附有对合格评定活动、一个或多个合格评定模块以及合格评定机构声称有能力评定的AI系统类型的说明,
并附有国家认可机构签发的认可证书(如有),证明该合格评定机构符合第31条规定的要求。
```
应附上与申请方公告机构根据任何其他联盟协调立法的现有指定相关的任何有效文件。
```
3. 当相关合格评定机构无法提供认可证书时,应向通知机关提供验证、认可和定期监测其符合第31条规定要求所需的
全部书面证据。
4. 对于根据任何其他联盟协调立法被指定的公告机构,与这些指定相关的所有文件和证书均可酌情用于支持其根据
本条例的指定程序。公告机构应在发生相关变更时更新本条第2款和第3款所述文件,以使负责公告机构的机关能够
监测和核验其持续符合第31条规定的所有要求。
```
第30条
```
```
通知程序
```
1. 通知机关只能通知已满足第31条规定要求的合格评定机构。
2. 通知机关应使用欧盟委员会开发和管理的电子通知工具,将第1款所述的每个合格评定机构通知欧盟委员会和其他
成员国。
3. 本条第2款所述的通知应包括合格评定活动、一个或多个合格评定模块、相关AI系统类型以及相关能力证明的完整
详情。当通知不是基于第29条第(2)款所述的认可证书时,通知机关应向欧盟委员会和其他成员国提供证明合格评定机构
能力以及为确保该机构将受到定期监测并继续满足第31条规定要求而作出安排的书面证据。
4. 相关合格评定机构只有在通知机关的通知包含第29条第(2)款所述的认可证书时,在通知后两周内没有欧盟委员会或
其他成员国提出反对;或通知包含第29条第(3)款所述的书面证据时,在通知机关通知后两个月内没有提出反对,
方可开展公告机构的活动。
5. 当提出反对时,欧盟委员会应及时与相关成员国和合格评定机构进行磋商。鉴于此,欧盟委员会应决定该授权是否
有理由。欧盟委员会应将其决定送交相关成员国和相关合格评定机构。
```
第31条
```
```
与公告机构相关的要求
```
1. 公告机构应依据成员国的国家法律设立,并具有法人资格。
2. 公告机构应满足履行其任务所需的组织、质量管理、资源和流程要求,以及适当的网络安全要求。
3. 公告机构的组织结构、职责分配、报告线和运作应确保对其表现以及公告机构所进行合格评定活动结果的信心。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 71/144
4. 公告机构应独立于其进行合格评定活动所涉及的高风险AI系统的提供者。公告机构还应独立于对受评定的高风险
AI系统具有经济利益的任何其他经营者,以及独立于提供者的任何竞争对手。这不应排除使用合格评定机构运作所需的
受评定高风险AI系统,或为个人目的使用此类高风险AI系统。
5. 合格评定机构、其最高管理层或负责执行其合格评定任务的人员,不得直接参与高风险AI系统的设计、开发、
营销或使用,也不得代表从事这些活动的当事方。他们不得从事任何可能与其就所获通知的合格评定活动的判断独立性
或诚信相冲突的活动。这尤其适用于咨询服务。
6. 公告机构的组织和运作应保障其活动的独立性、客观性和公正性。公告机构应记录并实施保障公正性的结构和程序,
并在其整个组织、人员和评估活动中促进和适用公正性原则。
7. 公告机构应制定成文程序,确保其人员、委员会、子公司、分包商以及任何关联机构或外部机构的人员按照第78条
对其在履行合格评定活动期间获得的信息保密,除非法律要求披露。公告机构的工作人员对其根据本条例履行职责过程中
获得的所有信息负有遵守职业保密义务,但与开展其活动的成员国的通知机关有关的信息除外。
8. 公告机构应有开展活动的程序,适当考虑提供者的规模、其经营的部门、其结构以及相关AI系统的复杂程度。
9. 公告机构应为其合格评定活动投保适当的责任险,除非其设立所在成员国按照国家法律承担该责任,或该成员国本身
直接对合格评定负责。
10. 公告机构应能够以最高程度的职业诚信和特定领域所需的能力履行其在本条例下的所有任务,无论这些任务是由
公告机构自身执行,还是由代表其并在其责任下执行。
11. 公告机构应拥有足够的内部能力,以便能够有效评估代表其开展任务的外部方。公告机构应长期拥有足够的行政、
技术、法律和科学人员,他们应具备与相关类型AI系统、数据和数据计算以及第2节规定的要求相关的经验和知识。
12. 公告机构应参与第38条所述的协调活动。它们还应直接参与或派代表参加欧洲标准化组织,或确保其了解并掌握
相关标准的最新情况。
```
第32条
```
```
与公告机构相关的要求的符合性推定
```
```
当合格评定机构证明其符合相关协调标准或其部分所规定的标准(其引用已在欧盟官方公报上公布)时,
在适用的协调标准涵盖这些要求的范围内,应推定其符合第31条规定的要求。
```
# 英文版 欧盟公报 L,12.7.2024
72/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第33条
```
```
公告机构的子公司和分包
```
1. 当公告机构将与合格评定相关的特定任务分包或诉诸子公司时,应确保分包商或子公司符合第31条规定的要求,
并应相应通知通知机关。
2. 公告机构应对任何分包商或子公司执行的任务承担全部责任。
3. 只有在提供者同意的情况下,活动才可以分包或由子公司执行。公告机构应公布其子公司名单。
4. 与分包商或子公司的资格评估及其根据本条例开展的工作相关的相关文件,应从分包终止之日起保存五年,
供通知机关查阅。
```
第34条
```
```
公告机构的运营义务
```
1. 公告机构应按照第43条规定的合格评定程序核验高风险AI系统的符合性。
2. 公告机构在开展活动时应避免给提供者带来不必要的负担,并适当考虑提供者的规模、其经营的部门、其结构以及
相关高风险AI系统的复杂程度,特别是着眼于尽量减少建议2003/361/EC意义上的微型和小型企业的行政负担和合规
成本。然而,公告机构应遵守高风险AI系统符合本条例要求所需的严谨程度和保护水平。
3. 公告机构应向第28条所述的通知机关提供并在请求时提交所有相关文件(包括提供者的文件),以使该机关能够
进行其评估、指定、通知和监测活动,并便利本节所述的评估。
```
第35条
```
```
识别号码和公告机构名单
```
1. 欧盟委员会应为每个公告机构分配一个单一识别号码,即使一个机构根据不止一项联盟法律文书获得通知。
2. 欧盟委员会应公开根据本条例获得通知的机构名单,包括其识别号码以及其获得通知的活动。欧盟委员会应确保
该名单保持最新。
```
第36条
```
```
通知的变更
```
1. 通知机关应通过第30条第(2)款所述的电子通知工具,将公告机构通知的任何相关变更通知欧盟委员会和其他成员国。
2. 第29条和第30条规定的程序应适用于通知范围的扩展。
```
对于除扩展范围以外的通知变更,应适用第(3)至(9)款规定的程序。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 73/144
3. 当公告机构决定停止其合格评定活动时,应尽快通知通知机关和相关提供者,如果是有计划的停止,则应在停止活动
前至少一年通知。在公告机构停止活动后,其证书可以保持有效九个月,前提是另一公告机构已书面确认将承担这些证书
所涵盖高风险AI系统的责任。后一公告机构应在该九个月期间届满前对受影响的高风险AI系统完成全面评估,然后才为
这些系统签发新证书。当公告机构已停止其活动时,通知机关应撤销其指定。
4. 当通知机关有充分理由认为公告机构不再满足第31条规定的要求或未能履行其义务时,通知机关应及时以最大
勤勉调查此事。在此背景下,应告知相关公告机构所提出的反对意见,并给予其表达意见的机会。如果通知机关得出结论
认为公告机构不再满足第31条规定的要求或未能履行其义务,应根据未满足这些要求或履行这些义务的失败严重程度,
酌情限制、暂停或撤销指定。应相应立即通知欧盟委员会和其他成员国。
5. 当其指定被暂停、限制或全部或部分撤销时,公告机构应在10天内通知相关提供者。
6. 在指定被限制、暂停或撤销的情况下,通知机关应采取适当步骤确保相关公告机构的档案得到保存,并应其他成员国
的通知机关和市场监督机关的请求向其提供这些档案。
7. 在指定被限制、暂停或撤销的情况下,通知机关应:
```
(a) 评估对公告机构已签发证书的影响;
```
```
(b) 在通知指定变更后三个月内向欧盟委员会和其他成员国提交关于其调查结果的报告;
```
```
(c) 要求公告机构在机关确定的合理时间内暂停或撤销任何不当签发的证书,以确保市场上高风险AI系统的持续合规;
```
```
(d) 将已要求暂停或撤销的证书告知欧盟委员会和成员国;
```
```
(e) 向提供者注册营业地所在成员国的国家主管机关提供关于其已要求暂停或撤销证书的所有相关信息;该机关应在
必要时采取适当措施,以避免对健康、安全或基本权利的潜在风险。
```
8. 除不当签发的证书外,在指定被暂停或限制的情况下,证书在下列任一情况下应保持有效:
```
(a) 通知机关已在暂停或限制后一个月内确认,受暂停或限制影响的证书不存在健康、安全或基本权利风险,
且通知机关已概述补救暂停或限制的行动时间表;或
```
```
(b) 通知机关已确认,在暂停或限制期间不会签发、修订或重新签发与暂停相关的证书,并说明公告机构是否有能力
在暂停或限制期间继续监测现有证书并对其负责;如果通知机关确定公告机构没有能力支持已签发的现有证书,
则证书所涵盖系统的提供者应在暂停或限制后三个月内,向其注册营业地所在成员国的国家主管机关书面确认,
另一合格公告机构正在临时承担公告机构的职能,以在暂停或限制期间监测证书并对其负责。
```
# 英文版 欧盟公报 L,12.7.2024
74/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
9. 除不当签发的证书外,在指定被撤销的情况下,证书在下列情况下应保持有效九个月:
```
(a) 证书所涵盖高风险AI系统的提供者注册营业地所在成员国的国家主管机关已确认相关高风险AI系统不存在健康、
安全或基本权利风险;且
```
```
(b) 另一公告机构已书面确认将立即承担这些AI系统的责任,并在指定撤销后12个月内完成其评估。
```
```
在第一项所述情况下,证书所涵盖系统的提供者营业地所在成员国的国家主管机关可以将证书的临时有效期延长
额外的三个月期限,总期限不得超过12个月。
```
```
承担受指定变更影响的公告机构职能的国家主管机关或公告机构,应立即将其告知欧盟委员会、其他成员国和其他
公告机构。
```
```
第37条
```
```
对公告机构能力的质疑
```
1. 欧盟委员会应在必要时调查所有有理由怀疑公告机构能力或其继续履行第31条规定的要求及其适用职责的情况。
2. 通知机关应应欧盟委员会的请求,提供与相关公告机构的通知或其能力维持相关的所有信息。
3. 欧盟委员会应确保其根据本条调查过程中获得的敏感信息按照第78条保密处理。
4. 当欧盟委员会确定公告机构不符合或不再符合其通知要求时,应相应告知通知成员国,并要求其采取必要的纠正措施,
包括在必要时暂停或撤销通知。当成员国未能采取必要的纠正措施时,欧盟委员会可以通过实施法案暂停、限制或撤销
指定。该实施法案应按照第98条第(2)款所述的审查程序通过。
```
第38条
```
```
公告机构的协调
```
1. 欧盟委员会应确保就高风险AI系统而言,在根据本条例的合格评定程序中活跃的公告机构之间,以公告机构部门
小组的形式建立并适当运作适当的协调与合作。
2. 每个通知机关应确保其通知的机构直接或通过指定的代表参与第1款所述小组的工作。
3. 欧盟委员会应为通知机关之间的知识和最佳实践交流作出安排。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 75/144
```
第39条
```
```
第三国的合格评定机构
```
```
依据联盟已与其缔结协定的第三国法律设立的合格评定机构,可以被授权开展本条例下公告机构的活动,
前提是它们符合第31条规定的要求或确保同等的合规水平。
```
```
第五节
标准、合格评定、证书、登记
```
```
第40条
```
```
协调标准和标准化成果
```
1. 符合按照条例(EU)第1025/2012号在欧盟官方公报上公布引用的协调标准或其部分的高风险AI系统或通用人工
智能模型,在这些标准涵盖这些要求或义务的范围内,应被推定符合本章第2节规定的要求,或在适用情况下符合本条例
第五章第2节和第3节规定的义务。
2. 按照条例(EU)第1025/2012号第10条,欧盟委员会应及时发出涵盖本章第2节规定的所有要求的标准化请求,
并在适用情况下发出涵盖本条例第五章第2节和第3节规定义务的标准化请求。标准化请求还应要求提供关于报告和文档
流程的成果,以改善AI系统的资源性能(如减少高风险AI系统在其生命周期内的能源和其他资源消耗),以及关于通用
人工智能模型节能开发的成果。在准备标准化请求时,欧盟委员会应咨询委员会和相关利益相关方(包括咨询论坛)。
```
在向欧洲标准化组织发出标准化请求时,欧盟委员会应明确标准必须清晰、一致(包括与附件一所列现有联盟协调立法
所涵盖产品的各部门制定的标准一致),并旨在确保在联盟内投放市场或投入使用的高风险AI系统或通用人工智能模型
满足本条例规定的相关要求或义务。
```
```
欧盟委员会应要求欧洲标准化组织提供证据,证明其已按照条例(EU)第1025/2012号第24条尽最大努力实现
本款第一项和第二项所述的目标。
```
3. 标准化过程的参与者应寻求促进AI领域的投资和创新,包括通过提高法律确定性,以及促进联盟市场的竞争力和增长,
为加强标准化全球合作作出贡献,并考虑与联盟价值观、基本权利和利益一致的AI领域现有国际标准,并按照条例(EU)
第1025/2012号第5条、第6条和第7条加强多方利益相关方治理,确保利益的均衡代表和所有相关利益相关方的有效参与。
```
第41条
```
```
共同规范
```
1. 在满足以下条件时,欧盟委员会可以通过实施法案,为本章第2节规定的要求,或在适用情况下为第五章第2节和
第3节规定的义务制定共同规范:
```
(a) 欧盟委员会已按照条例(EU)第1025/2012号第10条第(1)款,要求一个或多个欧洲标准化组织为本章第2节规定的
要求,或在适用情况下为第五章第2节和第3节规定的义务起草协调标准,并且:
```
```
(i) 该请求未被任何欧洲标准化组织接受;或
```
# 英文版 欧盟公报 L,12.7.2024
76/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(ii) 处理该请求的协调标准未按照条例(EU)第1025/2012号第10条第(1)款设定的期限交付;或
```
```
(iii) 相关协调标准未充分处理基本权利关切;或
```
```
(iv) 协调标准不符合该请求;且
```
```
(b) 按照条例(EU)第1025/2012号,尚未在欧盟官方公报上公布涵盖本章第2节所述要求或在适用情况下第五章第2节
和第3节所述义务的协调标准引用,且预计在合理期限内不会公布此类引用。
```
```
在起草共同规范时,欧盟委员会应咨询第67条所述的咨询论坛。
```
```
本款第一项所述的实施法案应按照第98条第(2)款所述的审查程序通过。
```
2. 在准备实施法案草案之前,欧盟委员会应告知条例(EU)第1025/2012号第22条所述的委员会,其认为本条第1款
规定的条件已得到满足。
3. 符合第1款所述共同规范或其部分的高风险AI系统或通用人工智能模型,在这些共同规范涵盖这些要求或义务的
范围内,应被推定符合本章第2节规定的要求,或在适用情况下符合第五章第2节和第3节所述的义务。
4. 当欧洲标准化组织通过协调标准并将其提交欧盟委员会以在欧盟官方公报上公布其引用时,欧盟委员会应按照条例
(EU)第1025/2012号评估该协调标准。当协调标准的引用在欧盟官方公报上公布时,欧盟委员会应废除第1款所述的
实施法案或其部分,只要它们涵盖本章第2节规定的相同要求,或在适用情况下涵盖第五章第2节和第3节规定的相同义务。
5. 当高风险AI系统或通用人工智能模型的提供者不遵守第1款所述共同规范时,应适当证明其已采取至少达到同等水平、
满足本章第2节所述要求或在适用情况下遵守第五章第2节和第3节所述义务的技术解决方案。
6. 当成员国认为共同规范未完全满足第2节规定的要求,或在适用情况下未遵守第五章第2节和第3节规定的义务时,
应通知欧盟委员会并附详细说明。欧盟委员会应评估该信息,并在适当时修订制定相关共同规范的实施法案。
```
第42条
```
```
对某些要求的符合性推定
```
1. 在反映其拟使用的特定地理、行为、背景或功能环境的数据上训练和测试的高风险AI系统,应被推定符合第10条第(4)款
规定的相关要求。
2. 根据条例(EU)2019/881号下的网络安全计划获得认证或已签发符合性声明、且其引用已在欧盟官方公报上公布的
高风险AI系统,只要该网络安全证书或符合性声明或其部分涵盖本条例第15条规定的网络安全要求,应被推定符合
这些要求。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 77/144
```
第43条
```
```
合格评定
```
1. 对于附件三第1点所列高风险AI系统,在证明高风险AI系统符合第2节规定的要求时,如果提供者已适用第40条所述
的协调标准,或在适用情况下已适用第41条所述的共同规范,提供者应选择以下基于下列方式的合格评定程序之一:
```
(a) 附件六所述的内部控制;或
```
```
(b) 附件七所述的、由公告机构参与的质量管理体系评估和技术文档评估。
```
```
在证明高风险AI系统符合第2节规定的要求时,在下列情况下提供者应遵循附件七规定的合格评定程序:
```
```
(a) 第40条所述的协调标准不存在,且第41条所述的共同规范不可用;
```
```
(b) 提供者未适用或仅适用部分协调标准;
```
```
(c) 第(a)点所述的共同规范存在,但提供者未适用;
```
```
(d) 第(a)点所述的一个或多个协调标准已附限制公布,且仅在该标准被限制的部分适用。
```
```
就附件七所述的合格评定程序而言,提供者可以选择任何公告机构。然而,当高风险AI系统拟由执法、移民或庇护机关
或联盟机构、机关、办公室或署投入使用时,第74条第(8)款或第(9)款(视情况而定)所述的市场监督机关应作为
公告机构行事。
```
2. 对于附件三第2至8点所述高风险AI系统,提供者应遵循附件六所述的、不涉及公告机构参与的基于内部控制的
合格评定程序。
3. 对于附件一A节所列联盟协调立法所涵盖的高风险AI系统,提供者应遵循这些法律文书所要求的相应合格评定程序。
本章第2节规定的要求应适用于这些高风险AI系统,并应构成该评估的一部分。附件七第4.3点、第4.4点、第4.5点和
第4.6点第五段也应适用。
```
就该项评估而言,根据这些法律文书获得通知的公告机构应有权控制高风险AI系统符合第2节规定的要求,
前提是这些公告机构符合第31条第(4)款、第(5)款、第(10)款和第(11)款规定的要求已在这些法律文书下的通知程序中
得到评估。
```
```
当附件一A节所列法律文书允许产品制造商选择不进行第三方合格评定(前提是该制造商已适用涵盖所有相关要求的全部
协调标准)时,该制造商只有在也已适用涵盖本章第2节所有要求的协调标准,或在适用情况下第41条所述的共同规范时,
才可以使用该选项。
```
4. 已经接受过合格评定程序的高风险AI系统,在发生重大修改时,无论修改后的系统是拟进一步分销还是继续由当前
部署者使用,都应进行新的合格评定程序。
```
对于在投放市场或投入使用后继续学习的高风险AI系统,提供者在初始合格评定之时已预先确定、并属于附件四第2(f)点
所述技术文档所含信息一部分的高风险AI系统及其性能的变化,不应构成重大修改。
```
5. 欧盟委员会被授权按照第97条通过授权法案,根据技术进步更新附件六和附件七。
# 英文版 欧盟公报 L,12.7.2024
78/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
6. 欧盟委员会被授权按照第97条通过授权法案,修订本条第1款和第2款,以将附件三第2至8点所述高风险AI系统
纳入附件七所述的合格评定程序或其部分。欧盟委员会应通过此类授权法案,同时考虑附件六所述基于内部控制的
合格评定程序在预防或尽量减少此类系统对健康和安全以及基本权利保护构成的风险方面的有效性,
以及公告机构中适当能力和资源的可用性。
```
第44条
```
```
证书
```
1. 公告机构按照附件七签发的证书,应以公告机构设立所在成员国相关机关易于理解的语言起草。
2. 证书在其所示期间内有效,附件一所涵盖AI系统的证书有效期不得超过五年,附件三所涵盖AI系统的证书有效期
不得超过四年。应提供者的请求,证书的有效期可以根据适用的合格评定程序重新评估而延长进一步期间,
附件一所涵盖AI系统每期不超过五年,附件三所涵盖AI系统每期不超过四年。证书的任何补充在其所补充的证书有效的
前提下保持有效。
3. 当公告机构发现AI系统不再满足第2节规定的要求时,应考虑相称性原则,暂停或撤销已签发的证书或对其施加限制,
除非系统的提供者在公告机构设定的适当期限内采取的适当纠正措施确保符合这些要求。公告机构应说明其决定的理由。
```
应提供针对公告机构决定(包括就已签发符合性证书作出的决定)的上诉程序。
```
```
第45条
```
```
公告机构的信息义务
```
1. 公告机构应告知通知机关以下事项:
```
(a) 按照附件七要求签发的任何联盟技术文档评估证书、这些证书的任何补充以及任何质量管理体系批准;
```
```
(b) 对按照附件七要求签发的联盟技术文档评估证书或质量管理体系批准的任何拒绝、限制、暂停或撤销;
```
```
(c) 影响通知范围或条件的任何情况;
```
```
(d) 其从市场监督机关收到的、与合格评定活动相关的任何信息请求;
```
```
(e) 应请求提供在其通知范围内进行的合格评定活动以及进行的任何其他活动,包括跨境活动和分包。
```
2. 每个公告机构应告知其他公告机构:
```
(a) 其已拒绝、暂停或撤销的质量管理体系批准,并应请求告知其已签发的质量体系批准;
```
```
(b) 其已拒绝、撤销、暂停或以其他方式限制的联盟技术文档评估证书或其任何补充,并应请求告知其已签发的证书和
(或)其补充。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 79/144
3. 每个公告机构应向开展涵盖相同类型AI系统的类似合格评定活动的其他公告机构提供与负面合格评定结果相关的问题
的信息,并应请求提供正面合格评定结果的信息。
4. 公告机构应按照第78条保障其获得的信息的保密性。
```
第46条
```
```
合格评定程序的减损
```
1. 作为第43条的减损,并经适当证明的请求,任何市场监督机关可以出于公共安全或保护人的生命和健康的特殊理由、
环境保护或保护关键工业和基础设施资产,授权特定高风险AI系统在相关成员国领土内投放市场或投入使用。该授权的
期限应有限,期间进行必要的合格评定程序,同时考虑证明减损合理性的特殊理由。这些程序的完成应无不当延迟。
2. 在出于公共安全特殊理由的经适当证明的紧急情况下,或在自然人生命或人身安全受到具体、重大和紧迫威胁的情况下,
执法机关或民事保护机关可以在未经第1款所述授权的情况下将特定高风险AI系统投入使用,前提是在使用期间或使用
之后无不当延迟地请求该授权。如果第1款所述的授权被拒绝,高风险AI系统的使用应立即停止,该次使用的所有结果和
输出应立即丢弃。
3. 只有在市场监督机关得出结论认为高风险AI系统符合第2节要求的情况下,才应签发第1款所述的授权。市场监督机关
应将根据第1款和第2款签发的任何授权告知欧盟委员会和其他成员国。该义务不应涵盖与执法机关活动相关的敏感运营数据。
4. 如果在收到第3款所述信息后15个日历日内,任何成员国或欧盟委员会均未对一成员国市场监督机关按照第1款签发的
授权提出反对,则该授权应被视为有理由。
5. 如果在收到第3款所述通知后15个日历日内,一成员国对另一成员国市场监督机关签发的授权提出反对,
或欧盟委员会认为该授权违反联盟法律,或认为成员国关于第3款所述系统符合性的结论没有根据,欧盟委员会应及时
与相关成员国进行磋商。相关经营者应被咨询并有机会发表意见。鉴于此,欧盟委员会应决定该授权是否有理由。
欧盟委员会应将其决定送交相关成员国和相关经营者。
6. 当欧盟委员会认为授权没有理由时,应由相关成员国的市场监督机关予以撤销。
7. 对于与附件一A节所列联盟协调立法所涵盖产品相关的高风险AI系统,仅适用该联盟协调立法中确立的合格评定减损。
```
第47条
```
```
欧盟符合性声明
```
1. 提供者应为每个高风险AI系统起草一份书面的、机器可读的、实体或电子签名的欧盟符合性声明,并在高风险AI
系统投放市场或投入使用后10年内将其保存以供国家主管机关查阅。欧盟符合性声明应指明为其起草的高风险AI系统。
应请求,欧盟符合性声明的副本应提交给相关的国家主管机关。
# 英文版 欧盟公报 L,12.7.2024
80/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 欧盟符合性声明应声明相关高风险AI系统满足第2节规定的要求。欧盟符合性声明应包含附件五所列信息,
并应翻译成高风险AI系统投放市场或提供所在的成员国国家主管机关易于理解的语言。
3. 当高风险AI系统受其他也要求欧盟符合性声明的联盟协调立法约束时,应就适用于该高风险AI系统的所有联盟法律
起草一份单一欧盟符合性声明。该声明应包含识别该声明所涉联盟协调立法所需的全部信息。
4. 通过起草欧盟符合性声明,提供者应对符合第2节规定的要求承担责任。提供者应酌情保持欧盟符合性声明的最新状态。
5. 欧盟委员会被授权按照第97条通过授权法案,通过更新附件五所列欧盟符合性声明的内容来修订附件五,
以引入鉴于技术进步而变得必要的要素。
```
第48条
```
```
CE标志
```
1. CE标志应遵守条例(EC)第765/2008号第30条规定的一般原则。
2. 对于以数字方式提供的高风险AI系统,应使用数字CE标志,前提是可以通过访问该系统的界面或通过易于访问的
机器可读代码或其他电子方式轻松访问该标志。
3. CE标志应可见、清晰且不可磨灭地加贴在高风险AI系统上。如果由于高风险AI系统的性质无法或不宜如此加贴,
则应酌情将其加贴在包装或随附文件上。
4. 在适用情况下,CE标志后应附有负责第43条规定的合格评定程序的公告机构的识别号码。公告机构的识别号码应由
该机构本身加贴,或在其指示下由提供者或提供者的授权代表加贴。识别号码也应在任何提及该高风险AI系统符合CE标志
要求的促销材料中标明。
5. 当高风险AI系统受其他也规定加贴CE标志的联盟法律约束时,CE标志应表明该高风险AI系统也符合该其他法律的要求。
```
第49条
```
```
登记
```
1. 在将附件三所列高风险AI系统投放市场或投入使用之前(附件三第2点所述高风险AI系统除外),提供者或授权代表
(如适用)应在其自身和第71条所述的欧盟数据库中登记其系统。
2. 在将提供者根据第6条第(3)款认定不构成高风险的AI系统投放市场或投入使用之前,该提供者或授权代表(如适用)
应在其自身和第71条所述的欧盟数据库中登记该系统。
3. 在将附件三所列高风险AI系统投入使用或使用之前(附件三第2点所列高风险AI系统除外),作为公共机关、联盟机构、
机关、办公室或署或代表其行事的人员的部署者,应在其自身登记、选择系统并在第71条所述的欧盟数据库中登记其使用。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 81/144
4. 对于附件三第1点、第6点和第7点所述、用于执法、移民、庇护和边境管制管理领域的高风险AI系统,
本条第1款、第2款和第3款所述的登记应在第71条所述欧盟数据库的安全非公开部分进行,并应仅包括下列适用信息:
```
(a) 附件八A节第1至10点,但第6点、第8点和第9点除外;
```
```
(b) 附件八B节第1至5点以及第8点和第9点;
```
```
(c) 附件八C节第1至3点;
```
```
(d) 附件九第1点、第2点、第3点和第5点。
```
```
只有欧盟委员会和第74条第(8)款所述的国家机关才能访问本款第一项所列欧盟数据库的相应受限部分。
```
5. 附件三第2点所述高风险AI系统应按照国家层面登记。
```
第四章
对某些AI系统的提供者和部署者的透明度义务
```
```
第50条
对某些AI系统的提供者和部署者的透明度义务
```
1. 提供者应确保拟直接与自然人互动的AI系统的设计和开发方式使相关自然人被告知他们正在与AI系统互动,
除非从合理知悉、观察敏锐且审慎的自然人的角度来看,考虑到使用的情形和背景,这一点是显而易见的。
该义务不适用于经法律授权检测、预防、调查或起诉刑事犯罪的AI系统,但须遵守保护第三方权利和自由的适当保障措施,
除非这些系统可供公众举报刑事犯罪。2. 生成合成音频、图像、视频或文本内容的AI系统(包括通用人工智能系统)的提供者,应确保AI系统的输出以机器
可读格式标记并可被检测为人工生成或操纵。提供者应确保其技术解决方案在技术上可行的范围内有效、可互操作、
稳健且可靠,同时考虑各种内容类型的特殊性和局限性、实施成本以及公认的最新技术水平(如相关技术标准可能反映的)。
该义务不适用于AI系统执行标准编辑辅助功能或不实质改变部署者提供的输入数据或其语义的情况,也不适用于经法律
授权检测、预防、调查或起诉刑事犯罪的情况。
3. 情绪识别系统或生物特征分类系统的部署者应告知接触该系统的自然人该系统的运作情况,并应按照条例(EU)
2016/679号和(EU)2018/1725号及指令(EU)2016/680号(视适用情况)处理个人数据。该义务不适用于经法律允许
用于检测、预防或调查刑事犯罪的生物特征分类和情绪识别AI系统,但须遵守保护第三方权利和自由的适当保障措施,
并符合联盟法律。
4. 生成或操纵构成深度伪造的图像、音频或视频内容的AI系统的部署者,应披露该内容已被人工生成或操纵。
该义务不适用于经法律授权检测、预防、调查或起诉刑事犯罪的使用。当内容构成明显具有艺术性、创意性、讽刺性、
虚构性或类似性质的作品或节目的一部分时,本款规定的透明度义务仅限于以不阻碍作品展示或欣赏的适当方式披露
此类生成或操纵内容的存在。
```
生成或操纵为向公众通报公共利益事项而发布的文本的AI系统的部署者,应披露该文本已被人工生成或操纵。
该义务不适用于经法律授权检测、预防、调查或起诉刑事犯罪的使用,也不适用于AI生成的内容已经过人工审查或编辑
控制过程、且自然人或法人对内容的发布承担编辑责任的情况。
```
# 英文版 欧盟公报 L,12.7.2024
82/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
5. 第1至4款所述的信息应以清晰和可区分的方式最迟在首次互动或接触之时提供给相关自然人。该信息应符合适用的
无障碍要求。
6. 第1至4款不应影响第三章规定的要求和义务,也不应影响联盟或国家法律为AI系统部署者规定的其他透明度义务。
7. AI Office应鼓励并便利在联盟层面起草行为准则,以促进有效实施关于检测和标记人工生成或操纵内容的义务。
欧盟委员会可以通过实施法案,按照第56条第(6)款规定的程序批准这些行为准则。如果认为该准则不充分,
欧盟委员会可以按照第98条第(2)款规定的审查程序,通过实施法案规定实施这些义务的共同规则。
```
第五章
通用人工智能模型
```
```
第一节
```
```
分类规则
```
```
第51条
```
```
将通用人工智能模型归类为构成系统性风险的通用人工智能模型
```
1. 通用人工智能模型在满足以下任何条件时,应被归类为构成系统性风险的通用人工智能模型:
```
(a) 其具有基于适当技术工具和方法(包括指标和基准)评估的高影响力能力;
```
```
(b) 基于欧盟委员会的决定(依职权或依据科学小组的合格警示),其具有与第(a)点所述能力或影响相当的能力或影响,
并考虑附件十三规定的标准。
```
2. 当用于训练通用人工智能模型的计算累计量(以浮点运算衡量)大于10的25次方时,该模型应被推定具有
第1款第(a)项所述的高影响力能力。
3. 欧盟委员会应按照第97条通过授权法案,修订本条第1款和第2款所列阈值,并在必要时根据不断发展的技术发展
(如算法改进或硬件效率提高)补充基准和指标,以使这些阈值反映最新技术水平。
```
第52条
```
```
程序
```
1. 当通用人工智能模型满足第51条第(1)款第(a)项所述条件时,相关提供者应及时通知欧盟委员会,且在任何情况下
应在该要求满足或得知将满足后两周内通知。该通知应包括证明相关要求已得到满足所必要的信息。如果欧盟委员会
得知其未获通知的、构成系统性风险的通用人工智能模型,可以决定将其指定为构成系统性风险的模型。
2. 满足第51条第(1)款第(a)项所述条件的通用人工智能模型的提供者,可以在通知时提交充分证实的论据,
以证明尽管满足该要求,但由于其特定特征,该通用人工智能模型例外地不构成系统性风险,因此不应被归类为构成
系统性风险的通用人工智能模型。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 83/144
3. 当欧盟委员会得出结论认为根据第2款提交的论据未被充分证实,且相关提供者无法证明由于其特定特征该通用
人工智能模型不构成系统性风险时,应驳回这些论据,该通用人工智能模型应被视为构成系统性风险的通用人工智能模型。
4. 欧盟委员会可以依据附件十三规定的标准,依职权或依据科学小组按照第90条第(1)款第(a)项提出的合格警示,
将通用人工智能模型指定为构成系统性风险。
```
欧盟委员会被授权按照第97条通过授权法案,通过具体规定和更新附件十三所列标准来修订附件十三。
```
5. 根据第4款被指定为构成系统性风险的通用人工智能模型的提供者提出合理请求后,欧盟委员会应考虑该请求,
并可以决定基于附件十三规定的标准重新评估该通用人工智能模型是否仍可被视为构成系统性风险。此类请求应包含
自指定决定以来出现的客观、详细和新的理由。提供者最早可以在指定决定后六个月请求重新评估。当欧盟委员会在
重新评估后决定维持构成系统性风险的通用人工智能模型的指定时,提供者最早可以在该决定后六个月请求重新评估。
6. 欧盟委员会应确保公布构成系统性风险的通用人工智能模型的清单并保持最新,但不影响按照联盟和国家法律遵守
和保护知识产权及保密商业信息或商业秘密的需要。
```
第二节
```
```
对通用人工智能模型提供者的义务
```
```
第53条
```
```
对通用人工智能模型提供者的义务
```
1. 通用人工智能模型的提供者应:
```
(a) 起草并保持更新的模型技术文档,包括其训练和测试过程及其评估结果,该文档应至少包含附件十一所列信息,
以便在请求时提供给AI Office和国家主管机关;
```
```
(b) 向拟将通用人工智能模型整合到其AI系统中的AI系统提供者起草、保持更新并提供信息和文件。在不影响按照联盟
和国家法律遵守和保护知识产权及保密商业信息或商业秘密的需要的前提下,该信息和文件应:
```
```
(i) 使AI系统的提供者能够很好地理解通用人工智能模型的能力和局限性,并遵守其依据本条例的义务;且
```
```
(ii) 至少包含附件十二所列要素;
```
```
(c) 制定符合联盟版权和相关权利法律的政策,特别是通过最先进技术识别并遵守根据指令(EU)2019/790号
第4条第(3)款表达的权利保留;
```
```
(d) 按照AI Office提供的模板,起草并公开发布一份足够详细、关于训练通用人工智能模型所用内容的摘要。
```
# 英文版 欧盟公报 L,12.7.2024
84/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 第1款第(a)项和第(b)项规定的义务不适用于以允许访问、使用、修改和分发模型且其参数(包括权重)、模型架构
信息和模型使用信息公开可得的自由和开源许可发布的AI模型的提供者。该例外不适用于构成系统性风险的通用人工智能
模型。
3. 通用人工智能模型的提供者应在欧盟委员会和国家主管机关依据本条例行使其权限和权力时与之进行必要合作。
4. 通用人工智能模型的提供者可以依赖第56条意义上的行为准则来证明遵守本条第1款规定的义务,直到协调标准
发布为止。遵守欧洲协调标准在这些标准涵盖这些义务的范围内为提供者提供符合性推定。未遵守经批准的行为准则或
未遵守欧洲协调标准的通用人工智能模型提供者,应证明替代的适当合规手段供欧盟委员会评估。
5. 为便利遵守附件十一(特别是其第2(d)点和第(e)点),欧盟委员会被授权按照第97条通过授权法案,详细规定测量
和计算方法,以便实现可比较和可验证的文档。
6. 欧盟委员会被授权按照第97条第(2)款通过授权法案,根据不断发展的技术发展修订附件十一和附件十二。
7. 根据本条获得的任何信息或文件(包括商业秘密)应按照第78条规定的保密义务处理。
```
第54条
```
```
通用人工智能模型提供者的授权代表
```
1. 在将通用人工智能模型投放联盟市场之前,设立于第三国的提供者应通过书面委托指定一名设立于联盟内的
授权代表。
2. 提供者应使其授权代表能够履行从提供者处收到的委托中规定的任务。3. 授权代表应履行从提供者处收到的委托中规定的任务。它应应AI Office的要求,以联盟机构官方语言之一提供
委托副本。就本条例而言,委托应授权授权代表执行以下任务:
```
(a) 核验附件十一规定的技术文档已经起草,且第53条以及在适用情况下第55条所述的所有义务已由提供者履行;
```
```
(b) 在通用人工智能模型投放市场后10年期间内,将附件十一规定的技术文档副本以及指定该授权代表的提供者的
联系方式保存以供AI Office和国家主管机关查阅;
```
```
(c) 应AI Office的合理请求,提供证明遵守本章义务所需的全部信息和文件,包括第(b)点所述的信息和文件;
```
```
(d) 应AI Office和主管机关的合理请求,在他们就通用人工智能模型采取的任何行动中合作,包括当该模型被整合到
在联盟内投放市场或投入使用的AI系统中时。
```
4. 委托应授权AI Office或主管机关就与确保遵守本条例相关的所有问题,除提供者之外或代替提供者与授权代表接洽。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 85/144
5. 如果授权代表认为或有理由认为提供者的行为违反其依据本条例承担的义务,则应终止委托。在此情况下,
授权代表还应立即将委托的终止及其原因告知AI Office。
6. 本条规定的义务不适用于以允许访问、使用、修改和分发模型且其参数(包括权重)、模型架构信息和模型使用
信息公开可得的自由和开源许可发布的通用人工智能模型的提供者,除非这些通用人工智能模型构成系统性风险。
```
第三节
构成系统性风险的通用人工智能模型提供者的义务
```
```
第55条
```
```
构成系统性风险的通用人工智能模型提供者的义务
```
1. 除第53条和第54条所列义务外,构成系统性风险的通用人工智能模型的提供者还应:
```
(a) 按照反映最新技术水平的标准化协议和工具进行模型评估,包括对模型进行并记录对抗性测试,以识别和减轻
系统性风险;
```
```
(b) 评估和减轻联盟层面可能的系统性风险(包括其来源),这些风险可能源于构成系统性风险的通用人工智能模型的
开发、投放市场或使用;
```
```
(c) 及时跟踪、记录并无不当延迟地向AI Office以及在适当时向国家主管机关报告与严重事件相关的信息以及处理这些
事件的可能的纠正措施;
```
```
(d) 确保构成系统性风险的通用人工智能模型及模型物理基础设施获得适当水平的网络安全保护。
```
2. 构成系统性风险的通用人工智能模型的提供者可以依赖第56条意义上的行为准则来证明遵守本条第1款规定的义务,
直到协调标准发布为止。遵守欧洲协调标准在这些标准涵盖这些义务的范围内为提供者提供符合性推定。未遵守经批准
的行为准则或未遵守欧洲协调标准的构成系统性风险的通用人工智能模型提供者,应证明替代的适当合规手段供欧盟
委员会评估。
3. 根据本条获得的任何信息或文件(包括商业秘密)应按照第78条规定的保密义务处理。
```
第四节
行为准则
```
```
第56条
```
```
行为准则
```
1. AI Office应鼓励并便利在联盟层面起草行为准则,以促进本条例的适当适用,同时考虑国际方法。
2. AI Office和委员会应努力确保行为准则至少涵盖第53条和第55条规定的义务,包括以下问题:
# 英文版 欧盟公报 L,12.7.2024
86/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(a) 确保第53条第(1)款第(a)项和第(b)项所述信息根据市场和技术发展保持最新的手段;
```
```
(b) 关于训练所用内容摘要的适当详细程度;
```
```
(c) 在适当时识别联盟层面系统性风险的类型和性质,包括其来源;
```
```
(d) 联盟层面系统性风险评估和管理的措施、程序和方式,包括其文件记录,这些应与风险相称,考虑其严重性和可能性,
并考虑鉴于此类风险在AI价值链上可能出现的各种方式而处理这些风险的特定挑战。
```
3. AI Office可以邀请所有通用人工智能模型的提供者以及相关的国家主管机关参与行为准则的起草。民间社会组织、
产业界、学术界和其他相关利益相关方(如下游提供者和独立专家)可以支持该过程。
4. AI Office和委员会应努力确保行为准则明确规定其具体目标,并包含承诺或措施(在适当时包括关键绩效指标)
以确保实现这些目标,并适当考虑联盟层面所有利害关系方(包括受影响者)的需要和利益。
5. AI Office应努力确保行为准则的参与者定期向AI Office报告承诺的实施情况、所采取的措施及其结果,
包括在适当时根据关键绩效指标衡量。关键绩效指标和报告承诺应反映不同参与者之间规模和能力的差异。
6. AI Office和委员会应定期监测和评估参与者对行为准则目标的实现情况以及他们对本条例适当适用的贡献。
AI Office和委员会应评估行为准则是否涵盖第53条和第55条规定的义务,并应定期监测和评估其目标的实现情况。
他们应公布对行为准则充分性的评估。
```
欧盟委员会可以通过实施法案批准行为准则并在联盟内赋予其普遍效力。该实施法案应按照第98条第(2)款所述的
审查程序通过。
```
7. AI Office可以邀请所有通用人工智能模型的提供者遵守行为准则。对于不构成系统性风险的通用人工智能模型的
提供者,这种遵守可以限于第53条规定的义务,除非他们明确声明有兴趣加入完整准则。
8. AI Office应酌情鼓励和便利行为准则的审查和调整,特别是鉴于新兴标准。AI Office应协助评估可用标准。
9. 行为准则最迟应在2025年5月2日前准备就绪。AI Office应采取必要步骤,包括按照第7款邀请提供者。
```
如果到2025年8月2日行为准则仍无法最终完成,或者AI Office在其根据本条第6款评估后认为其不充分,
欧盟委员会可以通过实施法案为第53条和第55条规定的义务的实施提供共同规则,包括本条第2款所述的问题。
这些实施法案应按照第98条第(2)款所述的审查程序通过。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 87/144
```
第六章
支持创新的措施
```
```
第57条
```
```
AI监管沙盒
```
1. 成员国应确保其主管机关在国家层面建立至少一个AI监管沙盒,该沙盒应在2026年8月2日前投入运行。
该沙盒也可以与其他成员国的主管机关联合建立。欧盟委员会可以为AI监管沙盒的建立和运行提供技术支持、建议和工具。
```
第一项规定的义务也可以通过参与现有沙盒来履行,只要该参与为参与成员国提供同等的国家覆盖水平。
```
2. 也可以在国家以下层面(区域或地方)建立额外的AI监管沙盒,或与其他成员国的主管机关联合建立。
3. 欧洲数据保护监督员也可以为联盟机构、机关、办公室和署建立AI监管沙盒,并可以按照本章行使国家主管机关的
角色和任务。
4. 成员国应确保第1款和第2款所述的主管机关分配足够的资源,以有效和及时地遵守本条。国家主管机关应在适当时
与其他相关机关合作,并可以允许AI生态系统中的其他行为者参与。本条不应影响根据联盟或国家法律建立的其他监管
沙盒。成员国应确保监督这些其他沙盒的机关与国家主管机关之间进行适当水平的合作。
5. 根据第1款建立的AI监管沙盒应提供一个受控环境,在创新AI系统投放市场或投入使用之前的一段有限时间内,
根据提供者或潜在提供者与主管机关商定的具体沙盒计划,促进其开发、训练、测试和验证。此类沙盒可以包括其中
受监督的真实世界条件测试。
6. 主管机关应在AI监管沙盒内酌情提供指导、监督和支持,以识别风险(特别是对基本权利、健康和安全的风险)、
测试、缓解措施及其对本条例义务和要求的有效性,以及在相关情况下对沙盒内受监督的其他联盟和国家法律的有效性。
7. 主管机关应向参与AI监管沙盒的提供者和潜在提供者提供关于监管预期以及如何满足本条例规定的要求和义务的指导。
```
应AI系统的提供者或潜在提供者的请求,主管机关应提供在沙盒中成功开展的活动的书面证明。主管机关还应提供
退出报告——详细说明在沙盒中开展的活动及相关结果和学习成果。提供者可以通过合格评定过程或相关的市场监督活动,使用此类
文件证明其遵守本条例。在此方面,国家主管机关提供的退出报告和书面证明应被市场监督机关和公告机构积极考虑,
以期在合理程度上加快合格评定程序。
```
8. 在遵守第78条保密规定的前提下,并经提供者或潜在提供者同意,欧盟委员会和委员会应被授权访问退出报告,
并在依据本条例行使其任务时酌情予以考虑。如果提供者或潜在提供者和国家主管机关均明确同意,退出报告可以通过
本条所述的单一信息平台公开发布。
9. 建立AI监管沙盒应旨在促进以下目标的实现:
```
(a) 提高法律确定性,以实现对本条例或在相关情况下其他适用的联盟和国家法律的监管合规;
```
# 英文版 欧盟公报 L,12.7.2024
88/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(b) 通过与参与AI监管沙盒的机关合作支持最佳实践的分享;
```
```
(c) 促进创新和竞争力,便利AI生态系统的发展;
```
```
(d) 促进基于证据的监管学习;
```
```
(e) 便利和加速AI系统进入联盟市场,特别是由中小企业(包括初创企业)提供的系统。
```
10. 国家主管机关应确保,在创新AI系统涉及个人数据处理或以其他方式属于其他国家机关或提供或支持数据获取的
主管机关监督范围内的情况下,国家数据保护机关和这些其他国家机关或主管机关应参与AI监管沙盒的运作,
并在其各自任务和权力的范围内参与对这些方面的监督。
11. AI监管沙盒不应影响监督沙盒的主管机关(包括区域或地方层面的主管机关)的监督或纠正权力。在此类AI系统的
开发和测试期间识别的任何对健康和安全及基本权利的重大风险,都应导致适当的缓解。国家主管机关应有权在无法进行
有效缓解时暂时或永久中止测试过程或参与沙盒,并应将此类决定告知AI Office。国家主管机关应在相关法律范围内
行使其监督权力,在就特定AI监管沙盒项目实施法律规定时运用其裁量权,以支持联盟内AI的创新。
12. 参与AI监管沙盒的提供者和潜在提供者应根据适用的联盟和国家责任法律,对在沙盒中进行实验对第三方造成的
任何损害承担责任。然而,只要潜在提供者遵守具体计划及其参与条款和条件,并善意遵循国家主管机关提供的指导,
机关不得因违反本条例而对其实施行政罚款。当负责其他联盟和国家法律的其他主管机关积极参与了对沙盒中AI系统的
监督并提供了合规指导时,就该法律而言也不得实施行政罚款。
13. AI监管沙盒的设计和实施方式应在相关情况下便利国家主管机关之间的跨境合作。
14. 国家主管机关应在委员会的框架内协调其活动并合作。
15. 国家主管机关应将沙盒的建立告知AI Office和委员会,并可请求其提供支持和指导。AI Office应公开计划中和现有
沙盒的清单并保持最新,以鼓励在AI监管沙盒中加强互动和跨境合作。
16. 国家主管机关应在AI监管沙盒建立一年后以及此后每年直到其终止,向AI Office和委员会提交年度报告,并提交
最终报告。这些报告应提供关于这些沙盒实施的进展和结果的信息,包括最佳实践、事件、经验教训以及对其设立的
建议,并在相关情况下对本条例(包括其授权法案和实施法案)的适用和可能的修订以及对主管机关在沙盒内监督的
其他联盟法律的适用的建议。国家主管机关应在网上向公众提供这些年度报告或其摘要。欧盟委员会应在本条例下的任务
行使中酌情考虑这些年度报告。
17. 欧盟委员会应开发一个包含与AI监管沙盒相关的所有信息的单一专用界面,使利益相关方能够与AI监管沙盒互动、
向主管机关提出询问,并按照第62条第(1)款第(c)项就嵌入AI技术的创新产品、服务、商业模式寻求关于符合性的
非约束性指导。欧盟委员会应在相关情况下主动与国家主管机关协调。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 89/144
```
第58条
```
```
AI监管沙盒的详细安排和运作
```
1. 为避免联盟范围内的碎片化,欧盟委员会应通过实施法案,具体规定AI监管沙盒的建立、发展、实施、运作和监督的
详细安排。实施法案应包括以下问题的共同原则:
```
(a) 参与AI监管沙盒的资格和选择标准;
```
```
(b) 申请、参与、监测、退出和终止AI监管沙盒的程序,包括沙盒计划和退出报告;
```
```
(c) 适用于参与者的条款和条件。
```
```
这些实施法案应按照第98条第(2)款所述的审查程序通过。
```
2. 第1款所述的实施法案应确保:
```
(a) AI监管沙盒向任何满足资格和选择标准(应透明和公平)的申请提供者或AI系统潜在提供者开放,国家主管机关
应在申请后三个月内告知申请人其决定;
```
```
(b) AI监管沙盒允许广泛和平等的进入,并跟上参与需求;提供者和潜在提供者也可以与部署者和其他相关第三方合作
提交申请;
```
```
(c) 关于AI监管沙盒的详细安排和条件尽可能支持国家主管机关建立和运营其AI监管沙盒的灵活性;
```
```
(d) 中小企业(包括初创企业)免费进入AI监管沙盒,但不影响国家主管机关可以以公平和相称方式收回的特殊费用;
```
```
(e) 它们通过AI监管沙盒的学习成果,便利提供者和潜在提供者遵守本条例下的合格评定义务以及自愿适用第95条所述的
行为准则;
```
```
(f) AI监管沙盒便利AI生态系统中其他相关行为者的参与,如公告机构和标准化组织、中小企业(包括初创企业)、企业、
创新者、测试和实验设施、研究和实验实验室以及欧洲数字创新中心、卓越中心、个人研究人员,以允许和便利与公共和
私营部门的合作;
```
```
(g) 申请、选择、参与和退出AI监管沙盒的程序、流程和行政要求简单、易于理解并清楚传达,以便利法律和行政能力
有限的中小企业(包括初创企业)参与,并在联盟范围内简化,以避免碎片化,且参与由成员国或欧洲数据保护监督员
建立的AI监管沙盒应在联盟内得到相互和统一的认可并产生相同的法律效力;
```
```
(h) 参与AI监管沙盒的期限限于适合项目复杂性和规模的时间,国家主管机关可以予以延长;
```
```
(i) AI监管沙盒便利开发用于测试、基准测试、评估和解释与监管学习相关的AI系统维度(如准确性、稳健性和网络安全)
的工具和基础设施,以及减轻对基本权利和整个社会风险的措施。
```
3. AI监管沙盒中的潜在提供者(特别是中小企业和初创企业)应在相关情况下被引导至部署前服务,如关于本条例
实施的指导、其他增值服务(如标准化文件和认证方面的帮助)、测试和实验设施、欧洲数字创新中心和卓越中心。
# 英文版 欧盟公报 L,12.7.2024
90/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
4. 当国家主管机关考虑授权在根据本条拟建立的AI监管沙盒框架内受监督的真实世界条件测试时,应与参与者具体
商定此类测试的条款和条件,特别是适当的保障措施,以保护基本权利、健康和安全。国家主管机关应在适当时与其他
国家主管机关合作,以确保联盟范围内一致的做法。
```
第59条
```
```
在AI监管沙盒中为公共利益开发某些AI系统而对个人数据的进一步处理
```
1. 在AI监管沙盒中,当满足以下所有条件时,合法为其他目的收集的个人数据可以仅为在沙盒中开发、训练和测试
某些AI系统的目的进行处理:
```
(a) AI系统应由公共机关或另一自然人或法人为保障重大公共利益而开发,且在以下一个或多个领域:
```
```
(i) 公共安全和公共卫生,包括疾病检测、诊断、预防、控制和治疗以及医疗保健系统的改进;
```
```
(ii) 高度环境保护和改善环境质量、保护生物多样性、防止污染、绿色转型措施、气候变化减缓和适应措施;
```
```
(iii) 能源可持续性;
```
```
(iv) 交通系统和流动性、关键基础设施和网络的安全和韧性;
```
```
(v) 公共行政和公共服务的效率和质量的改进;
```
```
(b) 所处理的数据对于遵守第三章第二节所述的一项或多项要求是必要的,且这些要求无法通过处理匿名化、合成或
其他非个人数据有效实现;
```
```
(c) 存在有效的监测机制,以识别沙盒实验期间是否可能出现条例(EU)2016/679号第35条和条例(EU)2018/1725号
第39条所述的对数据主体权利和自由的任何高风险,以及及时减轻这些风险并在必要时停止处理的对策机制;
```
```
(d) 在沙盒背景下待处理的任何个人数据都处于潜在提供者控制下的功能上分离、隔离且受保护的数据处理环境中,
只有经授权的人员才能访问这些数据;
```
```
(e) 提供者只能按照联盟数据保护法律进一步共享最初收集的数据;在沙盒中创建的任何个人数据不得在沙盒之外共享;
```
```
(f) 在沙盒背景下对个人数据的任何处理既不导致影响数据主体的措施或决定,也不影响其依据联盟个人数据保护法律
规定的权利的适用;
```
```
(g) 在沙盒背景下处理的任何个人数据都通过适当的技术和组织措施加以保护,并在参与沙盒终止或个人数据达到其
保存期限时予以删除;
```
```
(h) 在沙盒背景下处理个人数据的日志在参与沙盒期间保存,除非联盟或国家法律另有规定;
```
```
(i) 关于AI系统训练、测试和验证过程及其理由的完整详细描述与测试结果一起保存,作为附件四所述技术文档的一部分;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 91/144
```
(j) 在沙盒中开发的AI项目的简短摘要、其目标和预期结果应在主管机关的网站上公布;该义务不应涵盖与执法、
边境管制、移民或庇护机关活动相关的敏感运营数据。
```
2. 为预防、侦查、调查或起诉刑事犯罪或执行刑事处罚的目的(包括防范和预防对公共安全的威胁),在执法机关
控制和责任下,AI监管沙盒中对个人数据的处理应以特定的联盟或国家法律为基础,并遵守与第1款所述相同的累积条件。
3. 第1款不影响排除为法律明确提及以外的其他目的处理个人数据的联盟或国家法律,也不影响规定为开发、测试或
训练创新AI系统目的所必要的个人数据处理依据或其他任何法律依据的联盟或国家法律,但须符合联盟个人数据保护法律。
```
第60条
```
```
在AI监管沙盒之外在真实世界条件下测试高风险AI系统
```
1. 附件三所列高风险AI系统的提供者或潜在提供者可以按照本条及本条所述的真实世界测试计划,在AI监管沙盒之外
在真实世界条件下进行测试,但不影响第5条下的禁止。
```
欧盟委员会应通过实施法案具体规定真实世界测试计划的详细要素。这些实施法案应按照第98条第(2)款所述的审查程序
通过。
```
```
本款不应影响关于与附件一所列联盟协调立法所涵盖产品相关的高风险AI系统在真实世界条件下测试的联盟或国家法律。
```
2. 提供者或潜在提供者可以在AI系统投放市场或投入使用之前的任何时间,单独或与一个或多个部署者或潜在部署者
合作,在真实世界条件下对附件三所述高风险AI系统进行测试。
3. 根据本条在真实世界条件下测试高风险AI系统不应影响联盟或国家法律要求的任何伦理审查。
4. 提供者或潜在提供者只有在满足以下所有条件时才可以进行真实世界条件下的测试:
```
(a) 提供者或潜在提供者已起草真实世界测试计划并提交给拟进行真实世界条件测试所在成员国的市场监督机关;
```
```
(b) 拟进行真实世界条件测试所在成员国的市场监督机关已批准真实世界条件测试和真实世界测试计划;如果市场监督
机关在30天内未提供答复,则真实世界条件测试和真实世界测试计划应被理解为已获批准;如果国家法律未规定默示批准,
真实世界条件测试仍须获得授权;
```
```
(c) 提供者或潜在提供者(附件三第1点、第6点和第7点所述执法、移民、庇护和边境管制管理领域的高风险AI系统以及
附件三第2点所述高风险AI系统的提供者或潜在提供者除外)已按照第71条第(4)款以联盟范围内的唯一单一识别号码
和附件九规定的信息登记真实世界条件测试;附件三第1点、第6点和第7点所述执法、移民、庇护和边境管制管理领域的
高风险AI系统的提供者或潜在提供者,已按照第49条第(4)款第(d)项以联盟范围内的唯一单一识别号码和其中规定的
信息在欧盟数据库的安全非公开部分登记真实世界条件测试;附件三第2点所述高风险AI系统的提供者或潜在提供者
已按照第49条第(5)款登记真实世界条件测试;
```
# 英文版 欧盟公报 L,12.7.2024
92/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(d) 进行真实世界条件测试的提供者或潜在提供者设立于联盟内,或已指定一名设立于联盟内的法定代表人;
```
```
(e) 为真实世界条件测试目的收集和处理的数据,只有在实施了联盟法律下适当和适用的保障措施时才可以转移到
第三国;
```
```
(f) 真实世界条件测试的持续时间不超过实现其目标所需的时间,且在任何情况下不超过六个月,可以延长额外六个月,
前提是提供者或潜在提供者事先通知市场监督机关并附上需要延长的说明;
```
```
(g) 属于因年龄或残疾而处于弱势群体的人员的真实世界条件测试受试者受到适当保护;
```
```
(h) 当提供者或潜在提供者与一个或多个部署者或潜在部署者合作组织真实世界条件测试时,后者已被告知与其参加
决定相关的测试的所有方面,并获得第13条所述AI系统的相关使用说明;提供者或潜在提供者与部署者或潜在部署者
应签订协议,明确其角色和责任,以确保遵守本条例及其他适用联盟和国家法律下关于真实世界条件测试的规定;
```
```
(i) 真实世界条件测试的受试者已按照第61条给予知情同意,或者在执法情况下,如果寻求知情同意会妨碍AI系统被测试,
则测试本身和真实世界条件下测试的结果不得对受试者产生任何负面影响,且其个人数据应在测试完成后删除;
```
```
(j) 真实世界条件测试由提供者或潜在提供者以及部署者或潜在部署者通过在该相关领域具有适当资格并具备履行其
任务所需能力、培训和权限的人员进行有效监督;
```
```
(k) AI系统的预测、建议或决定可以被有效逆转和忽略。
```
5. 真实世界条件测试的任何受试者或其合法指定的代表(视情况而定),可以在任何时候撤回其知情同意而退出测试,
而无需承担任何不利后果,也无需提供任何理由,并可要求立即永久删除其个人数据。撤回知情同意不应影响已进行的
活动。
6. 按照第75条,成员国应授予其市场监督机关要求提供者和潜在提供者提供信息、进行未经宣布的远程或现场检查、
对真实世界条件测试的进行及相关高风险AI系统进行检查的权力。市场监督机关应使用这些权力确保真实世界条件测试
的安全发展。
7. 在真实世界条件测试过程中识别的任何严重事件,应按照第73条报告给国家市场监督机关。提供者或潜在提供者应
采取立即的缓解措施,或者如果无法采取,应暂停真实世界条件测试直至缓解措施落实,或以其他方式终止测试。
提供者或潜在提供者应建立在此类真实世界条件测试终止后立即召回AI系统的程序。
8. 提供者或潜在提供者应将真实世界条件测试的中止或终止及最终结果通知拟进行真实世界条件测试所在成员国的国家
市场监督机关。
9. 提供者或潜在提供者应根据适用的联盟和国家责任法律,对在其真实世界条件测试过程中造成的任何损害承担责任。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 93/144
```
第61条
```
```
参加AI监管沙盒之外真实世界条件测试的知情同意
```
1. 为第60条下真实世界条件测试的目的,应在受试者参加此类测试之前,并在其已适当获知以下简洁、清晰、相关且
可理解的信息之后,获得受试者自由给予的知情同意:
```
(a) 真实世界条件测试的性质和目标以及可能与其参加相关的可能不便;
```
```
(b) 进行真实世界条件测试的条件,包括受试者或受试者群体预计参加的时长;
```
```
(c) 其权利以及关于其参加的保障,特别是其拒绝参加以及在任何时候退出真实世界条件测试的权利,而无需承担任何
不利后果,也无需提供任何理由;
```
```
(d) 请求逆转或忽略——AI系统预测、建议或决定的安排;
```
```
(e) 按照第60条第(4)款第(c)项的真实世界条件测试联盟范围内的唯一单一识别号码,以及可获取进一步信息的提供者
或其法定代表人的联系方式。
```
2. 知情同意应注明日期并记录在案,副本应提供给测试受试者或其法定代表人。
```
第62条
```
```
对提供者和部署者(特别是中小企业,包括初创企业)的措施
```
1. 成员国应采取以下行动:
```
(a) 向在联盟内有注册办事处或分支机构的中小企业(包括初创企业)提供AI监管沙盒的优先准入,只要它们满足资格
条件和选择标准;该优先准入不应排除本款所述以外的其他中小企业(包括初创企业)进入AI监管沙盒,前提是它们也
满足资格条件和选择标准;
```
```
(b) 组织针对中小企业(包括初创企业)、部署者以及在适当时地方公共机关需要量身定制的、关于本条例适用的
特定提高认识活动和培训;
```
```
(c) 利用现有专门渠道并在适当时建立新渠道,与中小企业(包括初创企业)、部署者、其他创新者以及在适当时地方
公共机关沟通,就本条例的实施(包括参与AI监管沙盒)提供建议并回答问题;
```
```
(d) 便利中小企业和相关利益相关方参与标准化发展过程。
```
2. 在按照第43条设定合格评定费用时,应考虑中小企业(包括初创企业)提供者的具体利益和需要,按其规模、
市场规模和其他相关指标按比例降低费用。
3. AI Office应采取以下行动:
```
(a) 为委员会在请求中指定的本条例涵盖领域提供标准化模板;
```
```
(b) 开发并维护一个为联盟内所有经营者提供与本条例相关的易于使用信息的单一信息平台;
```
# 英文版 欧盟公报 L,12.7.2024
94/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(c) 组织适当的宣传运动,提高对本条例产生的义务的认识;
```
```
(d) 评估和促进与AI系统相关的公共采购程序中最佳实践的趋同。
```
```
第63条
```
```
对特定经营者的减损
```
1. 建议2003/361/EC意义上的微型企业可以以简化方式遵守本条例第17条要求的质量管理体系的某些要素,前提是
它们没有该建议意义上的伙伴企业或关联企业。为此,欧盟委员会应制定关于可以简化方式遵守的质量管理体系要素的
指南,同时考虑微型企业的需要,但不影响保护水平或遵守高风险AI系统要求的需要。
2. 本条第1款不应被解释为免除这些经营者履行本条例规定的任何其他要求或义务,包括第9条、第10条、第11条、
第12条、第13条、第14条、第15条、第72条和第73条确立的要求或义务。
```
第七章
治理
```
```
第一节
```
```
联盟层面的治理
```
```
第64条
```
```
AI Office
```
1. 欧盟委员会应通过AI Office发展联盟在AI领域的专门知识和能力。
2. 成员国应便利本条例所反映的、委托给AI Office的任务。
```
第65条
```
```
欧洲人工智能委员会的建立和结构
```
1. 特此设立欧洲人工智能委员会(“委员会”)。
2. 委员会应由每个成员国的一名代表组成。欧洲数据保护监督员应作为观察员参加。AI Office也应出席委员会会议,
但不参与投票。如果所讨论的问题对其相关,委员会可以逐案邀请其他国家和联盟机关、机构或专家参加会议。
3. 每个代表应由其成员国指定,任期三年,可连任一次。
4. 成员国应确保其在委员会中的代表:
```
(a) 在其成员国具有相关能力和权力,以积极促进第66条所述的委员会任务的实现;
```
```
(b) 被指定为面向委员会以及(在适当时,考虑成员国的需要)面向利益相关方的单一联系点;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 95/144
```
(c) 有权促进其成员国内国家主管机关之间在本条例实施方面的协调一致,包括通过收集相关数据和信息以履行其在
委员会上的任务。
```
5. 成员国指定的代表应以三分之二多数通过委员会的议事规则。议事规则应特别规定遴选程序、主席任期的时长和
任务的具体规定、投票的详细安排,以及委员会及其分组的活动和组织安排。
6. 委员会应设立两个常设分组,分别为市场监督机关和通知机关就与市场监督和公告机构相关的问题提供合作和交流
平台。
```
市场监督常设分组应作为本条例在条例(EU)2019/1020号第30条意义上的行政合作组(ADCO)。
```
```
委员会可以为审查具体问题的目的酌情设立其他常设或临时分组。在适当时,可以邀请第67条所述的咨询论坛的代表
作为观察员参加此类分组或其特定会议。
```
7. 委员会的组织和运作应保障其活动的客观性和公正性。
8. 委员会应由成员国的一名代表担任主席。AI Office应为委员会提供秘书处,应主席的请求召集会议,并按照本条例
及委员会议事规则规定的委员会任务准备议程。
```
第66条
```
```
委员会的任务
```
```
委员会应就便利本条例一致和有效适用向欧盟委员会和成员国提供建议和协助。为此,委员会尤其可以:
```
```
(a) 促进负责适用本条例的国家主管机关之间的协调,并在相关市场监督机关的配合和同意下,支持第74条第(11)款
所述的市场监督机关联合活动;
```
```
(b) 在成员国之间收集和分享技术和监管专业知识及最佳实践;
```
```
(c) 就本条例的实施提供建议,特别是关于通用人工智能模型规则的执行;
```
```
(d) 促进成员国行政实践的协调统一,包括与第46条所述的合格评定程序减损、AI监管沙盒的运作以及第57条、第59条
和第60条所述的真实世界条件测试相关的行政实践;
```
```
(e) 应欧盟委员会的请求或自行就与本条例实施及其一致有效适用相关的任何事项发布建议和书面意见,包括:
```
```
(i) 关于根据本条例制定和适用行为准则和行为规范以及欧盟委员会指南;
```
```
(ii) 关于按照第112条对本条例的评估和审查,包括第73条所述的严重事件报告和第71条所述的欧盟数据库的运作、
授权法案或实施法案的准备工作,以及本条例可能与附件一所列联盟协调立法的一致性调整;
```
```
(iii) 关于第三章第二节规定的要求的技术规范或现有标准;
```
# 英文版 欧盟公报 L,12.7.2024
96/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(iv) 关于第40条和第41条所述的协调标准或共同规范的使用;
```
(v) 趋势,如欧洲在AI领域的全球竞争力、AI在联盟内的推广应用以及数字技能的发展;
```
```
(vi) 关于AI价值链不断演变类型学的趋势,特别是由此产生的问责方面的含义;
```
```
(vii) 关于按照第7条修订附件三的潜在需要,以及按照第112条可能修订第5条的潜在需要,同时考虑相关可得证据
和最新技术发展;
```
```
(f) 支持欧盟委员会促进AI素养,提高公众对使用AI系统的益处、风险、保障措施以及权利和义务的认识和理解;
```
```
(g) 促进市场经营者和主管机关之间就本条例规定的相关概念制定共同标准和共同理解,包括为基准制定作出贡献;
```
```
(h) 酌情与其他联盟机构、机关、办公室和署以及相关的联盟专家组和网络合作,特别是在产品安全、网络安全、
竞争、数字和媒体服务、金融服务、消费者保护、数据和基本权利保护领域;
```
```
(i) 促进与第三国主管机关和国际组织的有效合作;
```
```
(j) 协助国家主管机关和欧盟委员会发展实施本条例所需的组织和技术专业知识,包括为评估参与实施本条例的成员国
工作人员的培训需要作出贡献;
```
```
(k) 协助AI Office支持国家主管机关建立和发展AI监管沙盒,并便利AI监管沙盒之间的合作和信息共享;
```
```
(l) 为指南文件的制定作出贡献并提供相关建议;
```
```
(m) 就AI国际事务向欧盟委员会提供建议;
```
```
(n) 就关于通用人工智能模型的合格警示向欧盟委员会提供意见;
```
```
(o) 接收成员国关于通用人工智能模型合格警示以及关于AI系统(特别是整合通用人工智能模型的系统)监测和执行的
国家经验和实践的意见。
```
```
第67条
咨询论坛
```
1. 应建立一个咨询论坛,以提供技术专业知识并向委员会和欧盟委员会提供建议,并为其在本条例下的任务作出贡献。
2. 咨询论坛的成员应代表利益相关方的均衡选择,包括产业界、初创企业、中小企业、民间社会和学术界。咨询论坛的
成员应在商业和非商业利益之间保持平衡,并在商业利益类别内,在中小企业与其他企业之间保持平衡。
3. 欧盟委员会应按照第2款规定的标准,从AI领域具有公认专业知识的利益相关方中任命咨询论坛的成员。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 97/144
4. 咨询论坛成员的任期应为两年,最多可延长不超过四年。
5. 基本权利署、ENISA、欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)和欧洲电信标准化协会
(ETSI)应为咨询论坛的常任成员。
6. 咨询论坛应制定其议事规则。它应按照第2款规定的标准从其成员中选举两名联合主席。联合主席的任期应为两年,
可连任一次。
7. 咨询论坛应每年至少举行两次会议。咨询论坛可以邀请专家和其他利益相关方参加会议。
8. 咨询论坛可以应委员会或欧盟委员会的请求准备意见、建议和书面贡献。
9. 咨询论坛可以为审查与本条例目标相关的具体问题的目的酌情设立常设或临时分组。
10. 咨询论坛应准备一份关于其活动的年度报告。该报告应公开发布。
```
第68条
```
```
独立专家科学小组
```
1. 欧盟委员会应通过实施法案,就建立旨在支持本条例下执行活动的独立专家科学小组(“科学小组”)作出规定。
该实施法案应按照第98条第(2)款所述的审查程序通过。
2. 科学小组应由欧盟委员会基于第3款所述任务所需的AI领域最新科学或技术专业知识选拔的专家组成,
并应能够证明满足以下所有条件:
```
(a) 在AI领域具有特定专业知识、能力以及科学或技术专长;
```
```
(b) 独立于任何AI系统或通用人工智能模型的提供者;
```
```
(c) 具有勤勉、准确和客观地开展活动的能力。
```
```
欧盟委员会应与委员会磋商,根据所需需要确定小组的专家人数,并应确保公平的性别和地域代表性。
```
3. 科学小组应向AI Office提供建议和支持,特别是关于以下任务:
```
(a) 支持本条例关于通用人工智能模型和系统的实施和执行,特别是通过:
```
```
(i) 按照第90条提醒AI Office通用人工智能模型在联盟层面可能的系统性风险;
```
```
(ii) 为开发评估通用人工智能模型和系统能力的工具和方法作出贡献,包括通过基准;
```
```
(iii) 就构成系统性风险的通用人工智能模型的分类提供建议;
```
```
(iv) 就各种通用人工智能模型和系统的分类提供建议;
```
# 英文版 欧盟公报 L,12.7.2024
98/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(v) 为开发工具和模板作出贡献;
```
```
(b) 应市场监督机关的请求支持其工作;
```
```
(c) 支持第74条第(11)款所述的跨境市场监督活动,但不影响市场监督机关的权力;
```
```
(d) 支持AI Office在第81条所述的联盟保障程序背景下履行职责。
```
4. 科学小组的专家应公正、客观地履行其任务,并应确保对在其任务和活动过程中获得的信息和数据的保密。
他们在行使第3款规定的任务时不得寻求或接受任何人的指示。每位专家应起草一份利益声明,并应公开发布。
AI Office应建立系统和程序,以积极管理和防止潜在的利益冲突。
5. 第1款所述的实施法案应包括关于科学小组及其成员发出警示以及请求AI Office协助履行科学小组任务的条件、
程序和详细安排的规定。
```
第69条
```
```
成员国获取专家库
```
1. 成员国可以请求科学小组的专家支持其在本条例下的执行活动。
2. 成员国可能需要为专家提供的建议和支持支付费用。费用的结构和水平以及可收回成本的规模和结构应在第68条第(1)款
所述的实施法案中规定,同时考虑本条例充分实施的目标、成本效益以及确保所有成员国有效获取专家的必要性。
3. 欧盟委员会应在必要时便利成员国及时获取专家,并确保根据第84条由联盟AI测试支持开展的支助活动与本条
所述的专家支助活动的组合得到高效组织并提供最佳增值。
```
第二节
```
```
国家主管机关
```
```
第70条
```
```
国家主管机关和单一联系点的指定
```
1. 每个成员国应为本条例的目的建立或指定至少一个通知机关和至少一个市场监督机关作为国家主管机关。这些国家
主管机关应独立、公正、无偏见地行使其权力,以维护其活动和任务的客观性,并确保本条例的适用和实施。这些机关
的成员应避免任何与其职责不相容的行动。只要遵守这些原则,此类活动和任务可以由一个或多个被指定机关按照
成员国的组织需要执行。
2. 成员国应向欧盟委员会通报通知机关和市场监督机关的身份以及这些机关的任务,以及其后的任何变更。成员国应
最迟于2025年8月2日通过电子通信手段公开关于如何联系主管机关和单一联系点的信息。成员国应指定一个市场监督
机关作为——本条例的单一联系点,并应将单一联系点的身份通知欧盟委员会。欧盟委员会应公布单一联系点名单。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 99/144
3. 成员国应确保其国家主管机关获得适当的技术、财政和人力资源以及基础设施,以有效履行其在本条例下的任务。
特别是,国家主管机关应长期拥有足够数量的人员,其能力和专业知识应包括对AI技术、数据和数据计算、个人数据
保护、网络安全、基本权利、健康和安全风险的深入了解,以及对现有标准和法律要求的了解。成员国应每年评估并
在必要时更新本款所述的能力和资源要求。
4. 国家主管机关应采取适当措施确保适当的网络安全水平。
5. 国家主管机关在履行其任务时应按照第78条规定的保密义务行事。
6. 最迟于2025年8月2日及其后每两年一次,成员国应向欧盟委员会报告国家主管机关财政和人力资源的状况,
并对其充分性进行评估。欧盟委员会应将此信息转交委员会讨论和可能的建议。
7. 欧盟委员会应便利国家主管机关之间的经验交流。
8. 国家主管机关可以就本条例的实施提供指导和建议,特别是向中小企业(包括初创企业),并在适当时考虑委员会
和欧盟委员会的指导和建议。当国家主管机关打算就其他联盟法律涵盖领域的AI系统提供指导和建议时,应酌情咨询
该联盟法律下的国家主管机关。
9. 当联盟机构、机关、办公室或署属于本条例范围时,欧洲数据保护监督员应作为对其进行监督的主管机关。
```
第八章
高风险AI系统的欧盟数据库
```
```
第71条
```
```
附件三所列高风险AI系统的欧盟数据库
```
1. 欧盟委员会应与成员国合作,建立和维护一个包含本条第2款和第3款所述信息的欧盟数据库,涉及按照第49条和
第60条登记的、第6条第(2)款所述高风险AI系统,以及根据第6条第(3)款不被视为高风险、按照第6条第(4)款和第49条
登记的AI系统。在制定此类数据库的功能规范时,欧盟委员会应咨询相关专家,在更新此类数据库的功能规范时,
欧盟委员会应咨询委员会。
2. 附件八A节和B节所列数据应由提供者或在适用情况下由授权代表录入欧盟数据库。
3. 附件八C节所列数据应由作为公共机关、机构或团体或代表其行事的部署者按照第49条第(3)款和第(4)款录入
欧盟数据库。
4. 除第49条第(4)款和第60条第(4)款第(c)项所述的部外,按照第49条登记在欧盟数据库中的信息应以用户友好的
方式可访问和公开。信息应易于浏览和机器可读。按照第60条登记的信息应仅可由市场监督机关和欧盟委员会访问,
除非潜在提供者或提供者同意也向公众提供该信息。
5. 欧盟数据库应仅包含按照本条例收集和处理信息所必需的个人数据。该信息应包括负责登记系统并具有法定权力
代表提供者或部署者(视情况而定)的自然人的姓名和联系方式。
# 英文版 欧盟公报 L,12.7.2024
100/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
6. 欧盟委员会应为欧盟数据库的控制者。它应向提供者、潜在提供者和部署者提供适当的技术和行政支持。
欧盟数据库应遵守适用的无障碍要求。
```
第九章
售后监测、信息共享和市场监督
```
```
第一节
```
```
售后监测
```
```
第72条
```
```
提供者的售后监测及高风险AI系统的售后监测计划
```
1. 提供者应以与AI技术性质和高风险AI系统风险相称的方式建立并记录售后监测系统。
2. 售后监测系统应积极和系统地收集、记录和分析部署者可能提供或通过其他来源可能收集的、关于高风险AI系统
整个生命周期内性能的相关数据,这些数据使提供者能够评估AI系统持续符合第三章第二节规定的要求。在相关情况下,
售后监测应包括对其他AI系统互动的分析。该义务不应涵盖属于执法机关的部署者的敏感运营数据。
3. 售后监测系统应基于售后监测计划。售后监测计划应构成附件四所述技术文档的一部分。欧盟委员会应通过实施
法案,最迟于2026年2月2日制定规定,建立售后监测计划的模板以及计划应包含的要素清单。该实施法案应按照
第98条第(2)款所述的审查程序通过。
4. 对于附件一A节所列联盟协调立法所涵盖的高风险AI系统,如果该立法下已建立售后监测系统和计划,为确保一致性、
避免重复和尽量减少额外负担,提供者应可选择酌情使用第3款所述模板,将第1款、第2款和第3款所述的必要要素
整合到该立法下已存在的系统和计划中,前提是实现同等水平的保护。
```
本款第一项也应适用于由须遵守联盟金融服务法律下内部治理、安排或流程要求的金融机构投放市场或投入使用的、
附件三第5点所述高风险AI系统。
```
```
第二节
```
```
关于严重事件的信息共享
```
```
第73条
```
```
严重事件的报告
```
1. 在联盟市场投放高风险AI系统的提供者应向事件发生所在成员国的市场监督机关报告任何严重事件。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 101/144
2. 第1款所述报告应在提供者确定AI系统与严重事件之间存在因果关系或合理可能存在此类联系后立即作出,
且在任何情况下不得迟于提供者或在适用情况下部署者得知该严重事件后15天。
```
第一项所述报告期限应考虑严重事件的严重程度。
```
3. 尽管有本条第2款的规定,在发生第3条第(49)(b)项所定义的广泛侵权或严重事件的情况下,第1款所述报告应立即
提供,且不得迟于提供者或在适用情况下部署者得知该事件后两天。
4. 尽管有第2款的规定,在发生人员死亡的情况下,报告应在提供者或部署者确定或一经怀疑高风险AI系统与严重
事件之间存在因果关系后立即提供,但不得迟于提供者或在适用情况下部署者得知该严重事件之日起10天。
5. 为确保及时报告,提供者或在适用情况下部署者可以提交不完整的初步报告,随后提交完整报告。
6. 在按照第1款报告严重事件后,提供者应及时就严重事件和相关AI系统进行必要的调查。这应包括对事件的风险评估
和纠正措施。
```
提供者应配合主管机关以及在相关情况下配合相关公告机构进行第一项所述调查,并且在通知主管机关之前,
不得进行任何涉及以可能影响对事件原因的任何后续评估的方式改变相关AI系统的调查。
```
7. 收到与第3条第(49)(c)项所述严重事件相关的通知后,相关市场监督机关应告知第77条第(1)款所述的国家公共机关
或机构。欧盟委员会应制定专门指南,以便利遵守本条第1款规定的义务。该指南应于2025年8月2日前发布,并应定期
评估。
8. 市场监督机关应在收到本条第1款所述通知之日起七天内,按照条例(EU)2019/1020号第19条的规定采取适当措施,
并应遵循该条例规定的通知程序。
9. 对于由须遵守与本条例规定报告义务等同的联盟立法文书的提供者投放市场或投入使用的附件三所述高风险AI系统,
严重事件的通知应限于第3条第(49)(c)项所述事件。
10. 对于作为条例(EU)2017/745号和(EU)2017/746号所涵盖设备的安全组件或其本身为设备的高风险AI系统,
严重事件的通知应限于本条例第3条第(49)(c)项所述事件,并应向事件发生地成员国为此目的选择的国家主管机关作出。
11. 国家主管机关应按照条例(EU)2019/1020号第20条,将任何严重事件立即通知欧盟委员会,无论其是否已就该事件
采取行动。
```
第三节
```
```
执行
```
```
第74条
```
```
联盟市场上AI系统的市场监督和控制
```
1. 条例(EU)2019/1020号应适用于本条例所涵盖的AI系统。为有效执行本条例:
# 英文版 欧盟公报 L,12.7.2024
102/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(a) 条例(EU)2019/1020号下对经济经营者的任何引用应被理解为包括本条例第2条第(1)款所识别的所有经营者;
```
```
(b) 条例(EU)2019/1020号下对产品的任何引用应被理解为包括属于本条例范围的所有AI系统。
```
2. 作为其在条例(EU)2019/1020号第34条第(4)款下报告义务的一部分,市场监督机关应每年向欧盟委员会和相关
国家竞争机关报告在市场监督活动过程中发现的、可能对适用联盟竞争规则法律具有潜在利益的信息。它们还应每年
向欧盟委员会报告该年度发生的禁止实践的使用情况以及所采取的措施。
3. 对于与附件一A节所列联盟协调立法所涵盖产品相关的高风险AI系统,就本条例而言的市场监督机关应是依据这些
法律文书指定的负责市场监督活动的机关。
```
作为第一项的减损,并在适当情况下,成员国可以指定另一相关机关作为市场监督机关,前提是确保与负责执行附件一
所列联盟协调立法的相关部门市场监督机关进行协调。
```
4. 本条例第79至83条所述程序不应适用于与附件一A节所列联盟协调立法所涵盖产品相关的AI系统,前提是这些法律
文书已规定确保同等保护水平且具有相同目标的程序。在此类情况下,应适用相关部门程序。
5. 在不影响市场监督机关在条例(EU)2019/1020号第14条下权力的前提下,为确保本条例的有效执行,市场监督
机关可以酌情远程行使该条例第14条第(4)款第(d)项和第(j)项所述的权力。
6. 对于由受联盟金融服务法律监管的金融机构投放市场、投入使用或使用的高风险AI系统,就本条例而言的市场监督
机关应是依据该立法负责对这些机构进行金融监管的相关国家机关,只要AI系统的投放市场、投入使用或使用与这些
金融服务的提供直接相关。
7. 作为第6款的减损,在适当情况下并提供协调得到确保的情况下,成员国可以指定另一相关机关作为本条例目的
的市场监督机关。
```
监督依据指令2013/36/EU受监管并参与条例(EU)第1024/2013号建立的单一监督机制的受监管信贷机构的国家市场
监督机关,应及时向欧洲中央银行报告在其市场监督活动过程中发现的、可能对欧洲中央银行在该条例中规定的审慎
监督任务具有潜在利益的信息。
```
8. 对于本条例附件三第1点所列高风险AI系统(只要这些系统用于执法、边境管理以及司法和民主目的),以及本
条例附件三第6点、第7点和第8点所列高风险AI系统,成员国应指定条例(EU)2016/679号或指令(EU)2016/680号
下的主管数据保护监督机关,或按照指令(EU)2016/680号第41至44条规定的相同条件指定的任何其他机关,作为本
条例目的的市场监督机关。市场监督活动绝不应影响司法机关的独立性,也不得以其他方式干扰其在司法职能中的活动。
9. 当联盟机构、机关、办公室或署属于本条例范围时,欧洲数据保护监督员应作为其市场监督机关,但以司法职能
行事的欧洲联盟法院除外。
10. 成员国应便利根据本条例指定的市场监督机关与监督附件一所列联盟协调立法或其他可能对附件三所述高风险AI
系统相关的联盟法律的适用的其他相关国家机关或机构之间的协调。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 103/144
11. 市场监督机关和欧盟委员会应能够提议联合活动,包括由市场监督机关或市场监督机关与欧盟委员会联合进行的
联合调查,其目的是按照条例(EU)2019/1020号第9条,就被发现在两个或更多成员国构成严重风险的特定类别高风险
AI系统促进合规、识别不合规、提高认识或提供与本条例相关的指导。AI Office应为联合调查提供协调支持。
12. 在不影响条例(EU)2019/1020号规定的权力的前提下,并在相关且限于履行其任务所必需的情况下,提供者应
向市场监督机关授予对用于开发高风险AI系统的文件以及训练、验证和测试数据集的完全访问权限,包括在适当情况下
并遵守安全保障,通过应用程序编程接口(API)或其他相关技术手段和工具实现远程访问。
13. 市场监督机关应在合理请求下获得高风险AI系统的源代码访问权,且仅在满足以下两个条件时:
```
(a) 访问源代码对于评估高风险AI系统是否符合第三章第二节规定的要求是必要的;且
```
```
(b) 基于提供者提供的数据和文件的测试或审计程序和验证已被用尽或证明不充分。
```
14. 市场监督机关获得的任何信息或文件应按照第78条规定的保密义务处理。
```
第75条
```
```
相互协助、通用人工智能系统的市场监督和控制
```
1. 当AI系统基于通用人工智能模型且模型和系统由同一提供者开发时,AI Office应有权监测和监督该AI系统遵守
本条例下的义务。为履行其监测和监督任务,AI Office应拥有本节和条例(EU)2019/1020号规定的市场监督机关的
所有权力。
2. 当相关市场监督机关有充分理由认为可被部署者直接用于至少一个根据本条例被归类为高风险目的的通用人工智能
系统不符合本条例规定的要求时,应与AI Office合作进行合规评估,并应相应通知委员会和其他市场监督机关。
3. 当市场监督机关尽管已作出所有适当努力获取与通用人工智能模型相关的某些信息,但仍因无法获取这些信息而
无法结束对高风险AI系统的调查时,可以向AI Office提交合理请求,据此强制执行对该信息的访问。在此情况下,
AI Office应及时(且在任何情况下不超过30天)向申请机关提供AI Office认为与确定高风险AI系统是否不合规相关的
任何信息。市场监督机关应按照本条例第78条保障其获得的信息的保密性。条例(EU)2019/1020号第六章规定的程序
应比照适用。
```
第76条
```
```
市场监督机关对真实世界条件测试的监督
```
1. 市场监督机关应拥有确保真实世界条件测试符合本条例的权限和权力。
# 英文版 欧盟公报 L,12.7.2024
104/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 当为在第58条下AI监管沙盒内受监督的AI系统进行真实世界条件测试时,市场监督机关应作为其AI监管沙盒监督
角色的一部分核验对第60条的遵守情况。这些机关可以酌情允许提供者或潜在提供者进行真实世界条件测试,
作为第60条第(4)款第(f)项和第(g)项所规定条件的减损。
3. 当市场监督机关收到潜在提供者、提供者或任何第三方关于严重事件的通知,或有其他理由认为第60条和第61条
规定的条件未得到满足时,可以酌情在其领土上作出以下任一决定:
```
(a) 中止或终止真实世界条件测试;
```
```
(b) 要求提供者或潜在提供者以及部署者或潜在部署者修改真实世界条件测试的任何方面。
```
4. 当市场监督机关作出本条第3款所述决定,或发出第60条第(4)款第(b)项意义上的反对时,该决定或反对应说明
其理由以及提供者或潜在提供者可以如何质疑该决定或反对。
5. 当市场监督机关作出第3款所述决定时(如适用),应向已按照测试计划对该AI系统进行测试的其他成员国的市场
监督机关传达其理由。
```
第77条
```
```
保护基本权利的机关的权力
```
1. 监督或执行联盟法律所保护基本权利(包括不受歧视的权利)义务得到遵守的国家公共机关或机构,就附件三所述
高风险AI系统的使用而言,在访问本条例下创建或维护的任何文件对于在其管辖范围内有效履行其任务所必需时,
应有权以可获取的语言和格式请求和访问该文件。相关公共机关或机构应将任何此类请求告知相关成员国的市场监督
机关。
2. 最迟于2024年11月2日,每个成员国应识别第1款所述的公共机关或机构并公布其名单。成员国应将名单通知欧盟
委员会和其他成员国,并应保持名单最新。
3. 当第1款所述文件不足以确定是否发生违反保护基本权利的联盟法律义务的情况时,第1款所述公共机关或机构可以
向市场监督机关提出合理请求,通过技术手段组织对高风险AI系统的测试。市场监督机关应在请求后的合理时间内,
在提出请求的公共机关或机构的密切参与下组织测试。
4. 本条第1款所述国家公共机关或机构根据本条获得的任何信息或文件,应按照第78条规定的保密义务处理。
```
第78条
```
```
保密
```
1. 欧盟委员会、市场监督机关和公告机构以及参与适用本条例的任何其他自然人或法人,应按照联盟或国家法律,
尊重其在履行任务和活动过程中获得的信息和数据的保密性,以特别保护:
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 105/144
```
(a) 自然人或法人的知识产权和保密商业信息或商业秘密,包括源代码,但欧洲议会和理事会指令(EU)2016/943号(^57)
第5条所述情况除外;
```
```
(b) 本条例的有效实施,特别是为检查、调查或审计的目的;
```
```
(c) 公共和国家安全利益;
```
```
(d) 刑事或行政程序的进行;
```
```
(e) 按照联盟或国家法律分类的信息。
```
2. 按照第1款参与适用本条例的机关应仅请求为评估AI系统构成的风险以及按照本条例和条例(EU)2019/1020号
行使其权力所严格必要的数据。它们应建立适当和有效的网络安全措施——以保护所获信息和数据的安全和保密性,并应按照适用的联盟或国家法律,在所获数据不再需要用于其获取目的时尽快
删除所收集的数据。
3. 在不影响第1款和第2款的前提下,国家主管机关之间或国家主管机关与欧盟委员会之间以保密方式交换的信息,
在事先咨询始发国家主管机关以及(当附件三第1点、第6点或第7点所述高风险AI系统由执法、边境管制、移民或庇护
机关使用且此类披露会危及公共和国家安全利益时)部署者之前,不得披露。该信息交换不应涵盖与执法、边境管制、
移民或庇护机关活动相关的敏感运营数据。
```
当执法、移民或庇护机关是附件三第1点、第6点或第7点所述高风险AI系统的提供者时,附件四所述的技术文档应保留
在这些机关的场所内。这些机关应确保第74条第(8)款和第(9)款(视适用情况)所述的市场监督机关能够应请求立即
访问该文档或获得其副本。只有持有适当安全许可级别的市场监督机关工作人员才能被允许访问该文档或其任何副本。
```
4. 第1款、第2款和第3款不应影响欧盟委员会、成员国及其相关机关以及公告机构在信息交换和警告传播(包括在
跨境合作背景下)方面的权利或义务,也不应影响当事方按照成员国刑法提供信息的义务。
5. 欧盟委员会和成员国可以在必要时并按照国际和贸易协定的相关规定,与已与其缔结保证适当保密水平的双边或多边
保密安排的第三国监管机关交换保密信息。
```
第79条
```
```
国家层面处理构成风险的AI系统的程序
```
1. 构成风险的AI系统应被理解为条例(EU)2019/1020号第3条第19点所定义的“构成风险的产品”,只要它们对人员
的健康或安全或基本权利构成风险。
2. 当一成员国的市场监督机关有充分理由认为某AI系统构成本条第1款所述风险时,应就该AI系统是否符合本条例
规定的所有要求和义务进行评估。应特别关注对弱势群体构成风险的AI系统。当识别到基本权利风险时,市场监督机关
还应告知第77条第(1)款所述的相关国家公共机关或机构并与其充分合作。相关经营者应在必要时与市场监督机关以及
第77条第(1)款所述的其他国家公共机关或机构合作。
# 英文版 欧盟公报 L,12.7.2024
106/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(^57) 欧洲议会和理事会2016年6月8日指令(EU)2016/943号,关于保护未披露的专有技术和商业信息(商业秘密)免遭
非法获取、使用和披露(欧盟公报 L 157,2016年6月15日,第1页)。
```
```
如果在评估过程中,市场监督机关或在适用情况下与第77条第(1)款所述国家公共机关合作的市场监督机关发现该AI
系统不符合本条例规定的要求和义务,应及时要求相关经营者采取所有适当的纠正措施,使AI系统符合要求、将AI系统
撤出市场,或在其规定的期限内(且在任何情况下不超过15个工作日或相关联盟协调立法规定的较短期限)召回。
```
```
市场监督机关应相应告知相关公告机构。条例(EU)2019/1020号第18条应适用于本款第二项所述措施。
```
3. 当市场监督机关认为不合规不仅限于其国家领土时,应及时将评估结果以及其已要求经营者采取的行动告知欧盟
委员会和其他成员国。
4. 经营者应确保就其已在联盟市场上提供的所有相关AI系统采取所有适当的纠正措施。
5. 当AI系统的经营者未在第2款所述期限内采取适当的纠正措施时,市场监督机关应采取所有适当的临时措施,
禁止或限制该AI系统在其国家市场上提供或投入使用,将产品或独立AI系统撤出该市场或将其召回。该机关应及时
将这些措施通知欧盟委员会和其他成员国。
6. 第5款所述通知应包括所有可得详情,特别是识别不合规AI系统所需的信息、AI系统的来源和供应链、所指称的
不合规性质和所涉风险、所采取的国家措施的性质和持续时间以及相关经营者提出的论据。特别是,市场监督机关应
表明不合规是否由以下一种或多种原因造成:
```
(a) 违反第5条所述AI实践的禁止;
```
```
(b) 高风险AI系统未能满足第三章第二节规定的要求;
```
```
(c) 第40条和第41条所述的、赋予符合性推定的协调标准或共同规范存在缺陷;
```
```
(d) 违反第50条。
```
7. 除启动程序的成员国市场监督机关以外的市场监督机关,应及时将采取的任何措施以及其掌握的与相关AI系统
不合规相关的任何额外信息告知欧盟委员会和其他成员国,并在对已通知的国家措施持不同意见时告知其反对意见。
8. 如果在收到本条第5款所述通知后三个月内,一成员国的市场监督机关或欧盟委员会均未对另一成员国市场监督机关
采取的临时措施提出反对,则该措施应被视为有理由。这不应影响相关经营者按照条例(EU)2019/1020号第18条享有
的程序性权利。在违反本条例第5条所述AI实践禁止的情况下,本款所述三个月期限应缩短为30天。
9. 市场监督机关应确保对相关产品或AI系统采取适当的限制措施,如将产品或AI系统撤出其市场,且无不当延迟。
```
第80条
```
```
处理提供者依据附件三归类为非高风险AI系统的程序
```
1. 当市场监督机关有充分理由认为提供者根据第6条第(3)款归类为非高风险的AI系统实际上属于高风险时,市场监督
机关应基于第6条第(3)款规定的条件和欧盟委员会指南,就该AI系统作为高风险AI系统的分类进行评估。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 107/144
2. 如果在评估过程中,市场监督机关发现相关AI系统属于高风险,应及时要求相关提供者采取所有必要行动,使AI
系统符合本条例规定的要求和义务,并在市场监督机关可规定的期限内采取适当的纠正措施。
3. 当市场监督机关认为相关AI系统的使用不仅限于其国家领土时,应及时将评估结果以及其已要求提供者采取的行动
告知欧盟委员会和其他成员国。
4. 提供者应确保采取所有必要行动,使AI系统符合本条例规定的要求和义务。当相关AI系统的提供者未在本条第2款
所述期限内使AI系统符合这些要求和义务时,应按照第99条对提供者处以罚款。
5. 提供者应确保就其已在联盟市场上提供的所有相关AI系统采取所有适当的纠正措施。
6. 当相关AI系统的提供者未在本条第2款所述期限内采取适当的纠正措施时,应适用第79条第(5)至(9)款。
7. 如果在根据本条第1款进行的评估过程中,市场监督机关确定提供者为规避第三章第二节要求的适用而将AI系统
错误归类为非高风险,则应按照第99条对提供者处以罚款。
8. 在行使其监测本条适用的权力时,并按照条例(EU)2019/1020号第11条,市场监督机关可以进行适当的检查,
特别考虑存储在本条例第71条所述欧盟数据库中的信息。
```
第81条
```
```
联盟保障程序
```
1. 如果在收到第79条第(5)款所述通知后三个月内(在违反第5条所述AI实践禁止的情况下为30天内),一成员国的
市场监督机关对另一市场监督机关采取的措施提出反对,或欧盟委员会认为该措施违反联盟法律,欧盟委员会应及时
与相关成员国的市场监督机关和一个或多个经营者进行磋商,并评估该国家措施。基于评估结果,欧盟委员会应自
第79条第(5)款所述通知起六个月内(在违反第5条所述AI实践禁止的情况下为60天内)决定该国家措施是否有理由,
并将其决定通知相关成员国的市场监督机关。欧盟委员会还应将其决定告知所有其他市场监督机关。
2. 当欧盟委员会认为相关成员国采取的措施有理由时,所有成员国应确保就相关AI系统采取适当的限制措施,
如要求无不当延迟地将AI系统撤出其市场,并应相应告知欧盟委员会。当欧盟委员会认为该国家措施没有理由时,
相关成员国应撤销该措施并相应告知欧盟委员会。
3. 当国家措施被认为有理由且AI系统的不合规归因于本条例第40条和第41条所述的协调标准或共同规范的缺陷时,
欧盟委员会应适用条例(EU)第1025/2012号第11条规定的程序。
```
第82条
```
```
符合要求但构成风险的AI系统
```
1. 当一成员国的市场监督机关在根据第79条进行评估后,并在咨询第77条第(1)款所述的相关国家公共机关后,
发现尽管高风险AI系统符合本条例,但仍对人的健康或安全、基本权利或其他公共利益保护方面构成风险时,
应要求相关经营者采取所有适当措施,确保相关AI系统在投放市场或投入使用后不再构成该风险,且无不当延迟,
在机关可规定的期限内采取。
# 英文版 欧盟公报 L,12.7.2024
108/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
2. 提供者或其他相关经营者应确保在第1款所述成员国市场监督机关规定的时间表内,就其已在联盟市场上提供的所有
相关AI系统采取纠正措施。
3. 成员国应立即将根据第1款的调查结果告知欧盟委员会和其他成员国。该信息应包括所有可得详情,特别是识别
相关AI系统所需的数据、AI系统的来源和供应链、所涉风险的性质以及所采取的国家措施的性质和持续时间。
4. 欧盟委员会应及时与相关成员国和相关经营者进行磋商,并评估所采取的国家措施。基于评估结果,欧盟委员会应
决定该措施是否有理由,并在必要时提议其他适当措施。
5. 欧盟委员会应立即将其决定传达给相关成员国和相关经营者。它还应告知其他成员国。
```
第83条
```
```
形式性不合规
```
1. 当一成员国的市场监督机关作出以下任一调查结果时,应要求相关提供者在其可规定的期限内结束相关不合规:
```
(a) CE标志的加贴违反第48条;
```
```
(b) 未加贴CE标志;
```
```
(c) 未起草第47条所述的欧盟符合性声明;
```
```
(d) 第47条所述的欧盟符合性声明起草不正确;
```
```
(e) 未在第71条所述的欧盟数据库中登记;
```
```
(f) 在适用情况下未指定授权代表;
```
```
(g) 技术文档不可用。
```
2. 当第1款所述的不合规持续存在时,相关成员国的市场监督机关应采取适当和相称的措施,限制或禁止高风险AI系统
在市场上提供,或确保其被及时召回或撤出市场。
```
第84条
```
```
联盟AI测试支持结构
```
1. 欧盟委员会应指定一个或多个联盟AI测试支持结构,以在AI领域执行条例(EU)2019/1020号第21条第(6)款所列
任务。
2. 在不影响第1款所述任务的前提下,联盟AI测试支持结构还应应委员会、欧盟委员会或市场监督机关的请求提供
独立的技术或科学建议。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 109/144
```
第四节
```
```
救济
```
```
第85条
向市场监督机关提出投诉的权利
```
```
在不影响其他行政或司法救济的前提下,任何有理由认为本条例的规定受到侵犯的自然人或法人可以向相关的市场监督
机关提交投诉。
```
```
按照条例(EU)2019/1020号,此类投诉应被考虑用于开展市场监督活动,并应按照市场监督机关为此设立的专门程序
处理。
```
```
第86条
```
```
对个人决策的解释权
```
1. 任何受部署者基于附件三所列高风险AI系统(第2点所列系统除外)输出作出的决定约束、且该决定产生法律效力
或以他们视为对其健康、安全或基本权利产生不利影响的类似方式显著影响他们的受影响者,应有权从部署者处获得
关于AI系统在决策程序中的作用以及所作决定主要要素的清晰而有意义的解释。
2. 第1款不适用于联盟或国家法律按照联盟法律对在该款下义务规定例外或限制的AI系统的使用。
3. 本条仅在联盟法律未以其他方式规定第1款所述权利的范围内适用。
```
第87条
```
```
违规报告和举报人保护
```
```
指令(EU)2019/1937号应适用于举报违反本条例的行为以及保护举报此类违法行为的人员。
```
```
第五节
```
```
对通用人工智能模型提供者的监督、调查、执行和监测
```
```
第88条
```
```
对通用人工智能模型提供者义务的执行
```
1. 欧盟委员会应拥有监督和执行第五章的专属权力,同时考虑第94条下的程序性保障。欧盟委员会应将执行这些任务
委托给AI Office,但不影响欧盟委员会的组织权力以及基于条约的成员国与联盟之间的权限划分。
2. 在不影响第75条第(3)款的前提下,市场监督机关可以在必要和相称以协助其履行本条例下任务时,
请求欧盟委员会行使本节规定的权力。
# 英文版 欧盟公报 L,12.7.2024
110/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第89条
```
```
监测行动
```
1. 为执行本节委托给它的任务,AI Office可以采取必要行动,监测通用人工智能模型提供者对本条例的有效实施和
遵守情况,包括其遵守经批准的行为准则的情况。
2. 下游提供者应有权就违反本条例的行为提出投诉。投诉应适当说明理由,并至少指明:
```
(a) 相关通用人工智能模型提供者的联系点;
```
```
(b) 对相关事实、本条例相关条款的描述,以及下游提供者认为相关通用人工智能模型提供者违反本条例的原因;
```
```
(c) 发送请求的下游提供者认为相关的任何其他信息,包括在适当时自行收集的信息。
```
```
第90条
```
```
科学小组的系统性风险警示
```
1. 科学小组在有理由怀疑以下情况时,可以向AI Office发出合格警示:
```
(a) 通用人工智能模型在联盟层面构成具体可识别的风险;或
```
```
(b) 通用人工智能模型满足第51条所述条件。
```
2. 在此类合格警示发出后,欧盟委员会可以通过AI Office并在通知委员会后,为评估该事项的目的行使本节规定的
权力。AI Office应告知委员会根据第91至94条采取的任何措施。
3. 合格警示应适当说明理由,并至少指明:
```
(a) 相关构成系统性风险的通用人工智能模型提供者的联系点;
```
```
(b) 对相关事实的描述以及科学小组发出警示的理由;
```
```
(c) 科学小组认为相关的任何其他信息,包括在适当时自行收集的信息。
```
```
第91条
```
```
请求提供文件和信息的权力
```
1. 欧盟委员会可以请求相关通用人工智能模型的提供者提供提供者按照第53条和第55条起草的文件,或为评估提供者
是否遵守本条例所需的任何额外信息。
2. 在发送信息请求之前,AI Office可以与通用人工智能模型的提供者启动结构化对话。
3. 应科学小组经适当证实的请求,当获取信息对于履行科学小组在第68条第(2)款下的任务是必要且相称的时,
欧盟委员会可以向通用人工智能模型的提供者发出信息请求。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 111/144
4. 信息请求应说明请求的法律依据和目的,具体说明要求提供的信息,设定提供信息的期限,并指明第101条对提供
不正确、不完整或误导性信息规定的罚款。
5. 相关通用人工智能模型的提供者或其代表应提供所请求的信息。在法人的情况下,公司或企业,或当提供者没有
法人资格时,经授权——由法律或章程授权代表其的人员,应代表相关通用人工智能模型的提供者提供所请求的信息。经正式授权的律师可以代表
其客户提供信息。但如果提供的信息不完整、不正确或具有误导性,客户仍应承担全部责任。
```
第92条
```
```
进行评估的权力
```
1. AI Office在咨询委员会后,可以对相关通用人工智能模型进行评估:
```
(a) 评估提供者是否遵守本条例下的义务,前提是根据第91条收集的信息不足;或
```
```
(b) 调查构成系统性风险的通用人工智能模型在联盟层面的系统性风险,特别是在按照第90条第(1)款第(a)项收到科学
小组的合格警示之后。
```
2. 欧盟委员会可以决定指定独立专家(包括来自根据第68条建立的科学小组的专家)代表其进行评估。为此任务指定的
独立专家应满足第68条第(2)款概述的标准。
3. 为第1款的目的,欧盟委员会可以请求通过API或其他适当的技术手段和工具(包括源代码)访问相关通用人工智能模型。
4. 访问请求应说明请求的法律依据、目的和理由,并设定提供访问的期限以及第101条对未能提供访问规定的罚款。
5. 相关通用人工智能模型的提供者或其代表应提供所请求的信息。在法人的情况下,公司或企业,或当提供者没有法人
资格时,由法律或章程授权代表其的人员,应代表相关通用人工智能模型的提供者提供所请求的访问。
6. 欧盟委员会应通过实施法案规定评估的详细安排和条件,包括聘请独立专家的详细安排及其遴选程序。这些实施法案
应按照第98条第(2)款所述的审查程序通过。
7. 在请求访问相关通用人工智能模型之前,AI Office可以与通用人工智能模型的提供者启动结构化对话,以收集关于
模型内部测试、防止系统性风险的内部保障措施以及提供者为减轻此类风险而采取的其他内部程序和措施的更多信息。
```
第93条
```
```
请求采取措施的权力
```
1. 在必要和适当时,欧盟委员会可以请求提供者:
```
(a) 采取适当措施遵守第53条和第54条规定的义务;
```
# 英文版 欧盟公报 L,12.7.2024
112/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(b) 在按照第92条进行的评估引起对联盟层面系统性风险的严重和经证实的关切时,实施缓解措施;
```
```
(c) 限制模型的提供上市、撤回或召回模型。
```
2. 在请求采取措施之前,AI Office可以与通用人工智能模型的提供者启动结构化对话。
3. 如果在第2款所述的结构化对话期间,构成系统性风险的通用人工智能模型的提供者承诺实施缓解措施以处理联盟
层面的系统性风险,欧盟委员会可以通过决定使这些承诺具有约束力,并宣布没有进一步采取行动的理由。
```
第94条
```
```
通用人工智能模型经济经营者的程序性权利
```
```
条例(EU)2019/1020号第18条应比照适用于通用人工智能模型的提供者,但不影响本条例规定的更具体的程序性权利。
```
```
第十章
行为准则和指南
```
```
第95条
```
```
自愿适用特定要求的行为准则
```
1. AI Office和成员国应鼓励并便利制定旨在促进将第三章第二节规定的部分或全部要求自愿适用于高风险AI系统以外的
AI系统的行为准则(包括相关治理机制),同时考虑可用的技术解决方案和允许适用此类要求的行业最佳实践。
2. AI Office和成员国应便利制定关于将特定要求(包括由部署者)自愿适用于所有AI系统的行为准则,基于明确的目标
和衡量这些目标实现情况的关键绩效指标,包括但不限于以下要素:
```
(a) 联盟值得信赖AI伦理指南中规定的适用要素;
```
```
(b) 评估和尽量减少AI系统对环境可持续性的影响,包括节能编程以及AI高效设计、训练和使用的技术;
```
```
(c) 促进AI素养,特别是从事AI开发、运营和使用的人员的AI素养;
```
```
(d) 便利AI系统的包容和多元设计,包括通过建立包容和多元的开发团队以及促进利益相关方参与该过程;
```
```
(e) 评估和防止AI系统对弱势个人或弱势人群的负面影响,包括对残疾人无障碍以及性别平等方面的负面影响。
```
3. 行为准则可以由AI系统的个别提供者或部署者或代表它们的组织,或由两者共同制定,包括在任何感兴趣的利益
相关方及其代表组织(包括民间社会组织和学术界)的参与下制定。行为准则可以涵盖一个或多个AI系统,同时考虑
相关系统预期用途的相似性。
4. AI Office和成员国在鼓励和便利制定行为准则时,应考虑中小企业(包括初创企业)的具体利益和需要。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 113/144
```
第96条
```
```
欧盟委员会关于本条例实施的指南
```
1. 欧盟委员会应制定关于本条例实际实施的指南,特别是关于:
```
(a) 第8至15条和第25条所述要求和义务的适用;
```
```
(b) 第5条所述的禁止实践;
```
```
(c) 与重大修改相关规定的实际实施;
```
```
(d) 第50条规定的透明度义务的实际实施;
```
```
(e) 关于本条例与附件一所列联盟协调立法以及其他相关联盟法律之间关系的详细信息,包括执行一致性方面;
```
```
(f) 第3条第(1)点所规定的AI系统定义的适用。
```
```
在发布此类指南时,欧盟委员会应特别关注中小企业(包括初创企业)、地方公共机关以及最可能受本条例影响的部门的
需要。
```
```
本款第一项所述指南应适当考虑公认的AI最新技术水平,以及第40条和第41条所述的相关协调标准和共同规范,
或根据联盟协调法律制定的那些协调标准或技术规范。
```
2. 应成员国或AI Office的请求,或自行,欧盟委员会应在认为必要时更新先前通过的指南。
```
第十一章
权力授予和委员会程序
```
```
第97条
```
```
授权的行使
```
1. 通过授权法案的权力授予欧盟委员会,但须遵守本条规定的条件。
2. 第6条第(6)款和第(7)款、第7条第(1)款和第(3)款、第11条第(3)款、第43条第(5)款和第(6)款、第47条第(5)款、
第51条第(3)款、第52条第(4)款以及第53条第(5)款和第(6)款所述的通过授权法案的权力授予欧盟委员会,期限为
自2024年8月1日起五年。欧盟委员会应不迟于五年期限结束前九个月起草关于授权情况的报告。授权应默示延长相同
期限的期间,除非欧洲议会或理事会在每个期间结束前不迟于三个月反对该延长。
3. 第6条第(6)款和第(7)款、第7条第(1)款和第(3)款、第11条第(3)款、第43条第(5)款和第(6)款、第47条第(5)款、
第51条第(3)款、第52条第(4)款以及第53条第(5)款和第(6)款所述的授权可以随时由欧洲议会或理事会撤销。
撤销决定应终止该决定中指定的授权。撤销应在其于欧盟官方公报上公布之日的次日或其中指定的较晚日期生效。
它不应影响任何已生效授权法案的有效性。
4. 在通过授权法案之前,欧盟委员会应按照2016年4月13日《关于改进立法的机构间协定》规定的原则,
咨询每个成员国指定的专家。
# 英文版 欧盟公报 L,12.7.2024
114/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
5. 欧盟委员会一经通过授权法案,应同时通知欧洲议会和理事会。
6. 根据第6条第(6)款或第(7)款、第7条第(1)款或第(3)款、第11条第(3)款、第43条第(5)款或第(6)款、第47条第(5)款、
第51条第(3)款、第52条第(4)款或第53条第(5)款或第(6)款通过的任何授权法案,只有在欧洲议会或理事会在——将该法案通知欧洲议会和理事会之日起三个月内未提出反对,或者在该期限届满前,欧洲议会和理事会均已告知欧盟委员会
它们不会反对的情况下方可生效。该期限应欧洲议会或理事会的动议延长三个月。
```
第98条
```
```
委员会程序
```
1. 欧盟委员会应得到一个委员会的协助。该委员会应是条例(EU)第182/2011号意义上的委员会。
2. 凡提及本款,应适用条例(EU)第182/2011号第5条。
```
第十二章
处罚
```
```
第99条
处罚
```
1. 按照本条例规定的条款和条件,成员国应制定适用于经营者违反本条例的处罚和其他执行措施规则(也可包括警告和
非货币措施),并应采取一切必要措施确保其得到适当和有效的实施,同时考虑欧盟委员会根据第96条发布的指南。
规定的处罚应有效、相称和具有劝阻性。它们应考虑中小企业(包括初创企业)的利益及其经济可行性。
2. 成员国应及时且最迟在适用之日起,将第1款所述的处罚规则和其他执行措施通知欧盟委员会,并应及时通知其后的
任何修订。
3. 违反第5条所述AI实践禁止的,应处以最高3500万欧元的行政罚款,或者,如果违法者是经营者,则处以最高占其
上一财政年度全球年营业额7%的罚款,以较高者为准。
4. 违反与经营者或公告机构相关的以下任何规定(第5条规定者除外)的,应处以最高1500万欧元的行政罚款,或者,
如果违法者是经营者,则处以最高占其上一财政年度全球年营业额3%的罚款,以较高者为准:
```
(a) 提供者根据第16条承担的义务;
```
```
(b) 授权代表根据第22条承担的义务;
```
```
(c) 进口商根据第23条承担的义务;
```
```
(d) 分销商根据第24条承担的义务;
```
```
(e) 部署者根据第26条承担的义务;
```
```
(f) 公告机构根据第31条、第33条第(1)款、第(3)款和第(4)款或第34条承担的要求和义务;
```
```
(g) 提供者和部署者根据第50条承担的透明度义务。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 115/144
5. 在答复请求时向公告机构或国家主管机关提供不正确、不完整或误导性信息的,应处以最高750万欧元的行政罚款,
或者,如果违法者是经营者,则处以最高占其上一财政年度全球年营业额1%的罚款,以较高者为准。
6. 就中小企业(包括初创企业)而言,本条所述的每项罚款应不超过第3款、第4款和第5款所述百分比或金额中的
较低者。
7. 在决定是否处以行政罚款以及决定每个个案中的行政罚款金额时,应考虑具体情况的所有相关情形,并酌情考虑
以下因素:
```
(a) 违法行为的性质、严重程度和持续时间及其后果,同时考虑AI系统的目的以及在适当时受影响的人数和其所受损害
的程度;
```
```
(b) 其他市场监督机关是否已就同一经营者对同一违法行为处以行政罚款;
```
```
(c) 当此类违法行为源于构成违反本条例相关规定的同一活动或不作为时,其他机关是否已就违反其他联盟或国家法律
对同一经营者处以行政罚款;
```
```
(d) 实施违法行为的经营者的规模、年营业额和市场份额;
```
```
(e) 适用于案件情形的任何其他加重或减轻因素,如从违法行为中直接或间接获得的经济利益或避免的损失;
```
```
(f) 与国家主管机关合作以补救违法行为并减轻违法行为可能的不利影响的程度;
```
```
(g) 考虑经营者已实施的技术和组织措施的经营者的责任程度;
```
```
(h) 国家主管机关得知违法行为的途径,特别是经营者是否以及以何种程度通知了违法行为;
```
```
(i) 违法行为的故意或过失性质;
```
```
(j) 经营者为减轻受影响者所遭受损害而采取的任何行动。
```
8. 每个成员国应制定规则,规定可以在多大程度上对在该成员国设立的公共机关和机构处以行政罚款。
9. 根据成员国的法律制度,行政罚款规则可以以由成员国主管国家法院或其他机构处以罚款的方式适用。
此类规则在这些成员国的适用应具有同等效力。
10. 本条下权力的行使应遵守符合联盟和国家法律的适当程序性保障,包括有效的司法救济和正当程序。
11. 成员国应每年向欧盟委员会报告其根据本条在该年度处以的行政罚款以及任何相关的诉讼或司法程序。
```
第100条
```
```
对联盟机构、机关、办公室和署的行政罚款
```
1. 欧洲数据保护监督员可以对属于本条例范围的联盟机构、机关、办公室和署处以行政罚款。在决定是否处以行政
罚款以及决定每个个案中的行政罚款金额时,应考虑具体情况的所有相关情形,并适当考虑以下因素:
# 英文版 欧盟公报 L,12.7.2024
116/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(a) 违法行为的性质、严重程度和持续时间及其后果,同时考虑相关AI系统的目的以及在适当时受影响的人数和其所受
损害的程度;
```
```
(b) 考虑其已实施的技术和组织措施的联盟机构、机关、办公室或署的责任程度;
```
```
(c) 联盟机构、机关、办公室或署为减轻受影响者所遭受损害而采取的任何行动;
```
```
(d) 与欧洲数据保护监督员合作以补救违法行为并减轻违法行为可能的不利影响的程度,包括遵守欧洲数据保护监督员
先前就同一主题事项对相关联盟机构、机关、办公室或署命令的任何措施;
```
```
(e) 联盟机构、机关、办公室或署的任何类似的先前违法行为;
```
```
(f) 欧洲数据保护监督员得知违法行为的途径,特别是联盟机构、机关、办公室或署是否以及以何种程度通知了违法行为;
```
```
(g) 联盟机构、机关、办公室或署的年度预算。
```
2. 违反第5条所述AI实践禁止的,应处以最高150万欧元的行政罚款。
3. 除第5条规定者外,AI系统违反本条例下的任何要求或义务的,应处以最高75万欧元的行政罚款。
4. 在根据本条作出决定之前,欧洲数据保护监督员应给予作为欧洲数据保护监督员所进行程序对象的联盟机构、机关、
办公室或署就可能的违规事项陈述意见的机会。欧洲数据保护监督员应仅基于当事方能够发表意见的要素和情形作出
决定。投诉人(如有)应与程序密切联系。
5. 当事方的辩护权应在程序中得到充分尊重。他们应有权查阅欧洲数据保护监督员的档案,但须遵守个人或企业在保护
其个人数据或商业秘密方面的合法利益。
6. 通过本条处以罚款收取的资金应纳入联盟总预算。罚款不应影响被罚款的联盟机构、机关、办公室或署的有效运作。
7. 欧洲数据保护监督员应每年将其根据本条处以的行政罚款以及其提起的任何诉讼或司法程序通知欧盟委员会。
```
第101条
```
```
对通用人工智能模型提供者的罚款
```
1. 当欧盟委员会发现提供者故意或过失地实施了以下行为时,可以对通用人工智能模型的提供者处以不超过其上一
财政年度全球年营业额3%或1500万欧元的罚款,以较高者为准:
```
(a) 违反本条例的相关规定;
```
```
(b) 未能遵守根据第91条提出的文件或信息请求,或提供不正确、不完整或误导性信息;
```
(c) 未能遵守根据第93条请求的措施;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 117/144
```
(d) 未能向欧盟委员会提供对通用人工智能模型或构成系统性风险的通用人工智能模型的访问权限,以便按照第92条
进行评估。
```
```
在确定罚款或定期罚款金额时,应考虑违法行为的性质、严重程度和持续时间,并适当考虑相称性和适当性原则。
欧盟委员会还应考虑按照第93条第(3)款作出的承诺或按照第56条在相关行为准则中作出的承诺。
```
2. 在根据第1款作出决定之前,欧盟委员会应将其初步调查结果告知通用人工智能模型的提供者,并给予其陈述意见
的机会。
3. 根据本条处以的罚款应有效、相称和具有劝阻性。
4. 根据本条处以的罚款信息也应酌情告知委员会。
5. 欧洲联盟法院应拥有审查欧盟委员会根据本条确定罚款决定的无限管辖权。它可以取消、减少或增加所处以的罚款。
6. 欧盟委员会应通过实施法案,为可能根据本条第1款作出决定的程序规定详细安排和程序性保障。这些实施法案应
按照第98条第(2)款所述的审查程序通过。
```
第十三章
最后条款
```
```
第102条
```
```
对条例(EC)第300/2008号的修订
```
```
在条例(EC)第300/2008号第4条第(3)款中,增加以下一项:
```
```
“在通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、涉及人工智能系统的安保设备批准和使用的技术
规范和程序相关的详细措施时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第103条
```
```
对条例(EU)第167/2013号的修订
```
```
在条例(EU)第167/2013号第17条第(5)款中,增加以下一项:
```
```
“在根据第一项通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统相关的
授权法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
# 英文版 欧盟公报 L,12.7.2024
118/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
第104条
```
```
对条例(EU)第168/2013号的修订
```
```
在条例(EU)第168/2013号第22条第(5)款中,增加以下一项:
```
```
“在根据第一项通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统相关的
授权法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第105条
```
```
对指令2014/90/EU的修订
```
```
在指令2014/90/EU第8条中,增加以下一款:
```
```
“5. 对于欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统,欧盟委员会在按照
第1款开展活动以及按照第2款和第3款通过技术规范和测试标准时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第106条
```
```
对指令(EU)2016/797的修订
```
```
在指令(EU)2016/797第5条中,增加以下一款:
```
```
“12. 在根据第1款通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统相关的
授权法案以及根据第11款通过实施法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 119/144
```
第107条
```
```
对条例(EU)2018/858的修订
```
```
在条例(EU)2018/858第5条中,增加以下一款:
```
```
“4. 在根据第3款通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统相关的
授权法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第108条
```
```
对条例(EU)2018/1139的修订
```
```
条例(EU)2018/1139修订如下:
```
```
(1) 在第17条中,增加以下一款:
```
```
“3. 在不影响第2款的前提下,在根据第1款通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全
组件的人工智能系统相关的实施法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”;
```
```
(2) 在第19条中,增加以下一款:```
```
“4. 在根据第1款和第2款通过与欧洲议会和理事会条例(EU)2024/1689号意义上的、作为安全组件的人工智能系统
相关的授权法案时,应考虑该条例第三章第二节规定的要求。”;
```
```
(3) 在第43条中,增加以下一款:
```
```
“4. 在根据第1款通过与欧洲议会和理事会条例(EU)2024/1689号意义上的、作为安全组件的人工智能系统相关的
实施法案时,应考虑该条例第三章第二节规定的要求。”;
```
```
(4) 在第47条中,增加以下一款:
```
```
“3. 在根据第1款和第2款通过与欧洲议会和理事会条例(EU)2024/1689号意义上的、作为安全组件的人工智能系统
相关的授权法案时,应考虑该条例第三章第二节规定的要求。”;
```
```
(5) 在第57条中,增加以下一项:
```
```
“在通过与欧洲议会和理事会条例(EU)2024/1689号意义上的、作为安全组件的人工智能系统相关的这些实施法案时,
应考虑该条例第三章第二节规定的要求。”;
```
# 英文版 欧盟公报 L,12.7.2024
120/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(6) 在第58条中,增加以下一款:
```
```
“3. 在根据第1款和第2款通过与欧洲议会和理事会条例(EU)2024/1689号意义上的、作为安全组件的人工智能系统
相关的授权法案时,应考虑该条例第三章第二节规定的要求。”。
```
```
第109条
```
```
对条例(EU)2019/2144的修订
```
```
在条例(EU)2019/2144第11条中,增加以下一款:
```
```
“3. 在根据第2款通过与欧洲议会和理事会条例(EU)2024/1689号(*)意义上的、作为安全组件的人工智能系统
相关的实施法案时,应考虑该条例第三章第二节规定的要求。
```
```
(*)欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第110条
```
```
对指令(EU)2020/1828的修订
```
```
在欧洲议会和理事会指令(EU)2020/1828号(^58)附件一中,增加以下一点:
```
```
“(68) 欧洲议会和理事会2024年6月13日条例(EU)2024/1689号,制定人工智能统一规则并修订条例(EC)第300/2008号、
(EU)第167/2013号、(EU)第168/2013号、(EU)2018/858号、(EU)2018/1139号和(EU)2019/2144号以及指令
2014/90/EU、(EU)2016/797号和(EU)2020/1828号(人工智能法)(欧盟公报 L,2024/1689,2024年7月12日,
ELI: http://data.europa.eu/eli/reg/2024/1689/oj)。”
```
```
第111条
```
```
已投放市场或已投入使用的AI系统以及已投放市场的通用人工智能模型
```
1. 在不影响第113条第(3)款第(a)项所述第5条适用的情况下,作为附件十所列法律文书建立的大型信息技术系统组件、
且在2027年8月2日之前已投放市场或投入使用的AI系统,应在2030年12月31日前使其符合本条例。
```
在按照附件十所列法律文书的规定对每个大型信息技术系统进行评估时,以及在替换或修订这些法律文书时,
应考虑本条例规定的要求。
```
2. 在不影响第113条第(3)款第(a)项所述第5条适用的情况下,本条例应适用于本条第1款所述系统以外的、在2026年
8月2日之前已投放市场或投入使用的高风险AI系统的经营者,但前提是这些系统自该日期起在其设计方面发生重大变化。
在任何情况下,拟由公共机关使用的高风险AI系统的提供者和部署者应采取必要步骤,最迟于2030年8月2日遵守
本条例的要求和义务。
3. 在2025年8月2日之前已投放市场的通用人工智能模型的提供者,应采取必要步骤,最迟于2027年8月2日遵守
本条例规定的义务。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 121/144
```
(^58) 欧洲议会和理事会2020年11月25日指令(EU)2020/1828号,关于为保护消费者集体利益而提起的代表诉讼并废止指令
2009/22/EC(欧盟公报 L 409,2020年12月4日,第1页)。
```
```
第112条
```
```
评估和审查
```
1. 欧盟委员会应在本条例生效后每年一次,直到第97条规定的授权期限结束,评估是否需要修订附件三所列清单和第5条
规定的禁止AI实践清单。欧盟委员会应将评估结果提交欧洲议会和理事会。
2. 最迟于2028年8月2日及其后每四年一次,欧盟委员会应评估并向欧洲议会和理事会报告以下事项:
```
(a) 是否需要修订以扩展附件三中的现有领域标题或增加新的领域标题;
```
```
(b) 对第50条中需要额外透明度措施的AI系统清单的修订;
```
```
(c) 提高监督和治理体系有效性的修订。
```
3. 最迟于2029年8月2日及其后每四年一次,欧盟委员会应向欧洲议会和理事会提交关于本条例评估和审查的报告。
该报告应包括对执行结构的评估以及是否需要联盟机构来解决任何已识别的缺陷的评估。基于调查结果,该报告应在
适当时附上对本条例的修订建议。报告应公开。
4. 第2款所述报告应特别关注以下事项:
```
(a) 国家主管机关为有效履行本条例委托给它们的任务所需的财政、技术和人力资源状况;
```
```
(b) 成员国对违反本条例行为适用的处罚(特别是第99条第(1)款所述行政罚款)的状况;
```
```
(c) 为支持本条例而制定的已通过协调标准和共同规范;
```
```
(d) 本条例适用后进入市场的企业数量,以及其中有多少是中小企业。
```
5. 最迟于2028年8月2日,欧盟委员会应评估AI Office的运作情况、AI Office是否被赋予足够的权力和能力来履行
其任务,以及为适当实施和执行本条例,升级AI Office及其执行能力并增加其资源是否相关和必要。欧盟委员会应向
欧洲议会和理事会提交关于其评估的报告。
6. 最迟于2028年8月2日及其后每四年一次,欧盟委员会应提交关于通用人工智能模型节能开发标准化成果制定进展
审查的报告,并评估是否需要进一步措施或行动(包括具有约束力的措施或行动)。报告应提交欧洲议会和理事会,
并应公开。
7. 最迟于2028年8月2日及其后每三年一次,欧盟委员会应评估自愿性行为准则在非高风险AI系统情况下促进适用
第三章第二节规定的要求以及非高风险AI系统可能的其他额外要求(包括环境可持续性方面)的影响和有效性。
8. 为第1至7款的目的,委员会、成员国和国家主管机关应应欧盟委员会的请求及时向其提供信息。
9. 在进行第1至7款所述的评估和审查时,欧盟委员会应考虑委员会、欧洲议会、理事会以及其他相关机构或来源的
立场和调查结果。
# 英文版 欧盟公报 L,12.7.2024
122/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
10. 欧盟委员会应在必要时提交适当建议以修订本条例,特别考虑技术发展、AI系统对健康和安全以及对基本权利的
影响,以及鉴于信息社会的发展进展。
11. 为指导本条第1至7款所述的评估和审查,AI Office应承诺开发一种客观和参与式的风险评估水平评估方法,
基于相关条款概述的标准,并将新系统纳入:
```
(a) 附件三所列清单,包括扩展该附件中的现有领域标题或增加新的领域标题;
```
```
(b) 第5条规定的禁止实践清单;以及
```
```
(c) 根据第50条需要额外透明度措施的AI系统清单。
```
12. 根据第10款对本条例的任何修订,或相关的授权法案或实施法案,凡——涉及附件一B节所列部门联盟协调立法的,应考虑各部门的监管特殊性以及其中既定的治理、合格评定和执行机制及机关。
13. 最迟于2031年8月2日,欧盟委员会应对本条例的执行情况进行评估,并向欧洲议会、理事会和欧洲经济和社会委员会
报告,同时考虑本条例适用后的最初几年。基于调查结果,该报告应在适当时附上关于执行结构以及是否需要联盟机构
解决任何已识别缺陷的本条例修订建议。
```
第113条
```
```
生效和适用
```
```
本条例应在其于欧盟官方公报上公布后的第二十天生效。
```
```
本条例自2026年8月2日起适用。
但是:
```
```
(a) 第一章和第二章自2025年2月2日起适用;
```
```
(b) 第三章第四节、第五章、第七章和第十二章以及第78条自2025年8月2日起适用,但第101条除外;
```
```
(c) 第6条第(1)款及本条例中的相应义务自2027年8月2日起适用。
```
```
本条例应整体具有约束力,并在所有成员国直接适用。
```
```
于布鲁塞尔完成,2024年6月13日。
```
```
欧洲议会
主席
```
```
R. METSOLA
```
```
理事会
主席
```
```
M. MICHEL
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 123/144
```
附件一
```
```
联盟协调立法清单
```
```
A节:基于新立法框架的联盟协调立法清单
```
1. 欧洲议会和理事会2006年5月17日指令2006/42/EC,关于机械并修订指令95/16/EC(欧盟公报 L 157,
2006年6月9日,第24页);
2. 欧洲议会和理事会2009年6月18日指令2009/48/EC,关于玩具安全(欧盟公报 L 170,2009年6月30日,第1页);
3. 欧洲议会和理事会2013年11月20日指令2013/53/EU,关于游乐船和个人水上摩托并废止指令94/25/EC
(欧盟公报 L 354,2013年12月28日,第90页);
4. 欧洲议会和理事会2014年2月26日指令2014/33/EU,关于协调成员国电梯和电梯安全组件投放市场的法律
(欧盟公报 L 96,2014年3月29日,第251页);
5. 欧洲议会和理事会2014年2月26日指令2014/34/EU,关于协调成员国拟在潜在爆炸性环境中使用的设备和保护系统
投放市场的法律(欧盟公报 L 96,2014年3月29日,第309页);
6. 欧洲议会和理事会2014年4月16日指令2014/53/EU,关于协调成员国无线电设备投放市场的法律并废止指令1999/5/EC
(欧盟公报 L 153,2014年5月22日,第62页);
7. 欧洲议会和理事会2014年5月15日指令2014/68/EU,关于协调成员国压力设备投放市场的法律(欧盟公报 L 189,
2014年6月27日,第164页);
8. 欧洲议会和理事会2016年3月9日条例(EU)2016/424号,关于索道装置并废止指令2000/9/EC(欧盟公报 L 81,
2016年3月31日,第1页);
9. 欧洲议会和理事会2016年3月9日条例(EU)2016/425号,关于个人防护装备并废止理事会指令89/686/EEC
(欧盟公报 L 81,2016年3月31日,第51页);
10. 欧洲议会和理事会2016年3月9日条例(EU)2016/426号,关于燃气燃烧器具并废止指令2009/142/EC
(欧盟公报 L 81,2016年3月31日,第99页);
11. 欧洲议会和理事会2017年4月5日条例(EU)2017/745号,关于医疗器械,修订指令2001/83/EC、条例(EC)
第178/2002号和条例(EC)第1223/2009号并废止理事会指令90/385/EEC和93/42/EEC(欧盟公报 L 117,
2017年5月5日,第1页);
12. 欧洲议会和理事会2017年4月5日条例(EU)2017/746号,关于体外诊断医疗器械并废止指令98/79/EC和欧盟委员会
决定2010/227/EU(欧盟公报 L 117,2017年5月5日,第176页)。
```
B节:其他联盟协调立法清单
```
13. 欧洲议会和理事会2008年3月11日条例(EC)第300/2008号,关于民航安全领域的共同规则并废止条例(EC)
第2320/2002号(欧盟公报 L 97,2008年4月9日,第72页);
14. 欧洲议会和理事会2013年1月15日条例(EU)第168/2013号,关于两轮或三轮车辆和四轮车的批准和市场监督
(欧盟公报 L 60,2013年3月2日,第52页);
15. 欧洲议会和理事会2013年2月5日条例(EU)第167/2013号,关于农用和林业车辆的批准和市场监督
(欧盟公报 L 60,2013年3月2日,第1页);
# 英文版 欧盟公报 L,12.7.2024
124/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
16. 欧洲议会和理事会2014年7月23日指令2014/90/EU,关于船用设备并废止理事会指令96/98/EC(欧盟公报 L 257,
2014年8月28日,第146页);
17. 欧洲议会和理事会2016年5月11日指令(EU)2016/797号,关于欧洲联盟内铁路系统的互操作性(欧盟公报 L 138,
2016年5月26日,第44页);
18. 欧洲议会和理事会2018年5月30日条例(EU)2018/858号,关于机动车及其挂车以及为此类车辆设计的系统、组件和
独立技术单元的批准和市场监督,修订条例(EC)第715/2007号和(EC)第595/2009号并废止指令2007/46/EC
(欧盟公报 L 151,2018年6月14日,第1页);
19. 欧洲议会和理事会2019年11月27日条例(EU)2019/2144号,关于机动车及其挂车以及为此类车辆设计的系统、组件
和独立技术单元就一般安全以及车辆乘员和弱势道路使用者的保护方面的型式批准要求,修订欧洲议会和理事会条例
(EU)2018/858号并废止欧洲议会和理事会条例(EC)第78/2009号、(EC)第79/2009号和(EC)第661/2009号
以及欧盟委员会条例(EC)第631/2009号、(EU)第406/2010号、(EU)第672/2010号、(EU)第1003/2010号、
(EU)第1005/2010号、(EU)第1008/2010号、(EU)第1009/2010号、(EU)第19/2011号、(EU)第109/2011号、
(EU)第458/2011号、(EU)第65/2012号、(EU)第130/2012号、(EU)第347/2012号、(EU)第351/2012号、
(EU)第1230/2012号和(EU)2015/166号(欧盟公报 L 325,2019年12月16日,第1页);
20. 欧洲议会和理事会2018年7月4日条例(EU)2018/1139号,关于民航领域的共同规则并设立欧洲联盟航空安全局,
修订条例(EC)第2111/2005号、(EC)第1008/2008号、(EU)第996/2010号、(EU)第376/2014号和欧洲议会
和理事会指令2014/30/EU和2014/53/EU,并废止欧洲议会和理事会条例(EC)第552/2004号和(EC)第216/2008号
以及理事会条例(EEC)第3922/91号(欧盟公报 L 212,2018年8月22日,第1页),但仅限于其第2条第(1)款第(a)项
和第(b)项所述无人驾驶航空器及其发动机、螺旋桨、部件和对其进行远程控制的设备的设计、生产和投放市场。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 125/144
```
附件二
```
```
第5条第(1)款第一项第(h)(iii)目所述刑事犯罪清单
```
```
第5条第(1)款第一项第(h)(iii)目所述刑事犯罪:
```
```
—恐怖主义,
```
```
—人口贩运,
```
```
—对儿童的性剥削和儿童色情,
```
```
—非法贩运麻醉药品或精神药物,
```
```
—非法贩运武器、弹药或爆炸物,
```
```
—谋杀、严重身体伤害,
```
```
—非法买卖人体器官或组织,
—非法贩运核材料或放射性材料,
```
```
—绑架、非法拘禁或劫持人质,
```
```
—国际刑事法院管辖范围内的犯罪,
```
```
—非法劫持航空器或船舶,
```
```
—强奸,
```
```
—环境犯罪,
```
```
—有组织抢劫或武装抢劫,
```
```
—破坏活动,
```
```
—参与涉及上述一项或多项犯罪的犯罪组织。
```
# 英文版 欧盟公报 L,12.7.2024
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 126/144
```
附件三
```
```
第6条第(2)款所述高风险AI系统
```
```
根据第6条第(2)款,高风险AI系统是下列任一领域所列的AI系统:
```
1. 生物特征识别(只要其使用依照相关联盟或国家法律获得允许):
```
(a) 远程生物特征识别系统。
```
```
这不包括拟用于生物特征验证、其唯一目的是确认特定自然人确为其自称之人的AI系统;
```
```
(b) 拟基于敏感或受保护属性或特征的推断,根据这些属性或特征用于生物特征分类的AI系统;
```
```
(c) 拟用于情绪识别的AI系统。
```
2. 关键基础设施:拟用作关键数字基础设施、道路交通或供水、燃气、供热或供电管理运营中安全组件的AI系统。
3. 教育和职业培训:
```
(a) 拟用于确定入学或录取或将自然人分配到各级教育和职业培训机构就读的AI系统;
```
```
(b) 拟用于评估学习成果的AI系统,包括当这些成果用于引导各级教育和职业培训机构中自然人的学习过程时;
```
```
(c) 拟用于在各级教育和职业培训机构背景下或范围内评估个人将接受或能够获得的适当教育水平的AI系统;
```
```
(d) 拟用于在各级教育和职业培训机构背景下或范围内监测和检测学生在考试期间被禁止行为的AI系统。
```
4. 就业、工人管理和自主就业准入:
```
(a) 拟用于招聘或甄选自然人的AI系统,特别是用于投放有针对性的招聘广告、分析和筛选求职申请以及评估候选人;
```
```
(b) 拟用于作出影响工作相关关系条款、晋升或终止工作相关合同关系决定、基于个人行为或人格特质或特征分配任务、
或监测和评估此类关系中人员的表现和行为的AI系统。
```
5. 获取和享受基本私人服务和基本公共服务及福利:
```
(a) 拟由公共机关或代表公共机关用于评估自然人获得基本公共援助福利和服务(包括医疗保健服务)的资格,
以及授予、减少、撤销或追回此类福利和服务的AI系统;
```
```
(b) 拟用于评估自然人信用度或确定其信用评分的AI系统,但用于检测金融欺诈目的的AI系统除外;
```
```
(c) 拟用于人寿和健康保险中对自然人进行风险评估和定价的AI系统;
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 127/144
```
(d) 拟用于评估和分类自然人紧急呼叫,或用于调度紧急第一响应服务(包括警察、消防员和医疗救助)或确定其调度
优先级,以及用于紧急医疗患者分诊系统的AI系统。
```
6. 执法(只要其使用依照相关联盟或国家法律获得允许):
```
(a) 拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关或代表其使用、以评估自然人成为
刑事犯罪受害者风险的AI系统;
```
```
(b) 拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关作为测谎仪或类似工具使用的
AI系统;
```
```
(c) 拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关在刑事犯罪调查或起诉过程中评估
证据可靠性的AI系统;
```
```
(d) 拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关、用于评估自然人犯罪或再犯罪
风险(且不仅仅基于指令(EU)2016/680号第3条第(4)款所述对自然人的画像,或评估自然人及其群体的人格特质和
特征或过往犯罪行为)的AI系统;
```
```
(e) 拟由执法机关或代表执法机关,或由联盟机构、机关、办公室或署为支持执法机关、在刑事犯罪侦查、调查或起诉
过程中对指令(EU)2016/680号第3条第(4)款所述自然人进行画像的AI系统。
```
7. 移民、庇护和边境管制管理(只要其使用依照相关联盟或国家法律获得允许):
```
(a) 拟由主管公共机关或代表主管公共机关,或由联盟机构、机关、办公室或署作为测谎仪或类似工具使用的AI系统;
```
```
(b) 拟由主管公共机关或代表主管公共机关,或由联盟机构、机关、办公室或署使用、以评估拟进入或已进入成员国领土
的自然人构成的风险(包括安全风险、非正常移民风险或健康风险)的AI系统;
```
```
(c) 拟由主管公共机关或代表主管公共机关,或由联盟机构、机关、办公室或署使用、以协助主管公共机关审查庇护、
签证或居留许可申请及相关申诉(包括对证据可靠性的相关评估),以确定申请某种身份的自然人是否符合资格的AI系统;
```
```
(d) 拟由主管公共机关或代表主管公共机关,或由联盟机构、机关、办公室或署在移民、庇护或边境管制管理背景下使用、
以侦查、识别或确认自然人的AI系统,但旅行证件验证除外。
```
8. 司法和民主进程管理:
```
(a) 拟由司法机关或代表司法机关使用、以协助司法机关研究和解释事实与法律并将法律适用于具体事实,或以类似
方式用于替代性争议解决的AI系统;
```
# 英文版 欧盟公报 L,12.7.2024
128/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(b) 拟用于影响选举或公投结果或影响自然人在选举或公投中行使投票权时的投票行为的AI系统。这不包括自然人
不直接接触其输出的AI系统,如从行政或后勤角度用于组织、优化或构建政治竞选活动的工具。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 129/144
```
附件四
```
```
第11条第(1)款所述技术文档
```
```
第11条第(1)款所述技术文档应至少包含以下适用于相关AI系统的信息:
```
1. AI系统的一般说明,包括:
```
(a) 其预期用途、提供者名称以及反映其与先前版本关系的系统版本;
```
```
(b) AI系统如何与不属于AI系统本身的硬件或软件(包括其他AI系统)互动或可用于互动的说明(如适用);
```
```
(c) 相关软件或固件的版本,以及与版本更新相关的任何要求;
```
```
(d) AI系统投放市场或投入使用的所有形式的说明,如嵌入硬件的软件包、下载或API;
```
```
(e) 拟运行AI系统的硬件的说明;
```
```
(f) 当AI系统是产品的组件时,显示这些产品外部特征、标记和内部布局的照片或插图;
```
```
(g) 提供给部署者的用户界面的基本说明;
```
```
(h) 向部署者提供的使用说明,以及在适用情况下向部署者提供的用户界面的基本说明;
```
2. AI系统要素及其开发过程的详细说明,包括:
```
(a) 开发AI系统所执行的方法和步骤,包括在相关情况下诉诸第三方提供的预训练系统或工具,以及提供者如何使用、
整合或修改这些系统和工具;
```
```
(b) 系统的设计规范,即AI系统和算法的总体逻辑;关键设计选择,包括所作出的理由和假设(包括关于系统拟用于的
个人或人群的理由和假设);主要分类选择;系统设计优化的目标以及不同参数的相关性;对系统预期输出和输出质量的
说明;关于为遵守第三章第二节规定的要求而采取的技术解决方案所作出的任何可能权衡的决定;
```
```
(c) 系统架构的说明,解释软件组件如何相互构建或馈入并整合到整体处理中;用于开发、训练、测试和验证AI系统的
计算资源;
```
```
(d) 在相关情况下,以描述训练方法和技术的数据表形式说明的数据要求以及所用训练数据集,包括这些数据集的一般
说明、关于其来源、范围和主要特征的信息;数据如何获得和选择;标注程序(如监督学习)、数据清理方法(如异常值
检测);
```
```
(e) 按照第14条对所需人工监督措施的评估,包括按照第13条第(3)款第(d)项对为便利部署者解释AI系统输出所需技术
措施的评估;
```
```
(f) 在适用情况下,对AI系统及其性能的预先确定变化的详细说明,以及为确保AI系统持续符合第三章第二节规定的
相关要求而采取的技术解决方案的所有相关信息;
```
```
(g) 所用的验证和测试程序,包括所用验证和测试数据及其主要特征的信息;用于衡量准确性、稳健性以及遵守第三章
第二节规定的其他相关要求以及潜在歧视性影响的指标;测试日志和所有由负责人注明日期并签署的测试报告,
包括关于第(f)项所述预先确定变化的报告;
```
# 英文版 欧盟公报 L,12.7.2024
130/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
(h) 已实施的网络安全措施;
```
3. 关于AI系统监测、运作和控制的详细信息,特别是关于:其性能的能力和局限性,包括系统拟用于的特定个人或
人群的准确程度以及与其预期用途相关的总体预期准确性水平;鉴于AI系统的预期用途,对健康和安全、基本权利
和歧视的可预见意外结果和风险来源;按照第14条所需的人工监督措施,包括为便利部署者解释AI系统输出而设置的
技术措施;输入数据规范(视情况而定);
4. 对特定AI系统性能指标适当性的说明;
5. 按照第9条对风险管理体系的详细说明;
6. 提供者在其生命周期内对系统所作的相关变更的说明;
7. 全部或部分适用、其引用已在欧盟官方公报上公布的协调标准清单;如果未适用此类协调标准,则为满足第三章
第二节规定的要求而采取的解决方案的详细说明,包括适用的其他相关标准和技术规范清单;
8. 第47条所述欧盟符合性声明的副本;
9. 按照第72条建立的、用于在售后阶段评估AI系统性能的系统的详细说明,包括第72条第(3)款所述的售后监测计划。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 131/144
```
附件五
```
```
欧盟符合性声明
```
```
第47条所述的欧盟符合性声明应包含以下所有信息:
```
1. AI系统的名称和类型以及任何允许识别和追溯AI系统的额外明确引用;
2. 提供者或在适用情况下其授权代表的名称和地址;
3. 声明第47条所述的欧盟符合性声明是在提供者单独负责下签发的声明;
4. 声明AI系统符合本条例,并在适用情况下符合规定签发第47条所述欧盟符合性声明的任何其他相关联盟法律;
5. 当AI系统涉及个人数据处理时,声明该AI系统符合条例(EU)2016/679号和(EU)2018/1725号及指令(EU)2016/680号;
6. 对所用任何相关协调标准或声明符合性的任何其他共同规范的引用;
7. 在适用情况下,公告机构的名称和识别号码、所进行合格评定程序的说明以及所签发证书的识别;
8. 声明的签发地点和日期、签署人姓名和职务,以及该签署人代表或为谁签署的说明、签名。
# 英文版 欧盟公报 L,12.7.2024
132/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
附件六
```
```
基于内部控制的合格评定程序
```
1. 基于内部控制的合格评定程序是基于第2点、第3点和第4点的合格评定程序。
2. 提供者核验所建立的质量管理体系符合第17条的要求。
3. 提供者审查技术文档所含信息,以评估AI系统是否符合第三章第二节规定的相关基本要求。
4. 提供者还核验AI系统的设计和开发过程以及第72条所述的售后监测与技术文档一致。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 133/144
```
附件七
```
```
基于质量管理体系评估和技术文档评估的符合性
```
1. 引言
```
基于质量管理体系评估和技术文档评估的符合性是基于第2至5点的合格评定程序。
```
2. 概述
按照第17条,经批准的用于AI系统设计、开发和测试的质量管理体系应按照第3点审查,并应按照第5点规定接受
监督。AI系统的技术文档应按照第4点审查。
3. 质量管理体系
```
3.1. 提供者的申请应包括:
```
```
(a) 提供者的名称和地址,如果申请由授权代表提出,则还应包括其名称和地址;
```
```
(b) 同一质量管理体系涵盖的AI系统清单;
```
```
(c) 同一质量管理体系涵盖的每个AI系统的技术文档;
```
```
(d) 质量管理体系相关文件,该文件应涵盖第17条所列的所有方面;
```
```
(e) 对确保质量管理体系保持适当和有效的现有程序的说明;
```
```
(f) 书面声明,声明同一申请未向任何其他公告机构提出。
```
```
3.2. 质量管理体系应由公告机构评估,公告机构应确定其是否满足第17条所述要求。
```
```
决定应通知提供者或其授权代表。
```
```
通知应包含质量管理体系评估的结论和经说明理由的评估决定。
```
```
3.3. 经批准的质量管理体系应由提供者继续实施和维护,以保持其适当和高效。
```
```
3.4. 对经批准的质量管理体系或后者所涵盖AI系统清单的任何拟议变更,应由提供者提请公告机构注意。
```
```
拟议的变更应由公告机构审查,公告机构应决定修改后的质量管理体系是否继续满足第3.2点所述要求,或者是否需要
重新评估。
```
```
公告机构应将其决定通知提供者。通知应包含变更审查的结论和经说明理由的评估决定。
```
4. 技术文档的控制。
```
4.1. 除第3点所述申请外,提供者还应向其选择的公告机构提交申请,以评估提供者拟投放市场或投入使用、且属于
第3点所述质量管理体系涵盖范围的AI系统的技术文档。
```
```
4.2. 申请应包括:
```
```
(a) 提供者的名称和地址;
```
```
(b) 书面声明,声明同一申请未向任何其他公告机构提出;
```
```
(c) 附件四所述的技术文档。
```
# 英文版 欧盟公报 L,12.7.2024
134/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
4.3. 技术文档应由公告机构审查。在相关情况下,且限于履行其任务所必需的范围内,公告机构应获得对所用训练、
验证和测试数据集的完全访问权限,包括在适当情况下并遵守安全保障,通过API或其他相关技术手段和工具实现远程
访问。
```
```
4.4. 在审查技术文档时,公告机构可以要求提供者提供进一步证据或进行进一步测试,以便能够适当评估AI系统是否
符合第三章第二节规定的要求。当公告机构对提供者进行的测试不满意时,公告机构应酌情自行直接进行适当的测试。
```
```
4.5. 为评估高风险AI系统是否符合第三章第二节规定的要求所必需时,在所有其他合理核验符合性的手段已用尽且
证明不充分后,应公告机构的合理请求,还应授予公告机构访问AI系统的训练模型和已训练模型(包括其相关参数)的
权限。此类访问应遵守关于知识产权和商业秘密保护的现有联盟法律。
```
```
4.6. 公告机构的决定应通知提供者或其授权代表。通知应包含技术文档评估的结论和经说明理由的评估决定。
```
```
当AI系统符合第三章第二节规定的要求时,公告机构应签发联盟技术文档评估证书。证书应指明提供者的名称和地址、
审查结论、其有效性的条件(如有)以及识别AI系统所需的数据。
```
```
证书及其附件应包含允许评估AI系统符合性以及在适用情况下允许在使用中对AI系统进行控制的所有相关信息。
```
```
当AI系统不符合第三章第二节规定的要求时,公告机构应拒绝签发联盟技术文档评估证书,并应相应告知申请人,
详细说明拒绝的理由。
```
```
当AI系统不满足与其训练所用数据相关的要求时,需要在申请新的合格评定之前重新训练AI系统。在此情况下,
公告机构拒绝签发联盟技术文档评估证书的经说明理由的评估决定应包含关于用于训练AI系统的数据质量的特别考虑,
特别是关于不合规的原因。
```
```
4.7. 对AI系统可能影响其符合要求或其预期用途的任何变更,应由签发联盟技术文档评估证书的公告机构评估。
提供者应告知该公告机构其引入上述任何变更的意图,或以其他方式得知此类变更发生时告知。拟议的变更应由公告
机构评估,公告机构应决定这些变更是否需要按照第43条第(4)款进行新的合格评定,或者是否可以通过对联盟技术
文档评估证书的补充来处理。在后一种情况下,公告机构应评估变更、将其决定通知提供者,并在变更获得批准时向
提供者签发联盟技术文档评估证书的补充。
```
5. 对经批准质量管理体系的监督。
```
5.1. 第3点所述公告机构进行监督的目的是确保提供者适当遵守经批准的质量管理体系的条款和条件。
```
```
5.2. 为评估目的,提供者应允许公告机构进入AI系统设计、开发、测试所在的场所。提供者还应与公告机构分享所有
必要信息。
```
```
5.3. 公告机构应进行定期审计,以确保提供者维持和适用质量管理体系,并应向提供者提供审计报告。在这些审计的
背景下,公告机构可以对已签发联盟技术文档评估证书的AI系统进行额外测试。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 135/144
```
附件八
```
```
按照第49条登记高风险AI系统时应提交的信息
```
```
A节——按照第49条第(1)款由高风险AI系统提供者提交的信息
```
```
关于按照第49条第(1)款登记的高风险AI系统,应提供以下信息并此后保持更新:
```
1. 提供者的名称、地址和联系方式;
2. 当信息的提交由另一人代表提供者进行时,该人的名称、地址和联系方式;
3. 授权代表的名称、地址和联系方式(如适用);
4. AI系统的商品名称以及任何允许识别和追溯AI系统的额外明确引用;
5. 对AI系统预期用途以及通过该AI系统支持的组件和功能的说明;
6. 对系统所用信息(数据、输入)及其运行逻辑的基本而简洁的说明;
7. AI系统的状态(在市场上或已投入使用;不再投放市场/投入使用、已召回);
8. 公告机构签发的证书的类型、编号和有效期以及该公告机构的名称或识别号码(如适用);
9. 第8点所述证书的扫描副本(如适用);
10. AI系统已在联盟内投放市场、投入使用或提供所在的任何成员国;
11. 第47条所述欧盟符合性声明的副本;
12. 电子版使用说明;对于附件三第1点、第6点和第7点所述执法或移民、庇护和边境管制管理领域的高风险AI系统,
不应提供此信息;
13. 附加信息的URL(可选)。
```
B节——按照第49条第(2)款由高风险AI系统提供者提交的信息
```
```
关于按照第49条第(2)款登记的AI系统,应提供以下信息并此后保持更新:
```
1. 提供者的名称、地址和联系方式;
2. 当信息的提交由另一人代表提供者进行时,该人的名称、地址和联系方式;
3. 授权代表的名称、地址和联系方式(如适用);
4. AI系统的商品名称以及任何允许识别和追溯AI系统的额外明确引用;
5. 对AI系统预期用途的说明;
6. 依据第6条第(3)款认定AI系统不构成高风险的的一个或多个条件;
7. 对按照第6条第(3)款程序认定AI系统不构成高风险的依据的简短摘要;
8. AI系统的状态(在市场上或已投入使用;不再投放市场/投入使用、已召回);
9. AI系统已在联盟内投放市场、投入使用或提供所在的任何成员国。
# 英文版 欧盟公报 L,12.7.2024
136/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
C节——按照第49条第(3)款由高风险AI系统部署者提交的信息
```
```
关于按照第49条第(3)款登记的高风险AI系统,应提供以下信息并此后保持更新:
```
1. 部署者的名称、地址和联系方式;
2. 代表部署者提交信息的人员的名称、地址和联系方式;
3. 提供者在欧盟数据库中录入AI系统的URL;
4. 按照第27条进行的基本权利影响评估结论的摘要;
5. 按照本条例第26条第(8)款规定的、根据条例(EU)2016/679号第35条或指令(EU)2016/680号第27条进行的
数据保护影响评估的摘要(如适用)。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 137/144
```
附件九
```
```
按照第60条登记附件三所列高风险AI系统与真实世界条件测试相关的信息
```
```
关于按照第60条登记的真实世界条件测试,应提供以下信息并此后保持更新:
```
1. 真实世界条件测试的联盟范围内唯一单一识别号码;
2. 提供者或潜在提供者以及参与真实世界条件测试的部署者的名称和联系方式;
3. 对AI系统、其预期用途的简要说明,以及识别所需的——系统的其他信息;
4. 真实世界条件测试计划主要特征的摘要;
5. 关于真实世界条件测试中止或终止的信息。
# 英文版 欧盟公报 L,12.7.2024
138/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
附件十
```
```
自由、安全和司法领域大型信息技术系统的联盟立法文书
```
1. 申根信息系统
```
(a) 欧洲议会和理事会2018年11月28日条例(EU)2018/1860号,关于使用申根信息系统遣返非法居留的第三国国民
(欧盟公报 L 312,2018年12月7日,第1页)。
```
```
(b) 欧洲议会和理事会2018年11月28日条例(EU)2018/1861号,关于在边境检查领域建立、运作和使用申根信息系统
(SIS)并修订实施申根协定的公约,以及修订和废止条例(EC)第1987/2006号(欧盟公报 L 312,2018年12月7日,
第14页)。
```
```
(c) 欧洲议会和理事会2018年11月28日条例(EU)2018/1862号,关于在警察合作和刑事事项司法合作领域建立、运作和
使用申根信息系统(SIS),修订和废止理事会决定2007/533/JHA,并废止欧洲议会和理事会条例(EC)第1986/2006号
和欧盟委员会决定2010/261/EU(欧盟公报 L 312,2018年12月7日,第56页)。
```
2. 签证信息系统
```
(a) 欧洲议会和理事会2021年7月7日条例(EU)2021/1133号,修订条例(EU)第603/2013号、(EU)2016/794号、
(EU)2018/1862号、(EU)2019/816号和(EU)2019/818号,为签证信息系统目的规定访问其他欧盟信息系统的条件
(欧盟公报 L 248,2021年7月13日,第1页)。
```
```
(b) 欧洲议会和理事会2021年7月7日条例(EU)2021/1134号,修订欧洲议会和理事会条例(EC)第767/2008号、
(EC)第810/2009号、(EU)2016/399号、(EU)2017/2226号、(EU)2018/1240号、(EU)2018/1860号、
(EU)2018/1861号、(EU)2019/817号和(EU)2019/1896号并废止理事会决定2004/512/EC和2008/633/JHA,
以改革签证信息系统(欧盟公报 L 248,2021年7月13日,第11页)。
```
3. Eurodac
```
欧洲议会和理事会2024年5月14日条例(EU)2024/1358号,关于建立“Eurodac”以比较生物特征数据,从而有效适用
欧洲议会和理事会条例(EU)2024/1315号和(EU)2024/1350号以及理事会指令2001/55/EC,并识别非法居留的
第三国国民和无国籍人,以及关于成员国执法机关和欧洲刑警组织为执法目的请求与Eurodac数据比较,修订欧洲议会和
理事会条例(EU)2018/1240号和(EU)2019/818号并废止欧洲议会和理事会条例(EU)第603/2013号(欧盟公报 L,
2024/1358,2024年5月22日,ELI: http://data.europa.eu/eli/reg/2024/1358/oj)。
```
4. 出入境系统
```
欧洲议会和理事会2017年11月30日条例(EU)2017/2226号,建立出入境系统(EES)以登记跨越成员国外部边界的
第三国国民的出入境数据和拒绝入境数据,并确定为执法目的访问EES的条件,修订实施申根协定的公约以及条例(EC)
第767/2008号和(EU)第1077/2011号(欧盟公报 L 327,2017年12月9日,第20页)。
```
5. 欧洲旅行信息和授权系统
```
(a) 欧洲议会和理事会2018年9月12日条例(EU)2018/1240号,建立欧洲旅行信息和授权系统(ETIAS)并修订条例
(EU)第1077/2011号、(EU)第515/2014号、(EU)2016/399号、(EU)2016/1624号和(EU)2017/2226号
(欧盟公报 L 236,2018年9月19日,第1页)。
```
```
(b) 欧洲议会和理事会2018年9月12日条例(EU)2018/1241号,为建立欧洲旅行信息和授权系统(ETIAS)的目的修订
条例(EU)2016/794号(欧盟公报 L 236,2018年9月19日,第72页)。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 139/144
6. 第三国国民和无国籍人欧洲犯罪记录信息系统
```
欧洲议会和理事会2019年4月17日条例(EU)2019/816号,建立识别持有第三国国民和无国籍人定罪信息的成员国的
中央系统(ECRIS-TCN),以补充欧洲犯罪记录信息系统并修订条例(EU)2018/1726号(欧盟公报 L 135,
2019年5月22日,第1页)。
```
7. 互操作性
```
(a) 欧洲议会和理事会2019年5月20日条例(EU)2019/817号,关于在边境和签证领域建立欧盟信息系统之间的互操作性
框架,修订欧洲议会和理事会条例(EC)第767/2008号、(EU)2016/399号、(EU)2017/2226号、(EU)2018/1240号、
(EU)2018/1726号和(EU)2018/1861号以及理事会决定2004/512/EC和2008/633/JHA(欧盟公报 L 135,
2019年5月22日,第27页)。
```
```
(b) 欧洲议会和理事会2019年5月20日条例(EU)2019/818号,关于在警察和司法合作、庇护和移民领域建立欧盟信息
系统之间的互操作性框架,修订条例(EU)2018/1726号、(EU)2018/1862号和(EU)2019/816号(欧盟公报 L 135,
2019年5月22日,第85页)。
```
# 英文版 欧盟公报 L,12.7.2024
140/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
附件十一
```
```
第53条第(1)款第(a)项所述技术文档——通用人工智能模型提供者的技术文档
```
```
第1节
```
```
所有通用人工智能模型提供者应提供的信息
第53条第(1)款第(a)项所述技术文档应至少包含以下适合模型规模和风险状况的信息:
```
1. 通用人工智能模型的一般说明,包括:
```
(a) 模型拟执行的任务以及可将其整合到其中的AI系统的类型和性质;
```
```
(b) 适用的可接受使用政策;
```
```
(c) 发布日期和分发方法;
```
```
(d) 架构和参数数量;
```
```
(e) 输入和输出的模态(如文本、图像)和格式;
```
```
(f) 许可。
```
2. 对第1点所述模型要素的详细说明,以及开发过程的相关信息,包括以下要素:
```
(a) 通用人工智能模型整合到AI系统中所需要的技术手段(如使用说明、基础设施、工具);
```
```
(b) 模型和训练过程的设计规范,包括训练方法和技巧、关键设计选择(包括所作出的理由和假设);模型设计优化的
目标以及不同参数的相关性(视适用情况);
```
```
(c) 在适用情况下,关于用于训练、测试和验证的数据的信息,包括数据的类型和来源以及整理方法(如清理、过滤等)、
数据点数量、其范围和主要特征;数据如何获得和选择,以及在适用情况下检测数据来源不适合性的所有其他措施和
检测可识别偏见的方法;
```
```
(d) 用于训练模型的计算资源(如浮点运算次数)、训练时间以及与训练相关的其他相关细节;
```
```
(e) 模型已知或估计的能耗。
```
```
关于第(e)点,当模型的能耗未知时,能耗可以基于所用计算资源的信息。
```
```
第2节
```
```
构成系统性风险的通用人工智能模型提供者应提供的额外信息
```
1. 对评估策略的详细说明,包括基于可用的公开评估协议和工具或以其他方式基于其他评估方法的评估结果。评估策略
应包括评估标准、指标以及识别局限性的方法。
2. 在适用情况下,对为进行内部和/或外部对抗性测试(如红队测试)、模型调整(包括对齐和微调)而设置的措施的
详细说明。
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 141/144
3. 在适用情况下,对系统架构的详细说明,解释软件组件如何相互构建或馈入并整合到整体处理中。
# 英文版 欧盟公报 L,12.7.2024
142/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
```
附件十二
```
```
第53条第(1)款第(b)项所述透明度信息——通用人工智能模型提供者向将模型整合到其AI系统中的
下游提供者提供的技术文档
```
```
第53条第(1)款第(b)项所述信息应至少包含以下内容:
```
1. 通用人工智能模型的一般说明,包括:
```
(a) 模型拟执行的任务以及可将其整合到其中的AI系统的类型和性质;
```
```
(b) 适用的可接受使用政策;
```
```
(c) 发布日期和分发方法;
```
```
(d) 模型如何与不属于模型本身的硬件或软件互动或可用于互动(如适用);
```
```
(e) 与通用人工智能模型使用相关的相关软件版本(如适用);
```
```
(f) 架构和参数数量;
(g) 输入和输出的模态(如文本、图像)和格式;
```
```
(h) 模型的许可。
```
2. 对模型要素及其开发过程的说明,包括:
```
(a) 通用人工智能模型整合到AI系统中所需要的技术手段(如使用说明、基础设施、工具);
```
```
(b) 输入和输出的模态(如文本、图像等)和格式及其最大规模(如上下文窗口长度等);
```
```
(c) 在适用情况下,关于用于训练、测试和验证的数据的信息,包括数据的类型和来源以及整理方法。
```
# 欧盟公报 L,12.7.2024 英文版
ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj) 143/144
```
附件十三
```
```
第51条所述构成系统性风险的通用人工智能模型的指定标准
```
```
为确定通用人工智能模型具有与第51条第(1)款第(a)项所述能力或影响相当的能力或影响,欧盟委员会应考虑以下标准:
```
```
(a) 模型的参数数量;
```
```
(b) 数据集的质量或规模,例如通过token衡量;
```
```
(c) 用于训练模型的计算量,以浮点运算衡量或通过其他变量的组合表示,如训练估计成本、训练所需估计时间或训练
估计能耗;
```
```
(d) 模型的输入和输出模态,如文本到文本(大型语言模型)、文本到图像、多模态,以及确定每种模态高影响力能力的
最先进阈值,以及输入和输出的特定类型(如生物序列);
```
```
(e) 模型能力的基准和评估,包括考虑无需额外训练的任务数量、学习新的不同任务的适应性、其自主性和可扩展性水平、
其可访问的工具;
```
```
(f) 是否因其覆盖面而对内部市场产生高影响,当其已提供给至少10000名设立于联盟内的注册商业用户时,应推定
具有高影响;
```
```
(g) 注册最终用户数量。
```
# 英文版 欧盟公报 L,12.7.2024
144/144 ELI: [http://data.europa.eu/eli/reg/2024/1689/oj](http://data.europa.eu/eli/reg/2024/1689/oj)
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementation | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirements | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallback | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions always | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |