CSlawyer1985/legal-skillhub / skills/ai-act-knowledge
ai-act-knowledge
Verified欧盟 AI 法案知识引擎——以 70 份官方欧盟来源文件为基础的权威监管问答(包括 2026 年委员会关于 Art. 6 高风险分类的指南草稿——一般原则、附件 I、附件 III)。基于完整条例文本、委员会指南、EDPB/EDPS 意见、《实践守则》、协调标准、FRIA 指南、事件模板和行业特定指引,以条款级引用回答关于 AI 法案的任何问题。当用户询问"EU AI Act"、"AI Act regulation"、"Regulation 2024/1689"、"KI-Verordnung"、要求"explain an AI Act article"、"what does Article X say"、"AI Act requirements"、"AI Act penalties"、"AI Act timeline"、"GPAI obligations"、"high-risk AI"、"prohibited AI practices"、"AI Act and GDPR"、"fundamental rights impact assessment"、"AI Act standards"、"AI Act national implementation"、"AI literacy"、"serious incident reporting"、"Digital Omnibus"、"AI regulatory sandbox",或任何关于欧盟人工智能监管的问题时,应使用本技能。德语术语同样触发:"KI-Gesetz"、"KI-Verordnung"、"Hochrisiko-KI"、"KI-Kompetenz"、"Grundrechte-Folgenabschaetzung"、"GPAI-Verhaltenskodex"。对于产出分类决定而非知识答案的评估工作流,提议在会话内运行结构化风险等级分类。
references/core/regulation-preamble-recitals.md
View on GitHub# Regulation (EU) 2024/1689 —— 序言与叙述(Preamble & Recitals)
《人工智能法案》(AI Act)的序言、程序性引文及第 (1) 至 (180) 条叙述(Recitals)。
> **AI Omnibus 2026 —— 生效日期推迟说明。** 本文件逐字复现了序言与叙述部分,并保留了其引用的原始生效日期。AI Omnibus 2026 已推迟了高风险条款的施行日期:第 6 条第 2 款(附件三)→ **2027 年 12 月 2 日**(原为 2026 年 8 月 2 日);第 6 条第 1 款(附件一)→ **2028 年 8 月 2 日**(原为 2027 年 8 月 2 日);第 111 条第 2 款遗留截止日期 → **2027 年 12 月 2 日**(原为 2026 年 8 月 2 日)。以下逐字复现的叙述文本作为立法记录予以保留。关于实际施行日期:AI Omnibus 系立法进程中的文件,在依赖上述日期前,请通过联网检索核实推迟措施的当前状态。
| 项目 | 内容 |
|--------|--------|
| 文件 | Regulation (EU) 2024/1689 ——《人工智能法案》(Artificial Intelligence Act) |
| 制定机构 | 欧洲议会和欧洲联盟理事会 |
| 日期 | 2024 年 6 月 13 日(官方公报 L 辑,2024 年 7 月 12 日) |
| 来源网址 | https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689 |
| NotebookLM 来源标识 | 62ef9ece-b7a1-4efd-883e-9ff17bf963ff |
*德语:Verordnung (EU) 2024/1689 —— Gesetz ueber kuenstliche Intelligenz(KI-Verordnung)*
---
欧洲议会和欧洲联盟理事会条例 (EU) 2024/1689
2024 年 6 月 13 日
制定关于人工智能的统一规则,并修订条例 (EC) No 300/2008、(EU) No 167/2013、(EU) No 168/2013、(EU) 2018/858、(EU) 2018/1139 和 (EU) 2019/2144 以及指令 2014/90/EU、(EU) 2016/797 和 (EU) 2020/1828(《人工智能法案》)
(与欧洲经济区相关的文本)
欧洲议会和欧洲联盟理事会,
考虑到《欧洲联盟运行条约》,特别是其中第 16 条和第 114 条,
考虑到欧洲委员会的建议,
在将立法草案转交各成员国议会之后,
考虑到欧洲经济和社会委员会的意见 (1),
考虑到欧洲中央银行的意见 (2),
考虑到地区委员会的意见 (3),
按照普通立法程序行事 (4),
鉴于:
(1) 本条例的目的是通过制定统一的法律框架,特别是关于人工智能系统(AI systems)在联盟内的开发、投放市场、投入使用和使用,以改善内部市场的运行,同时遵循联盟价值观,促进以人为本和值得信赖的人工智能(AI)的普及,并确保对健康、安全以及《欧洲联盟基本权利宪章》(下称“《宪章》”)所载基本权利(包括民主、法治和环境保护)的高水平保护,防范人工智能系统在联盟内造成有害影响,并支持创新。本条例保障基于人工智能的商品和服务的跨境自由流动,从而防止成员国对人工智能系统的开发、营销和使用施加限制,除非本条例明确授权。
(2) 本条例应依照《宪章》所载的联盟价值观加以适用,促进对自然人、企业、民主、法治和环境保护的保护,同时促进创新和就业,使联盟成为采纳值得信赖的人工智能的领导者。
(3) 人工智能系统可以很容易地部署在经济的大量部门和社会的许多部分,包括跨境部署,并且可以在整个联盟内轻易流通。某些成员国已开始探索通过国家规则确保人工智能值得信赖、安全,并按照基本权利义务进行开发和使用的可能性。各国规则的分歧可能导致内部市场碎片化,并可能降低开发、进口或使用人工智能系统的经营者的法律确定性。因此,应在整个联盟内确保一致和高水平的保护,以实现值得信赖的人工智能,同时应通过为经营者规定统一的义务,并依据《欧洲联盟运行条约》(TFEU)第 114 条保障整个内部市场中压倒性公共利益和个人权利的统一保护,防止阻碍人工智能系统及相关产品和服务在内部市场中自由流通、创新、部署和采纳的分歧。就本条例包含关于在处理个人数据方面保护个人的具体规则而言——涉及为执法目的限制使用人工智能系统进行远程生物识别、为执法目的使用人工智能系统对自然人进行风险评估,以及为执法目的使用人工智能系统进行生物特征分类——在上述具体规则所涉范围内,以 TFEU 第 16 条作为本条例的法律依据是适当的。鉴于这些具体规则以及援引 TFEU 第 16 条,宜咨询欧洲数据保护委员会。
(4) 人工智能是一个快速发展的技术家族,在工业和社会活动的整个范围内为广泛的经济、环境和社会效益作出贡献。通过改进预测、优化运营和资源配置,以及使可供个人和组织使用的数字解决方案个性化,人工智能的使用可以为经营者提供关键的竞争优势,并支持对社会和环境有益的结果,例如在医疗保健、农业、食品安全、教育和培训、媒体、体育、文化、基础设施管理、能源、交通和物流、公共服务、安全、司法、资源和能源效率、环境监测、生物多样性和生态系统的养护与恢复以及气候变化减缓和适应方面。
(5) 与此同时,根据其具体应用、使用和技术发展水平的不同情况,人工智能可能产生风险,并对受联盟法律保护的公共利益和基本权利造成损害。这种损害可能是有形的或无形的,包括身体、心理、社会或经济损害。
(6) 鉴于人工智能可能对社会产生重大影响以及建立信任的需要,人工智能及其监管框架必须按照《欧洲联盟条约》(TEU)第 2 条所载的联盟价值观、《条约》所载的基本权利和自由以及依照 TEU 第 6 条的《宪章》加以发展,这一点至关重要。作为前提条件,人工智能应当是一种以人为本的技术。它应当作为服务于人的工具,最终目标是增进人类福祉。
(7) 为确保在健康、安全和基本权利方面对公共利益提供一致和高水平的保护,应当为高风险人工智能系统制定共同规则。这些规则应当与《宪章》一致,不得具有歧视性,并应符合联盟的国际贸易承诺。它们还应当考虑《欧洲数字权利和数字十年原则宣言》以及人工智能高级别专家组(AI HLEG)制定的值得信赖的人工智能伦理准则。
(8) 因此,需要一个规定人工智能统一规则的联盟法律框架,以促进人工智能在内部市场中的开发、使用和采纳,同时满足对公共利益(如健康和安全以及基本权利保护——包括为联盟法律所承认和保护的民主、法治和环境保护)的高水平保护。为实现该目标,应当制定规范某些人工智能系统投放市场、投入使用和使用的规则,从而确保内部市场的平稳运行,并使这些系统受益于商品和服务自由流动原则。这些规则应当在保护基本权利方面清晰有力,支持新的创新解决方案,使欧洲公共和私营行为者生态系统能够按照联盟价值观创建人工智能系统,并在联盟所有地区释放数字化转型的潜力。通过制定这些规则以及支持创新的措施(特别关注中小企业(SMEs),包括初创企业),本条例支持欧洲理事会所指出的促进欧洲以人为本的人工智能方法、成为开发安全、值得信赖和合乎伦理的人工智能的全球领导者的目标 [(5)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr5-L_202401689EN.000101-E0005),并确保欧洲议会特别要求的伦理原则得到保护 [(6)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr6-L_202401689EN.000101-E0006)。
(9) 适用于高风险人工智能系统投放市场、投入使用和使用的统一规则,应当与欧洲议会和理事会条例 (EC) No 765/2008 [(7)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr7-L_202401689EN.000101-E0007)、欧洲议会和理事会决定 No 768/2008/EC [(8)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr8-L_202401689EN.000101-E0008) 和欧洲议会和理事会条例 (EU) 2019/1020 [(9)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr9-L_202401689EN.000101-E0009)(新立法框架)保持一致。本条例规定的统一规则应当跨部门适用,并依照新立法框架,不影响现有联盟法律——特别是关于数据保护、消费者保护、基本权利、就业和工人保护以及产品安全的法律,本条例是对这些法律的补充。因此,此类联盟法律向消费者以及可能受到人工智能系统负面影响的其他人员提供的所有权利和救济(包括根据理事会指令 85/374/EEC [(10)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr10-L_202401689EN.000101-E0010) 对可能损害的赔偿)均不受影响并完全适用。此外,在就业和工人保护方面,本条例不应影响关于社会政策的联盟法律以及符合联盟法律的、涉及就业和工作条件(包括工作场所健康与安全以及雇主与工人之间的关系)的成员国劳动法。本条例也不应影响在成员国和联盟层面得到承认的基本权利的行使,包括罢工权利或自由,或成员国特定劳资关系制度所涵盖的其他行动,以及依照国内法谈判、缔结和执行集体协议或采取集体行动的权利。本条例不应影响欧洲议会和理事会关于改善平台工作工作条件的指令中旨在改善平台工作条件的条款。此外,本条例旨在通过制定具体要求与义务(包括关于人工智能系统的透明度、技术文档和记录保存),加强此类现有权利和救济的有效性。此外,本条例对人工智能价值链中各类经营者施加的义务,应当在符合联盟法律的前提下,不影响具有限制使用某些人工智能系统效果的国内法的适用——凡此类法律超出本条例范围,或追求本条例所追求目标之外的其他正当公共利益目标的。例如,成员国劳动法和保护未成年人(即未满 18 岁者)的法律——同时考虑《联合国儿童权利公约》关于儿童在数字环境中权利的第 25 号一般性意见(2021 年)——只要其并非针对人工智能系统的专门规定且追求其他正当公共利益目标,就不应受本条例影响。
(10) 保护个人数据的基本权利尤其由欧洲议会和理事会条例 (EU) 2016/679 [(11)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr11-L_202401689EN.000101-E0011) 和 (EU) 2018/1725 [(12)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr12-L_202401689EN.000101-E0012) 以及欧洲议会和理事会指令 (EU) 2016/680 [(13)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr13-L_202401689EN.000101-E0013) 予以保障。欧洲议会和理事会指令 2002/58/EC [(14)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr14-L_202401689EN.000101-E0014) 还保护私人生活和通信保密,包括为在终端设备中存储个人和非个人数据以及从终端设备访问这些数据规定条件。这些联盟法律文书为可持续和负责任的数据处理提供了基础,包括数据集包含个人数据和非个人数据混合的情形。本条例不寻求影响现有联盟法律对个人数据处理的管理适用,包括负责监督遵守这些文书的独立监管机构的职责和权力。在人工智能系统的设计、开发或使用涉及处理个人数据的范围内,本条例也不影响人工智能系统提供者和部署者作为数据控制者或处理者根据联盟或国家个人数据保护法律承担的义务。还宜澄清,数据主体继续享有此类联盟法律赋予他们的所有权利和保障,包括与完全自动化个体决策(包括画像)相关的权利。根据本条例制定的关于人工智能系统投放市场、投入使用和使用的统一规则,应当促进联盟个人数据保护法律和其他基本权利法律所保障的数据主体权利和其他救济的有效实施并使其能够行使。
(11) 本条例不应影响欧洲议会和理事会条例 (EU) 2022/2065 [(15)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr15-L_202401689EN.000101-E0015) 所规定的中间服务提供者的责任条款。
(12) 本条例中的“人工智能系统”概念应当明确定义,并应与从事人工智能工作的国际组织的工作紧密保持一致,以确保法律确定性、促进国际趋同和广泛接受,同时提供灵活性以适应这一领域技术的快速进步。此外,该定义应当基于人工智能系统区别于更简单的传统软件系统或编程方法的关键特征,且不应涵盖完全由自然人定义规则以自动执行操作的系统。人工智能系统的一个关键特征是推断能力。这种推断能力是指获得输出(如预测、内容、建议或决策——这些输出可以影响物理和虚拟环境)的过程,以及人工智能系统从输入或数据中推导出模型或算法(或两者兼有)的能力。在构建人工智能系统时实现推断的技术包括:从数据中学习如何实现某些目标的机器学习方法,以及从编码知识或待解决任务的符号表示中进行推断的基于逻辑和知识的方法。人工智能系统的推断能力超越了基本的数据处理,能够实现学习、推理或建模。“基于机器”一词指人工智能系统在机器上运行。对显式或隐式目标的提及强调,人工智能系统可以根据明确定义的目标或隐式目标运行。人工智能系统的目标可能不同于人工智能系统在特定情境中的预期目的。就本条例而言,环境应被理解为人工智能系统运行的背景,而人工智能系统生成的输出反映人工智能系统执行的不同功能,包括预测、内容、建议或决策。人工智能系统被设计为以不同程度的自主性运行,这意味着它们在行动上具有一定程度的独立于人类参与的能力,并具有无需人工干预即可运行的能力。人工智能系统在部署后可能表现出的适应性,是指自我学习能力,使系统在使用过程中能够发生变化。人工智能系统可以独立使用,也可以作为产品的组成部分使用,无论该系统是物理集成到产品中(嵌入)还是在不集成到产品中的情况下服务于产品的功能(非嵌入)。
(13) 本条例所称的“部署者”应解释为在其权限下使用人工智能系统的任何自然人或法人,包括公共机关、机构或其他机构,除非该人工智能系统是在个人非职业活动中使用的。根据人工智能系统的类型,系统的使用可能影响部署者以外的人。
(14) 本条例中使用的“生物特征数据”概念应参照条例 (EU) 2016/679 第 4 条第 (14) 项、条例 (EU) 2018/1725 第 3 条第 (18) 项和指令 (EU) 2016/680 第 3 条第 (13) 项所定义的生物特征数据概念加以解释。生物特征数据可以用于自然人的身份验证、识别或分类,以及自然人的情绪识别。
(15) 本条例所称的“生物特征识别”应定义为自动识别人类身体、生理和行为特征(如面部、眼球运动、体型、声音、韵律、步态、姿势、心率、血压、气味、击键特征),通过将该个体的生物特征数据与参考数据库中存储的个体生物特征数据进行比较来确定个人身份,无论该个体是否已经表示同意。这排除了旨在用于生物特征验证(包括身份验证)的人工智能系统——此类系统的唯一目的是确认特定自然人确为其所声称的人,以及仅为访问服务、解锁设备或获得场所安全准入而确认自然人身份。
(16) 本条例所称的“生物特征分类”应定义为根据自然人的生物特征数据将自然人归入特定类别。此类特定类别可能与性别、年龄、发色、瞳色、纹身、行为或性格特征、语言、宗教、少数民族成员身份、性取向或政治倾向等方面有关。这不包括作为另一商业服务纯附属功能、与该服务固有地相关联的生物特征分类系统——即该功能在客观技术原因上不能脱离主服务单独使用,且该功能或功能的集成并非规避本条例规则适用的手段。例如,在线市场上用于对面部或身体特征进行分类的滤镜可构成此类附属功能,因为它们只能与主服务(即销售产品,允许消费者预览产品在其身上的展示效果并帮助消费者作出购买决定)相关地使用。在线社交网络服务中用于对面部或身体特征进行分类以允许用户添加或修改图片或视频的滤镜,也可被视为附属功能,因为此类滤镜在无社交网络服务主服务(即在线分享内容)的情况下不能使用。
(17) 本条例所称的“远程生物特征识别系统”应从功能上加以定义,即旨在无需自然人积极参与(通常是在一定距离外)的情况下,通过将人的生物特征数据与参考数据库中所含生物特征数据进行比较来识别自然人的系统,无论使用何种特定技术、流程或生物特征数据类型。此类远程生物特征识别系统通常用于同时感知多人或其行为,以便在无需自然人积极参与的情况下显著促进自然人的识别。这排除了旨在用于生物特征验证(包括身份验证)的人工智能系统——此类系统的唯一目的是确认特定自然人确为其所声称的人,以及仅为访问服务、解锁设备或获得场所安全准入而确认自然人身份。该排除的理由在于,与可能在没有自然人积极参与的情况下处理大量人员的生物特征数据的远程生物特征识别系统相比,此类系统对自然人基本权利的影响可能较小。就“实时”系统而言,生物特征数据的采集、比较和识别均即时发生、几乎即时发生,或无论如何不存在显著延迟。在这方面,不应通过设置微小延迟来规避本条例关于相关人工智能系统“实时”使用的规则。“实时”系统涉及使用由摄像头或其他具有类似功能的设备生成的“直播”或“准直播”材料(如视频片段)。相比之下,就“事后”系统而言,生物特征数据已经被采集,比较和识别仅在显著延迟之后才发生。这涉及在相关自然人使用该系统之前已经生成的素材,例如由闭路电视摄像机或私人设备生成的图片或视频片段。
(18) 本条例所称的“情绪识别系统”应定义为基于自然人的生物特征数据识别或推断其情绪或意图的人工智能系统。该概念指快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞愧、轻蔑、满足和愉悦等情绪或意图。它不包括身体状态(如疼痛或疲劳),例如不包括用于检测专业飞行员或驾驶员疲劳状态以防止事故的系统。它也不包括仅检测明显易见的表情、姿势或动作,除非这些用于识别或推断情绪。这些表情可以是基本的面部表情(如皱眉或微笑)、手势(如手、臂或头部的动作),或人的声音特征(如提高声调或耳语)。
(19) 就本条例而言,“公众可进入的空间”应理解为指任何可供不确定数量的自然人进入的物理空间,无论该空间是私有还是公有,也无论该空间可能用于何种活动,例如用于商业(如商店、餐馆、咖啡馆);用于服务(如银行、专业活动、招待服务);用于体育(如游泳池、健身房、体育场);用于交通(如公共汽车、地铁和火车站、机场、交通工具);用于娱乐(如电影院、剧院、博物馆、音乐厅和会议厅);或用于休闲或其他目的(如公共道路和广场、公园、森林、游乐场)。如果一个空间的进入(无论潜在容量或安全限制如何)须满足某些可被不确定数量的人满足的预定条件(如购买门票或交通票据、事先登记或达到一定年龄),该空间也应被归类为公众可进入。相反,如果进入仅限于通过直接关系到公共安全或安保的联盟或国家法律,或通过对该空间拥有相关权限的人的明确意思表示而限定的特定且明确的自然人,则该空间不应被视为公众可进入。仅凭事实上的进入可能性(如未上锁的门或围栏上敞开的大门)本身,在存在相反迹象或情形(如禁止或限制进入的标志)时,并不意味着该空间是公众可进入的。公司和工厂厂区,以及旨在仅供相关雇员和服务提供者进入的办公室和工作场所,属于非公众可进入的空间。公众可进入的空间不应包括监狱或边境管制场所。某些其他空间可能同时包含公众可进入和非公众可进入的部分,例如进入医生办公室或机场所需的私人住宅楼走廊。在线空间不在涵盖范围内,因为它们不是物理空间。某一空间是否对公众开放,应根据具体情况逐案确定,并考虑个案的具体情况。
(20) 为了在保护基本权利、健康和安全的同时从人工智能系统中获得最大利益,并使民主控制成为可能,人工智能素养应当使提供者、部署者和受影响人员掌握必要概念,以便就人工智能系统作出明智决定。这些概念可能因相关背景而异,可以包括理解人工智能系统开发阶段技术要素的正确应用、使用时应采取的措施、解释人工智能系统输出的适当方式,以及就受影响人员而言,理解在人工智能协助下作出的决定将如何影响他们的必要知识。在本条例适用范围内,人工智能素养应当为人工智能价值链中的所有相关行为者提供确保适当合规及其正确执法的必要认知。此外,人工智能素养措施的广泛实施和适当后续行动的引入,有助于改善工作条件,并最终巩固联盟内值得信赖的人工智能的整合与创新路径。欧洲人工智能委员会(European Artificial Intelligence Board,下称“委员会”)应支持欧盟委员会推广人工智能素养工具,提高公众对人工智能系统使用相关利益、风险、保障、权利和义务的认识和理解。欧盟委员会和各成员国应与相关利益攸关方合作,促进自愿行为准则的制定,以提高从事人工智能系统开发、运营和使用的人员的人工智能素养。
(21) 为确保整个联盟内的公平竞争环境以及对个人权利和自由的有效保护,本条例所确立的规则应当以非歧视的方式适用于人工智能系统的提供者——无论其设立于联盟境内还是第三国——以及设立于联盟境内的人工智能系统部署者。
(22) 鉴于其数字特性,某些人工智能系统即使未在联盟内投放市场、投入使用或使用,也应当属于本条例的适用范围。例如,设立于联盟内的经营者就某一将构成高风险的人工智能系统所要执行的活动,与设立于第三国的经营者签订某些服务合同的情形即是如此。在此情况下,第三国经营者使用的人工智能系统可以处理在联盟内合法收集并从联盟转移的数据,并向联盟内的缔约经营者提供该人工智能系统因该处理而产生的输出,而无需将该人工智能系统在联盟内投放市场、投入使用或使用。为防止规避本条例,并确保对位于联盟内的自然人进行有效保护,本条例也应当适用于设立于第三国的人工智能系统提供者和部署者,只要这些系统产生的输出旨在用于联盟内。尽管如此,为考虑到与交换信息和证据的外国伙伴之间的现有安排和未来合作的特殊需要,本条例不应适用于第三国的公共当局和国际组织——当其在联盟或国家层面与联盟或成员国缔结的执法和司法合作框架或国际协定的范围内行事时——前提是相关第三国或国际组织就保护个人的基本权利和自由提供适当保障。在相关情况下,这可涵盖由第三国委托执行支持此类执法和司法合作的特定任务的实体的活动。此类合作框架或协定已在成员国与第三国之间,或在欧洲联盟、欧洲刑警组织(Europol)及其他联盟机构与第三国和国际组织之间双边建立。根据本条例负责监督执法和司法当局的主管机关应当评估这些合作框架或国际协定是否就保护个人的基本权利和自由包含适当保障。在联盟内使用此类输出的接收国当局以及联盟机构、机关、办公室和部门仍有责任确保其使用符合联盟法律。当这些国际协定被修订或未来缔结新协定时,缔约方应当尽最大努力使这些协定与本条例的要求保持一致。
(23) 本条例也应适用于作为人工智能系统提供者或部署者行事时的联盟机构、机关、办公室和部门。
(24) 如果且只要人工智能系统是在经过或不经过修改的情况下为军事、国防或国家安全目的而投放市场、投入使用或使用的,则不论开展这些活动的是何种类型实体(例如公共或私人实体),此类系统均应排除在本条例适用范围之外。就军事和国防目的而言,此种排除既可由 TEU 第 4 条第 2 款证明其正当性,也可由成员国在 TEU 第五编第二章所涵盖的、受国际公法调整的国家防务政策和共同联盟防务政策的特殊性证明其正当性——因此,国际公法是在使用致命武力以及军事和国防活动中使用其他人工智能系统的背景下规范人工智能系统的更适当法律框架。就国家安全目的而言,此种排除的正当性既在于依照 TEU 第 4 条第 2 款国家安全仍属各成员国的专属责任,也在于国家安全活动的特殊性质、业务需要以及适用于这些活动的特定国家规则。尽管如此,如果为军事、国防或国家安全目的而开发、投放市场、投入使用或使用的人工智能系统,在上述目的之外临时或永久地用于其他目的(例如民事或人道主义目的、执法或公共安全目的),则此类系统将属于本条例的适用范围。在此情况下,将人工智能系统用于军事、国防或国家安全以外目的的实体应当确保该人工智能系统符合本条例,除非该系统已符合本条例。为被排除的目的(即军事、国防或国家安全)以及一个或多个非排除目的(如民事目的或执法)而投放市场或投入使用的人工智能系统,属于本条例的适用范围,这些系统的提供者应当确保其符合本条例。在这些情况下,人工智能系统可能属于本条例适用范围的事实,不应影响从事国家安全、国防和军事活动的实体(无论开展这些活动的实体属于何种类型)为国家安全、军事和国防目的使用人工智能系统的可能性,这些目的的使用已被排除在本条例适用范围之外。为民事或执法目的投放市场的人工智能系统,如果经过或不经过修改用于军事、国防或国家安全目的,则不应属于本条例的适用范围,无论开展这些活动的是何种类型的实体。
(25) 本条例应当支持创新,尊重科学自由,不应损害研究和开发活动。因此,有必要将专门为科学研究与开发的唯一目的而开发和投入使用的人工智能系统和模型排除在其适用范围之外。此外,有必要确保本条例不以其他方式影响在投放市场或投入使用之前对人工智能系统或模型开展的科学研究与开发活动。就针对人工智能系统或模型的面向产品的研究、测试和开发活动而言,在这些系统和模型投入使用或投放市场之前,本条例的规定也不应适用。该排除不影响以下义务:如因此类研究和开发活动而使属于本条例适用范围的人工智能系统投放市场或投入使用,则须遵守本条例;也不影响关于人工智能监管沙盒和真实世界条件测试的条款的适用。此外,在不影响专门为科学研究与开发的唯一目的而开发和投入使用的人工智能系统被排除的前提下,任何其他可能用于开展研究和开发活动的人工智能系统仍应受本条例条款的约束。无论如何,任何研究和开发活动都应当按照公认的科学研究伦理与专业标准进行,并应符合适用的联盟法律。
(26) 为对人工智能系统引入一套相称且有效的具有约束力的规则,应当遵循一种明确定义的基于风险的方法。该方法应当根据人工智能系统可能产生的风险的强度和范围来调整此类规则的类型和内容。因此,有必要禁止某些不可接受的人工智能做法,为高风险人工智能系统规定要求并为相关经营者规定义务,以及为某些人工智能系统规定透明度义务。
(27) 虽然基于风险的方法是一套相称且有效的具有约束力的规则的基础,但重要的是回顾由欧盟委员会任命的独立 AI HLEG 于 2019 年制定的值得信赖的人工智能伦理准则。在这些准则中,AI HLEG 为人工智能制定了七项不具有约束力的伦理原则,旨在帮助确保人工智能值得信赖且合乎伦理。这七项原则包括:人的能动性与监督;技术稳健性与安全;隐私与数据治理;透明度;多样性、非歧视与公平;社会与环境福祉;以及问责制。在不影响本条例以及任何其他适用联盟法律的具有法律约束力的要求的前提下,这些准则有助于按照《宪章》以及联盟赖以建立的价值观,设计连贯、值得信赖和以人为本的人工智能。根据 AI HLEG 的准则,人的能动性与监督意味着人工智能系统的开发和使用应作为服务于人的工具,尊重人的尊严和个人自主权,并以可被人类适当控制和监督的方式运作。技术稳健性与安全意味着人工智能系统的开发和使用方式应使其在出现问题的情况下保持稳健,并能抵御旨在改变人工智能系统使用或性能从而使第三方能够非法使用的企图,同时将意外损害降至最低。隐私与数据治理意味着人工智能系统的开发和使用应符合隐私和数据保护规则,同时处理符合质量和完整性高标准的数据。透明度意味着人工智能系统的开发和使用方式应允许适当的可追溯性和可解释性,同时使人类意识到他们在与人工智能系统沟通或互动,并适当告知部署者该人工智能系统的能力和局限,以及告知受影响人员其权利。多样性、非歧视与公平意味着人工智能系统的开发和使用方式应包容多元行为者,促进平等获得、性别平等和文化多样性,同时避免受联盟或国家法律禁止的歧视性影响和不公平偏见。社会与环境福祉意味着人工智能系统的开发和使用应以可持续和环保的方式、以惠及所有人的方式进行,同时监测和评估对个人、社会和民主的长期影响。这些原则的适用应当尽可能转化为人工智能模型的设计和使用。无论如何,它们应作为根据本条例起草行为准则的基础。鼓励所有利益攸关方(包括工业界、学术界、民间社会和标准化组织)酌情考虑这些伦理原则,以制定自愿的最佳实践和标准。
(28) 除了人工智能的诸多有益用途外,它也可能被滥用,并为操纵、剥削和社会控制做法提供新颖而强大的工具。此类做法特别有害和滥用,应予以禁止,因为它们与联盟尊重人的尊严、自由、平等、民主和法治的价值观以及《宪章》所载的基本权利(包括不受歧视的权利、数据保护权和隐私权以及儿童权利)相抵触。
(29) 人工智能驱动的操纵技术可用于说服人们从事不希望的行为,或通过引导他们作出决定来欺骗他们,从而颠覆和损害他们的自主权、决策能力和自由选择。投放市场、投入使用或使用某些以实质扭曲人类行为为目标或具有此种效果的人工智能系统——由此可能发生重大损害,特别是对身体、心理健康或经济利益产生足够重大的不利影响——是特别危险的,因此应当予以禁止。此类人工智能系统部署潜意识成分(如人类无法感知的音频、图像、视频刺激,因为这些刺激超出了人类感知能力),或其他操纵或欺骗技术,以人类未意识到这些技术的方式颠覆或损害人的自主权、决策能力或自由选择;或者即使人类意识到这些技术,仍然可能被欺骗或无法控制或抵抗。例如,机器-大脑接口或虚拟现实可以促进这一点,因为它们允许更高程度地控制向人们呈现的刺激,只要它们可能以显著有害的方式实质扭曲人的行为。此外,人工智能系统还可能因人的年龄、指令 (EU) 2019/882 [(16)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr16-L_202401689EN.000101-E0016) 意义上的残疾,或特定的社会或经济状况(这些状况可能使这些人更容易受到剥削,如生活在极端贫困中的人、族裔或宗教少数群体)而利用个人或特定群体的人的弱点。此类人工智能系统可以以实质扭曲人的行为为目标或具有此种效果的方式投放市场、投入使用或使用,并造成或合理可能造成对该人或他人或群体的重大损害(包括可能随时间累积的损害),因此应当予以禁止。如果扭曲是由人工智能系统外部、超出提供者或部署者控制范围的因素(即可能无法合理预见、因而提供者或部署者无法减轻的因素)造成的,则不能假定存在扭曲行为的意图。无论如何,只要重大损害源于人工智能驱动的操纵或剥削做法,提供者或部署者无须具有造成重大损害的意图。对此类人工智能做法的禁止是对欧洲议会和理事会指令 2005/29/EC [(17)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr17-L_202401689EN.000101-E0017) 所含条款的补充,特别是导致消费者遭受经济或财务损害的不公平商业做法在所有情况下均被禁止,无论其是通过人工智能系统还是以其他方式实施的。本条例对操纵性和剥削性做法的禁止,不应影响医疗处理背景下(如心理疾病的心理治疗或身体康复)的合法做法,只要这些做法依照适用的法律和医疗标准进行,例如获得个人或其法定代理人的明确同意。此外,符合适用法律的常见且合法的商业做法(例如广告领域的做法)本身不应被视为构成有害的、人工智能驱动的操纵性做法。
(30) 基于自然人生物特征数据(如个人面部或指纹)以推断或推论个人的政治观点、工会成员身份、宗教或哲学信仰、种族、性生活或性取向的生物特征分类系统,应当予以禁止。该禁止不应涵盖依照联盟或国家法律合法获取的生物特征数据集根据生物特征进行的合法标记、过滤或分类(如按发色或瞳色对图像进行分类),此类分类例如可用于执法领域。
(31) 由公共或私人行为者对自然人进行社会评分的人工智能系统可能导致歧视性结果和某些群体的排斥。它们可能侵犯尊严权、不受歧视的权利以及平等和正义的价值观。此类人工智能系统基于与自然人在多种情境中的社会行为相关的多个数据点,或基于在一定时期内已知、推断或预测的个人或人格特征,对自然人及其群体进行评估或分类。从此类人工智能系统获得的社会评分,可能导致自然人或其整个群体在与数据最初产生或收集背景无关的社会情境中受到不利或负面待遇,或导致与其社会行为的严重程度不相称或无正当理由的不利待遇。因此,实施此类不可接受评分做法并导致此类不利或负面结果的人工智能系统应当予以禁止。该禁止不应影响依照联盟和国家法律为特定目的对自然人进行的合法评估做法。
(32) 为执法目的在公众可进入的空间中对自然人进行“实时”远程生物特征识别的人工智能系统的使用,对所涉人员的权利和自由具有特别强的侵入性——它可能影响大部分人口的私人生活,引发持续被监视的感觉,并间接阻止集会自由和其他基本权利的行使。旨在对自然人进行远程生物特征识别的人工智能系统的技术不准确可能导致有偏见的结果并产生歧视性影响。此类可能有偏见的结果和歧视性影响与年龄、族裔、种族、性别或残疾尤其相关。此外,影响的即时性以及对实时运行的此类系统的使用进行进一步检查或纠正的机会有限,在执法活动的背景下或受执法活动影响的人员的权利和自由面临更高的风险。
(33) 因此,为执法目的使用这些系统应当予以禁止,但穷尽列举和严格界定且使用为达成重大公共利益所严格必要(其重要性超过风险)的情形除外。这些情形包括:搜寻某些犯罪受害者,包括失踪人员;对自然人生命或人身安全的某些威胁或恐怖袭击威胁;以及对本条例附件所列刑事犯罪的实施者或嫌疑人的定位或识别——条件是相关刑事犯罪在有关成员国可处以最高至少四年的监禁或有期徒刑,且按该国法律的定义。依照国家法律设定监禁或有期徒刑的门槛,有助于确保相关犯罪严重到足以可能证明使用“实时”远程生物特征识别系统是正当的。此外,本条例附件所提供的刑事犯罪清单以理事会框架决定 2002/584/JHA [(18)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr18-L_202401689EN.000101-E0018) 所列的 32 项刑事犯罪为基础,同时考虑到其中某些犯罪在实践中可能比其他犯罪更为相关——就所列不同刑事犯罪的实施者或嫌疑人的定位或识别而言,诉诸“实时”远程生物特征识别可预见地可能在不同程度上是必要和相称的,并考虑到损害的严重性、发生概率和规模或可能的负面后果的预期差异。对自然人生命或人身安全的迫在眉睫的威胁,也可能源于欧洲议会和理事会指令 (EU) 2022/2557 [(19)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr19-L_202401689EN.000101-E0019) 第 2 条第 (4) 项所定义的关键基础设施的严重中断——只要此类关键基础设施的中断或损毁会对人的生命或人身安全造成迫在眉睫的威胁,包括通过对向人口提供基本供应或国家核心职能的行使造成严重损害。此外,本条例应当保留执法、边境管制、移民或庇护当局按照联盟和国家法律为此类检查规定的条件,在被检查人在场的情况下进行身份检查的能力。特别是,执法、边境管制、移民或庇护当局应能够依照联盟或国家法律使用信息系统,以识别在身份检查过程中拒绝被识别或无法陈述或证明其身份的人员,而无须根据本条例获得事先授权。例如,参与犯罪的人因事故或医疗状况而不愿或无法向执法当局披露其身份的情形即是如此。
(34) 为确保这些系统以负责任和相称的方式使用,同样重要的是确定,在每一穷尽列举和严格界定的情形中,应考虑某些要素,特别是关于引发请求的情形的性质、使用对所有相关人员的权利和自由造成的后果以及使用所提供的保障和条件。此外,为执法目的在公众可进入的空间中使用“实时”远程生物特征识别系统,应仅用于确认特定目标个人的身份,并应限于在时间以及地域和个人范围方面严格必要的限度,同时特别考虑到关于威胁、受害者或实施者的证据或迹象。只有在相关执法当局完成基本权利影响评估,并且除非本条例另有规定,已按照本条例的规定在数据库中登记该系统的情况下,才应授权在公众可进入的空间中使用实时远程生物特征识别系统。人员的参考数据库应适用于上述每种情形中的每个使用场景。
(35) 为执法目的在公众可进入的空间中每次使用“实时”远程生物特征识别系统,均应经成员国司法机关或独立行政机关作出具有约束力的明确具体授权。原则上,此类授权应在使用人工智能系统以识别一个或多个人之前取得。在确有正当理由的紧急情况下,即在需要使用相关系统致使在开始使用人工智能系统之前实际上和客观上不可能获得授权的情况下,可以允许该规则的例外。在此类紧急情况下,人工智能系统的使用应限于绝对必要的最低限度,并应受适当保障和条件约束,这些保障和条件由国内法确定并由执法当局在每一具体紧急使用案例中具体说明。此外,在此类情况下,执法当局应在无不正当迟延的情况下(最迟在 24 小时内)请求此类授权,同时说明无法更早请求的理由。如果此类授权被拒绝,与该项授权相关的实时生物特征识别系统的使用应立即停止,与此类使用相关的所有数据均应予以丢弃和删除。此类数据包括人工智能系统在使用此类系统过程中直接获取的输入数据,以及与该授权相关的使用结果和输出。它不应包括依照另一项联盟或国家法律合法获取的输入。无论如何,不应仅凭远程生物特征识别系统的输出作出对某人产生不利法律影响的决定。
(36) 为按照本条例规定的要求以及国家规则履行职责,相关市场监督机构和全国数据保护机构应收到每次实时生物特征识别系统使用的通知。已收到通知的市场监督机构和全国数据保护机构应向欧盟委员会提交关于实时生物特征识别系统使用的年度报告。
(37) 此外,宜在本条例确立的穷尽框架内规定,在成员国领土内按照本条例进行的此类使用,只有在且仅在有关成员国已决定在其国内法细则中明确规定授权此类使用的可能性的情况下,方属可能。因此,根据本条例,成员国仍然可以自由地完全不规定此类可能性,或仅就本条例所确定的能够证明授权使用正当的部分目标规定此类可能性。此类国家规则应在通过后 30 天内通知欧盟委员会。
(38) 为执法目的在公众可进入的空间中对自然人进行实时远程生物特征识别的人工智能系统的使用,必然涉及生物特征数据的处理。本条例基于 TFEU 第 16 条制定的、在特定例外情况下禁止此类使用的规则,应作为特别法(lex specialis)适用于指令 (EU) 2016/680 第 10 条所载的生物特征数据处理规则,从而以穷尽方式规范此类使用以及所涉生物特征数据的处理。因此,此类使用和处理只有在与本条例所设框架相容的情况下方属可能,在该框架之外,主管机关在为执法目的行事时,不得以指令 (EU) 2016/680 第 10 条所列理由使用此类系统并处理与此相关的数据。在此背景下,本条例无意为指令 (EU) 2016/680 第 8 条项下个人数据的处理提供法律依据。然而,在公众可进入的空间中为执法以外的目的使用实时远程生物特征识别系统(包括由主管机关使用),不应被本条例为执法目的使用此类系统所设的专门框架所涵盖。因此,为执法以外目的的此类使用,不应受本条例授权要求以及可能使该授权生效的适用国内法细则的约束。
(39) 在生物特征识别人工智能系统的使用中所涉及的任何生物特征数据和其他个人数据的处理,除本条例所规范的为执法目的在公众可进入的空间中使用实时远程生物特征识别系统的情形外,均应继续遵守指令 (EU) 2016/680 第 10 条所产生的所有要求。就执法以外的目的,条例 (EU) 2016/679 第 9 条第 1 款和条例 (EU) 2018/1725 第 10 条第 1 款禁止生物特征数据的处理,除非存在这些条款所规定的有限例外。在适用条例 (EU) 2016/679 第 9 条第 1 款时,为执法以外目的使用远程生物特征识别已被国家数据保护机构作出禁止决定。
(40) 依照作为 TEU 和 TFEU 附件的《关于联合王国和爱尔兰在自由、安全和司法领域地位的议定书》(第 21 号议定书)第 6a 条,爱尔兰不受本条例基于 TFEU 第 16 条通过的以下规则约束:第 5 条第 1 款第一项第 (g) 目——在其适用于为警务合作和刑事事项司法合作领域活动而使用生物特征分类系统的范围内;第 5 条第 1 款第一项第 (d) 目——在其适用于该条款所涵盖的人工智能系统使用的范围内;第 5 条第 1 款第一项第 (h) 目;第 5 条第 2 至 6 款;以及第 26 条第 10 款——这些规则涉及成员国在开展属于 TFEU 第三部分第五编第四章或第五章范围内活动时对个人数据的处理,而爱尔兰不受要求遵守基于 TFEU 第 16 条制定的条款的刑事事项司法合作或警务合作形式规则的约束。
(41) 依照作为 TEU 和 TFEU 附件的《关于丹麦地位的议定书》(第 22 号议定书)第 2 条和第 2a 条,丹麦不受基于 TFEU 第 16 条通过的本条例以下规则的约束,也不受其适用的约束:第 5 条第 1 款第一项第 (g) 目——在其适用于为警务合作和刑事事项司法合作领域活动而使用生物特征分类系统的范围内;第 5 条第 1 款第一项第 (d) 目——在其适用于该条款所涵盖的人工智能系统使用的范围内;第 5 条第 1 款第一项第 (h) 目、第 2 至 6 款;以及第 26 条第 10 款——这些规则涉及成员国在开展属于 TFEU 第三部分第五编第四章或第五章范围内活动时对个人数据的处理。
(42) 与无罪推定相一致,联盟内的自然人应始终根据其实际行为受到评判。在没有基于客观可核实事实的合理怀疑该人参与犯罪活动且未经人工评估的情况下,自然人绝不应仅基于对其画像、人格特质或特征(如国籍、出生地、居住地、子女数量、债务水平或汽车类型)的评估,而受到基于人工智能预测行为的评判。因此,仅基于对自然人进行画像或评估其人格特质和特征,为评估其实施犯罪的可能性或预测实际或潜在刑事犯罪的发生而对自然人进行的风险评估应当予以禁止。无论如何,该禁止不涉及也不触及并非基于对个人画像或基于个人人格特质和特征的风险分析,例如使用风险分析评估经营者财务欺诈可能性的人工智能系统(基于可疑交易),或海关当局用于预测麻醉品或非法货物定位可能性的风险分析工具(例如基于已知贩运路线)。
(43) 通过从互联网或闭路电视(CCTV)画面中不加针对性地抓取面部图像来创建或扩大面部识别数据库的人工智能系统的投放市场、为此特定目的投入使用或使用,应当予以禁止,因为这种做法加剧了大规模监视的感觉,并可能导致对基本权利(包括隐私权)的严重侵犯。
(44) 对旨在识别或推断情绪的人工智能系统的科学基础存在严重关切,特别是因为情绪的表达在文化、情境之间甚至单一个人内部都存在显著差异。此类系统的主要缺陷包括可靠性有限、缺乏特异性以及泛化能力有限。因此,基于自然人的生物特征数据识别或推断其情绪或意图的人工智能系统可能导致歧视性结果,并可能侵犯相关人员的权利和自由。考虑到工作或教育背景下权力失衡,再加上这些系统的侵入性,此类系统可能导致某些自然人或整个群体受到不利或负面待遇。因此,旨在用于检测工作场所和教育相关情境中个人情绪状态的人工智能系统的投放市场、投入使用或使用应当予以禁止。该禁止不应涵盖严格出于医疗或安全原因投放市场的人工智能系统,例如旨在用于治疗目的的系统。
(45) 联盟法律(包括数据保护法、非歧视法、消费者保护法和竞争法)所禁止的做法不应受本条例影响。
(46) 高风险人工智能系统只有在符合某些强制性要求的情况下,才能投放联盟市场、投入使用或使用。这些要求应确保联盟内可用的高风险人工智能系统,或其输出以其他方式在联盟内使用的人工智能系统,不会对联盟法律所承认和保护的重要联盟公共利益构成不可接受的风险。根据新立法框架(如欧盟委员会通知《欧盟产品规则实施“蓝皮书”2022》 [(20)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr20-L_202401689EN.000101-E0020) 所阐明的),一般规则是,多个联盟协调立法法律文书(如欧洲议会和理事会条例 (EU) 2017/745 [(21)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr21-L_202401689EN.000101-E0021) 和 (EU) 2017/746 [(22)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr22-L_202401689EN.000101-E0022) 或欧洲议会和理事会指令 2006/42/EC [(23)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr23-L_202401689EN.000101-E0023))可适用于同一产品,因为只有产品符合所有适用的联盟协调立法时,才能进行投放或投入使用。为确保一致性并避免不必要的行政负担或成本,包含一个或多个高风险人工智能系统(本条例的要求和本条例附件所列联盟协调立法的要求均适用于该系统)的产品的提供者,在关于如何以最佳方式确保包含一个或多个人工智能系统的产品符合联盟协调立法所有适用要求的操作性决策方面,应具有灵活性。被认定为高风险的人工智能系统应仅限于对联盟内人的健康、安全和基本权利具有重大有害影响的系统,此类限制应尽量减少对国际贸易的任何潜在限制。
(47) 人工智能系统可能对人的健康和安全产生不利影响,特别是当此类系统作为产品的安全组件运行时。与联盟协调立法促进内部市场中产品自由流动并确保只有安全和合规的产品进入市场的目标相一致,重要的是,产品整体因其数字组件(包括人工智能系统)而可能产生的安全风险得到适当预防和缓解。例如,日益自主的机器人——无论是在制造业还是在个人辅助和护理方面——应能够在复杂环境中安全运行并履行其功能。同样,在对生命和健康利害攸关特别高的医疗领域,日益复杂的诊断系统和辅助人类决策的系统应当可靠和准确。
(48) 人工智能系统对《宪章》所保护的基本权利造成的不利影响的程度,在将人工智能系统归类为高风险时尤其重要。这些权利包括:人的尊严权;尊重私人和家庭生活的权利;个人数据保护权;言论和信息自由权;集会和结社自由权;不受歧视的权利;受教育权;消费者保护;工人权利;残疾人权利;性别平等;知识产权;获得有效救济和公平审判的权利;辩护权和无罪推定;以及获得良好行政的权利。除这些权利外,重要的是强调儿童享有《宪章》第 24 条和《联合国儿童权利公约》所载的特定权利,后者在《联合国儿童权利公约》第 25 号一般性意见中针对数字环境作了进一步细化——两者都要求考虑儿童的脆弱性,并提供其福祉所必需的保护和照料。在评估人工智能系统可能造成的损害(包括对人的健康和安全的损害)的严重程度时,也应考虑《宪章》所载并已纳入联盟政策的高水平环境保护的基本权利。
(49) 就作为产品或系统安全组件的高风险人工智能系统,或其本身属于下列法律文书适用范围的产品或系统而言:欧洲议会和理事会条例 (EC) No 300/2008 [(24)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr24-L_202401689EN.000101-E0024)、条例 (EU) No 167/2013 [(25)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr25-L_202401689EN.000101-E0025)、条例 (EU) No 168/2013 [(26)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr26-L_202401689EN.000101-E0026)、指令 2014/90/EU [(27)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr27-L_202401689EN.000101-E0027)、指令 (EU) 2016/797 [(28)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr28-L_202401689EN.000101-E0028)、条例 (EU) 2018/858 [(29)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr29-L_202401689EN.000101-E0029)、条例 (EU) 2018/1139 [(30)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr30-L_202401689EN.000101-E0030) 和条例 (EU) 2019/2144 [(31)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr31-L_202401689EN.000101-E0031)——宜修订这些法律文书,以确保欧盟委员会在依据这些文书通过任何相关授权或实施法案时,基于各行业的技术和监管特殊性,且在不干扰其中既有治理、合格评定和执法机制及机构的前提下,考虑本条例为高风险人工智能系统规定的强制性要求。
(50) 就属于本条例附件所列某些联盟协调立法适用范围的产品安全组件,或其本身属于产品的人工智能系统,宜在本条例下将其归类为高风险——如果相关产品依照相关联盟协调立法须经第三方合格评定机构进行合格评定程序。特别是,此类产品包括:机械、玩具、电梯、拟在潜在爆炸性环境中使用的设备和防护系统、无线电设备、压力设备、游乐船设备、索道装置、燃气燃料器具、医疗器械、体外诊断医疗器械、汽车和航空。
(51) 根据本条例将人工智能系统归类为高风险,并不必然意味着其安全组件是人工智能系统的产品,或作为产品的人工智能系统本身,根据适用于该产品的相关联盟协调立法所确立的标准被视为高风险。特别是条例 (EU) 2017/745 和 (EU) 2017/746 的情况,其中对中风险和高风险产品规定了第三方合格评定。
(52) 就独立人工智能系统,即除作为产品安全组件或其本身是产品的高风险人工智能系统之外的高风险人工智能系统,宜将其归类为高风险——如果鉴于其预期目的,它们对人员的健康和安全或基本权利构成高危害风险(同时考虑可能损害的严重性及其发生概率),且它们用于本条例规定的若干特定预先界定领域。这些系统的识别基于与未来修订高风险人工智能系统清单相同的方法和标准——欧盟委员会应有权通过授权法案修订该清单,以考虑技术的快速进步以及人工智能系统使用的潜在变化。
(53) 同样重要的是澄清,可能存在特定情况,本条例规定的预先界定领域所提及的人工智能系统不会对在这些领域下受保护的法律利益造成重大损害风险,因为它们不会实质影响决策或不会实质损害这些利益。就本条例而言,不实质影响决策结果的人工智能系统应被理解为对决策(无论人工还是自动)的实质内容、进而对结果没有影响的人工智能系统。不实质影响决策结果的人工智能系统可包括满足以下一项或多项条件的情形。第一个条件应当是:人工智能系统旨在执行一项狭窄的程序性任务,例如将非结构化数据转换为结构化数据的人工智能系统、将收到的文件分类到类别中的人工智能系统,或用于在大量申请中检测重复项的人工智能系统。这些任务性质狭窄和有限,只带来有限的风险,且这些风险不会因在附件所列高风险使用背景下使用人工智能系统而增加。第二个条件应当是:人工智能系统执行的任务旨在改进先前完成的人类活动的结果,该活动可能与本条例附件所列高风险用途相关。考虑到这些特征,人工智能系统仅为人类活动提供了一个附加层,风险相应降低。例如,该条件适用于旨在改进先前起草文件所用语言的人工智能系统,例如就专业语气、学术语言风格或使文本与某种品牌信息保持一致而言。第三个条件应当是:人工智能系统旨在检测决策模式或与先前决策模式的偏离。由于人工智能系统的使用是在先前完成的人工评估之后进行的,且不打算取代或影响该评估(未经适当人工审查),风险将会降低。此类人工智能系统包括例如:给定教师的某种评分模式,可用于事后检查该教师是否可能偏离该评分模式,以标记潜在的不一致或异常。第四个条件应当是:人工智能系统旨在执行仅对与本条例附件所列人工智能系统相关的评估起预备作用的任务,从而使系统输出的可能影响在给后续评估带来风险方面非常低。该条件尤其涵盖文件处理的智能解决方案,包括索引、搜索、文本和语音处理或将数据链接到其他数据源等各种功能,或用于初步文件翻译的人工智能系统。无论如何,在本条例附件所列高风险用例中使用的人工智能系统,如果其涉及条例 (EU) 2016/679 第 4 条第 (4) 项、指令 (EU) 2016/680 第 3 条第 (4) 项或条例 (EU) 2018/1725 第 3 条第 (5) 项意义上的画像,则应被视为对健康、安全或基本权利构成重大损害风险。为确保可追溯性和透明度,认为人工智能系统基于上述条件不属于高风险的提供者,应在该系统投放市场或投入使用之前起草评估文件,并应在国家主管机关要求时提供该文件。此类提供者应有义务在本条例设立的欧盟数据库中登记该人工智能系统。为就本条例附件所列人工智能系统在例外情况下不属高风险的条件的实际实施提供进一步指导,欧盟委员会应在咨询委员会后提供指南,具体说明该实际实施,并附上高风险人工智能系统使用案例和非高风险使用案例的综合实例清单。
(54) 由于生物特征数据构成个人数据的特殊类别,宜将生物识别系统的若干关键使用案例归类为高风险,只要其使用符合相关联盟和国家法律所允许。旨在对自然人进行远程生物特征识别的人工智能系统的技术不准确可能导致有偏见的结果并产生歧视性影响。此类可能有偏见的结果和歧视性影响与年龄、族裔、种族、性别或残疾尤其相关。因此,鉴于远程生物特征识别系统所构成的风险,应将其归类为高风险。此类归类排除旨在用于生物特征验证(包括身份验证)的人工智能系统——此类系统的唯一目的是确认特定自然人确为其所声称的人,以及仅为访问服务、解锁设备或获得场所安全准入而确认自然人身份。此外,旨在基于生物特征数据按照条例 (EU) 2016/679 第 9 条第 1 款保护的敏感属性或特征进行生物特征分类(只要本条例未予禁止)的人工智能系统,以及本条例未予禁止的情绪识别系统,应归类为高风险。仅旨在实现网络安全和个人数据保护措施的生物识别系统不应被视为高风险人工智能系统。
(55) 就关键基础设施的管理和运营而言,宜将旨在作为指令 (EU) 2022/2557 附件第 (8) 点所列关键数字基础设施、道路交通以及供水、供气、供暖和供电的管理和运营中的安全组件使用的人工智能系统归类为高风险,因为其失效或故障可能大规模危及人员的生命和健康,并导致社会和经济活动正常进行受到明显干扰。关键基础设施(包括关键数字基础设施)的安全组件是用于直接保护关键基础设施的物理完整性或人员和财产的健康与安全的系统,但系统运行并非必须依赖这些组件。此类组件的失效或故障可能直接导致关键基础设施物理完整性受到风险,从而对人员和财产的健康与安全构成风险。仅用于网络安全目的的组件不应认定为安全组件。此类关键基础设施的安全组件的例子可包括用于监测水压的系统或云计算中心中的火灾报警控制系统。
(56) 在教育领域部署人工智能系统对于促进高质量数字教育和培训,以及使所有学习者和教师获得和分享必要的数字技能和能力(包括媒体素养和批判性思维),以积极参与经济、社会和民主进程,具有重要意义。然而,用于教育或职业培训的人工智能系统——特别是用于决定入学或录取、将人员分配到各级教育和职业培训机构或项目、评估人员学习成果、评估个人适当的教育水平并实质影响个人将接受或能够获得的教育和培训水平,或用于在考试期间监测和检测学生的违规行为——应归类为高风险人工智能系统,因为它们可能决定一个人的教育和职业人生轨迹,从而可能影响该人谋生的能力。此类系统设计和使用的失当可能使其特别具有侵入性,可能侵犯受教育和培训的权利以及不受歧视的权利,并延续历史上的歧视模式,例如针对妇女、某些年龄段的人、残疾人或某些种族或族裔出身或性取向的人。
(57) 用于就业、工人管理和自主就业准入的人工智能系统——特别是用于人员的招聘和甄选、作出影响工作相关关系条款的决定、晋升和终止工作相关合同关系、基于个人行为、个人特质或特征分配任务,以及监测或评估工作相关合同关系中的人员——也应归类为高风险,因为这些系统可能对未来的职业前景、这些人的生计和工人权利产生明显影响。相关工作相关合同关系应以有意义的方式涉及雇员以及通过欧盟委员会 2021 年工作计划所提及的平台提供服务的个人。在招聘过程以及工作相关合同关系中的评估、晋升或留用过程中,此类系统可能延续历史上的歧视模式,例如针对妇女、某些年龄段的人、残疾人或某些种族或族裔出身或性取向的人。用于监测此类人员的表现和行为的人工智能系统也可能损害他们数据保护和隐私的基本权利。
(58) 另一个值得特别考虑人工智能系统使用的领域是获得和享有某些必要的私人及公共服务和福利,这些服务和福利对于人们充分参与社会或改善生活水平是必要的。特别是,向公共当局申请或领取基本公共援助福利和服务的自然人——即医疗服务、社会保障福利、在生育、疾病、工伤事故、依赖或年老以及失业等情况下提供保护的社会服务,以及社会和住房援助——通常依赖这些福利和服务,在相关主管机关面前处于弱势地位。如果使用人工智能系统决定当局是否应批准、拒绝、减少、撤销或追回此类福利和服务,包括受益人是否合法有权获得此类福利或服务,这些系统可能对人们的生计产生重大影响,并可能侵犯其基本权利(如社会保护权、不受歧视的权利、人的尊严权或获得有效救济的权利),因此应归类为高风险。尽管如此,本条例不应阻碍公共行政领域创新方法的开发和利用——更广泛地使用合规且安全的人工智能系统将使公共行政受益,只要这些系统不会对法人和自然人构成高风险。此外,用于评估自然人信用评分或信誉的人工智能系统应归类为高风险人工智能系统,因为它们决定这些人获得金融资源或住房、电力和电信服务等基本服务的机会。用于这些目的的人工智能系统可能导致人与人之间或群体之间的歧视,并可能延续历史上的歧视模式(如基于种族或族裔出身、性别、残疾、年龄或性取向的歧视),或产生新的歧视性影响形式。然而,联盟法律为在金融服务提供中检测欺诈以及为审慎目的计算信贷机构和保险企业的资本要求而规定的人工智能系统,不应被视为本条例下的高风险。此外,旨在用于健康和人寿保险中对自然人进行风险评估和定价的人工智能系统也可能对人们的生计产生重大影响,如果设计、开发和使用不当,可能侵犯其基本权利,并可能对人们的生活和健康造成严重后果,包括金融排斥和歧视。最后,用于评估和分类自然人的紧急呼叫,或用于调度紧急第一响应服务(包括警察、消防员和医疗救助)或确定其调度优先级,以及紧急医疗病人分诊系统的人工智能系统,也应归类为高风险,因为它们在对人员和其财产的生命和健康至关重要的情形中作出决定。
(59) 鉴于其角色和责任,执法当局涉及某些人工智能系统使用的行动具有显著权力失衡的特征,并可能导致监视、逮捕或剥夺自然人自由,以及对《宪章》所保障的基本权利的其他不利影响。特别是,如果人工智能系统未经高质量数据训练,在其性能、准确性或稳健性方面不符合适当要求,或在投放市场或以其他方式投入使用前未经适当设计和测试,它可能以歧视性或错误或不公正的方式单独挑出人员。此外,重要程序性基本权利的行使——如获得有效救济和公平审判的权利以及辩护权和无罪推定——可能受到阻碍,特别是当此类人工智能系统不够透明、可解释和有文档记录时。因此,宜将旨在用于执法背景下的若干人工智能系统归类为高风险(只要其使用符合相关联盟和国家法律所允许),在这些背景下,准确性、可靠性和透明度对于避免不利影响、保持公众信任并确保问责制和有效救济尤其重要。鉴于活动的性质及相关风险,这些高风险人工智能系统尤其应包括:由执法当局或代表执法当局,或由联盟机构、机关、办公室或部门支持执法当局使用的人工智能系统——用于评估自然人成为刑事犯罪受害者的风险;用作测谎仪和类似工具;用于在刑事犯罪调查或起诉过程中评估证据的可靠性;以及在本条例未予禁止的范围内,用于评估自然人犯罪或再犯罪的风险(不仅基于对自然人的画像或对人格特质和特征或自然人及群体过去犯罪行为的评估);用于在侦查、调查或起诉刑事犯罪过程中进行画像。专用于税务和海关当局以及履行行政任务的金融情报部门(依据联盟反洗钱法律分析信息)开展行政程序的人工智能系统,不应归类为执法当局用于预防、侦查、调查和起诉刑事犯罪目的的高风险人工智能系统。执法和其他相关当局使用人工智能工具不应成为不平等或排斥的因素。不应忽视人工智能工具的使用对嫌疑人辩护权的影响,特别是难以获得关于这些系统运作方式的有意义信息,以及由此产生的难以在法庭上质疑其结果,尤其是对被调查自然人而言。
(60) 用于移民、庇护和边境管制管理的人工智能系统影响的人员往往处于特别弱势的地位,并依赖主管公共当局行动的结果。因此,在这些背景下使用的人工智能系统的准确性、非歧视性和透明度对于保证受影响人员的基本权利(特别是其自由流动、不受歧视、保护私人生活和个人数据、国际保护以及良好行政的权利)尤其重要。因此,宜将以下人工智能系统归类为高风险(只要其使用符合相关联盟和国家法律所允许):由主管公共当局或代表主管公共当局,或由负责移民、庇护和边境管制管理领域任务的联盟机构、机关、办公室或部门使用的测谎仪及类似工具;用于评估进入成员国领土或申请签证或庇护的自然人所构成的某些风险的系统;用于协助主管公共当局审查庇护、签证和居留许可申请及相关申诉(包括对证据可靠性的相关评估),以确定申请某种身份的自然人是否符合资格的系统;用于在移民、庇护和边境管制管理背景下检测、识别或确认自然人的系统(旅行证件核验除外)。本条例涵盖的移民、庇护和边境管制管理领域的人工智能系统应符合欧洲议会和理事会条例 (EC) No 810/2009 [(32)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr32-L_202401689EN.000101-E0032)、欧洲议会和理事会指令 2013/32/EU [(33)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr33-L_202401689EN.000101-E0033) 以及其他相关联盟法律所规定的相关程序要求。在任何情况下,成员国或联盟机构、机关、办公室或部门都不得将人工智能系统在移民、庇护和边境管制管理中的使用作为规避其根据 1951 年 7 月 28 日在日内瓦订立并经 1967 年 1 月 31 日议定书修正的《联合国难民地位公约》所承担的国际义务的手段。也不得将其用于以任何方式侵犯不推回原则,或拒绝安全有效的进入联盟领土的合法途径,包括国际保护权。
(61) 某些旨在用于司法和民主进程管理的人工智能系统应归类为高风险,考虑到它们对民主、法治、个人自由以及获得有效救济和公平审判的权利可能产生的重大影响。特别是,为解决潜在偏见、错误和不透明的风险,宜将旨在由司法机关或代表司法机关使用、以协助司法机关研究和解释事实与法律并将法律适用于具体事实集的人工智能系统认定为高风险。替代性争议解决机构旨在用于这些目的的人工智能系统,当替代性争议解决程序的结果对当事方产生法律效力时,也应被视为高风险。使用人工智能工具可以支持法官的决策权或司法独立,但不应取代它:最终决策必须保持由人类驱动的活动。然而,人工智能系统被归类为高风险不应扩展到旨在用于纯附属行政活动的人工智能系统——此类活动不影响个别案件的实际司法,例如司法判决、文件或数据的匿名化或假名化、人员之间的沟通、行政任务。
(62) 在不影响欧洲议会和理事会条例 (EU) 2024/900 [(34)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr34-L_202401689EN.000101-E0034) 所规定规则的前提下,并为了应对《宪章》第 39 条所载投票权受到不当外部干预的风险以及对民主和法治的不利影响,旨在用于影响选举或公投结果或自然人在选举或公投中行使投票权的投票行为的人工智能系统,应归类为高风险人工智能系统,但自然人不会直接接触其输出的人工智能系统(如用于从行政和后勤角度组织、优化和构建政治竞选活动的工具)除外。
(63) 根据本条例将人工智能系统归类为高风险人工智能系统,不应被解释为表明该系统的使用依据其他联盟法律文书或符合联盟法律的国内法(如关于个人数据保护、使用测谎仪和类似工具或其他检测自然人情绪状态的系统的法律)是合法的。任何此类使用都应当完全按照《宪章》以及适用的二级联盟法律和国内法所产生的适用要求继续进行。本条例不应被理解为为个人数据(包括相关特殊类别个人数据)的处理提供法律依据,除非本条例另有明确规定。
(64) 为减轻投放市场或投入使用的高风险人工智能系统的风险并确保高水平的可信度,应根据人工智能系统的预期目的和使用背景,并按照提供者将要建立的风险管理制度,对高风险人工智能系统适用某些强制性要求。提供者为遵守本条例强制性要求而采取的措施,应考虑公认的人工智能最新技术水平,并应相称且有效地实现本条例的目标。根据新立法框架(如欧盟委员会通知《欧盟产品规则实施“蓝皮书”2022》所阐明的),一般规则是,多个联盟协调立法法律文书可适用于同一产品,因为只有产品符合所有适用的联盟协调立法时,才能进行投放或投入使用。本条例要求所涵盖的人工智能系统的危害涉及与现有联盟协调立法不同的方面,因此本条例的要求将补充现有的联盟协调立法体系。例如,包含人工智能系统的机械或医疗器械产品可能带来相关联盟协调立法所规定的基本健康和安全要求未解决的风险,因为该部门法不处理人工智能系统特有的风险。这要求各立法文书同时和互补地适用。为确保一致性并避免不必要的行政负担和不必要的成本,包含一个或多个高风险人工智能系统(本条例的要求以及基于新立法框架并在本条例附件中列出的联盟协调立法的要求均适用于该系统)的产品的提供者,在关于如何以最佳方式确保包含一个或多个人工智能系统的产品符合该联盟协调立法的所有适用要求的操作性决策方面,应具有灵活性。这种灵活性可以意味着例如提供者决定将本条例要求的部分必要测试和报告流程、信息和文件整合到基于新立法框架并在本条例附件中列出的现有联盟协调立法所要求的现有文件和程序中。这绝不应削弱提供者遵守所有适用要求的义务。
(65) 风险管理制度应包括一个持续的、迭代的过程,该过程在高风险人工智能系统的整个生命周期内进行规划和运行。该过程应旨在识别和减轻人工智能系统对健康、安全和基本权利的相关风险。风险管理制度应定期审查和更新,以确保其持续有效,并证明和记录根据本条例采取的任何重要决定和行动的正当性。该过程应确保提供者识别风险或不利影响,并针对人工智能系统对健康、安全和基本权利的已知和合理可预见风险实施缓解措施——同时考虑其预期目的和合理可预见的滥用,包括人工智能系统与其运行环境之间相互作用可能产生的风险。风险管理制度应根据人工智能的最新技术水平采用最适当的风险管理措施。在确定最适当的风险管理措施时,提供者应记录并解释所作出的选择,并在相关时让专家和外部利益攸关方参与。在识别高风险人工智能系统的合理可预见滥用时,提供者应涵盖人工智能系统的使用情形——这些使用虽未直接涵盖在预期目的和说明书中,但鉴于特定人工智能系统的具体特征和使用,仍可合理预期源于易于预测的人类行为。任何与按照预期目的使用高风险人工智能系统或在合理可预见滥用条件下使用相关的、可能导致健康、安全或基本权利风险的已知或可预见情形,都应包含在提供者提供的使用说明书中。这是为了确保部署者在使用高风险人工智能系统时了解这些情形并予以考虑。根据本条例识别和实施针对可预见滥用的风险缓解措施,不应要求提供者针对可预见滥用对高风险人工智能系统进行额外的专门培训。但鼓励提供者在必要和适当时考虑此类额外培训措施,以减轻合理可预见的滥用。
(66) 高风险人工智能系统应满足以下方面的要求:风险管理;所用数据集的质量和相关性;技术文档和记录保存;透明度以及向部署者提供信息;人工监督;以及稳健性、准确性和网络安全。这些要求对于有效减轻健康、安全和基本权利的风险是必要的。由于不存在其他可合理获得的、贸易限制更少的措施,这些要求并非不合理的贸易限制。
(67) 高质量数据以及获得高质量数据,在为许多人工智能系统提供结构并确保其性能方面发挥着至关重要的作用,尤其是在使用涉及模型训练的技术时,以确保高风险人工智能系统按预期安全地运行,并且不会成为联盟法律所禁止的歧视来源。用于训练、验证和测试的高质量数据集需要实施适当的数据治理和管理实践。用于训练、验证和测试的数据集(包括标签)应具有相关性、充分代表性,并尽最大可能没有错误,且鉴于系统的预期目的具有完整性。为便利遵守联盟数据保护法律(如条例 (EU) 2016/679),数据治理和管理实践应在涉及个人数据时包括关于数据收集原始目的的透明度。数据集还应具有适当的统计特性,包括就高风险人工智能系统拟针对其使用的人员或群体而言,并特别注意减轻数据集中可能的偏见——这些偏见可能影响人员的健康和安全,对基本权利产生负面影响,或导致联盟法律所禁止的歧视,尤其是当数据输出影响未来操作的输入时(反馈回路)。例如,偏见可能内在于底层数据集(尤其是在使用历史数据时),或在系统部署于现实世界环境时产生。人工智能系统提供的结果可能受此类内在偏见的影响,这些偏见倾向于逐渐增加,从而延续和放大现有的歧视,特别是对属于某些弱势群体(包括种族或族裔群体)的人员。数据集尽最大可能完整且无错误的要求不应影响在人工智能系统开发和测试背景下使用隐私保护技术。特别是,数据集应在其预期目的要求的范围内,考虑人工智能系统拟在其使用的特定地理、情境、行为或功能环境的特征、属性或要素。与数据治理相关的要求可以通过求助于提供认证合规服务的第三方来满足,包括数据治理、数据集完整性和数据训练、验证和测试实践的验证,只要本条例数据要求的合规性得到确保。
(68) 为开发和评估高风险人工智能系统,某些行为者——如提供者、公告机构和相关实体(如欧洲数字创新中心、测试实验设施和研究人员)——应能够在与其与本条例相关的活动领域内访问和使用高质量数据集。欧盟委员会建立的欧洲共同数据空间,以及促进企业之间和与政府之间在公共利益方面的数据共享,将有助于为人工智能系统的训练、验证和测试提供可信、负责任和非歧视的高质量数据访问。例如,在医疗领域,欧洲健康数据空间将以保护隐私、安全、及时、透明和可信的方式,并在适当的机构治理下,促进对健康数据的非歧视性访问以及在这些数据集上训练人工智能算法。提供或支持数据访问的相关主管机关(包括部门主管机关)也可以支持为人工智能系统的训练、验证和测试提供高质量数据。
(69) 隐私权和个人数据保护权必须在人工智能系统的整个生命周期内得到保障。在这方面,联盟数据保护法律所规定的数据最小化和设计及默认数据保护原则,在处理个人数据时适用。提供者为确保遵守这些原则而采取的措施不仅可以包括匿名化和加密,还可以包括使用允许将算法带到数据处的技术,并允许在各方之间不传输或复制原始或结构化数据的情况下训练人工智能系统,且不影响本条例规定的数据治理要求。
(70) 为保护他人免受人工智能系统偏见可能导致的歧视,提供者应在例外情况下,在确保偏见检测和纠正相对于高风险人工智能系统所严格必要的范围内,在遵守对自然人基本权利和自由的适当保障并遵循本条例规定的所有适用条件(除条例 (EU) 2016/679 和 (EU) 2018/1725 以及指令 (EU) 2016/680 规定的条件外)后,也能够处理特殊类别的个人数据,作为条例 (EU) 2016/679 第 9 条第 2 款第 (g) 项和条例 (EU) 2018/1725 第 10 条第 2 款第 (g) 项意义上的重大公共利益事项。
(71) 拥有关于高风险人工智能系统如何开发以及在其整个生命周期内如何表现的易懂信息,对于实现这些系统的可追溯性、验证其对本条例要求的合规性以及监测其运行和上市后监测至关重要。这要求保存记录并提供技术文档,其中包含评估人工智能系统对相关要求的合规性并促进上市后监测所需的信息。此类信息应包括系统的总体特征、能力和局限、算法、数据、训练、测试和验证过程,以及相关风险管理制度的文档,并以清晰全面的形式起草。技术文档应保持更新,并在人工智能系统的整个生命周期内持续更新。此外,高风险人工智能系统应在技术上允许在系统生命周期内通过日志自动记录事件。
(72) 为解决某些人工智能系统不透明和复杂性的问题,并帮助部署者履行其在本条例下的义务,高风险人工智能系统在投放市场或投入使用之前应具备透明度。高风险人工智能系统应以使部署者能够理解人工智能系统如何运作、评估其功能并理解其优势和局限的方式设计。高风险人工智能系统应附有使用说明书形式的适当信息。此类信息应包括人工智能系统的特征、能力及性能局限。这些将涵盖关于高风险人工智能系统使用相关的已知和可预见情形(包括可能影响系统行为和性能的部署者行动)的信息——在这些情形下人工智能系统可能导致健康、安全和基本权利风险;关于提供者预先确定并经合格性评估的变更的信息;以及关于相关人工监督措施的信息,包括促进部署者解释人工智能系统输出的措施。透明度(包括随附的使用说明书)应协助部署者使用系统并支持其知情决策。部署者尤其应能够更好地根据适用于他们的义务选择其拟使用的正确系统,了解预期用途和禁止用途,并正确和适当地使用人工智能系统。为提高使用说明书中信息的易读性和可访问性,在适当时应包括说明性示例,例如关于人工智能系统的局限以及预期和禁止用途的示例。提供者应确保所有文档(包括使用说明书)包含有意义、全面、可访问和可理解的信息,同时考虑目标部署者的需求和可预见的知识。使用说明书应以目标部署者容易理解的语言提供,该语言由有关成员国确定。
(73) 高风险人工智能系统的设计和开发方式应使自然人能够监督其运行,确保它们按预期使用,并在系统生命周期内处理其影响。为此,提供者应在系统投放市场或投入使用之前确定适当的人工监督措施。特别是,在适当时,此类措施应保证系统受到系统本身无法覆盖的内置操作约束,并对人工操作员作出响应,且被分配人工监督职责的自然人具备必要的胜任能力、培训和授权以履行该角色。在适当时,确保高风险人工智能系统包括指导和通知被分配人工监督职责的自然人的机制,使其能够就是否、何时以及如何干预作出知情决定,以避免负面后果或风险,或在系统未按预期运行时停止系统,这一点也至关重要。考虑到某些生物特征识别系统错误匹配对人员可能产生的重大后果,宜为这些系统规定强化的人工监督要求,使部署者不得仅基于系统产生的识别结果采取任何行动或作出任何决定,除非该结果已由至少两名自然人单独验证和确认。这些人可以来自一个或多个实体,并包括操作或使用系统的人员。该要求不应造成不必要的负担或延迟,由不同人员进行的单独验证自动记录在系统生成的日志中即可满足。鉴于执法、移民、边境管制和庇护领域的特殊性,如果联盟或国家法律认为适用该要求不相称,则该要求不适用。
(74) 高风险人工智能系统应在其整个生命周期内保持一致的表现,并达到适当的准确性、稳健性和网络安全水平,同时考虑其预期目的并符合公认的最新技术水平。鼓励欧盟委员会和相关组织及利益攸关方充分考虑风险缓解和人工智能系统的负面影响。预期性能指标水平应在随附的使用说明书中声明。敦促提供者以清晰易懂的方式向部署者传达该信息,避免误解或误导性陈述。联盟法定计量法律(包括欧洲议会和理事会指令 2014/31/EU [(35)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr35-L_202401689EN.000101-E0035) 和 2014/32/EU [(36)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr36-L_202401689EN.000101-E0036))旨在确保测量的准确性并有助于商业交易的透明度和公平性。在此背景下,欧盟委员会应与相关利益攸关方和组织(如计量和基准测试机构)合作,酌情鼓励为人工智能系统制定基准和测量方法。为此,欧盟委员会应注意并与从事计量和人工智能相关测量指标工作的国际伙伴合作。
(75) 技术稳健性是高风险人工智能系统的关键要求。它们应能抵御系统内部局限或系统运行环境(如错误、故障、不一致、意外情况)可能产生的有害或其他不良行为。因此,应采取技术和组织措施确保高风险人工智能系统的稳健性,例如通过设计和开发适当的技术解决方案来防止或尽量减少有害或其他不良行为。这些技术解决方案可包括例如在存在某些异常或运行超出某些预定边界时使系统能够安全中断其运行的机制(故障安全计划)。未能防范这些风险可能导致安全影响或对基本权利产生负面影响,例如由于人工智能系统产生的错误决定或错误或有偏见的输出。
(76) 网络安全在确保人工智能系统能够抵御恶意第三方利用系统漏洞改变其使用、行为、性能或破坏其安全属性的企图方面发挥着至关重要的作用。针对人工智能系统的网络攻击可以利用人工智能特有的资产,如训练数据集(如数据投毒)或已训练模型(如对抗性攻击或成员推断攻击),或利用人工智能系统数字资产或底层 ICT 基础设施中的漏洞。为确保与风险相适应的网络安全水平,高风险人工智能系统的提供者应采取适当措施(如安全控制),并酌情考虑底层 ICT 基础设施。
(77) 在不影响本条例规定的稳健性和准确性要求的前提下,属于欧洲议会和理事会关于具有数字元素的产品的横向网络安全要求的条例范围内的(高风险)人工智能系统,可以按照该条例,通过满足该条例规定的基本网络安全要求来证明符合本条例的网络安全要求。当高风险人工智能系统满足关于具有数字元素的产品的横向网络安全要求的条例的基本要求时,应被视为符合本条例规定的网络安全要求,只要这些要求的实现已在该条例颁发的欧盟合格声明或其部分中证明。为此,根据本条例被归类为高风险人工智能系统的具有数字元素的产品的网络安全风险评估(依据关于具有数字元素的产品的横向网络安全要求的条例进行),应考虑未经授权的第三方试图改变其使用、行为或性能时人工智能系统的网络韧性风险,包括数据投毒或对抗性攻击等人工智能特有漏洞,以及(如相关)本条例要求的基本权利风险。
(78) 本条例规定的合格评定程序应适用于属于欧洲议会和理事会关于具有数字元素的产品的横向网络安全要求的条例所涵盖的、且根据本条例被归类为高风险人工智能系统的具有数字元素的产品的必要网络安全要求。但是,该规则不应导致降低被关于具有数字元素的产品的横向网络安全要求的条例所涵盖的关键产品所需的必要保证水平。因此,作为该规则的克减,属于本条例适用范围、且根据关于具有数字元素的产品的横向网络安全要求的条例被认定为重要和关键的具有数字元素的产品的高风险人工智能系统——本条例附件所规定的基于内部控制的合格评定程序适用于这些系统——就(该横向条例的)基本网络安全要求而言,须遵守关于具有数字元素的产品的横向网络安全要求的条例的合格评定规定。在此情况下,就本条例涵盖的所有其他方面,应适用本条例附件所规定的基于内部控制的合格评定相关条款。基于欧洲网络安全局(ENISA)在网络安全政策方面的知识以及欧洲议会和理事会条例 (EU) 2019/881 [(37)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr37-L_202401689EN.000101-E0037) 赋予 ENISA 的任务,欧盟委员会应就人工智能系统网络安全相关问题与 ENISA 合作。
(79) 宜由特定自然人或法人——被定义为提供者——对高风险人工智能系统的投放市场或投入使用承担责任,无论该自然人或法人是否是该系统的设计者或开发者。
(80) 作为《联合国残疾人权利公约》的签署方,联盟和成员国在法律上有义务保护残疾人免受歧视并促进其平等,确保残疾人能够与其他人平等地获得信息和通信技术与系统,并确保尊重残疾人的隐私。鉴于人工智能系统日益重要和广泛使用,将通用设计原则应用于所有新技术和服务,应以充分考虑其固有尊严和多样性的方式,确保每个可能受人工智能技术影响或使用人工智能技术的人(包括残疾人)都能全面和平等地获得。因此,提供者必须确保完全遵守无障碍要求,包括欧洲议会和理事会指令 (EU) 2016/2102 [(38)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr38-L_202401689EN.000101-E0038) 和指令 (EU) 2019/882。提供者应确保在设计时遵守这些要求。因此,必要措施应尽可能整合到高风险人工智能系统的设计中。
(81) 提供者应建立完善的质量管理体系,确保完成所要求的合格评定程序,起草相关文档并建立稳健的上市后监测系统。根据相关部门联盟法律负有质量管理体系义务的高风险人工智能系统提供者,应有可能将本条例规定的质量管理体系要素作为该其他部门联盟法律所规定的现有质量管理体系的一部分。本条例与现有部门联盟法律之间的互补性也应在未来的标准化活动或欧盟委员会通过的指南中予以考虑。为自身使用而投入使用高风险人工智能系统的公共当局,可以酌情采用和实施质量管理体系规则,作为在国家或地区层面采纳的质量管理体系的一部分,同时考虑部门的具体情况以及有关公共当局的权限和组织。
(82) 为能够执行本条例并为经营者创造公平的竞争环境,并考虑到数字产品可提供的不同形式,重要的是确保在所有情况下,设立于联盟内的人员都能向当局提供关于人工智能系统合规性的所有必要信息。因此,在其人工智能系统在联盟内可提供之前,设立于第三国的提供者应通过书面委托,任命一名设立于联盟内的授权代表。该授权代表在确保未在联盟内设立的提供者投放联盟市场或投入使用的(高风险)人工智能系统符合本条例方面发挥关键作用,并作为其在联盟内设立的联系人。
(83) 鉴于人工智能系统价值链的性质和复杂性,并符合新立法框架,必须确保法律确定性并促进对本条例的遵守。因此,有必要澄清该价值链上相关经营者(如可能参与人工智能系统开发的进口商和分销商)的角色和具体义务。在某些情况下,这些经营者可以同时充当一个以上的角色,因此应累计履行与这些角色相关的所有相关义务。例如,经营者可以同时充当分销商和进口商。
(84) 为确保法律确定性,有必要澄清,在特定条件下,任何分销商、进口商、部署者或其他第三方都应被视为高风险人工智能系统的提供者,从而承担所有相关义务。如果该当事方将其名称或商标放在已投放市场或投入使用的高风险人工智能系统上,即属此情况,但不影响规定义务以其他方式分配的合同安排。如果该当事方对已投放市场或已投入使用的高风险人工智能系统作出实质性修改,使其根据本条例仍然属于高风险人工智能系统,或将人工智能系统(包括通用人工智能系统)的预期目的修改为——该系统此前未被归类为高风险且已投放市场或投入使用——使其根据本条例成为高风险人工智能系统,也属此情况。这些条款应在不影响基于新立法框架的某些联盟协调立法所确立的更具体条款的情况下适用,本条例应与这些立法一同适用。例如,条例 (EU) 2017/745 第 16 条第 2 款确定某些变更不应被视为可能影响器械符合适用要求的修改,该条应继续适用于属于该条例意义上的医疗器械的高风险人工智能系统。
(85) 通用人工智能系统本身可以用作高风险人工智能系统,或作为其他高风险人工智能系统的组成部分。因此,由于其特殊性质,并为了确保沿人工智能价值链公平分担责任,此类系统的提供者——无论其是否可被其他提供者作为高风险人工智能系统本身使用,或作为高风险人工智能系统的组成部分使用——除非本条例另有规定,应与相关高风险人工智能系统的提供者密切合作,使其能够遵守本条例下的相关义务,并与根据本条例建立的主管机关密切合作。
(86) 凡在本条例规定的条件下,最初将人工智能系统投放市场或投入使用的提供者不再被视为本条例意义上的提供者,且该提供者未明确排除人工智能系统转变为高风险人工智能系统的,原提供者仍应密切合作,并提供必要的信息以及提供合理预期的技术访问和履行本条例规定义务所需的其他协助,特别是关于遵守高风险人工智能系统合格评定方面的义务。
(87) 此外,如果作为属于基于新立法框架的联盟协调立法适用范围的产品安全组件的高风险人工智能系统,不能独立于该产品投放市场或投入使用,则该立法定义的产品制造商应遵守本条例规定的提供者义务,特别是应确保嵌入最终产品的人工智能系统符合本条例的要求。
(88) 沿人工智能价值链,多个当事方经常提供人工智能系统、工具和服务,但也提供提供者将其纳入人工智能系统的组件或流程,其目的各不相同,包括模型训练、模型再训练、模型测试和评估、集成到软件中,或模型开发的其他方面。这些当事方在价值链中对其人工智能系统、工具、服务、组件或流程被集成到其中的高风险人工智能系统的提供者发挥着重要作用,并应通过书面协议向该提供者提供必要的信息、能力、技术访问和其他协助(基于公认的最新技术水平),以使提供者能够完全遵守本条例规定的义务,同时不损害其自身知识产权或商业秘密。
(89) 向公众提供通用人工智能模型以外的工具、服务、流程或人工智能组件的第三方,当这些工具、服务、流程或人工智能组件在自由和开源许可证下提供时,不应被强制要求遵守针对人工智能价值链沿线责任的(规定),特别是针对使用或集成这些工具、服务、流程或人工智能组件的提供者的责任。应鼓励通用人工智能模型以外的自由和开源工具、服务、流程或人工智能组件的开发者采用广泛认可的文档实践(如模型卡和数据表),作为加速沿人工智能价值链信息共享的一种方式,从而促进联盟内值得信赖的人工智能系统的推广。
(90) 欧盟委员会可以制定并推荐高风险人工智能系统提供者与供应被使用或集成到高风险人工智能系统中的工具、服务、组件或流程的第三方之间的自愿性示范合同条款,以促进沿价值链的合作。在制定自愿性示范合同条款时,欧盟委员会还应考虑特定部门或业务案例中可能适用的合同要求。
(91) 鉴于人工智能系统的性质及其使用可能带来的安全和基本权利风险,包括需要在现实环境中适当监测人工智能系统性能,宜为部署者规定具体责任。部署者尤其应采取适当的技术和组织措施,确保他们按照使用说明书使用高风险人工智能系统,并应就人工智能系统运行的监测以及(在适当时)记录保存规定某些其他义务。此外,部署者应确保被指派执行本条例规定的使用说明书和人工监督的人员具备必要的胜任能力,特别是适当水平的人工智能素养、培训和授权,以妥善履行这些任务。这些义务不应影响联盟或国家法律规定的与高风险人工智能系统相关的其他部署者义务。
(92) 本条例不影响雇主根据联盟或国家法律和实践(包括欧洲议会和理事会指令 2002/14/EC [(39)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr39-L_202401689EN.000101-E0039))就投入使用或使用人工智能系统的决定通知工人或其代表、或通知并与其协商的义务。在其他法律文书中此类信息或信息与协商义务的条件未得到满足的情况下,仍必须确保工人及其代表了解在工作场所计划部署高风险人工智能系统。此外,此类知情权对于本条例所依据的保护基本权利的目标而言是附属且必要的。因此,应在本条例中规定相应知情要求,且不影响工人的任何现有权利。
(93) 虽然与人工智能系统相关的风险可能源于此类系统的设计方式,但风险也可能源于此类人工智能系统的使用方式。因此,高风险人工智能系统的部署者在确保基本权利得到保护方面发挥着关键作用,补充提供者在开发人工智能系统时的义务。部署者最有能力理解高风险人工智能系统将被具体如何使用,因此可以识别开发阶段未预见的潜在重大风险,因为他们对使用背景、可能受影响的人员或人员群体(包括弱势群体)有更精确的了解。本条例附件所列高风险人工智能系统的部署者在告知自然人方面也发挥着关键作用,当他们作出或协助作出与自然人相关的决定时,应在适用情况下告知自然人他们受高风险人工智能系统的使用约束。该信息应包括预期目的及其所作决定的类型。部署者还应告知自然人他们根据本条例获得解释的权利。就用于执法目的的高风险人工智能系统,该义务应按照指令 (EU) 2016/680 第 13 条实施。
(94) 为执法目的使用生物特征识别人工智能系统所涉及的任何生物特征数据处理,均须遵守指令 (EU) 2016/680 第 10 条,该条仅在严格必要、并遵守对数据主体权利和自由的适当保障、且经联盟或成员国法律授权的情况下允许此类处理。此类使用在获得授权时,还需要遵守指令 (EU) 2016/680 第 4 条第 1 款规定的原则,包括合法性、公正性和透明度、目的限制、准确性和存储限制。
(95) 在不影响适用的联盟法律(特别是条例 (EU) 2016/679 和指令 (EU) 2016/680)的前提下,考虑到事后远程生物特征识别系统的侵入性,事后远程生物特征识别系统的使用应受保障措施约束。事后远程生物特征识别系统应始终以相称、合法和严格必要的方式使用,因而在要识别的个人、地点、时间范围方面具有针对性,并基于合法获取的视频片段的封闭数据集。无论如何,事后远程生物特征识别系统不应在执法框架内使用导致无差别监视。事后远程生物特征识别的条件在任何情况下都不应成为规避实时远程生物特征识别禁止条件和严格例外的基础。
(96) 为有效确保基本权利得到保护,属于公法管辖机构的实体的高风险人工智能系统部署者、提供公共服务的私营实体,以及本条例附件所列某些高风险人工智能系统(如银行或保险实体)的部署者,应在投入使用前进行基本权利影响评估。对个人重要的公共服务也可能由私营实体提供。提供此类公共服务的私营实体与教育、医疗保健、社会服务、住房、司法管理等领域公共利益任务相关联。基本权利影响评估的目的是让部署者识别可能受影响的个人或群体权利的具体风险,并确定在这些风险实现时应采取的措施。影响评估应在部署高风险人工智能系统之前进行,并在部署者认为任何相关因素发生变化时更新。影响评估应确定部署者将按照预期目的使用高风险人工智能系统的相关流程,并应包括对拟使用系统的时间和频率的描述,以及可能在特定使用背景下受影响的具体自然人类别和群体的描述。评估还应包括识别可能对这些个人或群体的基本权利产生影响的具体损害风险。在进行此评估时,部署者应考虑与适当评估影响相关的信息,包括但不限于高风险人工智能系统提供者在使用说明书中提供的信息。鉴于已识别的风险,部署者应确定在这些风险实现时应采取的措施,包括例如在特定使用背景下的治理安排(如根据使用说明书进行人工监督的安排,或投诉处理和补救程序),因为这些措施在具体使用案例中可能有助于减轻基本权利风险。进行影响评估后,部署者应通知相关市场监督机构。在适当时,为收集进行影响评估所需的必要信息,高风险人工智能系统的部署者(特别是在人工智能系统用于公共部门时)可以邀请相关利益攸关方参与进行此类影响评估并设计在风险实现时应采取的措施,包括可能受人工智能系统影响的人员群体的代表、独立专家和民间社会组织。欧洲人工智能办公室(AI Office)应制定问卷模板,以促进合规并减轻部署者的行政负担。
(97) 通用人工智能模型的概念应明确定义,并与人工智能系统的概念区分开来,以实现法律确定性。该定义应基于通用人工智能模型的关键功能特征,特别是通用性以及胜任执行广泛不同任务的能力。这些模型通常通过各种方法(如自监督、无监督或强化学习)在大量数据上训练。通用人工智能模型可以以各种方式投放市场,包括通过库、应用程序编程接口(API)、直接下载或物理副本。这些模型可以进一步修改或微调成新模型。虽然人工智能模型是人工智能系统的基本组成部分,但它们本身并不构成人工智能系统。人工智能模型需要添加更多组件(例如用户界面)才能成为人工智能系统。人工智能模型通常被集成到人工智能系统中并成为其一部分。本条例为通用人工智能模型以及具有系统性风险的通用人工智能模型提供了具体规则,这些规则也应在这些模型被集成到人工智能系统或成为其一部分时适用。应理解,通用人工智能模型提供者的义务应在其通用人工智能模型投放市场后适用。当通用人工智能模型的提供者将其自有模型集成到其在市场上可提供或投入使用(的)自有人工智能系统中时,该模型应被视为已投放市场,因此,本条例针对模型规定的义务应在针对人工智能系统的义务之外继续适用。无论如何,当自有模型用于纯内部流程(这些流程对于向第三方提供产品或服务并非必不可少,且自然人的权利不受影响)时,为模型规定的义务不应适用。考虑到其潜在的显著负面效应,具有系统性风险的通用人工智能模型应始终遵守本条例下的相关义务。该定义不应涵盖在投放市场之前仅为研究、开发和原型设计活动而使用的人工智能模型。这不妨碍在开展此类活动后将模型投放市场时遵守本条例的义务。
(98) 虽然模型的通用性除其他外也可以由若干参数决定,但至少具有十亿参数并使用大量数据以规模化自监督方式训练的模型,应被视为表现出显著的通用性,并能够胜任地执行广泛的不同任务。
(99) 大型生成式人工智能模型是通用人工智能模型的典型例子,因为它们允许灵活地生成内容,如文本、音频、图像或视频形式,可以轻松适应广泛的不同任务。
(100) 当通用人工智能模型被集成到人工智能系统或成为其一部分时,如果由于这种集成,该系统具有服务于各种目的的能力,则该系统应被视为通用人工智能系统。通用人工智能系统可以直接使用,也可以被集成到其他人工智能系统中。
(101) 通用人工智能模型的提供者在人工智能价值链中具有特殊的角色和责任,因为他们提供的模型可能构成一系列下游系统的基础,这些系统通常由下游提供者提供,需要很好理解模型及其能力,既是为了将这些模型集成到其产品中,也是为了履行其在本条例或其他法规下的义务。因此,应制定相称的透明度措施,包括起草和保持更新文档,以及提供关于通用人工智能模型的信息供下游提供者使用。通用人工智能模型提供者应准备并保持更新技术文档,以便在 AI Office 和国家主管机关要求时提供。此类文档应包含的最少要素应在本条例的具体附件中规定。欧盟委员会应有权根据技术发展的变化通过授权法案修订这些附件。
(102) 在允许开放共享、用户可自由访问、使用、修改和重新分发(或其修改版本)的自由和开源许可证下发布的软件和数据(包括模型),可以促进市场中的研究和创新,并为联盟经济提供显著的增长机会。在自由和开源许可证下发布的通用人工智能模型,如果其参数(包括权重、模型架构信息和模型使用信息)公开可用,则应被视为确保高水平的透明度和开放性。当许可证允许用户运行、复制、分发、研究、更改和改进软件和数据(包括模型)时,即使以原始模型提供者被署名、遵守相同或可比的分发条款为条件,也应被视为自由和开源许可证。
(103) 自由和开源人工智能组件涵盖人工智能系统的软件和数据,包括模型和通用人工智能模型、工具、服务或流程。自由和开源人工智能组件可以通过不同渠道提供,包括在开放存储库上开发。就本条例而言,对价提供或以其他方式货币化的人工智能组件——包括通过与人工智能组件相关的技术支持或其他服务(包括通过软件平台)的提供,或出于除纯粹改善软件的安全性、兼容性或互操作性以外的原因使用个人数据——微型企业之间的交易除外,不应受益于为自由和开源人工智能组件提供的豁免。通过开放存储库提供人工智能组件的事实本身不应构成货币化。
(104) 在自由和开源许可证下发布、且其参数(包括权重、模型架构信息和模型使用信息)公开可用的通用人工智能模型的提供者,应就强加于通用人工智能模型的透明度相关要求享有豁免,除非它们可被视为呈现系统性风险——在此情况下,模型透明并附有开源许可证的事实不应被视为排除遵守本条例义务的充分理由。无论如何,鉴于在自由和开源许可证下发布通用人工智能模型并不必然揭示用于模型训练或微调的数据集以及如何由此确保版权法合规性的实质性信息,为通用人工智能模型提供的透明度相关要求合规豁免,不应涉及编制关于用于模型训练的内容摘要的义务,以及制定遵守联盟版权法政策的义务,特别是识别和遵守欧洲议会和理事会指令 (EU) 2019/790 [(40)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr40-L_202401689EN.000101-E0040) 第 4 条第 3 款规定的权利保留。
(105) 能够生成文本、图像和其他内容的通用人工智能模型,特别是大型生成式人工智能模型,带来了独特的创新机会,也对艺术家、作者和其他创作者及其创作内容被创作、分发、使用和消费的方式提出了挑战。此类模型的开发和训练需要获得大量文本、图像、视频和其他数据。文本和数据挖掘技术可在此背景下被广泛用于此类内容的检索和分析,此类内容可能受版权和相关权利保护。任何对受版权保护内容的使用都需要相关权利人的授权,除非相关版权例外和限制适用。指令 (EU) 2019/790 引入了例外和限制,允许在一定条件下为文本和数据挖掘目的复制和提取作品或其他主题内容。根据这些规则,权利人可以选择保留其作品或其他主题内容的权利以防止文本和数据挖掘,除非这是出于科学研究目的。如果退出(opt-out)权已以适当方式明确保留,通用人工智能模型的提供者如果想要对此类作品进行文本和数据挖掘,则需要获得权利人的授权。
(106) 将通用人工智能模型投放联盟市场的提供者应确保遵守本条例中的相关义务。为此,通用人工智能模型的提供者应制定遵守联盟版权和相关权利法的政策,特别是识别和遵守权利人根据指令 (EU) 2019/790 第 4 条第 3 款表示的权利保留。任何将通用人工智能模型投放联盟市场的提供者都应遵守该义务,无论支撑这些通用人工智能模型训练的版权相关行为发生在哪个司法管辖区。这对于确保通用人工智能模型提供者之间的公平竞争环境是必要的,任何提供者都不应能够通过应用低于联盟所提供标准的版权标准在联盟市场中获得竞争优势。
(107) 为提高关于通用人工智能模型预训练和训练中所用数据(包括受版权法保护的文本和数据)的透明度,此类模型的提供者应起草并公开提供关于用于训练通用人工智能模型的内容的足够详细的摘要。在适当考虑保护商业秘密和机密商业信息的需要的同时,该摘要应在其范围上总体全面而非技术细节详尽,以方便包括版权持有人在内的具有合法利益的当事方行使和执行其在联盟法律下的权利,例如通过列出用于训练模型的主要数据集合或数据集(如大型私人或公共数据库或数据档案),并提供关于所使用的其他数据源的叙述性说明。AI Office 提供摘要模板是适当的,该模板应简单、有效,并允许提供者以叙述形式提供所需摘要。
(108) 关于强加于通用人工智能模型提供者的制定遵守联盟版权法政策并公开提供用于训练的内容摘要的义务,AI Office 应监测提供者是否履行了这些义务,而不核实训练数据在版权合规方面的合规性,也不进行逐作品评估。本条例不影响联盟法律规定的版权规则的执行。
(109) 对通用人工智能模型提供者适用义务的遵守应与其模型提供者类型相称和成比例,排除对为非专业或科学研究目的开发或使用模型的人员的合规需要——尽管如此,仍应鼓励其自愿遵守这些要求。在不影响联盟版权法的情况下,对这些义务的遵守应适当考虑提供者的规模,并允许中小企业(包括初创企业)采用简化合规方式,这些方式不应代表过高的成本,也不应阻碍此类模型的使用。在模型被修改或微调的情况下,通用人工智能模型提供者的义务应限于该修改或微调,例如通过以补充新训练数据源等修改信息来补充已有技术文档,作为遵守本条例规定的价值链义务的一种方式。
(110) 通用人工智能模型可能带来系统性风险,这些风险包括但不限于:与重大事故、关键部门中断以及对公共卫生和安全造成严重后果相关的任何实际或合理可预见的负面效应;对民主进程、公共和经济安全的任何实际或合理可预见的负面效应;非法、虚假或歧视性内容的传播。系统性风险应被理解为随模型能力和模型覆盖面增加而增加,可在模型的整个生命周期内产生,并受到滥用条件、模型可靠性、模型公平性和模型安全性、模型自主水平、其对工具的访问、新颖或组合模态、发布和分发策略、消除护栏的可能性以及其他因素的影响。特别是,国际方法迄今已确定需要注意以下风险:潜在故意滥用或与控制相关的意外问题(涉及与人类意图对齐);化学、生物、放射性和核风险,如降低进入门槛的方式,包括武器开发、设计获取或使用;进攻性网络能力,如促进漏洞发现、利用或作战使用的方式;交互和工具使用的影响,包括例如控制物理系统和干扰关键基础设施的能力;模型复制自身或“自我复制”或训练其他模型的风险;模型引起有害偏见和歧视并给个人、社区或社会带来风险的方式;促进虚假信息或损害隐私从而威胁民主价值观和人权;以及特定事件可能导致连锁反应并产生相当大的负面效应——可能影响整个城市、整个领域活动或整个社区的风险。
(111) 宜建立将通用人工智能模型归类为具有系统性风险的通用人工智能模型的方法论。由于系统性风险源于特别高的能力,如果通用人工智能模型具有高影响能力(基于适当技术工具和方法论评估),或由于覆盖面(reach)对内部市场产生重大影响,则应被视为呈现系统性风险。通用人工智能模型中的高影响能力是指达到或超过最先进通用人工智能模型所记录能力的能力。模型的全部能力范围可以在其投放市场后或当部署者与模型交互时得到更好的理解。根据本条例生效时的最新技术水平,用于训练通用人工智能模型的累计计算量(以浮点运算次数衡量)是模型能力的相关近似指标之一。用于训练的累计计算量包括在部署前旨在增强模型能力的所有活动和方法的计算量,如预训练、合成数据生成和微调。因此,应设定浮点运算次数的初始阈值,如果通用人工智能模型达到该阈值,则推定该模型是具有系统性风险的通用人工智能模型。该阈值应随时间调整,以反映技术和工业变化(如算法改进或硬件效率提高),并应以模型能力的基准和指标作为补充。为提供信息,AI Office 应与科学界、工业界、民间社会和其他专家互动。阈值以及评估高影响能力的工具和基准,应能强有力地预测通用人工智能模型的通用性、其能力和相关系统性风险,并可考虑模型将投放市场的方式或可能受其影响的用户数量。为补充该体系,如果发现某个通用人工智能模型具有与设定阈值所涵盖能力或影响相当的能力或影响,欧盟委员会应有可能作出个别决定,将该模型指定为具有系统性风险的通用人工智能模型。该决定应基于对本条例附件所设想的指定具有系统性风险的通用人工智能模型标准的总体评估,如训练数据集的质量或规模、企业和最终用户数量、其输入和输出模态、其自主性和可扩展性水平,或它可以访问的工具。在模型被指定为具有系统性风险的通用人工智能模型的提供者提出合理请求时,欧盟委员会应考虑该请求,并可决定重新评估该通用人工智能模型是否仍可被视为呈现系统性风险。
(112) 还有必要澄清具有系统性风险的通用人工智能模型的分类程序。达到适用高影响能力阈值的通用人工智能模型应被推定为具有系统性风险的通用人工智能模型。提供者应在要求满足后最迟两周,或在得知通用人工智能模型将满足导致推定的要求时,通知 AI Office。这与浮点运算次数阈值尤其相关,因为通用人工智能模型的训练需要大量的规划,包括预先分配计算资源,因此通用人工智能模型的提供者能够在训练完成前就知道其模型是否会达到阈值。在该通知的背景下,提供者应能够证明,由于其特定特征,通用人工智能模型在例外情况下不呈现系统性风险,因此不应被归类为具有系统性风险的通用人工智能模型。该信息对 AI Office 预判具有系统性风险的通用人工智能模型的投放市场很有价值,提供者可以尽早开始与 AI Office 接触。该信息对于计划作为开源发布的通用人工智能模型尤其重要,因为在开源模型发布后,确保遵守本条例义务的必要措施可能更难实施。
(113) 如果欧盟委员会意识到某通用人工智能模型满足归类为具有系统性风险的通用人工智能模型的要求——该要求此前未知或相关提供者未能通知欧盟委员会——欧盟委员会应有权将其指定为具有系统性风险的通用人工智能模型。一个合格警报系统应确保科学小组在 AI Office 的监测活动之外,使 AI Office 了解可能应归类为具有系统性风险的通用人工智能模型的通用人工智能模型。
(114) 呈现系统性风险的通用人工智能模型的提供者,除通用人工智能模型提供者的义务外,还应承担旨在识别和减轻这些风险并确保适当水平网络安全保护的义务,无论该模型是作为独立模型提供,还是嵌入人工智能系统或产品中。为实现这些目标,本条例应要求提供者执行必要的模型评估,特别是在其首次投放市场之前,包括进行和记录模型的对抗性测试,并可酌情通过内部或独立外部测试进行。此外,具有系统性风险的通用人工智能模型的提供者应持续评估和减轻系统性风险,包括例如通过制定风险管理政策(如问责和治理流程)、实施上市后监测、在模型的整个生命周期内采取适当措施,以及与人工智能价值链上的相关行为者合作。
(115) 具有系统性风险的通用人工智能模型的提供者应评估和减轻可能的系统性风险。如果尽管努力识别和预防与可能呈现系统性风险的通用人工智能模型相关的风险,模型的开发或使用仍造成严重事件,通用人工智能模型提供者应在无不当延迟的情况下跟踪该事件,并向欧盟委员会和国家主管机关报告任何相关信息及可能的纠正措施。此外,提供者应在适当时,在模型的整个生命周期内,确保模型及其物理基础设施获得适当水平的网络安全保护。与恶意使用或攻击相关的系统性风险相关的网络安全保护,应适当考虑意外模型泄漏、未经授权的发布、规避安全措施,以及防御网络攻击、未经授权的访问或模型盗窃。该保护可通过保护模型权重、算法、服务器和数据集来促进,例如通过信息安全方面的操作安全措施、特定网络安全政策、适当的技术和既有解决方案,以及与相关情况和所涉风险相适应的网络和物理访问控制。
(116) AI Office 应鼓励和促进行为准则的起草、审查和调整,同时考虑国际方法。可以邀请所有通用人工智能模型的提供者参与。为确保行为准则反映最新技术水平并适当考虑多样化视角,AI Office 应与相关国家主管机关合作,并可在适当时咨询民间社会组织和其他相关利益攸关方及专家(包括科学小组),以制定此类准则。行为准则应涵盖通用人工智能模型和呈现系统性风险的通用人工智能模型的提供者的义务。此外,就系统性风险而言,行为准则应有助于在联盟层面建立系统性风险的类型学(包括其来源的类型和性质)。行为准则还应侧重于特定的风险评估和缓解措施。
(117) 行为准则应代表通用人工智能模型提供者适当遵守本条例规定义务的核心工具。提供者应能够依赖行为准则来证明遵守义务。通过实施法案,欧盟委员会可以决定批准行为准则并在联盟内赋予其普遍效力,或者,如果在本条例适用之时行为准则无法最终确定或未被 AI Office 认为适当,则提供实施相关义务的共同规则。一旦统一标准发布并被 AI Office 评估为适合涵盖相关义务,遵守欧洲统一标准应使提供者获得符合性推定。通用人工智能模型提供者还应能够在没有行为准则或统一标准可用、或他们选择不依赖这些的情况下,使用替代的适当方式证明合规。
(118) 本条例通过对将人工智能系统和人工智能模型投放联盟市场、投入使用或使用的相关市场行为者规定某些要求和义务来规范这些系统和模型,从而补充对将这些系统或模型嵌入其服务(受条例 (EU) 2022/2065 监管)的中间服务提供者的义务。如果此类系统或模型嵌入被指定的超大型在线平台或超大型在线搜索引擎,则它们受条例 (EU) 2022/2065 规定的风险管理框架约束。因此,应推定本条例的相应义务已得到履行,除非此类模型中出现并识别出条例 (EU) 2022/2065 未涵盖的重大系统性风险。在此框架内,超大型在线平台和超大型在线搜索引擎的提供者有义务评估其服务的设计、运作和使用可能产生的系统性风险,包括服务中使用的算法系统的设计可能如何促成此类风险,以及潜在滥用可能产生的系统性风险。这些提供者还有义务在尊重基本权利的情况下采取适当的缓解措施。
(119) 考虑到受联盟法律不同文书管辖的数字服务创新和演进的快速步伐,特别是考虑到其接收者的使用和感知,受本条例约束的人工智能系统可作为条例 (EU) 2022/2065 意义上的中间服务或其一部分提供,该条例应以技术中立的方式解释。例如,人工智能系统可用于提供在线搜索引擎,特别是当在线聊天机器人等人工智能系统(原则上)搜索所有网站,然后将结果纳入其现有知识,并使用更新后的知识生成结合不同信息来源的单一输出时。
(120) 此外,本条例对某些人工智能系统的提供者和部署者施加的、使其能够检测和披露这些系统的输出是人工生成或操纵的义务,对于促进条例 (EU) 2022/2065 的有效实施尤其相关。这特别适用于超大型在线平台或超大型在线搜索引擎的提供者的义务,即识别和减轻可能由人工生成或操纵内容的传播引起的系统性风险,特别是对民主进程、公民话语和选举进程的实际或可预见负面效应的风险,包括通过虚假信息。
(121) 标准化应在为提供者提供技术解决方案以确保遵守本条例方面发挥关键作用——与最新技术水平保持一致,促进创新以及单一市场的竞争力和增长。遵守条例 (EU) No 1025/2012 [(41)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr41-L_202401689EN.000101-E0041) 第 2 条第 (1) 点 (c) 项所定义(通常预期反映最新技术水平)的统一标准,应成为提供者证明符合本条例要求的一种手段。因此,应鼓励在标准制定中实现利益的均衡代表,让所有相关利益攸关方参与,特别是中小企业、消费者组织以及环境和社会利益攸关方,按照条例 (EU) No 1025/2012 第 5 条和第 6 条进行。为便利合规,欧盟委员会应在无不当延迟的情况下发出标准化请求。在准备标准化请求时,欧盟委员会应咨询咨询论坛和委员会,以收集相关专业知识。然而,在缺乏相关统一标准参照的情况下,欧盟委员会应能够在咨询咨询论坛后,通过实施法案为本条例下的某些要求制定共同规范。当标准化请求未被任何欧洲标准化组织接受、或相关统一标准未能充分解决基本权利关切、或统一标准不符合请求、或在通过适当统一标准方面存在延迟时,共同规范应作为便利提供者遵守本条例要求义务的例外后备解决方案。如果统一标准通过延迟是由于该标准的技术复杂性所致,欧盟委员会在考虑制定共同规范之前应考虑这一点。在制定共同规范时,鼓励欧盟委员会与国际伙伴和国际标准化机构合作。
(122) 宜规定,在不影响统一标准和共同规范使用的前提下,使用反映人工智能系统拟在其中使用的特定地理、行为、情境或功能环境的数据进行训练和测试的高风险人工智能系统的提供者,应被推定符合本条例规定的数据治理要求下的相关措施。在不影响本条例规定的稳健性和准确性要求的前提下,根据条例 (EU) 2019/881 第 54 条第 3 款,已根据该条例下的网络安全计划获得认证或已颁发符合性声明、且其参考文献已在《欧洲联盟官方公报》上公布的高风险人工智能系统,应被推定符合本条例的网络安全要求,只要该网络安全证书或符合性声明或其部分涵盖本条例的网络安全要求。这仍然不影响该网络安全计划的自愿性质。
(123) 为确保高风险人工智能系统的高水平可信度,这些系统在其投放市场或投入使用之前应接受合格评定。
(124) 为尽量减少经营者的负担并避免任何可能的重复,宜规定,对于与基于新立法框架的现有联盟协调立法所涵盖的产品相关的高风险人工智能系统,这些人工智能系统对本条例要求的合规性应作为该法律中已规定的合格评定的一部分进行评估。因此,本条例要求的适用性不应影响相关联盟协调立法下合格评定的具体逻辑、方法论或总体结构。
(125) 鉴于高风险人工智能系统的复杂性及其相关风险,重要的是为高风险人工智能系统制定适当的合格评定程序,涉及公告机构,即所谓的第三方合格评定。然而,鉴于产品安全领域专业上市前认证机构的现有经验以及所涉风险的不同性质,宜至少在本条例适用的初始阶段,将第三方合格评定对高风险人工智能系统的适用范围限制在那些与产品相关的高风险人工智能系统之外的系统。因此,此类系统的合格评定应作为一般规则由提供者自行负责进行,唯一的例外是旨在用于生物识别的人工智能系统。
(126) 为在需要时进行第三方合格评定,公告机构应由国家主管机关根据本条例予以公告,前提是它们满足一系列要求,特别是关于独立性、胜任能力、无利益冲突和适当的网络安全要求。国家主管机关应通过欧盟委员会根据决定 No 768/2008/EC 附件一第 R23 条开发和管理的电子通知工具,将这些机构的通知发送给欧盟委员会和其他成员国。
(127) 与联盟在世界贸易组织《技术性贸易壁垒协定》下的承诺一致,宜促进对由主管合格评定机构(无论其设立于何处)产生的合格评定结果的相互承认,前提是这些根据第三国法律设立的合格评定机构满足本条例的适用要求,且联盟已就此缔结协定。在此背景下,欧盟委员会应积极为此目的探索可能的国际文书,特别是寻求与第三国缔结相互承认协定。
(128) 与受联盟协调立法监管的产品实质性修改的既定概念一致,宜规定,每当发生可能影响高风险人工智能系统符合本条例的变更(如操作系统或软件架构的变更),或系统预期目的发生变化时,该人工智能系统应被视为新的人工智能系统,需要接受新的合格评定。然而,对在投放市场或投入使用后继续“学习”的人工智能系统(即自动调整功能执行方式)的算法和性能的变更,不应构成实质性修改,前提是这些变更已由提供者预先确定并在合格评定之时进行了评估。
(129) 高风险人工智能系统应带有 CE 标志以表明其符合本条例,从而能够在内部市场中自由流通。对于嵌入产品中的高风险人工智能系统,应加贴物理 CE 标志,并可辅以数字 CE 标志。对于仅以数字方式提供的高风险人工智能系统,应使用数字 CE 标志。成员国不应为符合本条例规定要求并带有 CE 标志的高风险人工智能系统的投放市场或投入使用制造不合理的障碍。
(130) 在特定条件下,创新技术的快速可用性可能对人员的健康和安全、环境保护和气候变化以及整个社会至关重要。因此,在公共安全或保护自然人的生命和健康、环境保护以及保护关键工业和基础设施资产的例外理由下,市场监督机构可以授权投放市场或投入使用未经合格评定的人工智能系统。在本条例规定的确有正当理由的情况下,执法当局或民防当局可以在没有市场监督机构授权的情况下将特定高风险人工智能系统投入使用,只要在使用期间或之后无不当延迟地请求该授权。
(131) 为便利欧盟委员会和各成员国在人工智能领域的工作,并提高对公众的透明度,非属于相关现有联盟协调立法适用范围产品的(高风险)人工智能系统的提供者,以及认为本条例附件所列高风险使用案例中的人工智能系统基于克减而不属于高风险的提供者,应被要求在欧盟委员会将建立和管理的欧盟数据库中登记其自身及其人工智能系统的信息。在使用本条例附件所列高风险使用案例中的人工智能系统之前,作为公共当局、机构或机关的高风险人工智能系统部署者应在该数据库中登记其自身,并选择其计划使用的系统。其他部署者应有权自愿这样做。欧盟数据库的这一部分应免费向公众开放,信息应易于导航、理解和机器可读。欧盟数据库还应该用户友好,例如通过提供搜索功能(包括关键词搜索),使公众能够找到在登记高风险人工智能系统时应提交的相关信息,以及关于与本条例附件所规定的、高风险人工智能系统相对应的使用案例的信息。对高风险人工智能系统的任何实质性修改也应登记在欧盟数据库中。对于执法、移民、庇护和边境管制管理领域的高风险人工智能系统,登记义务应在欧盟数据库的安全非公开部分履行。对安全非公开部分的访问应严格限于欧盟委员会以及就其国家部分而言的市场监督机构。关键基础设施领域的高风险人工智能系统应仅在国家层面登记。根据条例 (EU) 2018/1725,欧盟委员会应是欧盟数据库的控制者。为确保欧盟数据库的完整功能,在部署时,设置数据库的程序应包括欧盟委员会制定功能规范以及独立的审计报告。欧盟委员会在作为欧盟数据库数据控制者履行其任务时应考虑网络安全风险。为最大限度地提高公众对欧盟数据库的可用性和使用率,欧盟数据库(包括通过其提供的信息)应符合指令 (EU) 2019/882 下的要求。
(132) 某些旨在与自然人互动或生成内容的人工智能系统可能带来特定的冒充或欺骗风险,无论其是否构成高风险。在某些情况下,这些系统的使用因此应受特定透明度义务的约束,不影响对高风险人工智能系统的要求和义务,并须遵守有针对性的例外,以考虑到执法的特殊需要。特别是,应通知自然人他们正在与人工智能系统互动,除非从合理知情、观察敏锐和谨慎的自然人的角度(考虑到使用的情况和背景)这显而易见。在实施该义务时,应考虑到由于年龄或残疾而属于弱势群体的自然人的特征,只要人工智能系统也旨在与这些群体互动。此外,当自然人接触通过处理其生物特征数据而能够识别或推断这些人的情绪或意图或将其归入特定类别的人工智能系统时,应通知他们。此类特定类别可能与性别、年龄、发色、瞳色、纹身、个人特征、族裔出身、个人偏好和兴趣等方面有关。此类信息和通知应以残疾人可访问的格式提供。
(133) 各种人工智能系统可以生成大量合成内容,人类越来越难以将其与人类生成和真实内容区分开来。这些系统的广泛可用性和不断增强的能力对信息生态系统的完整性和信任产生重大影响,带来了大规模虚假信息和操纵、欺诈、冒充和消费者欺骗的新风险。鉴于这些影响、技术的快速步伐以及追踪信息来源的新方法和技术的需要,宜要求这些系统的提供者嵌入技术解决方案,使能够以机器可读格式标记并检测输出是由人工智能系统而非人类生成或操纵。此类技术和方法的可靠性、互操作性、有效性和稳健性应在其技术上可行的范围内达到足够水平,同时考虑现有技术或此类技术的组合,如水印、元数据标识、用于证明内容出处和真实性的加密方法、日志方法、指纹或其他适当技术。在实施该义务时,提供者还应考虑不同类型内容的特殊性和局限性,以及该领域相关的技术和市场发展(如公认的最新技术水平所反映的)。此类技术和方法可以在人工智能系统层面或人工智能模型层面实施,包括生成内容的通用人工智能模型,从而便利下游人工智能系统提供者履行该义务。为保持相称性,宜设想该标记义务不应涵盖主要执行标准编辑辅助功能的人工智能系统,或不实质改变部署者提供的输入数据或其语义的人工智能系统。
(134) 除人工智能系统提供者采用的技术解决方案外,使用人工智能系统生成或操纵与现有人员、物体、地点、实体或事件明显相似、且会使人错误地认为是真实或真实的图像、音频或视频内容(深度伪造)的部署者,也应通过相应标记人工智能输出并披露其人工来源,清晰且可区分地披露该内容是人工创建或操纵的。遵守该透明度义务不应被解释为表明使用人工智能系统或其输出妨碍《宪章》所保障的言论自由权以及艺术和科学自由权,特别是当内容属于明显的创作性、讽刺性、艺术性、虚构或类似作品或节目的一部分时——但须遵守保护第三方权利和自由的适当保障。在这些情况下,本条例规定的深度伪造透明度义务仅限于以适当方式披露此类生成或操纵内容的存在,该方式不妨碍作品的展示或欣赏,包括其正常利用和使用,同时保持作品的效用和质量。此外,还宜设想与人工智能生成或操纵文本类似的披露义务,只要该文本以向公众告知公共利益事项为目的而发布,除非人工智能生成的内容已经过人工审查或编辑控制过程,且自然人或法人对内容的发布承担编辑责任。
(135) 在不影响透明度义务的强制性和完全适用性的前提下,欧盟委员会也可以鼓励和促进在联盟层面制定行为准则,以促进检测和标记人工生成或操纵内容义务的有效实施,包括支持在适当时使检测机制可获得的实际安排,并促进与价值链上其他行为者(传播内容或检查其真实性和出处)的合作,以使公众能够有效区分人工智能生成的内容。
(136) 本条例对某些人工智能系统的提供者和部署者施加的、使其能够检测和披露这些系统的输出是人工生成或操纵的义务,对于促进条例 (EU) 2022/2065 的有效实施尤其相关。这特别适用于超大型在线平台或超大型在线搜索引擎的提供者的义务,即识别和减轻可能由人工生成或操纵内容的传播引起的系统性风险,特别是对民主进程、公民话语和选举进程的实际或可预见负面效应的风险,包括通过虚假信息。本条例下标记人工智能系统生成内容的要求,不影响条例 (EU) 2022/2065 第 16 条第 6 款对托管服务提供者处理根据该条例第 16 条第 1 款收到的非法内容通知的义务,也不应影响对特定内容非法性的评估和决定。该评估应仅参照规范内容合法性的规则进行。
(137) 遵守本条例所涵盖人工智能系统的透明度义务,不应被解释为表明使用人工智能系统或其输出在本条例或其他联盟和成员国法律下是合法的,且不应影响联盟或国家法律对人工智能系统部署者规定的其他透明度义务。
(138) 人工智能是一个快速发展的技术家族,需要监管监督和安全、受控的实验空间,同时确保负责任的创新以及适当保障和风险缓解措施的整合。为确保促进创新、面向未来且能抵御颠覆的法律框架,成员国应确保其国家主管机关在国家层面建立至少一个人工智能监管沙盒,以便在这些系统投放市场或以其他方式投入使用之前,在严格监管监督下促进创新人工智能系统的开发和测试。成员国也可以通过参与现有监管沙盒,或与一个或多个成员国的主管机关共同建立沙盒来履行该义务,只要这种参与为参与的成员国提供等效的国家覆盖水平。人工智能监管沙盒可以以物理、数字或混合形式建立,并可容纳物理和数字产品。建立沙盒的主管机关还应确保人工智能监管沙盒拥有足够的运作资源,包括财政和人力资源。
(139) 人工智能监管沙盒的目标应是通过在开发和上市前阶段建立受控的实验和测试环境来促进人工智能创新,以确保创新人工智能系统符合本条例和其他相关联盟和国家法律。此外,人工智能监管沙盒应旨在增强创新者和主管机关的监管监督的法律确定性,并理解人工智能使用的机会、新出现风险和影响;促进当局和企业的监管学习,包括为未来法律框架的调整着想;支持与参与人工智能监管沙盒的主管机关的合作和最佳实践分享;并加速市场准入,包括通过消除中小企业(包括初创企业)的障碍。人工智能监管沙盒应在整个联盟广泛可用,并应特别关注其对中小企业(包括初创企业)的可访问性。参与人工智能监管沙盒应侧重于给提供者和潜在提供者带来法律不确定性的问题,以在联盟内创新、试验人工智能并促进基于证据的监管学习。因此,对人工智能监管沙盒中人工智能系统的监督应涵盖系统投放市场或投入使用之前的开发、训练、测试和验证,以及可能需要新的合格评定程序的实质性修改的概念和发生。在开发和测试此类人工智能系统过程中发现的任何重大风险,都应导致采取适当的缓解措施,如未能缓解,则应暂停开发和测试过程。在适当时,建立人工智能监管沙盒的国家主管机关应与相关主管机关合作,包括监督基本权利保护的机关,并可允许人工智能生态系统中的其他行为者参与,如国家或欧洲标准化组织、公告机构、测试和实验设施、研究和实验实验室、欧洲数字创新中心以及相关利益攸关方和民间社会组织。为确保整个联盟的统一实施和规模经济,宜为人工智能监管沙盒的实施制定共同规则,并为参与沙盒监督的相关主管机关之间建立合作框架。根据本条例建立的人工智能监管沙盒不应影响允许建立旨在确保遵守本条例以外法律的其他沙盒的其他法律。在适当时,负责这些其他监管沙盒的相关主管机关应考虑也将这些沙盒用于确保人工智能系统符合本条例的目的。经国家主管机关与人工智能监管沙盒参与者协商一致,真实世界条件的测试也可以在人工智能监管沙盒框架内进行和监管。
(140) 本条例应为人工智能监管沙盒中的提供者和潜在提供者提供法律依据,使其能够依据条例 (EU) 2016/679 第 6 条第 4 款和第 9 条第 2 款第 (g) 项以及条例 (EU) 2018/1725 第 5 条、第 6 条和第 10 条,在人工智能监管沙盒内仅为在特定条件下开发某些符合公共利益的人工智能系统而使用为其他目的收集的个人数据,且不影响指令 (EU) 2016/680 第 4 条第 2 款和第 10 条。数据控制者在条例 (EU) 2016/679 和 (EU) 2018/1725 以及指令 (EU) 2016/680 下的所有其他义务和数据主体的所有权利仍然适用。特别是,本条例不应在条例 (EU) 2016/679 第 22 条第 2 款第 (b) 项和条例 (EU) 2018/1725 第 24 条第 2 款第 (b) 项的意义上提供法律依据。人工智能监管沙盒中的提供者和潜在提供者应确保适当的保障措施并与主管机关合作,包括遵循其指导并迅速和善意行事,以适当减轻在沙盒中开发、测试和实验期间可能出现的任何已识别的对安全、健康和基本权利的重大风险。
(141) 为加快本条例附件所列高风险人工智能系统的开发和投放市场进程,重要的是,此类系统的提供者或潜在提供者也可以受益于在不参与人工智能监管沙盒的情况下在真实世界条件下测试这些系统的特定制度。然而,在此类情况下,考虑到此类测试对个人的可能后果,应确保本条例为提供者或潜在提供者引入适当和充分的保障和条件。此类保障应包括(除其他外)请求自然人知情同意参与真实世界条件测试,但执法情形除外——在执法情形中,寻求知情同意将阻止人工智能系统被测试。根据本条例同意参与此类测试,与根据相关数据保护法律同意数据主体处理其个人数据是不同的,且不影响后者。同样重要的是将风险降至最低并实现主管机关的监督,因此要求潜在提供者向主管市场监督机构提交真实世界测试计划,在欧盟数据库的专门部分登记测试(受某些有限例外约束),对测试可以进行的期限设定限制,并为属于某些弱势群体的人员要求额外保障,以及要求签订书面协议,界定潜在提供者和部署者的角色和责任,以及参与真实世界测试的主管人员实施有效监督。此外,宜设想额外保障,以确保人工智能系统的预测、建议或决定可以被有效地逆转和不予理会,并确保个人数据得到保护,且当受试者撤回参与测试的同意时数据被删除,且不影响其作为数据主体在联盟数据保护法律下的权利。关于数据转移,还宜设想,为真实世界条件测试目的收集和处理的数据应仅在实施联盟法律下适当且适用的保障措施时转移至第三国,特别是按照联盟数据保护法律下的个人数据转移基础进行,而对于非个人数据,则应按照联盟法律(如欧洲议会和理事会条例 (EU) 2022/868 [(42)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr42-L_202401689EN.000101-E0042) 和 (EU) 2023/2854 [(43)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr43-L_202401689EN.000101-E0043))实施适当保障。
(142) 为确保人工智能带来社会和环境有益的结果,鼓励成员国支持和促进人工智能解决方案的研究和开发,以支持社会和环境有益的结果,如提高残疾人可访问性、解决社会经济不平等或实现环境目标的人工智能解决方案,通过分配足够的资源(包括公共和联盟资金),并在适当且满足资格和选择标准的情况下,特别考虑追求此类目标的项目。此类项目应基于人工智能开发者、不平等和非歧视、可访问性、消费者、环境和数字权利专家以及学者之间的跨学科合作原则。
(143) 为促进和保护创新,重要的是特别考虑作为人工智能系统提供者或部署者的中小企业(包括初创企业)的利益。为此,成员国应制定针对这些经营者的举措,包括提高认识和信息沟通方面。成员国应向在联盟内拥有注册办事处或分支机构的中小企业(包括初创企业)提供人工智能监管沙盒的优先访问权,前提是它们满足资格条件和选择标准,并且不妨碍其他提供者和潜在提供者在满足相同条件和标准时访问沙盒。成员国应利用现有渠道,并在适当时建立新的专门渠道,与中小企业(包括初创企业)、部署者、其他创新者以及(酌情)地方公共当局沟通,通过提供指导并回答关于本条例实施的问题,在整个发展路径上支持中小企业。在适当时,这些渠道应协同工作,以在其对中小企业(包括初创企业)和部署者的指导中创造协同效应并确保一致性。此外,成员国应促进中小企业和其他相关利益攸关方参与标准化制定过程。此外,公告机构在设定合格评定费用时,应考虑作为中小企业(包括初创企业)的提供者的特定利益和需求。欧盟委员会应通过透明协商定期评估中小企业(包括初创企业)的认证和合规成本,并与成员国合作降低此类成本。例如,与强制性文件和与当局沟通相关的翻译成本,可能对提供者和其他经营者(特别是规模较小的经营者)构成重大成本。成员国应可能确保其为相关提供者文件和与经营者沟通所确定和接受的语言之一是尽可能多的跨境部署者广泛理解的语言。为满足中小企业(包括初创企业)的特定需求,欧盟委员会应在委员会要求时提供本条例涵盖领域的标准化模板。此外,欧盟委员会应通过提供单一信息平台,为所有提供者和部署者提供关于本条例的易于使用的信息,通过组织适当的沟通活动提高对本条例产生义务的认识,并评估和促进人工智能系统公共采购程序中最佳实践的趋同,来补充成员国的努力。直至最近仍符合欧盟委员会建议 2003/361/EC [(44)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr44-L_202401689EN.000101-E0044) 附件意义上的小型企业资格的中型企业,应有获得这些支持措施的机会,因为这些新的中型企业有时可能缺乏适当理解和遵守本条例所需的法律资源和培训。
(144) 为促进和保护创新,按需人工智能平台以及所有相关的联盟资助计划和项目——如数字欧洲计划、地平线欧洲——由欧盟委员会和成员国在联盟或国家层面实施的,应酌情为实现本条例的目标作出贡献。
(145) 为尽量减少因市场上缺乏知识和专业知识而导致的实施风险,并促进提供者(特别是中小企业,包括初创企业)和公告机构遵守其在本条例下的义务,由欧盟委员会和成员国在联盟或国家层面建立的按需人工智能平台、欧洲数字创新中心以及测试和实验设施应为本条例的实施作出贡献。在其各自的使命和能力领域内,按需人工智能平台、欧洲数字创新中心以及测试和实验设施尤其能够为提供者和公告机构提供技术和科学支持。
(146) 此外,鉴于某些经营者规模非常小,为确保创新成本的比例性,宜允许微型企业以简化方式履行最昂贵的义务之一,即建立质量管理体系,这将减少这些企业的行政负担和成本,而不影响保护水平以及遵守高风险人工智能系统要求的需要。欧盟委员会应制定指南,明确微型企业应以这种简化方式履行的质量管理体系要素。
(147) 宜让欧盟委员会尽可能促进根据任何相关联盟协调立法设立或认可、并在该联盟协调立法涵盖的产品或器械合格评定背景下履行任务的机构、团体或实验室访问测试和实验设施。特别是,就医疗器械领域根据条例 (EU) 2017/745 和 (EU) 2017/746 的专家小组、专家实验室和参考实验室而言,情况即是如此。
(148) 本条例应建立一个治理框架,既允许在国家层面协调和支持本条例的适用,也在联盟层面建设能力并将人工智能领域的利益攸关方整合进来。本条例的有效实施和执行需要一个治理框架,允许在联盟层面协调和建设中央专业知识。AI Office 由欧盟委员会决定 [(45)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr45-L_202401689EN.000101-E0045) 建立,其使命是发展联盟在人工智能领域的专业知识和能力,并促进联盟人工智能法律的实施。成员国应促进 AI Office 的任务,以支持联盟层面专业知识和能力的发展并加强数字单一市场的运作。此外,应建立由成员国代表组成的委员会、整合科学界的科学小组,以及为本条例在联盟和国家层面的实施贡献利益攸关方意见的咨询论坛。联盟专业知识和能力的发展还应包括利用现有资源和专业知识,特别是通过与联盟层面其他法律执行背景下建立的结构以及联盟层面相关倡议(如欧洲高性能计算联合体(EuroHPC Joint Undertaking)和数字欧洲计划下的人工智能测试和实验设施)的协同作用。
(149) 为促进本条例顺利、有效和协调的实施,应建立一个委员会。该委员会应反映人工智能生态系统的各种利益,由成员国代表组成。该委员会应负责若干咨询任务,包括就与本条例实施相关的事项(包括执法事项、技术规范或关于本条例所确立要求的现有标准)发表意见、建议、咨询意见或为指南作出贡献,并就与人工智能相关的具体问题向欧盟委员会和成员国及其国家主管机关提供建议。为给成员国在指定其委员会代表方面提供一些灵活性,此类代表可以是属于公共实体的任何人员,其应具有相关能力和权力,以促进国家层面的协调并为实现委员会的任务作出贡献。委员会应设立两个常设分组,为市场监督机构和通知机构分别就市场监督和公告机构相关问题提供合作和交流平台。市场监督常设分组应作为本条例在条例 (EU) 2019/1020 第 30 条意义上的行政合作组(ADCO)行事。根据该条例第 33 条,欧盟委员会应通过进行市场评估或研究来支持市场监督常设分组的活动,特别是为了识别本条例中需要市场监督机构之间具体和紧急协调的方面。委员会可以酌情为审查特定问题设立其他常设或临时分组。委员会还应酌情与在相关联盟法律背景下活跃的相关联盟机构、专家组和网络合作,特别是包括在联盟数据、数字产品和服务相关法律下活跃的机构。
(150) 为确保利益攸关方参与本条例的实施和适用,应建立一个咨询论坛,向委员会和欧盟委员会提供建议和技术专业知识。为确保商业和非商业利益之间以及商业利益类别内中小企业和其他经营者之间的多样化和均衡的利益攸关方代表,咨询论坛应除其他外包括工业界、初创企业、中小企业、学术界、民间社会(包括社会伙伴),以及基本权利机构、ENISA、欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)和欧洲电信标准协会(ETSI)。
(151) 为支持本条例的实施和执行,特别是 AI Office 关于通用人工智能模型的监测活动,应建立一个由独立专家组成的科学小组。构成科学小组的独立专家应根据其在人工智能领域的现有科学或技术专业知识进行遴选,并应以公正、客观的方式履行其任务,确保在执行任务和活动过程中获得的信息和数据的机密性。为允许加强有效执行本条例所需的国家能力,成员国应能够从构成科学小组的专家库中请求支持其执法活动。
(152) 为支持人工智能系统的适当执法并加强成员国的能力,应建立联盟人工智能测试支持结构,并向成员国提供。
(153) 成员国在本条例的适用和执行中发挥着关键作用。在这方面,每个成员国应指定至少一个通知机构和至少一个市场监督机构,作为国家主管机关,以监督本条例的适用和实施。成员国可以按照其特定的国家组织特点和需要,决定任命任何类型的公共实体履行本条例意义上的国家主管机关的任务。为提高成员国方面的组织效率,并在成员国和联盟层面与公众和其他对应方设置单一联络点,每个成员国应指定一个市场监督机构作为单一联络点。
(154) 国家主管机关应独立、公正、无偏见地行使其权力,以维护其活动和任务的客观性原则,并确保本条例的适用和实施。这些机关的成员应避免任何与其职责不相容的行动,并应遵守本条例下的保密规则。
(155) 为确保高风险人工智能系统的提供者能够利用高风险人工智能系统的使用经验来改进其系统以及设计和开发过程,或能够及时采取任何可能的纠正措施,所有提供者都应建立上市后监测系统。在相关时,上市后监测应包括对与其他人工智能系统(包括其他设备和软件)互动的分析。上市后监测不应涵盖作为执法当局的部署者的敏感操作数据。该系统对于确保在投放市场或投入使用后继续“学习”的人工智能系统可能出现的风险能够更有效和及时地解决也至关重要。在此背景下,还应要求提供者建立系统,向相关当局报告其人工智能系统使用导致的任何严重事件,即导致死亡或对健康造成严重损害、关键基础设施管理和运营严重和不可逆转的中断、违反旨在保护基本权利的联盟法律义务或对财产或环境造成严重损害的事件或故障。
(156) 为确保本条例(属于联盟协调立法)所规定的要求和义务得到适当和有效的执行,条例 (EU) 2019/1020 所建立的产品市场监督和合规体系应整体适用。根据本条例指定的市场监督机构应拥有本条例和条例 (EU) 2019/1020 规定的所有执法权力,并应独立、公正、无偏见地行使其权力和履行职责。虽然大多数人工智能系统不受本条例下特定要求和义务的约束,但当所有人工智能系统根据本条例呈现风险时,市场监督机构可以对其采取措施。由于属于本条例适用范围的联盟机构、机关和部门的特殊性,宜指定欧洲数据保护监督员(EDPS)作为其主管市场监督机构。这不应影响成员国指定国家主管机关。市场监督活动不应影响被监督实体在联盟法律要求此类独立性时独立履行其任务的能力。
(157) 本条例不影响监督联盟法律保护基本权利(包括平等机构和数据保护机构)适用的相关国家公共当局或机构的能力、任务、权力和独立性。在为其任务所需时,这些国家公共当局或机构也应能访问根据本条例创建的任何文档。应设置特定的保障程序,以确保对呈现健康、安全和基本权利风险的人工智能系统进行适当和及时的执法。对呈现风险的此类人工智能系统的程序,应适用于呈现风险的高风险人工智能系统、违反本条例规定的禁止做法投放市场、投入使用或使用的被禁止系统,以及违反本条例规定的透明度要求而提供并呈现风险的人工智能系统。
(158) 联盟金融服务法律包括适用于受监管金融机构在提供这些服务过程中(包括在使用人工智能系统时)的内部治理和风险管理规则与要求。为确保本条例下的义务与联盟金融服务法律文书的相关规则和要求的一致适用和执行,负责监督和执行这些法律文书的(主管机关),特别是条例 (EU) No 575/2013 [(46)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr46-L_202401689EN.000101-E0046) 以及指令 2008/48/EC [(47)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr47-L_202401689EN.000101-E0047)、2009/138/EC [(48)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr48-L_202401689EN.000101-E0048)、2013/36/EU [(49)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr49-L_202401689EN.000101-E0049)、2014/17/EU [(50)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr50-L_202401689EN.000101-E0050) 和 (EU) 2016/97 [(51)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr51-L_202401689EN.000101-E0051) 中定义的主管机关,应在其各自权限范围内被指定为监督本条例实施的主管机关,包括就受监管和受监督金融机构提供或使用的人工智能系统进行市场监督活动,除非成员国决定指定另一机关履行这些市场监督任务。这些主管机关应拥有本条例和条例 (EU) 2019/1020 下的所有权力,以执行本条例的要求和义务,包括进行事后市场监督活动的权力,这些活动可以酌情整合到其在相关联盟金融服务法律下的现有监督机制和程序中。宜设想,根据本条例作为市场监督机构行事时,负责监督根据指令 2013/36/EU 监管的信贷机构(这些机构参与理事会条例 (EU) No 1024/2013 [(52)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr52-L_202401689EN.000101-E0052) 建立的单一监督机制)的国家机关,应在无延迟的情况下向欧洲中央银行报告其在市场监督活动过程中发现的、可能对欧洲中央银行在该条例中规定的审慎监督任务具有潜在利益的任何信息。为进一步增强本条例与适用于根据指令 2013/36/EU 监管的信贷机构的规则之间的一致性,还宜将提供者在风险管理、上市后监测和文档方面的一些程序性义务整合到指令 2013/36/EU 下的现有义务和程序中。为避免重叠,还应在提供者的质量管理体系和对高风险人工智能系统部署者施加的监测义务方面设想有限克减,只要这些适用于根据指令 2013/36/EU 监管的信贷机构。同一制度应适用于指令 2009/138/EC 下的保险和再保险企业及保险控股公司、指令 (EU) 2016/97 下的保险中介机构,以及根据相关联盟金融服务法律须遵守内部治理、安排或流程要求的其他类型的金融机构,以确保金融部门的协调一致和平等对待。
(159) 就生物识别领域高风险人工智能系统的每个市场监督机构——这些系统用于执法、移民、庇护和边境管制管理或司法和民主进程管理目的(如本条例附件所列)——应拥有有效的调查和纠正权力,包括至少获得对所有正在处理的个人数据以及履行职责所需的所有信息的权力。市场监督机构应能够完全独立地行使其权力。本条例对敏感操作数据访问的任何限制,不应影响指令 (EU) 2016/680 赋予它们的权力。本条例下向国家数据保护机构披露数据的任何排除,不应影响这些机构在本条例范围之外的现有或未来权力。
(160) 市场监督机构和欧盟委员会应能够提议联合活动,包括联合调查,由市场监督机构或市场监督机构与欧盟委员会联合进行,目的是促进合规、识别不合规、提高认识并就本条例在特定类别高风险人工智能系统方面提供指导——这些系统被发现跨越两个或更多成员国呈现严重风险。促进合规的联合活动应按照条例 (EU) 2019/1020 第 9 条进行。AI Office 应为联合调查提供协调支持。
(161) 有必要澄清在联盟和国家层面关于基于通用人工智能模型构建的人工智能系统的责任和能力。为避免重叠能力,当人工智能系统基于通用人工智能模型且模型和系统由同一提供者提供时,监督应在联盟层面通过 AI Office 进行,为此目的 AI Office 应拥有条例 (EU) 2019/1020 意义上的市场监督机构权力。在所有其他情况下,国家市场监督机构仍然负责人工智能系统的监督。然而,对于部署者可以直接用于至少一种被归类为高风险的用途的通用人工智能系统,市场监督机构应与 AI Office 合作进行合规评估,并相应告知委员会和其他市场监督机构。此外,当市场监督机构由于无法访问与构建高风险人工智能系统所基于的通用人工智能模型相关的某些信息而无法结束对高风险人工智能系统的调查时,市场监督机构应能够请求 AI Office 协助。在此类情况下,条例 (EU) 2019/1020 第六章关于跨境案件相互协助的程序应比照适用。
(162) 为充分利用联盟层面的中央联盟专业知识和协同作用,对通用人工智能模型提供者义务的监督和执行权力应属于欧盟委员会的能力范围。AI Office 应能够采取所有必要行动,监测本条例在通用人工智能模型方面的有效实施。它应能够主动、根据其监测活动的结果,或应市场监督机构按照本条例规定的条件提出的请求,调查可能违反通用人工智能模型提供者规则的行为。为支持 AI Office 的有效监测,应规定下游提供者可以就通用人工智能模型和系统的提供者规则可能被违反的情况提出投诉。
(163) 为补充通用人工智能模型的治理体系,科学小组应支持 AI Office 的监测活动,并在某些情况下可向 AI Office 提供合格警报,触发后续行动(如调查)。当科学小组有理由怀疑通用人工智能模型在联盟层面呈现具体且可识别的风险时,应属此情况。此外,当科学小组有理由怀疑通用人工智能模型满足将导致归类为具有系统性风险的通用人工智能模型的标准时,也应属此情况。为使科学小组获得履行这些任务所需的信息,应建立一种机制,科学小组可以据此请求欧盟委员会要求提供者提供文档或信息。
(164) AI Office 应能够采取必要行动,监测本条例为通用人工智能模型提供者规定的义务的有效实施和遵守情况。AI Office 应能够按照本条例规定的权力调查可能的违规行为,包括请求文档和信息、进行评估,以及要求通用人工智能模型提供者采取措施。在进行评估时,为利用独立专业知识,AI Office 应能够让独立专家代表其进行评估。遵守义务应可强制执行,除其他外,可通过要求采取适当措施,包括在识别出系统性风险的情况下采取风险缓解措施,以及限制在市场上提供、撤回或召回模型。作为保障,在超出本条例规定的程序性权利所需时,通用人工智能模型提供者应享有条例 (EU) 2019/1020 第 18 条规定的程序性权利,该条应比照适用,且不影响本条例规定的更具体的程序性权利。
(165) 按照本条例要求开发非高风险人工智能系统可能导致联盟内更多采用合乎伦理和值得信赖的人工智能。应鼓励非高风险人工智能系统的提供者制定行为准则,包括相关的治理机制,旨在促进自愿适用适用于高风险人工智能系统的部分或全部强制性要求,并根据系统的预期目的和所涉较低风险进行调整,同时考虑可用的技术解决方案和行业最佳实践(如模型卡和数据卡)。还应鼓励所有人工智能系统(无论高风险与否)的提供者以及(酌情)部署者和人工智能模型自愿适用额外要求,例如与联盟《值得信赖的人工智能伦理准则》要素、环境可持续性、人工智能素养措施、人工智能系统的包容性和多样性设计与开发(包括关注弱势人员和残疾人可访问性)、利益攸关方参与(酌情包括企业和民间社会组织、学术界、研究机构、工会和消费者保护组织等相关利益攸关方参与人工智能系统的设计和开发)以及开发团队的多样性(包括性别平衡)相关的要求。为确保自愿行为准则有效,它们应基于明确的目标和关键绩效指标来衡量这些目标的实现情况。它们还应以包容的方式制定,酌情让相关利益攸关方参与,如企业和民间社会组织、学术界、研究机构、工会和消费者保护组织。欧盟委员会可以制定举措(包括部门性举措),以促进降低阻碍人工智能开发数据跨境交换的技术壁垒,包括数据访问基础设施、不同类型数据的语义和技术互操作性。
(166) 重要的是,根据本条例不属于高风险、因此不需要遵守为高风险人工智能系统规定的要求的与产品相关的人工智能系统,在投放市场或投入使用时的安全性仍有保障。为促进该目标,欧洲议会和理事会条例 (EU) 2023/988 [(53)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr53-L_202401689EN.000101-E0053) 应作为安全网适用。
(167) 为确保联盟和国家层面主管机关之间可信和建设性的合作,参与本条例适用的所有当事方应按照联盟或国家法律,尊重在执行任务过程中获得的信息和数据的机密性。他们应以特别保护知识产权、机密商业信息和商业秘密、本条例的有效实施、公共和国家安全利益、刑事和行政程序的完整性以及机密信息的完整性的方式履行其任务和活动。
(168) 应通过施加处罚和其他执法措施来强制执行对本条例的遵守。成员国应采取一切必要措施确保本条例的规定得到实施,包括为其违反规定有效、相称和具有威慑力的处罚,并尊重一事不再理(ne bis in idem)原则。为加强和统一违反本条例的行政处罚,应为某些特定违规行为的行政罚款设定上限。在评估罚款金额时,成员国应在每个个案中考量具体情况的所有相关情形,特别是违规行为及其后果的性质、严重性和持续时间,以及提供者的规模,尤其是如果提供者是包括初创企业在内的中小企业。欧洲数据保护监督员应有权对属于本条例适用范围的联盟机构、机关和部门施加罚款。
(169) 对根据本条例强加于通用人工智能模型提供者的义务的遵守,应除其他外可通过罚款强制执行。为此,还应为违反这些义务(包括不遵守欧盟委员会根据本条例要求的措施)设定适当的罚款水平,并按照相称原则适用适当的时效期限。欧盟委员会根据本条例作出的所有决定,均须依照 TFEU 接受欧洲联盟法院的审查,包括法院根据 TFEU 第 261 条对处罚享有的无限管辖权。
(170) 联盟和国家法律已经为因使用人工智能系统而权利和自由受到不利影响的自然人和法人提供了有效的救济。在不影响这些救济的前提下,任何有理由认为本条例受到违反的自然人或法人应有权向相关市场监督机构提出投诉。
(171) 受影响人员应有权获得解释——当部署者的决定主要基于属于本条例适用范围的某些高风险人工智能系统的输出,且该决定对这些人员产生法律效力或类似地显著影响他们,使其认为对其健康、安全或基本权利产生不利影响时。该解释应清晰而有意义,并应为受影响人员能够行使其权利提供基础。获得解释的权利不适用于联盟或国家法律对人工智能系统的使用规定例外或限制的情况,且仅在该权利尚未在联盟法律下规定的范围内适用。
(172) 就违反本条例进行举报(吹哨)的人员应受联盟法律保护。欧洲议会和理事会指令 (EU) 2019/1937 [(54)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr54-L_202401689EN.000101-E0054) 因此应适用于违反本条例的举报以及对此类举报人员的保护。
(173) 为确保监管框架在必要时能够调整,应根据 TFEU 第 290 条向欧盟委员会下放通过法案的权力,以修订:人工智能系统不被视为高风险的(例外)条件;高风险人工智能系统清单;关于技术文档的条款;欧盟合格声明的内容;关于合格评定程序的条款;确立应适用基于质量管理体系评估和技术文档评估的合格评定程序的高风险人工智能系统的条款;具有系统性风险的通用人工智能模型分类规则中的阈值、基准和指标,包括补充这些基准和指标;指定具有系统性风险的通用人工智能模型的标准;通用人工智能模型提供者的技术文档;以及通用人工智能模型提供者的透明度信息。欧盟委员会在其准备工作(包括专家层面)中进行适当咨询尤其重要,且这些咨询应按照 2016 年 4 月 13 日《关于更好立法的机构间协定》 [(55)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr55-L_202401689EN.000101-E0055) 所规定的原则进行。特别是,为确保在准备授权法案时平等参与,欧洲议会和理事会应同时收到与成员国专家收到的所有文件,且其专家应系统性地有权参加处理授权法案准备的欧盟委员会专家组会议。
(174) 鉴于快速的技术发展以及有效适用本条例所需的技术专业知识,欧盟委员会应在 2029 年 8 月 2 日之前以及此后每四年评估和审查本条例,并向欧洲议会和理事会报告。此外,考虑到对本条例适用范围的影响,欧盟委员会应每年评估修订高风险人工智能系统清单和禁止做法清单的必要性。此外,在 2028 年 8 月 2 日之前以及此后每四年,欧盟委员会应评估并向欧洲议会和理事会报告:修订本条例附件中高风险领域标题清单、属于透明度义务适用范围的人工智能系统、监督和治理体系的有效性,以及关于通用人工智能模型节能开发的标准化成果进展(包括是否需要进一步措施或行动)的必要性。最后,在 2028 年 8 月 2 日之前以及此后每三年,欧盟委员会应评估自愿行为准则在促进高风险人工智能系统要求适用于非高风险人工智能系统以及可能为此类人工智能系统规定的其他额外要求方面的效果和有效性。
(175) 为确保本条例实施的统一条件,应赋予欧盟委员会实施权力。这些权力应按照欧洲议会和理事会条例 (EU) No 182/2011 [(56)](https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689#ntr56-L_202401689EN.000101-E0056) 行使。
(176) 鉴于本条例的目标——即改善内部市场的运行,促进以人为本和值得信赖的人工智能的采纳,同时确保对《宪章》所载基本权利(包括民主、法治和环境保护)的高水平保护,防范人工智能系统在联盟内的有害影响,并支持创新——无法由成员国充分实现,而由于行动的规模或效果,可以在联盟层面更好地实现,联盟可以根据 TEU 第 5 条规定的辅助性原则采取措施。根据该条规定的相称性原则,本条例不超过为实现该目标所必需的限度。
(177) 为确保法律确定性、为经营者提供适当的过渡期并避免市场混乱(包括确保人工智能系统使用的连续性),宜规定,本条例仅适用于在其一般适用日期之前已投放市场或投入使用的高风险人工智能系统——只要自该日期起,这些系统的设计或预期目的发生重大变化。宜澄清,在这方面,重大变化的概念应在实质上等同于实质性修改的概念,后者根据本条例仅用于高风险人工智能系统。作为例外情况并鉴于公共问责制,作为本条例附件所列法律文书建立的大规模 IT 系统组成部分的人工智能系统的经营者,以及旨在由公共当局使用的高风险人工智能系统的经营者,应分别采取必要步骤,在 2030 年底之前和 2030 年 8 月 2 日之前遵守本条例的要求。
(178) 鼓励高风险人工智能系统的提供者在过渡期内自愿开始遵守本条例的相关义务。
(179) 本条例应从 2026 年 8 月 2 日起适用。然而,考虑到以某些方式使用人工智能所带来的不可接受风险,本条例的禁令以及一般规定应从 2025 年 2 月 2 日起适用。虽然这些禁令的全面效力随着本条例治理和执法的建立而实现,但提前适用禁令对于考虑到不可接受的风险并在其他程序(如民法)中产生效果非常重要。此外,与治理和合格评定体系相关的基础设施应在 2026 年 8 月 2 日之前投入运行,因此关于公告机构和治理结构的条款应从 2025 年 8 月 2 日起适用。鉴于通用人工智能模型技术进步和采用的快速步伐,通用人工智能模型提供者的义务应从 2025 年 8 月 2 日起适用。行为准则应于 2025 年 5 月 2 日前准备就绪,以使提供者能够及时证明合规。AI Office 应确保分类规则和程序在技术发展面前保持最新。此外,成员国应制定处罚(包括行政罚款)规则并通知欧盟委员会,并确保其在本条例适用之日得到适当和有效的实施。因此,关于处罚的条款应从 2025 年 8 月 2 日起适用。
(180) 欧洲数据保护监督员和欧洲数据保护委员会已按照条例 (EU) 2018/1725 第 42 条第 1 款和第 2 款接受咨询,并于 2021 年 6 月 18 日发表联合意见,
已通过本条例:
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 196k | Updated | Claude CodeCodex | Verified | Install |