CSlawyer1985/legal-skillhub / skills/ai-act-knowledge
ai-act-knowledge
Verified欧盟 AI 法案知识引擎——以 70 份官方欧盟来源文件为基础的权威监管问答(包括 2026 年委员会关于 Art. 6 高风险分类的指南草稿——一般原则、附件 I、附件 III)。基于完整条例文本、委员会指南、EDPB/EDPS 意见、《实践守则》、协调标准、FRIA 指南、事件模板和行业特定指引,以条款级引用回答关于 AI 法案的任何问题。当用户询问"EU AI Act"、"AI Act regulation"、"Regulation 2024/1689"、"KI-Verordnung"、要求"explain an AI Act article"、"what does Article X say"、"AI Act requirements"、"AI Act penalties"、"AI Act timeline"、"GPAI obligations"、"high-risk AI"、"prohibited AI practices"、"AI Act and GDPR"、"fundamental rights impact assessment"、"AI Act standards"、"AI Act national implementation"、"AI literacy"、"serious incident reporting"、"Digital Omnibus"、"AI regulatory sandbox",或任何关于欧盟人工智能监管的问题时,应使用本技能。德语术语同样触发:"KI-Gesetz"、"KI-Verordnung"、"Hochrisiko-KI"、"KI-Kompetenz"、"Grundrechte-Folgenabschaetzung"、"GPAI-Verhaltenskodex"。对于产出分类决定而非知识答案的评估工作流,提议在会话内运行结构化风险等级分类。
references/guidelines/prohibited-practices-full.md
View on GitHub# 欧盟委员会关于被禁止的人工智能实践的指南——全文
欧盟委员会关于《人工智能法》第5条项下各项被禁止的人工智能实践的完整指南,包含详细法律分析、实务示例与边界情形。
| 项目 | 详情 |
|--------|--------|
| 机构 | 欧盟委员会 |
| 日期 | 2025年7月 |
| 文件编号 | C(2025) 5052 final, Brussels, 29.7.2025 |
| 来源网址 | https://ai-act-service-desk.ec.europa.eu/sites/default/files/2025-08/guidelines_prohibited_practices.pdf |
| NotebookLM 来源 ID | 561b5f20-... |
*德文:EK-Leitlinien zu verbotenen KI-Praktiken -- Vollstandiges Dokument*
---
## 1. 背景与目标
(1) 欧盟条例 (EU) 2024/1689(《人工智能法》)于2024年8月1日生效。该法为人工智能系统在欧盟市场上的投放、投入使用和使用规定了统一规则,旨在促进创新,同时确保健康、安全和基本权利(包括民主与法治)得到高水平保护。
(2) 《人工智能法》采取基于风险的方法,设有四个风险类别:
- **不可接受风险**:依《人工智能法》第5条予以禁止
- **高风险**:须遵守各项要求与义务(《人工智能法》第6条、附件一和附件三)
- **透明风险**:须遵守透明度义务(《人工智能法》第50条)
- **最低风险或无风险**:不受监管;自愿行为准则(《人工智能法》第95条)
(3) 依《人工智能法》第96条第1款第(b)项,委员会应就第5条所禁止实践的实务实施通过指南。这些禁止规定自2025年2月2日起适用。
(4) 本指南旨在提高法律明确性,并就委员会对各项禁止规定的解释提供见解。指南应作为主管机关以及人工智能系统的提供者(providers)和部署者(deployers)的实务指引。
(5) 本指南不具有约束力。具有权威性的解释最终只能由欧盟法院(CJEU)作出。
(7) 第5条的适用要求逐案评估。示例仅为指示性的。
## 2. 被禁止的人工智能实践概览
(8) 《人工智能法》第5条禁止为操纵、剥削、社会控制或监视等实践而将某些人工智能系统投放欧盟市场、投入使用或加以使用——这些实践因其固有性质而侵犯基本权利和欧盟价值观(《人工智能法》序言第28段)。
### 2.1. 《人工智能法》第5条所列各项禁止规定
| 条款 | 禁止内容 | 内容 |
|-----------|-------------|---------|
| 第5条第(1)款第(a)项 | 有害操纵与欺骗 | 采用潜意识技术、蓄意操纵或欺骗技术的人工智能系统,其目标或效果为扭曲行为,造成或合理可能造成重大损害 |
| 第5条第(1)款第(b)项 | 利用弱点进行有害剥削 | 利用因年龄、残疾或社会/经济状况而产生的弱点的人工智能系统,其目标或效果为扭曲行为,造成或合理可能造成重大损害 |
| 第5条第(1)款第(c)项 | 社会评分 | 基于社会行为或个人特征对自然人进行评估/分类的人工智能系统,且该社会评分导致在不相关情境中受到不利待遇,或受到不公正或不成比例的待遇 |
| 第5条第(1)款第(d)项 | 个人犯罪风险评估 | 仅基于画像(profiling)或人格特征评估/预测实施犯罪风险的人工智能系统;为支持基于与犯罪活动直接相关的客观事实的人工评估而使用者除外 |
| 第5条第(1)款第(e)项 | 无目标抓取用于人脸识别 | 通过从互联网或闭路电视(CCTV)画面中无目标抓取(untargeted scraping)人脸图像来创建或扩充人脸识别数据库的人工智能系统 |
| 第5条第(1)款第(f)项 | 情绪识别 | 在工作场所或教育机构中推断个人情绪的人工智能系统;出于医疗或安全原因者除外 |
| 第5条第(1)款第(g)项 | 生物特征分类 | 基于生物特征数据对个人进行分类以推断其种族、政治观点、工会会员身份、宗教信仰、性生活或性取向的人工智能系统;用于合法标注/筛选者除外 |
| 第5条第(1)款第(h)项 | 实时远程生物特征识别 | 执法机关在公众可进入的场所使用实时远程生物特征识别(RBI)系统;为定向搜寻受害者、预防威胁(包括恐怖袭击)或搜寻特定罪行嫌疑人者除外 |
### 2.2. 各项禁止规定的法律基础
(10) 《人工智能法》有两个法律基础:《欧盟运行条约》第114条(内部市场)与第16条(数据保护)。第16条是禁止执法领域的RBI系统、生物特征分类以及个人风险评估的法律基础。所有其他禁止规定以《欧盟运行条约》第114条为基础。
针对爱尔兰(第21号议定书)和丹麦(第22号议定书)的相关退出安排适用于以第16条为基础的禁止规定。
### 2.3. 物质范围:投放市场、投入使用或使用
(11) 被禁止的实践涉及特定人工智能系统的投放市场、投入使用或使用。对于实时RBI(第5条第(1)款第(h)项),仅使用被禁止。
(12) **投放市场**(第3条第(9)款):人工智能系统首次在欧盟市场上提供——无论供应方式如何(API、云端、直接下载、实体副本、嵌入产品中)均予涵盖。
(13) **投入使用**(第3条第(11)款):为按其预期目的首次使用而向部署者供应人工智能系统,或为在欧盟自行按预期目的使用而供应——既涵盖向第三方供应,也涵盖内部开发。
(14) **使用**应从宽理解,涵盖人工智能系统在投放市场或投入使用后的生命周期中任何时刻的部署,包括任何可能构成被禁止实践的(“合理可预见的”或非合理可预见的)滥用。
### 2.4. 属人范围:责任主体
(15-16) **提供者**(第3条第(3)款):开发人工智能系统或委托他人开发并将其投放市场或投入使用的自然人或法人。若在欧盟境外设立但将系统投放欧盟市场或其输出在欧盟使用,则受《人工智能法》约束。
(17-18) **部署者**(第3条第(4)款):在其权限下使用人工智能系统的自然人或法人,但用于个人非专业活动者除外。部署者为法人时,在其控制下行事的个别雇员不应被视为部署者。
(19) 运营者可以同时扮演多个角色(例如,若自行开发并使用系统,则既是提供者又是部署者)。
(20) 要求在整个AI生命周期各阶段持续合规。
### 2.5. 范围排除
#### 2.5.1. 国家安全、国防与军事目的
(22-26) 《人工智能法》第2条第(3)款:《人工智能法》不适用于**纯粹**为军事、国防或国家安全目的而投放市场、投入使用或使用的人工智能系统。排除与否取决于目的而非主体。“双重用途”系统(既用于军事/国家安全也用于其他目的)属于《人工智能法》适用范围。
根据欧盟法院判例法,国家安全是指保护国家基本职能和社会根本利益,包括预防恐怖主义。不包括道路安全或司法行政。
(27) 从事犯罪预防、侦测、侦查和起诉的警察及其他执法机关属于《人工智能法》适用范围。
(28) 欧洲刑警组织(Europol)及其他欧盟安全机构(如欧洲边境与海岸警卫局 Frontex)的活动属于适用范围。
#### 2.5.2. 与第三国的司法和执法合作
(29) 《人工智能法》第2条第(4)款:《人工智能法》不适用于第三国公共机关在国际合作协定框架内使用人工智能系统的情形,前提是确保基本权利的充分保障。
#### 2.5.3. 研究与开发
(30) 《人工智能法》第2条第(8)款:《人工智能法》不适用于投放市场或投入使用之前与人工智能系统有关的研究、测试或开发活动。
(31) 《人工智能法》第2条第(6)款:为科学研究和开发的唯一目的而专门开发并投入使用的人工智能系统适用排除规定。
(32) 在真实世界条件下的测试(第3条第(57)款)不属于研发排除的覆盖范围,必须遵守《人工智能法》,除非在AI监管沙盒中或依特别测试制度(《人工智能法》第60-61条)进行。
#### 2.5.4. 个人非专业活动
(34) 第2条第(10)款:《人工智能法》不适用于为纯粹个人非专业活动使用系统的自然人部署者的义务。犯罪活动不被视为纯粹个人活动。系统本身对于提供者及其他专业部署者仍属适用范围。
#### 2.5.5. 自由和开源许可下的人工智能系统
(36) 第2条第(12)款:《人工智能法》不适用于依自由和开源许可发布的人工智能系统,**除非**其作为高风险系统或属于第5条(被禁止实践)或第50条(透明度义务)项下的系统被投放市场或投入使用。
### 2.6. 与高风险AI系统要求的相互作用
(37) 依第6条/附件三被归类为高风险的AI系统,若满足第5条全部条件,在某些情况下可能构成被禁止的实践。反之,属于第5条例外情形的大多数AI系统符合高风险资格。
(38) 依第6条第(3)款不被视为高风险的AI系统仍可能属于第5条禁止规定的范围。
### 2.7. 对通用人工智能系统的适用
(39) 各项禁止规定适用于任何AI系统,无论其具有预期目的还是通用目的,也无论是直接使用还是集成于其他AI系统中。
(40) 预期提供者应采取有效且可核查的措施,以内置保障措施并防止有害行为和滥用,前提是这些行为在合理可预见的范围内,且措施可行且相称。预期提供者应在使用条款中排除被禁止的实践并提供适当指示。
(41) 在某些情况下,特别是禁止规定与非常特定的目的相关联时,提供者可能主要需要依赖提供适当指示、限制被禁止的使用,并在可行时进行合规监测。
### 2.8. 与其他欧盟法律的相互作用
(42) 《人工智能法》横向适用于所有部门,不影响关于基本权利、消费者保护、就业、劳动者保护和产品安全的其他欧盟立法。
(43) 即使AI系统未被《人工智能法》禁止,其使用仍可能依其他欧盟法律被禁止或非法。
(45) 与欧盟数据保护法(GDPR《通用数据保护条例》、LED《执法指令》、EUDPR《欧盟机构数据保护条例》)的相互作用尤为相关,因为AI系统经常处理个人数据。
(46) 对于执法领域的生物特征分类和实时RBI,《人工智能法》作为《执法指令》第10条的特别法(lex specialis)适用。
(47) 欧盟消费者保护和安全立法完全继续适用。
(48-49) 《人工智能法》与《数字服务法》(欧盟条例 (EU) 2022/2065)一并适用,且不影响适用的责任法律。
(51) 作为欧盟次级立法,《人工智能法》必须参照欧盟条约、《宪章》和国际公约所保障的基本权利予以解释。
### 2.9. 第5条的执行
#### 2.9.1. 市场监督机关
(53) 由成员国指定的市场监督机关(就欧盟机构而言为欧洲数据保护监督局 EDPS)负责执行。它们可依职权或依投诉行事。成员国必须在2025年8月2日前指定主管机关。
(54) 对跨境影响,适用欧盟保障程序,由委员会作出是否属于被禁止实践的决定,力求在成员国间统一适用。
#### 2.9.2. 处罚
(55) 不遵守第5条构成最严重侵权,适用最高罚款:最高3500万欧元或全球年度营业总额的7%(以较高者为准)。欧盟机构可能面临最高150万欧元的罚款。
(57) 由于违反第5条对自由干预最大并招致最高罚款,其范围应**从窄解释**。
---
## 第5条第(1)款第(a)项——潜意识/操纵/欺骗技术
### 3.1. 理由与目标
(59) 其基本理由在于保护个人自主权和福祉,使其免受可能颠覆和损害个人自主、决策和自由选择的操纵性、欺骗性和剥削性AI实践之害。各项禁止规定旨在保护人的尊严(《宪章》第1条),包括个人自主权。
### 3.2. 禁止规定的主要构成要素
**第5条第(1)款第(a)项的条文文本:**
> 将采用超越个人意识范围的潜意识技术或蓄意操纵或欺骗技术的人工智能系统投放市场、投入使用或使用,其目标或效果为通过明显损害某人或某群体做出知情决定的能力而实质性扭曲其行为,从而促使其做出原本不会做出的决定,并以造成或合理可能造成该人、另一人或某群体重大损害的方式为之。
(60) 必须满足四项**累积条件**:
1. 将AI系统投放市场、投入使用或使用
2. 该AI系统采用潜意识、蓄意操纵或欺骗技术
3. 这些技术的目标或效果为通过明显损害做出知情决定的能力而实质性扭曲行为
4. 被扭曲的行为造成或合理可能造成重大损害
(61) 所采用的技术、行为的实质性扭曲与重大损害之间必须存在合理的因果关系。
### 3.2.1. 潜意识、蓄意操纵或欺骗技术
#### a) 潜意识技术
(64) 潜意识技术在意识感知阈值之外(之下或之上)运作。它们绕过理性防御,在无意识感知的情况下影响决策。
(65) 潜意识技术的示例(除非满足全部条件,否则不一定被禁止):
- **视觉潜意识信息**:闪现速度过快、意识无法识别的图像/文字
- **听觉潜意识信息**:音量低或被其他声音掩盖的声音/信息
- **触觉潜意识刺激**:被无意识感知的细微身体感觉
- **亚视觉与亚听觉线索**:在正常条件下人类感官完全无法察觉的刺激
- **嵌入图像**:隐藏在其他视觉内容中的图像
- **注意力转移**:将注意力引向特定刺激以防止注意到其他内容
- **时间操纵**:改变用户交互中的时间感知
(66) AI及相关技术(大数据分析、神经技术、脑机接口、虚拟现实)加剧了复杂潜意识操纵的风险。AI可以延伸到新兴的机器-大脑接口以及梦境入侵(dream-hacking)和大脑间谍软件等技术。
#### b) 蓄意操纵技术
(67) 设计或客观上旨在以破坏个人自主权和自由选择的方式影响、改变或控制行为的技术。它们通常利用认知偏差、心理弱点或情境因素。AI的适应性使其能够针对个人具体情况作出回应并在规模上提高有效性。**并不要求**提供者/部署者意图造成损害。
(68) 禁止规定还涵盖这样的情况:个人即使意识到影响企图,也可能无法控制或抵抗其操纵效果(序言第29段)。
(69) 禁止规定涵盖**在没有任何人意图的情况下**操纵个人的AI系统——AI系统本身可能采用从训练数据中学到或通过强化学习获得的操纵技术。
相反,如果操纵行为仅是**附带性的**,只要提供者采取了适当的预防和缓解措施,该系统不应被视为采用蓄意操纵技术。
#### c) 欺骗技术
(70) 涉及呈现虚假或误导性信息的技术,其目标或效果为欺骗个人并影响其行为。涵盖个人没有意识或虽有意识但仍可能被骗或无法抵抗的情形。
(71-72) 与第50条透明度义务的相互作用:对深度伪造和聊天机器人进行标注可降低欺骗风险但不能消除。禁止规定的范围更有限,可能涵盖呈现虚假/误导性信息、扭曲行为的欺骗性AI生成内容。
(73) AI系统可能在无人意图的情况下学会欺骗技术,包括识别何时处于评估状态并暂时停止不良行为的系统(“评估作弊”)。
**生成式AI的幻觉**可能不构成第5条第(1)款第(a)项意义上的欺骗技术,考虑到当前技术水平,特别是当提供者已适当告知用户相关局限并整合了适当保障措施,且该系统未在敏感情境(健康、教育、选举)中部署时。
#### d) 技术组合
(74-75) 第5条第(1)款第(a)项也适用于能够产生复合影响、形成反馈回路的潜意识、操纵与欺骗技术的组合。
### 3.2.2. 行为的实质性扭曲
#### 实质性扭曲的概念
(77) 该概念涉及采用能够以**明显损害**做出知情决定的能力的方式影响行为的技术,从而使个人以原本不会采取的方式行事。它超越轻微或可忽略的影响。
(78) **明显损害**是指做出知情和自主决定的能力被大幅削弱。它超越合法的说服。
(79) **知情决定**要求理解并知晓相关信息,包括可用选项、风险与收益,以及AI系统对行为的影响。
(80) 在解释方面,欧盟消费者保护法(UCPD《不公平商业行为指令》)是有效的参考来源。依欧盟法院之见,无需证明行为实际被扭曲——只要确定该做法“可能”(有能力)影响一般消费者的交易决定即可。即使是准确信息,若以扭曲决策的方式呈现,也可能具有误导性。
(81) 市场监督机关必须调查每个案件的具体事实,评估该技术是否可能明显损害目标群体中“一般”个人的决策能力。
#### 情形一:“以……为目标”实质性扭曲行为
(82) 该目标可由提供者、部署者或系统本身在其隐含目标中追求。这应与系统的“预期目的”相区分。
#### 情形二:“以……的效果”实质性扭曲行为
(83-84) 故意是充分的但非必要的。在不存在故意但效果能够实质性扭曲行为时,禁止规定同样适用。始终必须存在合理的因果关系。效果无需已完全显现,但必须有充分迹象表明其可能或能够显现。
### 3.2.3. 重大损害
#### a) 损害类型
(86-90) 主要损害类型:
- **身体损害**:人身伤害,对生命、健康、财产的损害。通常即时、严重、不可逆。
- **心理损害**:对心理健康和情绪福祉的不利影响。可能随时间累积。
- **财务与经济损害**:经济损失、金融排斥、经济不稳定。
- **复合损害**:损害往往与更广泛的社会损害结合显现。
#### b) 重大性门槛
(91-93) 认定依具体事实而定。关键考量因素:
- **损害严重性**:具有客观可观察效果的损害程度
- **情境与累积效应**:特定情境与累积行为
- **规模与强度**:损害范围以及是否影响大量人群
- **受影响人的脆弱性**:儿童、老年人、残疾人可能更易受影响;对成年人可接受的,对弱势群体可能不可接受
- **持续时间与可逆性**:持久或不可逆的损害通常达到该门槛
#### c) 因果关系与合理可能性
(94) “合理可能”这一概念允许不仅在实际发生损害时适用,而且在其合理可能发生时适用。评估必须考虑提供者/部署者是否能够合理预见重大损害,以及是否实施了适当的预防和缓解措施。
(95) 为避免提供/使用被禁止的系统,鼓励提供者和部署者:
1. **透明度与个人自主**:清晰披露、相关信息、尊重自主、保障措施
2. **遵守适用立法**:合规表明该实践不构成被禁止的实践
3. **最先进实践与行业标准**:遵循专业尽职义务
(96) 源于AI系统外部因素、不在提供者/部署者控制或合理预见范围内的损害不予考虑。
### 3.3. 利用弱点进行有害剥削(第5条第(1)款第(b)项)
**第5条第(1)款第(b)项的条文文本:**
> 将利用自然人个人或特定群体因其年龄、残疾或特定社会或经济状况而产生的任何弱点的人工智能系统投放市场、投入使用或使用,其目标或效果为实质性扭曲该人或属于该群体的人的行为,并以造成或合理可能造成该人或另一人重大损害的方式为之。
(98) 四项**累积条件**:
1. 将AI系统投放市场、投入使用或使用
2. 该AI系统利用因年龄、残疾或社会/经济状况而产生的弱点
3. 该利用行为的目标或效果为实质性扭曲行为
4. 被扭曲的行为造成或合理可能造成重大损害
### 3.3.1. 对弱点的利用
(101-103) AI系统必须利用特定个人或群体因年龄、残疾或特定社会/经济状况而固有的弱点。“利用”是指客观地以对被利用者有害的方式使用弱点,应与合法实践相区分。利用可以是**累积的**(条文提及“任何”弱点)。
#### a) 年龄
(104-105) 包括年轻人和老年人。**儿童**(18岁以下)由于其发育阶段、认知/社会情感不成熟以及易对AI代理形成依恋,尤其易受影响。
**示例**:鼓励危险挑战的AI玩具;利用儿童对长期后果理解有限、采用成瘾性强化时间表的游戏。
(106) **老年人**可能因认知能力下降而容易受骗或屈从于胁迫手段。
#### b) 残疾
(107-108) 残疾涵盖长期的身体、精神、智力与感官障碍(《欧盟指令 (EU) 2019/882》第3条第(1)款含义内)。AI不可访问性不属于利用——仅仅无法访问的系统并不专门针对弱点。
#### c) 特定社会或经济状况
(109) “特定”不应解释为独特的个人特征,而应解释为属于特定弱势社会/经济群体的法律地位或成员身份。序言第29段给出示例:生活极度贫困者、少数族裔或宗教少数群体。涵盖相对稳定的特征,也涵盖暂时情形(临时失业、过度负债、移民身份)。一般性的不满或孤独**不**在涵盖范围内(从社会经济角度看并不特定),但对它们的利用可能属于第5条第(1)款第(a)项。
(110-111) 无意中对社会弱势群体存在偏见的AI系统(间接歧视)不应自动被视为利用。但明知存在造成重大损害的非法歧视却未采取纠正措施的提供者/部署者应被视为在利用弱点。
### 3.3.2. 行为的实质性扭曲(第5条第(1)款第(b)项)
(113) 与第5条第(1)款第(a)项相同的概念。显著区别:第5条第(1)款第(b)项**不**要求“明显损害做出知情决定的能力”——儿童和其他弱势人群的弱点已降低了其做出知情决定的能力。
### 3.3.3. 重大损害(第5条第(1)款第(b)项)
(114-120) 与第5条第(1)款第(a)项相同的概念。对弱势群体而言,损害可能尤为严重。在不确定的情况下应采取**预防性方法**。与第5条第(1)款第(a)项不同,第5条第(1)款第(b)项未明确提及群体损害,但序言第29段同时提及两者,故两项禁止规定应一致解释。
### 3.4. 第5条第(1)款第(a)项与第(b)项之间的相互作用
(122-125) 按主导方面区分:
- 如果利用行为与特定弱点无关而普遍适用:**第5条第(1)款第(a)项**优先适用
- 如果操纵/利用针对因年龄、残疾或特定社会/经济状况而特定的弱势群体:适用**第5条第(1)款第(b)项**
- 对其他群体(非年龄/残疾/社会经济)弱点的利用可纳入第5条第(1)款第(a)项范围
### 3.5. 范围之外
#### 3.5.1. 合法说服
(127-133) 操纵与说服之间的关键区别:
- **说服**:透明,尊重自主权,以诉诸理性与情感的方式提出论点,解释目标,提供准确信息,支持知情决策
- **操纵**:通常是隐蔽的,削弱自主权,利用心理弱点或认知偏差
序言第29段澄清禁止规定不影响:
- **合法医疗**:心理治疗中依适用法律和医疗标准并取得明确同意而使用的AI辅助潜意识技术
- **常见商业实践**:使用AI进行个性化的广告本身并非操纵性,只要不采用被禁止的技术
#### 3.5.2. 不太可能造成重大损害的操纵性系统
(134) 所有合理不可能造成重大损害的操纵性、欺骗性和剥削性AI应用均不在范围内。
范围之外的示例:
- 采用拟人化设计、吸引用户但未造成严重损害/依赖的AI陪伴系统
- 使用潜意识技术帮助戒烟的疗法聊天机器人(暂时不适被长期收益所抵消)
- 使用情绪识别推荐歌曲但避免抑郁内容的音乐平台
- 安全培训模拟中的操纵性技术(出于暂时有益的目的且无重大损害)
### 3.6. 与其他欧盟法律的相互作用
(135-145) 第5条第(1)款第(a)项和第(b)项补充且不影响:
- **消费者保护法**(UCPD):《人工智能法》范围更广(保护任何自然人,不仅限于消费者)
- **数据保护法**(GDPR/LED):遵守透明度、数据最小化、公平性和合法性有助于避免有害操纵
- **反歧视法**:因年龄和残疾产生的弱点也是受保护的事由
- **《数字服务法》**:第25条第(1)款禁止暗黑模式;《人工智能法》涵盖更广泛的场景
- **AVMSD《视听媒体服务指令》**:防止媒体中由AI驱动的有害广告
- **《政治广告条例》(EU) 2024/900**:透明度与定向规则
- **产品安全立法**:对受监管产品的事前安全要求
- **刑法**:防止可能构成或导致犯罪的行为
---
## 第5条第(1)款第(b)项——利用弱点
*详细分析见上文第3.3节,因其结构与第5条第(1)款第(a)项密切相关而一并呈现。*
---
## 第5条第(1)款第(c)项——社会评分
### 4.1. 理由与目标
(148) 社会评分可能导致歧视性和不公平的结果、社会排斥以及不符合欧盟价值观的社会控制/监视实践。该禁止规定保护人的尊严、不歧视、平等、数据保护、私人与家庭生活以及相关的社会和经济权利。
### 4.2. 禁止规定的主要构成要素
**第5条第(1)款第(c)项的条文文本:**
> 将用于在特定时间段内基于自然人或群体的社会行为或其已知、推断或预测的个人或人格特征对其实施评估或分类的人工智能系统投放市场、投入使用或使用,且该社会评分导致以下两种情形之一或两者兼有:
> (i) 在与数据最初生成或收集的情境无关的社会情境中,对某些自然人或群体实施不利或不优待的待遇;
> (ii) 与其社会行为或其严重程度相比不公正或不成比例的不利或不优待待遇。
三项**累积条件**:
1. 将AI系统投放市场、投入使用或使用
2. 该AI系统在特定时间段内基于社会行为或个人/人格特征对个人进行评估或分类
3. 由此产生的社会评分导致在不相关情境中受到不利/不优待待遇**和/或**不公正/不成比例的待遇
### 4.2.1. 社会评分:评估或分类
#### a) 对自然人的评估或分类
(151-154) 评分可以采取多种形式(数学数值、排名、标签)。“评估”涉及评价/判断;“分类”更宽泛,包括不一定涉及评价的归类。数据保护法下的“画像”概念(GDPR第4条第(4)款)具有相关性——SCHUFA I判决将信用评分认定为画像。
#### b) 在特定时间段内
(155) 评估/分类必须基于跨越一定时间段的数据——不限于一次性评级。必须结合情境评估以避免规避。
#### c) 基于社会行为或个人/人格特征
(156-159) **社会行为**:在多个来源(参加活动、偿还债务、与政府的关系等)中体现的行动、习惯、社会互动。
**个人特征**:性别、性取向、种族、族裔、家庭状况、住址、收入、职业、健康、偏好、行为、所在地、负债水平等。
**人格特征**:大致与个人特征同义,也可能涉及创建特定画像。
信息类型:“已知”(作为输入提供、可核实的)、“推断”(由AI从其他信息推导的)、“预测”(基于模式估算、准确率不足100%的)。
### 4.2.2. 不利或不优待的待遇
#### a) 因果关系
(160-162) 待遇必须是评分的后果。AI输出不必是唯一原因——若AI评分发挥足够重要的作用,AI辅助评分与人工评估相结合的情形也在涵盖范围内。一个组织产生的评分可能导致另一组织的歧视性待遇。
#### b) 待遇条件(择一)
(163-164) 两个择一条件(也可以结合适用):
**情形一:在不相关的社会情境中受到待遇**(第5条第(1)款第(c)项第(i)目)
(166) 在与评分情境无关的情境中生成/收集的关于社会行为或特征的数据,在无明显关联的情况下被使用。这往往违背合理预期并违反数据保护法。
**示例**:
- 税务机关使用无关数据(纳税人的社交习惯、网络连接)进行欺诈侦测
- 社会福利机构使用无关特征(配偶国籍、网络连接、社交媒体行为)进行欺诈评估
- 劳工机构使用无关变量(婚姻状况、健康数据)确定就业支持
**情形二:不成比例的待遇**(第5条第(1)款第(c)项第(ii)目)
(167) 与社会行为的严重程度相比不公正或不成比例的待遇。要求逐案评估,考虑相称性、相关情形和伦理考量。
**示例**:
- 机构对家庭进行画像,因轻微违规(错过预约、交通罚款)而带走儿童
- 市政当局对守信度进行评分,并因轻微不良行为(未归还图书馆书籍、迟缴税款)将居民列入黑名单
(169) 禁止规定也可能涵盖给予某些人的优待待遇,因为这意味着对其他人不利的待遇。
### 4.2.3. 无论公共或私人主体
(170) 无论AI系统或评分由公共主体还是私人主体提供或使用,禁止规定均适用。私营部门的评分可能产生同样有害的后果。
(171) 提供者和部署者必须证明该AI实践是合法且正当的,包括就运作方式、数据类型和来源提供透明度。
### 4.3. 范围之外
(173-177) 以下情形**不在范围内**:
- 对法人实体的评分(除非汇总了对被评估行为自然人的评估)
- 用户评估服务质量的个人评级(除非与AI分析相结合)
- 依欧盟和国内法为特定目的进行的合法评估实践,特别是这些法律规定了相关数据并确保正当/相称待遇时
**范围之外的合法评分示例**:
- 基于客户收入/支出和财务状况、遵守消费者保护法的金融信用评分
- 基于交易行为和相关数据来源的欺诈侦测
- 基于驾驶行为的远程信息处理保险费率(与风险相称)
- 为医疗诊断目的收集健康数据
- 为安全目的、基于相关数据的在线平台画像
- 遵守消费者/数据保护法的AI定向广告
- 依适用移民法、将难民营数据用于重新安置决定
- 基于购买/退货历史提供优惠的购物平台评分
- 使用与预防/起诉犯罪相关的数据进行执法评估
### 4.4. 与其他欧盟法律的相互作用
(178-183) 相关立法包括:
- **消费者保护法(UCPD)**:评分可能构成不公平商业实践
- **数据保护法**:合法性、数据最小化、透明度、自动化决策规则
- **反歧视法**:评估基于受保护事由时
- **《消费者信贷指令》(EU) 2023/2225**:基于相关/准确信息的信用评估;禁止特殊类别个人数据和社会网络数据
- **反洗钱立法**:用于反洗钱评估的AI系统必须遵守
---
## 第5条第(1)款第(d)项——犯罪风险评估
### 5.1. 理由与目标
(186) 序言第42段:对自然人的判断应基于其实际行为,而非仅基于其画像、人格特质或特征进行的AI预测行为。
### 5.2. 禁止规定的主要构成要素
**第5条第(1)款第(d)项的条文文本:**
> 将用于对自然人进行风险评估以评估或预测自然人实施犯罪风险的人工智能系统投放市场、为这一特定目的投入使用或使用,且该风险评估仅基于对自然人的画像或对其人格特质和特征的评估;本禁止规定不适用于用于支持对某人参与犯罪活动进行人工评估的AI系统,前提是该人工评估已基于与犯罪活动直接相关的客观且可核实的事实。
三项**累积条件**:
1. 投放市场、为这一特定目的投入使用或使用
2. 该AI系统进行风险评估,评估/预测实施犯罪的风险
3. 该风险评估**仅**基于画像或对人格特质和特征的评估
### 5.2.1. 评估犯罪风险或预测犯罪可能性
(189-191) 风险评估和预测是前瞻性的,涉及未来的犯罪或当下的犯罪风险(包括未遂或预备活动)。它们可以在任何阶段作出:预防、侦测、侦查、起诉、刑罚执行或重返社会规划。
(192) 禁止规定并**不**一般性地取缔犯罪预测——仅在满足第三项条件(仅基于画像/人格特质)时适用。
### 5.2.2. 仅基于画像或人格特质
#### a) 对自然人的画像
(195-196) 《人工智能法》第3条第(52)款参照GDPR第4条第(4)款定义画像。“群体画像”(基于历史数据为各类犯罪者构建画像)也具有相关性——当其适用于特定个人时,即构成画像。
#### b) 人格特质和特征的评估
(197-198) 宽泛类别。序言第42段给出示例:国籍、出生地、居住地、子女数量、负债水平、汽车类型(示例性的,非穷尽的)。
#### c) “仅”
(199-202) “仅”这一条件意味着只基于画像或人格特质。若还考虑了其他真实、实质且有意义的要素,则可能不满足该条件。特别是,存在预先确立的**客观且可核实的事实**可以证明该禁止规定不适用。
**被禁止系统的示例**:
- 执法机关仅基于年龄、国籍、住址、汽车类型、婚姻状况预测恐怖主义
- 税务机关仅基于包括双重国籍、子女数量、不透明推断变量在内的画像数据预测犯罪性税务违法
- 警方仅基于人际关系/家庭联系评估儿童的“未来犯罪”风险
### 5.2.3. 排除情形:支持基于客观事实的人工评估
(203-206) 禁止规定**不**适用于用于**支持**对某人参与犯罪活动进行**人工评估**的AI系统,前提是该评估已基于**与犯罪活动直接相关的客观且可核实的事实**。若系统属于此排除情形并由执法机关使用,则被归类为高风险(附件三第6点第(d)项)。
依欧盟法院在**Ligue des droits humains**案(C-817/19)中的判决:人工评估必须依赖客观标准并确保非歧视性结果。
核心要素:AI系统支持人工评估,而非自行作出风险评估。人工评估必须已基于客观且可核实的事实。
### 5.2.4. 私人主体在多大程度上属于适用范围
(207-211) 禁止规定不限于执法机关。它适用于私人主体:
- 依法受委托为执法目的行使公共权力时
- 被明确要求代表执法机关行事时
- 负有评估/预测犯罪风险的法定义务时(如反洗钱)
然而,为普通商业运营目的(如为保护自身利益而侦测财务异常)对客户进行画像、犯罪风险仅是偶然和次要问题的私人实体,**不**在涵盖范围内。
### 5.3. 范围之外
#### 5.3.1. 基于地点/地理空间的犯罪预测
(212-213) 不涉及对特定个人进行评估的基于地点的犯罪预测不在范围内。但如果基于地点的信息与个人相关联,且系统仅基于画像(包括居住在高犯罪率地区)评估该人的风险,则变为基于个人的。
#### 5.3.2. 支持基于客观事实的人工评估的AI系统
(214) 范围之外的示例:
- 在有意义的人工评估下对人群中实际可疑危险行为进行画像
- 结合地理空间数据和自动车牌识别(ANPR)数据、基于可核实事实支持警方侦查的AI
- 基于既往犯罪和与改造相关的行为评估提前释放风险的AI
- 基于有效理由支持审前羁押决定的AI
- 海关机关基于客观货物/供应链信息评估风险的AI
#### 5.3.3. 对法人实体的犯罪预测
(215-216) 禁止规定仅适用于自然人。对公司/组织的预测被排除在外。独资经营者或独立专业人士存在边界情形。
#### 5.3.4. 行政违法预测
(217-218) 仅涵盖刑事犯罪,不包括行政违法。某一违法行为是否属于犯罪取决于欧盟或国内法,并受欧盟法院依“Engel标准”(分类、违法性质、处罚严重程度)审查。
### 5.4. 与其他欧盟法律的相互作用
(219-221) 相关立法:
- **LED《执法指令》**:第11条第(3)款禁止导致歧视的画像
- **《欧盟指令 (EU) 2016/343》**(无罪推定)
- 国内刑事诉讼法与警察法
---
## 第5条第(1)款第(e)项——人脸识别数据库抓取
### 6.1. 理由与目标
(223) 无目标抓取严重干涉隐私和数据保护权利,并剥夺保持匿名的权利。序言第43段以“被大规模监视的感觉”和“严重侵犯基本权利”的风险为理由支持该禁止规定。
### 6.2. 禁止规定的主要构成要素
**第5条第(1)款第(e)项的条文文本:**
> 将用于通过从互联网或闭路电视画面中无目标抓取人脸图像来创建或扩充人脸识别数据库的人工智能系统投放市场、为这一特定目的投入使用或使用。
四项**累积条件**:
1. 投放市场、为这一特定目的投入使用或使用
2. 用于创建或扩充人脸识别数据库
3. 通过用于无目标抓取的AI工具
4. 从互联网或闭路电视画面
#### 6.2.1. 人脸识别数据库
(226) 为快速搜索和检索而组织的任何数据集合,能够匹配人脸。可以是临时的、集中式或分散式的。数据库无需以人脸识别为唯一目的;只要其能够用于人脸识别即可。
#### 6.2.2. 无目标抓取
(227-231) “抓取”:使用网络爬虫、机器人或其他方式自动提取数据。“无目标”:像吸尘器一样运作,不针对特定预期对象。遵守robots.txt不影响其无目标性质。
**定向抓取**(仅收集特定个人或预先定义群体的图像)**不在涵盖范围内**。但每次选择特定群体的逐步抓取,若最终结果在功能上与无目标抓取相同,则被禁止。
#### 6.2.3. 从互联网和闭路电视画面
(232-233) 在社交媒体上发布人脸图像不构成将其纳入人脸识别数据库的同意。“逆向工程图像搜索引擎”被视为定向抓取。
### 6.3. 范围之外
(234-237) 不在范围内:
- 对**人脸图像以外**的生物特征数据进行无目标抓取(如语音样本)
- 不涉及AI系统的抓取
- **不**用于识别个人的面部图像数据库(如用于不识别个人的模型训练)
- 收集面部图像以生成虚构人物图像的AI系统
- 在禁止规定适用前建立且未通过AI辅助无目标抓取进一步扩充的**既有数据库**(但须遵守数据保护规则)
### 6.4. 与其他欧盟法律的相互作用
(238) 依GDPR、LED和EUDPR,无目标抓取将是非法的,不能援引任何法律依据。
---
## 第5条第(1)款第(f)项——工作场所/教育机构中的情绪推断
### 7.1. 理由与目标
(240-241) 情绪识别技术发展迅速,但面临“对其科学基础的重大关切”(序言第44段)。主要缺陷:可靠性有限、缺乏特异性、泛化能力有限。它可能导致歧视性结果,在不对称关系(工作场所、教育机构)中尤为侵入性。但安全与医疗照护方面存在益处。
### 7.2. 禁止规定的主要构成要素
**第5条第(1)款第(f)项的条文文本:**
> 将用于在工作场所和教育机构领域推断自然人情绪的人工智能系统投放市场、为这一特定目的投入使用或使用,除非该AI系统的使用旨在因医疗或安全原因而部署或投放市场。
四项**累积条件**:
1. 将AI系统投放市场、为此目的投入使用或使用
2. 用于推断情绪的AI系统
3. 在工作场所或教育机构领域
4. 非出于医疗或安全原因(例外)
### 7.2.1. 用于推断情绪的AI系统
#### a) 情绪识别系统与用于推断情绪的AI系统
(244-245) 第3条第(39)款将“情绪识别系统”定义为基于生物特征数据识别或推断情绪或意图的AI系统。该禁止规定应被理解为既包括识别也包括推断情绪或意图,并应限于基于生物特征数据的推断。
#### b) 情绪或意图的识别与推断
(246) “识别”通过直接比较进行;“推断”通过分析过程推导信息完成。
#### c) 情绪
(247-249) 该概念应从宽理解。序言第18段列举:快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞愧、轻蔑、满足、愉悦(非穷尽列举)。
**不涵盖**:疼痛或疲劳等身体状态(包括对飞行员/驾驶员的疲劳检测)。也不涵盖:对显而易见的表情、手势或动作的单纯检测,**除非**它们被用于推断情绪。
**示例**:
- 观察一个人在微笑——不属于情绪识别
- 推断一个人很快乐——属于情绪识别
- 统计新闻主播微笑次数——不属于情绪识别
- 从身体手势/皱眉推断员工不开心——属于情绪识别
- 推断一名学生极度愤怒并即将施暴——属于情绪识别
- 检测驾驶员疲劳以建议休息——不属于情绪识别
#### d) 基于生物特征数据
(250-252) 只有基于生物特征数据的AI系统才构成情绪识别系统。第3条第(34)款:由与身体、生理或行为特征相关的特定技术处理所产生的个人数据。包括面部表情、键盘输入分析、步态、声音、脑电图(EEG)、心电图(ECG)、眼动追踪。
**示例**:
- 从书面文本推断情绪(情感分析)——不基于生物特征数据,不在范围内
- 从键盘输入、面部表情、身体姿态推断情绪——基于生物特征数据,在范围内
### 7.2.2. 工作场所和教育机构
#### a) 工作场所
(254) 从宽解释:个人从事雇主或关联组织指派任务的任何物理或虚拟空间。包括室内办公室、工厂、公众可进入的空间(商店、体育场馆)、露天场地、临时工作场所。与就业身份无关(雇员、承包商、实习生、志愿者)。**同样适用于**选拔和招聘过程中的候选人。
**被禁止使用的示例**:
- 呼叫中心通过网络摄像头/语音识别追踪员工情绪(愤怒)
- 通过视频通话监测混合办公团队的情绪状态
- 招聘过程中的情绪识别
- 试用期内的情绪识别
- 超市追踪员工情绪(快乐)
**依第5条第(1)款第(f)项不禁止的情形**:
- 呼叫中心追踪客户情绪(愤怒、不耐烦)以帮助员工应对
- 超市/银行侦测可疑客户(预备抢劫)——前提是不追踪员工
#### b) 教育机构
(255) 从宽解释:公立和私立机构、各级教育(包括职业学校、继续培训)。对类型/年龄或环境(线上、线下、混合式)没有限制。同样适用于招生程序中的候选人。
**被禁止使用的示例**:
- 教育机构使用情绪识别推断学生的兴趣/注意力
- 招生考试中的情绪识别
- 教育机构同时对教师和学生使用情绪识别
**依第5条第(1)款第(f)项不禁止的情形**:
- 在教育机构**之外**使用情绪识别的AI语言学习应用
- 在线考试中使用眼动追踪软件检测未经授权使用材料(不推断情绪)
- 在角色扮演情境(如培训演员)中为学习目的进行情绪识别,且结果不影响评价的
### 7.2.3. 医疗和安全原因的例外
(256-263) 此例外应**从窄解释**:
- **医疗原因**:应理解为使用带有CE标志的医疗器械。**不**包括一般性健康监测。在工作场所/教育机构检测倦怠或抑郁**不**属于例外范围,仍被禁止。
- **安全原因**:仅涉及生命和健康的保护,**不**涉及财产(盗窃/欺诈)。必须限于严格必要且相称的范围,并有充分保障措施。
**允许的示例**:为帮助自闭症员工/学生进行情绪识别;为盲人/聋人提供无障碍服务。
**尽管以安全为框架仍被禁止的情形**:普遍监测员工的焦虑/压力水平。例外仅适用于压力升高会构成特定危险(如操作危险机械、处理化学品)的情形——且数据不得用于其他目的。
### 7.3. 更有利的成员国法律
(264) 第2条第(11)款:成员国可以引入对劳动者更有利的法律,例如即使在工作中出于医疗目的也禁止情绪识别。
### 7.4. 范围之外
(265-270) 不在范围内:
- 不基于生物特征数据推断情绪/情感的AI系统
- 推断身体状态(疼痛、疲劳)的AI系统
- 所有其他领域(商业、执法、公共场所)的情绪识别——这些属于高风险系统
- 不推断个人情绪的群体控制(crowd control)系统
- 医疗领域的应用(护理机器人、紧急呼叫语音监测)
---
## 第5条第(1)款第(g)项——生物特征分类
### 8.1. 理由与目标
(272) 为将个人归入与种族、政治/性取向等相关的群体而进行的生物特征分类侵犯人的尊严,并对隐私和不歧视构成重大风险。
### 8.2. 禁止规定的主要构成要素
**第5条第(1)款第(g)项的条文文本:**
> 将用于基于个人的生物特征数据对自然人个人进行分类以推断或推导其种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向的生物特征分类系统投放市场、为这一特定目的投入使用或使用;本禁止规定不涵盖对合法获取的生物特征数据集(如图像)进行标注或筛选,也不涵盖执法领域对生物特征数据的分类。
五项**累积条件**:
1. 投放市场、为此目的投入使用或使用
2. 生物特征分类系统
3. 对个人进行个别分类
4. 基于其生物特征数据
5. 以推断或推导种族、政治观点、工会会员身份、宗教/哲学信仰、性生活或性取向
### 8.2.1. 生物特征分类系统
(276-280) 第3条第(40)款:基于生物特征数据将自然人归入特定类别的AI系统,**除非**其附属于另一商业服务且出于客观技术原因严格必要(两项条件须同时满足)。
“附属”(序言第16段):与另一商业服务内在关联,不能脱离主要服务单独使用,且集成并非规避《人工智能法》的手段。
**允许的示例**:
- 在线市场平台上的滤镜,让消费者在自己身上预览产品
- 社交网络服务上用于添加/修改图片/视频的滤镜
**被禁止的示例**:
- 根据用户上传照片推断其可能政治取向以定向发送政治信息的AI
- 根据照片推断社交媒体用户可能性取向以进行定向广告的AI
### 8.2.2. 个别分类
(281-282) 必须对个人“个别地”分类。如果对整组进行分类而不考虑个人,则禁止规定不适用。
### 8.2.3. 敏感特征
(283) 仅涵盖为推断或推导以下内容而进行的生物特征分类:种族、政治观点、工会会员身份、宗教或哲学信仰、性生活或性取向。
**被禁止的示例**:
- 声称从声音推断种族的系统
- 声称从纹身或面部推断宗教取向的系统
**不禁止的情形**:按肤色或眼睛颜色对个人分类的系统,或分析犯罪受害者DNA以确定族裔背景的系统。
### 8.3. 范围之外
(284-286) 禁止规定**不**涵盖对合法获取的生物特征数据集进行标注或筛选,包括执法领域(序言第30段)。
**允许的标注/筛选**:
- 对生物特征数据进行标注以防止AI训练中的歧视(确保人口统计群体得到平等代表)
- 为医疗诊断(如癌症)按皮肤/眼睛颜色对患者分类
- 执法机关对儿童性虐待材料进行标注/筛选、按特征识别受害者
### 8.4. 与其他欧盟法律的相互作用
(287-288) 未被禁止的生物特征分类系统被归类为高风险(附件三第1点第(b)项)。第5条第(1)款第(g)项与《执法指令》第11条第(3)款一致,后者禁止基于特殊类别个人数据的、导致歧视的画像。
---
## 第5条第(1)款第(h)项——实时远程生物特征识别
### 9.1. 理由与目标
(293-294) 在公众可进入的场所进行实时RBI极具侵入性:它可能影响大部分人口的私人生活,唤起持续被监视的感觉,并间接阻却基本权利的行使。技术不准确可能导致有偏见/歧视性的结果,尤其是在年龄、族裔、种族、性别或残疾方面。
然而,当为实现重大公共利益严格必要时,在狭窄例外并附保障措施的情况下可以允许使用。
### 9.2. 禁止规定的主要构成要素
**第5条第(1)款第(h)项的条文文本:**
> 为执法目的在公众可进入的场所使用“实时”远程生物特征识别系统,除非且仅在为以下目标之一严格必要的情况下:
> (i) 定向搜寻绑架、人口贩运或性剥削的特定受害者,以及搜寻失踪人员;
> (ii) 预防对自然人的生命或人身安全的特定、重大且紧迫的威胁,或真实且现时或真实且可预见的恐怖袭击威胁;
> (iii) 定位或识别涉嫌实施刑事犯罪的个人,以就附件二所列且可判处至少四年监禁的犯罪开展刑事侦查或起诉或执行刑罚。
五项**累积条件**:
1. 该AI系统是RBI系统
2. 活动表现为使用
3. 实时进行
4. 在公众可进入的场所
5. 出于执法目的
### 9.2.1. 远程生物特征识别
(297-299) 第3条第(41)款:无需个人主动参与、通常在远处通过与其参考数据库比对来识别自然人的AI系统。仅涵盖识别(不涵盖验证)。
#### a) 仅识别
(300-303) 第3条第(35)款:通过将生物特征数据与数据库比对来确立身份、对人类特征进行自动识别的系统。包括跟踪个人的系统(如追踪嫌疑人逃跑方向的系统)。
**生物特征验证**(将传感器处的数据与设备上的数据如智能手机/护照比对)**不在**范围内。
#### b) 远程性
(304-308) 意味着无需主动参与即可识别,通常在远处进行。**排除**:为访问服务、解锁设备或安全门禁而确认身份的系统(序言第15段)。与无需主动参与即可处理大量数据的RBI相比,这些系统影响较小。
主动参与要求有意识地主动接近摄像头——被告知摄像头存在并不充分。
RBI系统包括人脸识别、声纹生物特征技术、步态识别和键盘输入生物特征技术。在示威期间使用且具备RBI功能的随身摄像头(body-cams)满足远程性条件。
#### c) 参考数据库
(309) 识别需要一个包含用于比对的生物特征数据的参考数据库。这是必不可少的。
### 9.2.2. 实时
(310-312) 第3条第(42)款:即时、近乎即时或在无重大延迟的情况下捕获和处理生物特征数据。所有处理步骤(捕获、比对、识别)同时或几乎同时进行。为避免规避,包含“有限的短暂延迟”。
当个人很可能已离开采集生物特征数据的场所时,延迟至少即为重大延迟。
执法机关秘密拍摄照片并提交数据库进行即时搜索的,视具体情形,可能属于该禁止规定。
### 9.2.3. 在公众可进入的场所
(313-318) 第3条第(44)款:可供不特定数量的自然人进入的任何公有或私有物理空间,无论进入条件或容量限制如何。
特征:
- 可供不特定数量的人进入(与门票、登记、年龄无关)
- 所有权无关紧要(公有或私有)
- 无需特定活动
**公众可进入的场所示例**:音乐会场地(即使需要门票)、交易会、商店、餐馆、银行、健身房、体育场馆、地铁站、机场、电影院、剧院、公园、森林、游乐场、公共道路和广场。
**不属于公众可进入的场所**:
- 在线空间(非物理空间)
- 对员工/服务提供者实行门禁管理的工厂/工作场所
- 监狱和边境检查站
- 封闭式住宅区
有些空间具有双重功能(如机场:公共区域属公众可进入;边检区域不属于)。
### 9.2.4. 出于执法目的
(319-325) 第3条第(46)款:为预防、侦查、侦测或起诉犯罪或执行刑罚的活动,包括防范公共安全威胁。与《执法指令》第1条的目的相同。
涵盖执法机关的活动**或代表其进行的活动**。“代表其”是指在指示和监督下将任务委托或请求给其他主体(包括私人主体)。
**“代表其”的示例**:公共交通公司、体育联合会、银行被执法机关要求在其指示/监督下行事的。
出于自身利益进行欺诈侦测的私人实体**不**受该禁止规定约束。
### 9.3. 禁止规定的例外
(326-328) 三个例外(第5条第(1)款第(h)项第(i)-(iii)目),须满足严格必要性以及第5条第(2)-(7)款的条件。这些例外不构成法律依据——只有成员国国内法才能允许该使用。
在国内立法缺失的情况下,自2025年2月2日起使用即被禁止。
#### 9.3.1. 理由
目标包括:保护(受害者/失踪人员)、预防(紧迫威胁/恐怖主义)、追诉/侦查(严重犯罪嫌疑人)。使用必须严格、穷尽且狭窄地界定。任何其他使用均被禁止。
#### 9.3.2. 定向搜寻受害者和失踪人员
(329-336) 第5条第(1)款第(h)项第(i)目:定向搜寻三类犯罪(绑架、人口贩运、性剥削)的受害者以及失踪人员。
搜寻失踪儿童与成年人有所不同。成年人有“失踪”的权利;搜寻需要有令人担忧的情形(健康状况、法律地位、遗书、未携带物品离开)。依行政程序(非执法程序)搜寻失踪人员则适用GDPR规则。
#### 9.3.3. 预防对生命的紧迫威胁或恐怖袭击
(337-347) 第5条第(1)款第(h)项第(ii)目:两个子情形:
**a) 对生命/人身安全的特定、重大且紧迫的威胁**:必须是(1)特定的(明确界定、个别化、具体——非假设性的),(2)重大的(严重身体伤害),(3)紧迫的(随时可能发生、需要立即行动)。包括关键基础设施受威胁且其中断将导致对生命构成紧迫威胁的情形。
**b) 真实且现时或可预见的恐怖袭击威胁**:门槛受欧盟法院关于数据留存判例法(SpaceNet案,C-793/19)启发:“已经出现足够具体的情形”。在存在计划袭击的具体迹象时,可能涵盖追踪“移动中的恐怖分子”。
#### 9.3.4. 定位和识别特定犯罪的嫌疑人
(348-355) 第5条第(1)款第(h)项第(iii)目:定位/识别附件二所列、可判处至少四年监禁的犯罪的嫌疑人。
**附件二所列犯罪**:恐怖主义、人口贩运、儿童性剥削、毒品贩运、武器贩运、谋杀、严重身体伤害、人体器官交易、核材料贩运、绑架、国际刑事法院管辖罪行、劫持飞机/船只、强奸、环境犯罪、有组织/持械抢劫、破坏活动、参加犯罪组织。
不要求签发欧洲逮捕令。涵盖嫌疑人和已被定罪的犯罪者。
### 保障措施与条件(第5条第(2)-(7)款)
#### 10.1. 定向对象与保障措施(第5条第(2)款)
(356-368) 关键保障措施:
1. **仅定向部署**:仅用于确认特定定向对象的身份——避免大规模监视
2. **平衡评估**:情形的性质(不使用系统时损害的严重性、概率、规模)与对权利和自由的影响之间的权衡
3. **时间、地域和个人限制**:明确限定的地理范围、持续时间及定向对象
4. 部署前进行**基本权利影响评估(FRIA)**
5. **在欧盟数据库中登记**(有正当理由的紧急情况除外)
##### 10.1.1. 基本权利影响评估
(369-376) FRIA必须遵守《人工智能法》第27条并包括:
- 对RBI使用、部署者流程、预期目的的说明
- 使用期间和频率
- 受影响人员的类别(定向对象、参考数据库中的人员、周边区域的人员)
- 对受影响人员造成损害的具体风险
- 所涉基本权利(隐私、数据保护、思想/表达/集会自由、不歧视、人的尊严、无罪推定、儿童/老年人权利)
- 必要性和相称性评估
- 人工监督措施
- 风险缓解措施
##### 10.1.2. 登记
(377) 部署者必须在欧盟数据库中登记系统(第49条)。紧急例外:若无不当迟延地完成登记,可以在登记前开始部署。
#### 10.2. 事先授权(第5条第(3)款)
(378-408) 每次使用均须获得司法机关或独立行政机关的事先授权。
关键要素:
- **双重必要性/相称性评估**:先由部署者进行(FRIA),再由授权机关进行
- 依国内程序规则提交**附理由的申请**
- **“每次使用”**均须单独授权(决定性时刻是每一次具体使用,而非安装)
- 授权机关的**独立性**:必须独立于使用系统的机关(依欧盟法院在Prokuratuur案 C-746/18中的判决)
- **紧急例外**:可以在未获授权的情况下开始使用,但必须在24小时内提交申请。申请被驳回的,使用立即停止,所有数据必须立即删除
- **不得仅自动决策**:不得仅基于RBI输出作出对个人不利的决定
- **人工监督**(第14条):识别结果必须由至少两名具备必要能力的自然人核实并确认
#### 10.3. 每次使用的通知(第5条第(4)款)
(409-410) 每次使用必须通知相关的市场监督机关和国内数据保护机关。通知不必包含敏感行动数据。
#### 10.4. 所需的国内法律(第5条第(5)款)
(411-416) 成员国可以决定是否以及在哪些目标下授权实时RBI。国内法律必须:
- 不超过第5条第(1)款第(h)项设定的限度
- 指定主管机关和授权机关
- 详细说明允许目标的范围
- 规定申请、签发、行使、监督和报告的要求
- 通过后30天内通知委员会
- 成员国可以引入更严格的法律
#### 10.5. 国家机关的年度报告(第5条第(6)款)
(419-422) 国内市场监督机关和数据保护机关必须就执法领域实时RBI系统的使用情况向委员会提交年度报告。
#### 10.6. 委员会的年度报告(第5条第(7)款)
(423-424) 委员会基于汇总数据发布年度报告,不含敏感行动数据。
### 10.7. 范围之外
(425-428) 不在禁止规定范围内:
- 生物特征验证/认证系统
- 执法领域的事后(回溯性)RBI系统(高风险,受第26条第(10)款约束)
- 在非公众可进入场所(私人空间、在线空间)为执法目的进行的实时RBI
- 私人主体进行的实时和回溯性RBI(如超市针对商店扒手、体育场馆针对被禁入人员、学校用于安保)
所有这些系统仍须遵守高风险AI系统规则和数据保护法。
### 实务示例
**被禁止的使用**:
- 警方在足球场入口部署人脸识别,针对与赛事无关的非特定观察名单
- 警方使用实时RBI识别商店扒手(不在附件二之列)
- 警方基于一般性安全/犯罪预防考虑在街头使用实时RBI(持续监测不满足例外标准)
- 在体育场馆基于情绪检测自动触发RBI的系统(由生物特征系统自行决定必要性)
- 警方针对政治抗议者使用实时RBI,因其实施轻微刑事犯罪(不在附件二之列;依欧洲人权法院Glukhin诉俄罗斯案判决属不成比例)
**不禁止(但须遵守高风险规则)**:
- 酒店使用实时RBI识别VIP客人(非执法目的)
- 购物中心为自身利益使用实时RBI对付商店扒手(非执法目的)
- 音乐会事件后警方进行回溯性人脸识别
- 核电站门禁的生物特征验证(主动参与,非远程)
- 安装支持生物特征识别的闭路电视摄像头(安装本身不被禁止;每次具体使用须获授权)
**若受警方委托则被禁止**:购物中心代表警方使用实时RBI寻找商店扒手(执法目的,商店扒窃不在附件二例外之列)。
---
## 11. 适用日期
(429-431) 第5条自**2025年2月2日**起适用。适用于所有AI系统,无论其何时投放市场。
关于治理和处罚的章节自**2025年8月2日**起适用。在过渡期间(2025年2月至8月),即使没有市场监督机关或处罚条款,各项禁止规定也完全适用且具有强制性。这些禁止规定具有**直接效力**,可以在国内法院执行。
## 12. 审查与更新
(432-433) 本指南构成初步解释。委员会将视实务经验、技术发展、执法行动和欧盟法院解释的需要对其进行审查。
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack." | Stars: 198k | Updated | Claude CodeCodex | Verified | Install |
| ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |
| ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt. | Stars: 194k | Updated | Claude CodeCodex | Verified | Install |