Skip to content

CSlawyer1985/legal-skillhub / skills/ai-act-knowledge

ai-act-knowledge

Verified

欧盟 AI 法案知识引擎——以 70 份官方欧盟来源文件为基础的权威监管问答(包括 2026 年委员会关于 Art. 6 高风险分类的指南草稿——一般原则、附件 I、附件 III)。基于完整条例文本、委员会指南、EDPB/EDPS 意见、《实践守则》、协调标准、FRIA 指南、事件模板和行业特定指引,以条款级引用回答关于 AI 法案的任何问题。当用户询问"EU AI Act"、"AI Act regulation"、"Regulation 2024/1689"、"KI-Verordnung"、要求"explain an AI Act article"、"what does Article X say"、"AI Act requirements"、"AI Act penalties"、"AI Act timeline"、"GPAI obligations"、"high-risk AI"、"prohibited AI practices"、"AI Act and GDPR"、"fundamental rights impact assessment"、"AI Act standards"、"AI Act national implementation"、"AI literacy"、"serious incident reporting"、"Digital Omnibus"、"AI regulatory sandbox",或任何关于欧盟人工智能监管的问题时,应使用本技能。德语术语同样触发:"KI-Gesetz"、"KI-Verordnung"、"Hochrisiko-KI"、"KI-Kompetenz"、"Grundrechte-Folgenabschaetzung"、"GPAI-Verhaltenskodex"。对于产出分类决定而非知识答案的评估工作流,提议在会话内运行结构化风险等级分类。

FileKindSize
LICENSE.txtmarkdown33.7 KB
README.mdmarkdown6.0 KB
SKILL.mdskill md13.5 KB
evals.jsonconfig19.0 KB
references/codes-of-practice/README.mdmarkdown621 B
references/codes-of-practice/gpai-code-detailed.mdmarkdown42.4 KB
references/codes-of-practice/gpai-code-ec-overview.mdmarkdown3.4 KB
references/codes-of-practice/gpai-code-final.mdmarkdown101.8 KB
references/codes-of-practice/transparency-code-draft-1.mdmarkdown1.0 KB
references/codes-of-practice/transparency-code-draft-2.mdmarkdown3.8 KB
references/codes-of-practice/transparency-code-overview.mdmarkdown5.0 KB
references/commission-guidelines/art-6-classification-annex-i-2026.mdmarkdown30.8 KB
references/commission-guidelines/art-6-classification-annex-iii-2026.mdmarkdown371.7 KB
references/commission-guidelines/art-6-classification-general-principles-2026.mdmarkdown12.2 KB
references/compliance-guides/README.mdmarkdown646 B
references/compliance-guides/ai-literacy-repository.mdmarkdown1.8 KB
references/compliance-guides/copyright-tdm-consultation.mdmarkdown3.6 KB
references/compliance-guides/modifying-ai-classification.mdmarkdown24.7 KB
references/compliance-guides/small-businesses-guide.mdmarkdown12.6 KB
references/compliance-guides/whistleblowing-ai-act.mdmarkdown18.1 KB
references/core/README.mdmarkdown1.1 KB
references/core/annex-iii-high-risk.mdmarkdown8.0 KB
references/core/decision-trees.mdmarkdown10.2 KB
references/core/high-level-summary.mdmarkdown13.6 KB
references/core/regulation-preamble-recitals.mdmarkdown173.0 KB
references/core/regulation-title-I-general.mdmarkdown18.8 KB
references/core/regulation-title-II-prohibited.mdmarkdown8.2 KB
references/core/regulation-title-III-high-risk.mdmarkdown79.5 KB
references/core/regulation-title-IV-transparency.mdmarkdown3.9 KB
references/core/regulation-title-V-gpai.mdmarkdown12.0 KB
references/core/regulation-title-VI-X-governance.mdmarkdown104.3 KB
references/core/regulation-title-XI-XIII-final.mdmarkdown39.4 KB
references/cybersecurity/README.mdmarkdown440 B
references/cybersecurity/enisa-advisory-opinion.mdmarkdown29.7 KB
references/cybersecurity/enisa-ai-cybersecurity.mdmarkdown7.4 KB
references/cybersecurity/enisa-cybersecurity-standardisation.mdmarkdown3.7 KB
references/fria/README.mdmarkdown338 B
references/fria/article-27-fria.mdmarkdown4.8 KB
references/fria/ecnl-fria-guide.mdmarkdown43.3 KB
references/fria/fria-guide-danish-institute.mdmarkdown2.7 KB
references/governance/README.mdmarkdown660 B
references/governance/ai-office-faq.mdmarkdown59.8 KB
references/governance/ai-pact.mdmarkdown5.4 KB
references/governance/ec-qa-navigating-ai-act.mdmarkdown38.5 KB
references/governance/governance-enforcement.mdmarkdown2.8 KB
references/governance/implementation-next-steps.mdmarkdown6.2 KB
references/governance/implementation-timeline.mdmarkdown12.8 KB
references/governance/whistleblower-tool.mdmarkdown2.8 KB
references/guidelines/README.mdmarkdown664 B
references/guidelines/ai-system-definition.mdmarkdown4.0 KB
references/guidelines/digital-omnibus.mdmarkdown9.4 KB
references/guidelines/ec-regulatory-framework.mdmarkdown13.7 KB
references/guidelines/gpai-obligations-scope.mdmarkdown1.7 KB
references/guidelines/guidelines-roadmap.mdmarkdown3.0 KB
references/guidelines/prohibited-practices-full.mdmarkdown58.8 KB
references/guidelines/prohibited-practices-web.mdmarkdown3.0 KB
references/impact-assessments/README.mdmarkdown382 B
references/impact-assessments/healthcare-study-2026.mdmarkdown4.3 KB
references/impact-assessments/impact-assessment-original.mdmarkdown1.9 KB
references/impact-assessments/supporting-study.mdmarkdown1.4 KB
references/law-enforcement/README.mdmarkdown312 B
references/law-enforcement/europol-ai-policing.mdmarkdown2.9 KB
references/law-enforcement/gpai-guidelines-overview.mdmarkdown9.2 KB
references/national/README.mdmarkdown467 B
references/national/german-ai-bill.mdmarkdown10.3 KB
references/national/national-implementation-plans.mdmarkdown13.7 KB
references/national/national-resources-service-desk.mdmarkdown3.5 KB
references/national/regulatory-sandboxes.mdmarkdown29.2 KB
references/opinions/README.mdmarkdown447 B
references/opinions/edpb-edps-joint-opinion-2021.mdmarkdown2.6 KB
references/opinions/edpb-edps-joint-opinion-2026.mdmarkdown20.6 KB
references/opinions/edpb-opinion-28-2024.mdmarkdown3.1 KB
references/sector-specific/README.mdmarkdown409 B
references/sector-specific/banking-ai-implications.mdmarkdown5.0 KB
references/sector-specific/medical-devices-ai.mdmarkdown22.4 KB
references/sector-specific/staffing-businesses-ai.mdmarkdown10.7 KB
references/standards/README.mdmarkdown617 B
references/standards/article-40-harmonised-standards.mdmarkdown3.5 KB
references/standards/harmonised-standards-map.mdmarkdown10.3 KB
references/standards/pren-18286.mdmarkdown1.6 KB
references/standards/standardisation-overview.mdmarkdown4.8 KB
references/standards/standardisation-qa.mdmarkdown7.9 KB
references/standards/standardisation-request-c2025-3871.mdmarkdown1.5 KB
references/templates/README.mdmarkdown476 B
references/templates/draft-guidance-art73-high-risk.mdmarkdown2.4 KB
references/templates/gpai-submitting-documents.mdmarkdown3.9 KB
references/templates/gpai-training-data-summary.mdmarkdown2.0 KB
references/templates/serious-incident-template-gpai.mdmarkdown2.5 KB

references/commission-guidelines/art-6-classification-annex-iii-2026.md

View on GitHub
# 委员会指南草案——第 6(2) 条与附件三分类

**来源:** 欧盟委员会,《委员会关于根据第 (EU) 2024/1689 号条例(《人工智能法》)第 6 条对高风险人工智能系统进行分类的指南草案》——涉及第 6(2) 条与附件三的第四节。
**状态:** 利益相关方磋商草案。不具约束力。
**导入日期:** 2026-05-19
**段落范围:** ¶63–¶447(约数——请对照提取的 PDF 核实)。
**源 PDF 页数:** 148。

## 所涵盖的八个附件三领域
1. 生物识别(附件三(1))
2. 关键基础设施(附件三(2))
3. 教育与职业培训(附件三(3))
4. 就业、劳动者管理、自营职业的准入(附件三(4))
5. 基本私人服务与基本公共服务和福利的获取及享有(附件三(5))
6. 执法(附件三(6))
7. 移民、庇护与边境管制管理(附件三(7))
8. 司法管理与民主进程(附件三(8))

---

## 序言——理由与横向问题(第 ¶63 段至第 1 领域开始之前)

#### ¶63

《人工智能法》第 6(2) 条将某些独立人工智能系统归类为高风险,这些系统鉴于其预期目的,被认为对健康、安全或基本权利构成重大风险。本节解释该分类的结构安排,包括附件三各领域和分类方法,对某些横向概念作出澄清,并对每个领域以及所涵盖的用例详尽清单(附属于高风险或不属于高风险系统的说明性示例)作出详细解释。

### 1. 理由与方法

#### ¶64

《人工智能法》附件三列明了八个大类领域,这些领域特别容易受到与此类系统相关的风险影响。这些领域如下:

### 1. 生物识别;

### 2. 关键基础设施;

3. 教育与职业培训;4. 就业、劳动者管理与自营职业的准入;5. 基本私人服务与基本公共服务和福利的获取及享有;6. 执法;7. 移民、庇护与边境管制管理;8. 司法管理与民主进程。

#### ¶65

与《人工智能法》基于风险的方法相一致,只有属于这些大类领域的有限一组人工智能系统用例被归类为高风险。这些用例在附件三中针对每个领域明确列出。该用例清单是穷尽性的,只有通过通过授权法案的方式方可修改,前提是满足《人工智能法》第 7(1) 条的条件。这确保了根据《人工智能法》第 6(2) 条将人工智能系统归类为高风险的规则和保障措施具有针对性和相称性,同时避免对属于附件三所列领域内的大多数人工智能系统造成不必要的监管负担。

#### ¶66

《人工智能法》第 6(3) 条提供了一种机制,据此,属于附件三所列某一用例、但不会造成重大损害风险的人工智能系统可被豁免于高风险分类(“过滤器机制”)。过滤器机制在第 2.7 节中评估。

#### ¶67

由于《人工智能法》对高风险人工智能系统在联盟内的投放市场、投入使用和使用具有直接且统一的效果,根据第 6(2) 条将人工智能系统归类为高风险将在所有成员国产生统一效果。这不妨碍各国在特定领域的自主权(例如,根据《欧洲联盟运行条约》第 165 条的教育)。

#### ¶68

根据《人工智能法》第 6(2) 条将人工智能系统归类为高风险并不意味着其使用被禁止。相反,这些系统须遵守适当的要求,以确保其

按预期准确运行,并确保对健康、安全和基本权利的风险得到适当评估和缓解。这种方法有助于在联盟内创建一个值得信赖的人工智能系统单一市场,并在已识别的高风险用例可能导致严重后果的敏感领域促进信任和人工智能的采用。

### 2. 附件三用例的横向问题

#### ¶69

本节就根据《人工智能法》第 6(2) 条将人工智能系统归类为高风险的某些横向方面提供澄清,这些方面与《人工智能法》附件三所列的所有领域和用例相关。

### 2.1 人工参与的作用与高风险分类

#### ¶70

为评估人工智能系统是否属于《人工智能法》第 6(2) 条下的高风险,唯一相关的决定因素是系统的预期目的是否包含《人工智能法》附件三所列的某一用例。由于人工参与无法改变系统预期使用的目的和领域,因此它对系统根据《人工智能法》第 6(2) 条被归类为高风险没有影响。相反,人工监督是根据《人工智能法》第 14 条遵守高风险人工智能系统规则的先决条件,也是被归类为高风险的系统的必要要求。

#### ¶71

如果人工智能系统的预期目的属于《人工智能法》附件三所列的某一用例,提供者可以根据第 6(3) 条将该系统豁免于高风险分类,前提是其能够证明该条款四项条件中的至少一项得到满足,且该系统不执行画像。为确定这些条件中的任何一项是否得到满足,提供者必须考虑系统预期执行的任务,这再次涉及系统的预期目的,包括其背景和使用条件(见上文第二节第 2 点)。因此,系统部署期间人工参与的类型和程度可能在人工智能系统的高风险分类中发挥作用,但仅限于证明系统预期执行的任务是狭窄的程序性任务或属于准备性质,或者系统仅用于改进先前已完成的人工活动。提供者不能仅仅通过增加人工参与的要求就豁免人工智能系统并将其归类为“低风险”(详见下文第 2.7 节)。

### 2.2 某些用例对自然人的限制

#### ¶72

《人工智能法》附件三所列的若干用例提及人工智能系统在特定用例中直接或间接评估“自然人”的预期用途,但不包括《人工智能法》第 5(1)(c) 条禁止的情形。为确定人工智能系统是否预期以这种方式使用,提供者必须评估此类使用是否属于系统的预期用途,无论系统应用于自然人是否是系统的唯一目的,还是仅是若干目的之一。

#### ¶73

“自然人”区别于法人。“自然人”的概念也包括但不限于消费者。个体工商户、独立职业者和其他自雇人员在与其所从事的商业活动相关时也被视为自然人。这包括例如以专业身份行事的自然人(咨询顾问、设计师、记者)1。示例:提供者开发了一种人工智能系统,预期用于确定小企业主或非法律实体的公司的信用评分。当该系统仅使用商业或公司数据时,其并非预期用于评估“自然人”。

#### ¶74

《人工智能法》附件三所列的某些用例明确提及“自然人”,这意味着预期用于评估或评定自然人的人工智能系统属于范围之内,无论其是否(同时)用于评估法人或公司。相反,仅预期用于评估法人或公司的此类人工智能系统,如果不以评估自然人为目的,则不属于这些用例的范围,因此不构成高风险人工智能系统。示例:提供者开发了一种人工智能系统,通过评估公司的数据、资产负债表和财务报表来评估其信用状况。只要该系统不预期用于评估自然人的个人财务状况,其预期用途就不构成对“自然人”的评估,因此不会被视为高风险。此外,即使法人的所有者为公司贷款提供担保而被评估信用状况,该所有者也不属于第 5b) 点,尽管其以自然人身份行事,因为信贷的主要受益人是公司而非个人。

### 2.3 作为复杂系统/产品和服务组成部分的人工智能系统

#### ¶75

在若干人工智能系统构成一个更复杂的人工智能系统的一部分、从而其组合的预期目的或联合输出对个人决策产生实质性影响的情况下,就高风险分类而言,该组合配置被视为单一人工智能系统。为避免通过系统设计规避高风险分类规则,拆分式架构应作为一个整体进行评估。当人工智能系统的组件按预期配置用于《人工智能法》附件三所列的某一用例时,组合系统将根据第 6(2) 条被归类为高风险。即使某些模块本身可根据第 6(3) 条获得豁免,如果整体系统的配置和功能影响在高风险用例背景下借助人工智能系统作出的决策的关键方面,这些豁免也不适用。这一原则同样适用于复杂的、相互关联的配置,如智能体式人工智能系统(agentic AI systems),只要这些关联动作或组件共同服务于某个预期的高风险目的。

#### ¶76

相反,与高风险系统相关联的人工智能系统的严格程序性或准备性功能,如果确实可与该人工智能系统分离,且不构建或输入对个案审查(例如对基本公共福利申请的审查)产生实质性影响的输出,则仍有资格根据第 6(3) 条获得高风险分类豁免。

1 欧盟委员会《关于禁止人工智能实践的指南》第 216 段,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(该条例制定关于人工智能的统一规则并修订第 300/2008 号条例 (EC)、第 167/2013 号条例 (EU)、第 168/2013 号条例 (EU)、(EU) 2018/858、(EU) 2018/1139 和 (EU) 2019/2144 及指令 2014/90/EU、(EU) 2016/797 和 (EU) 2020/1828(《人工智能法》),文本与欧洲经济区相关,(官方公报 L,2024/1689,2024 年 7 月 12 日))。

此外,真正可分离、独立于该系统投入使用且不服务于高风险目的的人工智能功能与组件,不在高风险分类范围之内。

### 2.4 “预期用于”

#### ¶77

《人工智能法》使用“预期用于”这一表述,作为根据《人工智能法》附件三所列用例将人工智能系统归类为高风险的一项要求(附件三第 1(a) 点和第 5(d) 点除外)。这种预期用途与提供者所定义的系统的预期目的相同(见上文第二节第 2 点)。如果预期目的不包含《人工智能法》附件三所列的某一用例,则系统并非“预期用于”该用例,因此不能根据第 6(2) 条被归类为高风险。

#### ¶78

此外,要根据第 6(2) 条被归类为高风险,人工智能系统无须实际投入使用。相反,提供者必须在将系统投放欧盟市场或投入使用之前评估系统的预期用途。正是在该时点,人工智能系统(如果属于高风险)必须符合高风险系统的要求,系统的提供者必须履行此类系统的义务。

### 2.5 “代表……行事”

#### ¶79

附件三所列涉及公共机关使用人工智能系统的用例始终使用“代表……行事”或“或代表[其]行事”的表述,以涵盖不仅由公共机关本身、也由第三方(即私人实体)在公共机关将属于这些用例的活动外包给这些实体时预期使用的系统。

#### ¶80

使用这些表述是为了避免以下情况下的高风险分类规避:人工智能系统仅面向某些自然人或法人销售,而系统对基本权利的风险与涉及公共机关时相同,因为该活动是代表公共机关实施的。

#### ¶81

如果公共机关将特定活动(或这些活动的部分)委托给第三方/私人实体,或者该机关在特定情况下请求该方/实体支持此类活动,则该第三方/私人实体将被视为“代表”公共机关行事。如果私人实体以自身名义行事,无论是自愿还是为遵守法律义务,则不会被视为“代表”公共机关行事。示例:一家会计师事务所部署一种用于侦测洗钱的人工智能系统,以履行其在欧盟反洗钱立法下的义务,该事务所将不被视为代表执法机关行事,而是以自身名义行事,因此该系统不会在《人工智能法》附件三第 6 点所列的执法领域被归类为高风险。

### 2.6 “只要其使用依据相关联盟法律或国内法系被允许”

#### ¶82

正如《人工智能法》附件三第 1、6 和 7 点所使用的“只要其使用依据相关联盟法律或国内法系被允许”这一表述所示,人工智能系统属于这些点所列的某一用例这一事实,并不必然意味着该系统在这些情形中可以合法使用。正如《人工智能法》序言第 63 段所述,任何此类使用只能依据《基本权利宪章》(“《宪章》”)以及适用的次级联盟法律和国内法所产生的适用要求进行。

#### ¶83

除禁止情形外,人工智能系统的使用还可能受到联盟法律或国内法其他规定的限制。这也与《人工智能法》第 2(9) 条一致,该条规定《人工智能法》在“不影响”与消费者保护、产品安全和数据保护相关的其他联盟法律文件所规定的规则的前提下适用。

### 2.7 根据第 6(3) 条将人工智能系统豁免于高风险的“过滤器”

#### ¶84

《人工智能法》第 6(3) 条允许附件三所列人工智能系统的提供者将这些系统豁免于高风险分类,即使基于系统的预期目的,此类分类的条件已经满足。这一“过滤器机制”确保高风险人工智能系统分类中的个案相称性。

#### ¶85

当人工智能系统满足《人工智能法》第 6(3) 条 (a) 至 (d) 点所列条件之一时,可适用过滤器机制。该条款和序言第 53 段解释了过滤器机制背后的理由,特别是如果上述条件之一得到满足,人工智能系统通常不会对系统的决策结果产生实质性影响,因此不会导致重大损害风险。

#### 2.7.1 “过滤器”适用的条件

#### ¶86

根据《人工智能法》第 6(3) 条,通常根据第 6(2) 条被归类为高风险的人工智能系统的提供者,在满足下列任何条件时可以豁免该系统的高风险分类:(a) 人工智能系统预期执行狭窄的程序性任务;(b) 人工智能系统预期改进先前已完成的人工活动的结果;(c) 人工智能系统预期用于检测决策模式或与先前决策模式的偏离,且不打算在未经适当人工审查的情况下取代或影响先前已完成的人工评估;或 (d) 人工智能系统预期为与附件三所列用例目的相关的评估执行准备性任务。

#### ¶87

首先,需要澄清的是,过滤器机制仅适用于通常根据《人工智能法》第 6(2) 条被归类为高风险的人工智能系统。它不适用于根据《人工智能法》第 6(1) 条被归类为高风险的人工智能系统。

#### ¶88

其次,《人工智能法》第 6(3) 条所列条件是穷尽性的,但属选择性(alternative)适用。因此,如果人工智能系统至少符合其中一项条件,则即使某些风险可能仍然存在,也可以被视为不会对自然人的健康、安全或基本权利造成重大损害风险。除这些条件外,不存在单独的或独立的评估来确定人工智能系统是否构成重大或任何损害风险。人工智能系统是否可以利用《人工智能法》第 6(3) 条中的过滤器机制,取决于提供者的

自我评估。这些条件在下文各小节中有更详细的解释。由于第 6(3) 条构成对(除其他外)旨在保护基本权利的规则的例外,因此这些条件必须作狭义解释。过滤器的条件还必须结合《人工智能法》第 6(3) 条第一分段来解释,即系统不应实质性影响决策结果。

#### ¶89

第三,《人工智能法》第 6(3) 条第三分段规定,凡系统在第 (EU) 2016/679 号条例2 第 4(4) 条或第 (EU) 2016/680 号指令3 第 3(4) 条或第 (EU) 2018/1725 号条例4 第 3(5) 条含义内执行画像的,附件三所述人工智能系统应一律被归类为高风险(关于画像的更多内容见下文第 2.7.3 节)。

#### ¶90

此外,即使人工智能系统满足过滤器机制的一项条件(例如执行狭窄的程序性任务),如果其构成复杂系统的一部分,且该系统的组合预期目的或联合输出在高风险用例内对个人决策产生实质性影响,或者该人工智能系统是复杂的相互连接系统(如智能体式人工智能系统)的一部分,则此类系统不能利用该机制,仍将被归类为高风险(见上文第 ¶72 段)。

**a) 狭窄的程序性任务**

#### ¶91

《人工智能法》第 6(3) 条 (a) 点将人工智能系统预期执行狭窄的程序性任务列为过滤器机制可以适用的第一项条件。正如《人工智能法》序言第 53 段所澄清的,此类系统被认为仅构成有限风险。该序言列举的此类系统示例包括“将非结构化数据转换为结构化数据的人工智能系统、将来文按类别分类的人工智能系统或用于检测重复项的人工智能系统”。

#### ¶92

因此,这一条件可以涵盖预期用于对数据进行分类、改变数据的格式、结构或呈现方式或改变其元数据的人工智能系统。例如,当人工智能系统按照所申请的年级或教育水平对学校或大学入学申请进行排序时,即执行狭窄的程序性任务。此类系统可以根据申请中提供的信息将申请归入预定义类别(例如小学、初中、高中或特定年级),而不评估申请人的适格性,也不作出录取决定。

#### ¶93

然而,这一条件并不适用于所有分类系统。特别是,对与决策相关的数据进行价值判断的人工智能系统,例如将输入

2 欧洲议会和理事会 2016 年 4 月 27 日第 (EU) 2016/679 号条例,关于在处理个人数据方面保护自然人以及此类数据的自由流动,并废除第 95/46/EC 号指令(《通用数据保护条例》),(官方公报 L119/1,2016 年 5 月 4 日)。
3 欧洲议会和理事会 2016 年 4 月 27 日第 (EU) 2016/680 号指令,关于主管机关为预防、调查、侦测或起诉刑事犯罪或执行刑事处罚之目的处理个人数据方面保护自然人以及此类数据的自由流动,并废除理事会第 2008/977/JHA 号框架决定,(官方公报 L119/89,2016 年 5 月 4 日)。
4 欧洲议会和理事会 2018 年 10 月 23 日第 (EU) 2018/1725 号条例,关于联盟机构、机关、办事处和署处理个人数据方面保护自然人以及此类数据的自由流动,并废除第 45/2001 号条例 (EC) 和第 1247/2002/EC 号决定,(官方公报 L295/39,2018 年 11 月 21 日)。

数据归类为对人工评估“有用”或“不太有用”,或对输入数据赋予分数或排名,可能对评估过程产生更广泛的影响,因此不会被认定为仅执行“狭窄的程序性任务”。例如,在移民、边境管制和管理背景下使用的人工智能系统,如果执行狭窄的程序性任务,如扫描每一份提交的签证文件、将扫描文件转换为文本以便编入索引、将文件自动归档到固定的预定义文件夹(如“身份文件”、“旅行行程”、“佐证材料”和“翻译件”),以及检测完全重复的附件并将其标记为重复项,则可以受益于过滤器机制,前提是其不以致其评价、筛选或隐藏文件的方式排序,不将任何材料标注为“有用”或“不太有用”,并且不建议后续步骤或可信度评估。在类似场景中,用于检测并标记不完整表格以将其退回申请人补正的人工智能系统可被归类为执行狭窄的程序性任务,并可受益于过滤器机制。

**b) 改进先前已完成的人工活动的结果**

#### ¶94

《人工智能法》第 6(3) 条 (b) 点列出了过滤器机制可以适用的第二项条件,即人工智能系统预期改进先前已完成的人工活动的结果。该条件的适用必须同时存在若干累积要素:——一项人工活动已完成(如人工评估或决策);——活动的完成产生了结果;以及——该结果由人工智能系统改进(例如,在不改变结果或结论的情况下予以调整以达到更清晰的效果等)。

#### ¶95

人工活动应当已完成、且该完成应当产生结果这一事实,意味着人工智能系统不应取代或自主执行该人工活动。《人工智能法》序言第 53 段规定,此类人工智能系统“仅为人工活动提供额外的一层,从而使风险相应降低”,并以事后应用以改进先前起草文本的人工智能系统作为示例。

#### ¶96
此处的“改进”概念意味着应用人工智能系统可能导致变化,但这些变化不应推翻或导致对先前已完成的人工活动的全面修订或替代。欧盟立法者有意选择“改进”而非“审查”的表述,正是为了作出这一区分,并强调人工智能系统不得预期提供与先前人工活动结果实质性不同的结果,而是验证或细化该活动。人工智能系统引入的任何改进都不应改变可能受系统输出或基于该输出所作决策影响的人员的权利、保护、法律或经济地位。例如,如果人工智能系统检查人工作出的决策、计划或施工,并提供实质性不同的解决方案,则不被视为《人工智能法》第 6(3)(b) 条含义内的“改进”先前已完成

的人工活动,因为其不限于细化或增强该活动的结果。相反,起辅助改进作用的人工智能系统示例包括:在已完成的人工工作中标记错误或矛盾、发挥质量保证功能的系统;将结论映射到证据记录以加强决策可追溯性而不替代人工判断的系统;出于互操作性或可访问性目的转换经人工验证的内容、对人工输出进行转换但不加以替代的系统。

**c) 检测决策模式或偏离**

#### ¶97

《人工智能法》第 6(3) 条 (c) 点列出了过滤器机制可以适用的第三项条件,即人工智能系统预期用于检测决策模式或与先前决策模式的偏离,且不打算取代或影响先前已完成的人工评估。序言第 53 段以用于检测教师评分模式中不一致或异常的系统作为此类人工智能系统的示例。

#### ¶98

“决策模式”的概念应作狭义解释。决策模式是指从过去数据中得出的、用于预测或分析在特定主题上决策随时间如何作出的模式或趋势。

#### ¶99

与其他仅在系统限于程序性或准备性任务或改进时才将其排除出高风险分类的条件不同,《人工智能法》第 6(3) 条 (c) 点所列情形允许系统在评估过程中发挥更实质性的作用。特别是,它允许人工智能系统将所述人工评估与先前决策进行比较,并可能利用该比较来为影响或取代先前已完成的人工评估的人工审查提供信息。然而,这种影响受到三方面的限制。

#### ¶100

第一,人工评估必须已完成,这意味着评估过程中的所有必要步骤都必须已经采取。

#### ¶101

第二,人工智能系统只能进行事后比较评估,即确定当前决策是否与先前的模式或决策一致。它不得从先前决策中推断相关标准,并基于这些标准提出新的评估。

#### ¶102

第三,人工智能系统不得预期用于在未经适当人工审查的情况下取代或影响先前已完成的人工评估。“适当”意味着在人工智能系统评估之后进行的人工审查应当是有效且全面的,并且应当结合人工智能系统提供的结果,考虑先前已完成的人工评估中所考量的各种要素。因此,系统的输出可以突显与先前所作决策的差异,但不能修改输入或改变其基础推理。为允许适当的人工审查,系统不仅应当标记差异,还应当提供有关差异的信息。然而,它应当仅仅是提供信息(例如通过用于质量保证和统计的分析工具),而不能取代人工评估。

示例:一种人工智能系统预期用于分析公共行政机关中行政人员先前完成的资格核查,以检测决策模式或偏离,用于质量保证和报告目的,而不对在办案件提出结果,也不评价工作人员的表现,例如在年度考核背景下。评估:如果该系统预期在公共行政机关的官员作出评估之后使用,则该系统可能与《人工智能法》第 6(3) 条 (c) 点的豁免相关,且不构成画像。系统进行的比较将使公共行政人员能够检测系统识别出的与先前类似案件决策模式的差异,以及首次评估时考量的所有要素和证据。评估者或质量保障控制人员在经过适当的人工审查后,将负责决定所识别出的差异是否与已完成的评估相关。

**d) 准备性任务**

#### ¶103

《人工智能法》第 6(3) 条 (d) 点列出了过滤器机制适用的第四项条件,即人工智能系统预期为与附件三所列用例目的相关的评估执行准备性任务。

#### ¶104

《人工智能法》第 6(3) 条 (d) 点中的“准备性”概念指在实际评估过程之前发生的任务。这一限定很重要,因为它将 (d) 点中的准备性任务豁免与《人工智能法》第 6(3) 条 (a) 点中的狭窄程序性任务豁免区分开来,后者只要范围明确且有限,可以在评估过程中发生。同时,如果狭窄的程序性任务发生在评估之前且属于准备性质,则 a) 和 d) 两点均可能适用。

#### ¶105

正如《人工智能法》序言第 53 段所述,任务的准备性应当达到“系统输出的可能影响[对]后续评估所代表的风险[而言]非常低”的程度。这与《人工智能法》第 6(3) 条的目标一致,该条规定了人工智能系统不应被视为导致重大损害风险的条件,特别是因为它们不会实质性影响决策。《人工智能法》序言第 53 段规定,不实质性影响决策结果的人工智能系统应被理解为对决策的实质内容、并进而对决策结果(无论人工还是自动化)没有影响的系统。

#### ¶106

《人工智能法》序言第 53 段以执行索引、搜索、处理和链接等准备性任务的人工智能系统作为示例。此类任务为后续评估中将使用的输入增添结构并产生结果,但其本身并不提供导致结果的评估。

#### ¶107

确定一项任务是否属于“准备性”的决定性因素,是任务在决策过程中的作用以及与最终人工决策的接近程度。如果一项任务被视为准备性的,则《人工智能法》第 6(3) 条 (d) 点的过滤器机制可能适用,无论该系统将在哪个具体领域使用。

#### ¶108

如果人工智能系统的输出预期为人工操作员的评估提供信息,则只有在系统的输出是一般性输入或因素(例如支持操作员决策过程的补充信息)时,才可被视为执行准备性任务。如果人工智能系统预期对案件产生具体建议或评估,则其在评估或决策中发挥决定性作用,因此不能被视为执行《人工智能法》第 6(3) 条 (d) 点含义内的准备性任务。示例:一种人工智能系统预期用于评估与决策相关的数据(例如与公共福利相关的数据),并向人工操作员提供相关法律规定的引用、管辖信息,以及可能存在的与决策过程相关的现行内部指引。评估:系统执行的任务可被视为《人工智能法》第 6(3) 条 (d) 点含义内的准备性任务,因为它们既不分析也不评价手头的具体案件,也不产生实质性影响决策的输出。相反,系统引用一般信息,作为人工评估者在决策中考虑的补充信息。

#### 2.7.2 画像的例外

#### ¶109

《人工智能法》第 6(3) 条规定,当人工智能系统对自然人执行画像时,不得适用过滤器机制。《人工智能法》第 3(52) 条通过交叉引用 GDPR 第 4(4) 条来定义画像的概念。

#### ¶110

根据该规定,画像应被理解为在个人数据上进行的任何自动化形式的处理,其目的是评估与自然人相关的“特定个人方面”5。该定义由三个累积要素构成:(i) 必须存在自动化形式的处理;(ii) 该处理在个人数据上进行;以及 (iii) 其目的必须是评估与自然人相关的个人方面。

#### ¶111

只有在这三项条件全部满足的情况下,根据《人工智能法》第 6(2) 条被归类为高风险的人工智能系统才不能受益于第 6(3) 条所列的豁免。虽然就人工智能系统而言,自动化处理这一要素始终得到满足,但提供者必须确定系统的数据输入是否包含个人数据,以及系统是否预期用于评估与自然人相关的个人方面。此类评估通常以分析或预测个人方面为目的进行,例如关于该自然人的工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为、位置或行踪。换言之,画像意味着利用关于个人(或个人群体)的信息并评估其特征或行为模式,以将其归入某一类别或群体,从而

5 另见第 29 条数据保护工作组《关于第 2016/679 号条例目的下的自动化个人决策和画像的指南》,WP251 rev.01,2018 年 2 月 6 日,第 6 和第 7 页,经欧洲数据保护委员会(EDPB)认可。

特别是分析、推断或预测例如其执行任务的能力、兴趣或可能的行为6。例如,海关机关使用的人工智能系统,基于与货物相关的经济经营者信息(如集装箱号、货物描述、路线、运输方式、支付方式)评估进入欧盟的货物不符合边境适用法律的风险。该处理不评估自然人的个人方面,而是评估不符规定货物的风险,因此此类评估不构成画像。

#### ¶112

如果个人数据不用于评估个人特征(这种评估必须始终包含某种形式的预测、评定或判断),则此类评估不构成画像7。例如,仅基于年龄、性别和身高之类个人特征对个人进行简单分类,不一定导致画像。评估是否包含预测或得出推断,取决于分类的目的8。示例:一种人工智能系统预期用于员工招聘背景。在招聘完成之前,该系统用于识别与先前招聘决策模式的偏离(以侦测潜在的不一致和与公司招聘政策的偏离),同时评估进行求职面试的招聘人员的个人特征。评估:评估招聘人员的决策及其个人特征以分析可能存在的与先前决策模式的偏离,构成画像。虽然该系统的使用可能属于《人工智能法》第 6(3) 条 (c) 点,但该系统还涉及处理个人数据以对招聘人员进行画像这一事实意味着该条款所列的过滤器机制不适用。

#### 2.7.3 受益于过滤器机制的系统的提供者自我评估、注册与监测

#### ¶113

人工智能系统是否可以受益于《人工智能法》第 6(3) 条中的过滤器机制,取决于提供者的自我评估。

#### ¶114

适用过滤器机制的后果是,该人工智能系统不应被归类为高风险,因此《人工智能法》第三章为提供者和部署者规定的义务均不适用于该系统。然而,《人工智能法》第 6(4) 条为此类人工智能系统的提供者规定了具体义务,即:

6 欧盟委员会《关于禁止人工智能实践的指南》第 154 段,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(《人工智能法》),文本与欧洲经济区相关(官方公报 L,2024/1689)。
7 另见第 29 条数据保护工作组《关于第 2016/679 号条例目的下的自动化个人决策和画像的指南》,第 6-7 页,经 EDPB 认可。
8 第 29 条数据保护工作组《关于第 2016/679 号条例目的下的自动化个人决策和画像的指南》,第 6-7 页,经 EDPB 认可。

(i) 在人工智能系统投放市场或投入使用之前记录该评估,以及 (ii) 在根据《人工智能法》第 71 条设立的欧盟数据库中注册该人工智能系统,其目的是确保被豁免系统的可追溯性。

#### ¶115

评估应包含:(i) 对人工智能系统预期目的的描述;(ii) 说明为何该系统根据《人工智能法》第 6(2) 条符合高风险条件;(iii) 说明认为适用《人工智能法》第 6(3) 条所列哪一项或哪几项条件及其原因;(iv) 说明为何该系统不执行画像,否则不应适用《人工智能法》第 6(3) 条的过滤器机制。

#### ¶116

评估记录的方式应当使其能够在市场监督机关随时提出要求时提供。采购人工智能系统的部署者被鼓励为尽职调查目的核查第 71 条下欧盟数据库中该例外的使用情况。

#### 2.7.4 防止规避

#### ¶117

《人工智能法》规定了若干防止滥用《人工智能法》第 6(3) 条过滤器机制的保障措施。根据《人工智能法》第 80 条,市场监督机关可以就人工智能系统的分类为高风险进行评估,要求系统提供者使该系统符合《人工智能法》的高风险要求,并要求系统提供者采取纠正措施。市场监督机关如发现人工智能系统被错误分类为非高风险以规避《人工智能法》中高风险要求和义务的适用,其亦有权根据第 99 条对提供者处以罚款。3. 附件三所列领域中的高风险人工智能系统

#### ¶118

本节审查《人工智能法》附件三所列八个领域中每一个领域下的所有高风险用例,并提供属于或不属于这些用例范围、或即使属于其中一个用例但仍可根据《人工智能法》第 6(3) 条过滤器机制获得豁免的人工智能系统示例。

## 领域 1——生物识别(附件三(1))

#### ¶119

《人工智能法》附件三第 1 点列明了三个高风险用例,涵盖预期用于生物识别领域的人工智能系统,只要此类使用依据相关联盟法律或国内法系被允许。

### 分节:用例概述与横向问题

#### ¶120

《人工智能法》附件三第 1 点包括以下用例:(a) 远程生物识别(RBI)系统;(b) 预期用于基于对敏感或受保护属性或特征进行推断而进行生物识别分类的人工智能系统;以及

(c) 预期用于情绪识别的人工智能系统。

#### ¶121

上述用例被归类为高风险,是因为它们可能对受系统影响的个人的权利和自由具有侵扰性,包括由于这些系统依赖生物识别数据及其敏感性质。如上文第 2.6 节所解释的,人工智能系统在这些用例下被归类为高风险人工智能系统,不应被理解为该系统依据联盟法律的其他法律文件或与联盟法律相容的国内法的使用是合法的。

**_i. 生物识别数据_**

#### ¶122

RBI 系统涉及对“生物识别数据”的处理。《人工智能法》第 3(34) 条将“生物识别数据”定义为“与自然人的身体、生理或行为特征相关的、由特定技术处理所产生的个人数据,例如面部图像或指纹数据”。

#### ¶123

可从中提取生物识别数据的个人特征是自然人的身体、生理或行为属性。生理和物理生物识别采用人的身体性、结构性和相对静态的属性,例如其指纹、虹膜图案、面部轮廓或手部血管的几何形态。某些属性本质上是微观的,但仍表现出可被采集和识别的生物和化学结构,例如 DNA 和气味9。行为生物识别监测自然人在执行一项或一系列任务时其动作、姿态和运动技能的独特特征。这意味着诸如行走(步态分析)或手指接触键盘(击键)等人类动作会被捕获和分析。行为生物识别涵盖多种属性,这些属性表现出自愿和非自愿的重复动作以及相关的节律性计时或身体部位的按压,从签名、步态、声音、点击模式、击键,一直到眼球追踪和心跳10、脑电图(EEG)11或心电图(ECG)12。生物识别输入可以涉及单一属性(例如面部图像)或多个属性(例如面部信息与脑电图(EEG)结合)。涉及自然人特征的生物识别数据就其本身而言,不能涉及已故个人、尸体、死者的遗骸或其痕迹。例如,下列人工智能系统不属于附件三第 1 点用例的范围:——比较尸体 DNA 样本的人工智能系统;——比较遗骸面部图像的人工智能系统;

9 生理与行为生物识别——生物识别研究所,在线获取:https://www.biometricsinstitute.org/physiological-and-behavioural-biometrics/。
10 生理与行为生物识别——生物识别研究所;在线获取:https://www.biometricsinstitute.org/physiological-and-behavioural-biometrics/。
11 参见 EDPS《TechDispatch 1/2024——神经数据》,2024 年 6 月 3 日,其中讨论了大脑数据及相关技术的使用及其法律影响,包括提出新的“神经权利”,涵盖精神隐私和完整性;另见 S. O'Sullivan、H. Chneiweiss、A. Pierucci 和 K. Rommelfanger《神经技术与人权框架:我们是否需要新的人权?》,在线获取:https://rm.coe.int/rapporteur-report-neurotechnology-final-e-2758-7638-0166-1/1680a90ae0,经合组织与欧洲委员会报告,2021 年 11 月 9 日,第 33 页,讨论了神经技术的最新技术和法律层面。
12 参见 Hasnul 等人,2021 年,《基于心电图的情绪识别系统及其在医疗保健中的应用》,在线获取:https://www.mdpi.com/1424-8220/21/15/5015。

——比较来自官方登记册(包括警方记录)的已知已故个人的面部图像、DNA 或指纹的人工智能系统。

#### ¶124

预期用于搜索不利用生物识别数据追踪嫌疑人行踪的物体(例如基于车牌、特定衣物、武器、背景等的搜索)的人工智能系统,将不根据《人工智能法》附件三第 1(a) 点被归类为高风险。关于生物识别数据要素的示例:——从击键(打字方式)、面部表情、身体姿势或动作推断个人情绪的人工智能系统基于生物识别数据。——跟踪戴红围巾或穿蓝色夹克的人的人工智能系统不基于生物识别数据。——超市中用于检测产品是否被放入购物篮、购物车或袋中的人工智能系统,如果仅执行物体识别,则不基于生物识别数据。火车站或机场用于侦测可疑物体的系统同样如此。——从键入文本(内容、情感分析或文体分析)推断情绪以确定某篇文章的风格或语调的人工智能系统不基于生物识别数据。

#### ¶125

《人工智能法》对生物识别数据的定义是宽泛的,包括用于生物识别、生物识别分类、情绪识别或其他目的的任何生物识别数据。与欧盟数据保护法(包括第 (EU) 2016/679 号条例(“GDPR”)、第 (EU) 2016/680 号指令(“LED”)和第 (EU) 2018/1725 号条例(“EUDPR”))中的生物识别数据定义不同,《人工智能法》中的生物识别数据定义不包括“能够实现或确认唯一识别”的表述(生物识别数据的功能性使用),因为其旨在涵盖不仅在使用该人工智能系统识别个人或确认其身份的情况下使用生物识别数据的人工智能系统,如《人工智能法》序言第 14 段所述。

**_ii. 与禁止实践的相互作用_**

#### ¶126

附件三第 1 点所列的用例应当结合《人工智能法》第 5(1)(f)、(g)、(h) 条和第 5(2) 至 (5) 条禁止的人工智能实践来考虑。这是因为在特定情形下,如果《人工智能法》第 5 条一项或多项禁止实践的适用条件全部满足,则该人工智能系统的投放市场、投入使用和使用均被禁止。此时将无须考虑这些系统是否应被归类为高风险。根据《人工智能法》第 5 条所规定禁止例外情形的大多数人工智能系统将符合高风险条件。例如,不满足《人工智能法》第 5(1)(f) 条禁止条件的情绪识别系统,只要第 6(3) 条的条件不适用,即属于附件三第 1(c) 点用例的范围,并根据第 6(2) 条被归类为高风险。特别是,工作场所和教育机构以外的情绪识别系统,以及用于医疗或安全原因的工作场所和教育机构中的此类系统,虽不被禁止,但符合高风险条件。

同样,不满足《人工智能法》第 5(1)(g) 条禁止条件的生物识别分类系统,如果预期用于根据 GDPR 第 9(1) 条受保护的敏感属性或特征进行生物识别分类(只要第 6(3) 条的条件不适用),则属于附件三第 1(b) 点用例的范围,并根据《人工智能法》第 6(2) 条被归类为高风险。相反,属于《人工智能法》附件三第 1(a) 点用例范围的 RBI 系统,如果满足《人工智能法》第 5(1)(h) 条的禁止条件,即被用于实时、公共场所、执法目的且不适用任何例外,则在某些情况下可能被禁止。相反,属于《人工智能法》第 5(1)(h) 条13 某项例外范围的 RBI 系统将根据第 6(2) 条被归类为高风险,非用于执法目的或非实时的 RBI 系统同样如此。

### 分节:第 1(a) 点:远程生物识别系统

#### ¶127

附件三第 1(a) 点将 RBI 系统归类为高风险。此类系统被认为值得高风险分类,因为系统中的技术不准确可能导致有偏结果并产生歧视性影响(尤其是基于年龄、族裔、种族、宗教或信仰、性别、性取向或残疾),且 RBI 可能导致被监视的感觉,并对基本权利(如言论自由和集会结社自由)的行使产生寒蝉效应。

#### ¶128

下面两个小节描述 (i) 附件三第 1(a) 点高风险用例的范围,以及 (ii) 根据《人工智能法》第 26(10) 条对某些执法使用事后 RBI 系统的授权要求。

#### 1.2.1 远程生物识别系统

#### ¶129

《人工智能法》第 3(41) 条将 RBI 系统定义为“无需自然人积极参与、通常通过将该人的生物识别数据与参考数据库中的生物识别数据进行比较而在一定距离外识别自然人的目的的人工智能系统”。因此,人工智能系统必须满足三项条件才能被归类为 RBI 系统:(i) 其目的必须是生物识别;(ii) 该识别必须在无需相关个人积极参与的情况下进行,通常是在一定距离外;以及 (iii) 系统必须将该人的生物识别数据与参考数据库中的生物识别数据进行比对。每项条件在下面各小节中有更详细的描述。

**_i. 生物识别系统_**

#### ¶130

生物识别系统可用于验证(认证)和识别目的14。此类系统始终依赖生物识别数据来执行此类验证和识别。它们检测、捕获可测量的生理和物理

13 《人工智能法》第 5(1)(h)(i)-(iii) 条规定的例外旨在允许为执法目的使用某些人工智能和调查工具:(i) 定向搜索三种特定严重犯罪的受害者和失踪人员[保护];(ii) 预防对生命或人身安全的迫在眉睫的威胁或恐怖袭击的真实威胁[预防];以及 (iii) 定位或识别附件二所列某些严重犯罪的嫌疑人和犯罪者[起诉/调查]。
14 如《人工智能法》第 3(36) 条所定义,并获生物识别界在 ISO/IEC 标准 2382-37:2022《信息技术——词汇——生物识别》术语 37.01.03 中认可。

特征(如眼距和大小、鼻长等)或行为特征(如步态或声音),并将其转换为机器可读的生物识别数据(见上文第 3.1.1.i 节)。这些数据以不同形式(图像或模板)存在,是个体显著特征的数学表示,用于验证和识别目的。

#### ¶131

《人工智能法》第 3(35) 条将“生物识别”定义为“通过将该个人的生物识别数据与数据库中存储的个人的生物识别数据进行比较,以确定自然人身份为目的,对人类身体、生理和行为或心理特征的自动识别”。此类识别可以用于各种私营或公共部门目的。就执法而言,此类识别通常是为了行政、执法或司法机关将要采取的行动或决定而进行的。

#### ¶132

该定义排除了预期目的不是确定自然人身份的系统,以及不将自然人的生物识别数据与数据库中存储的生物识别数据进行比较的系统。非为识别个人目的而进行的生物识别数据处理不构成生物识别(例如基于生物识别样本收集补充信息或在刑事案件之间建立联系)。

#### ¶133

人工智能系统可在活动的所有阶段用于生物识别。例如,生物识别包括《人工智能法》第 26(10) 条所使用的“初始识别”(见第
#### 1.2.2 节下文)。生物识别还可以涵盖确立身份已为人所知或此前已经人工验证的自然人的身份(包括但不限于民事身份)。

#### ¶134

定位个人的人工智能系统不一定构成 RBI 系统。如果系统不依赖生物识别特征来定位个人(或者未将该人的生物识别数据与参考数据库中存储的生物识别数据进行比对),则该系统不根据《人工智能法》附件三第 1(a) 点被归类为高风险。例如,下列人工智能系统不被视为生物识别系统:——自动搜索非生物识别标识符(包括衣物上的标识、特定物品)的人工智能系统。——自动车牌识别(ANPR)系统,当其通过车牌号、车辆的形状、品牌或颜色来定位与相关人员(如失踪人员、涉嫌犯罪的嫌疑人、欧洲逮捕令的对象)相关的机动车时。——自动搜索个人交通票证验证记录(例如确定嫌疑人的行踪)的人工智能系统。该“追踪”基于个人对车票/订阅的验证记录进行,而非基于生物识别数据。——用于基于图片中的背景或唯一标识符(不包括生物识别数据)对涉及犯罪活动(如儿童性虐待材料)的图片进行地理定位的人工智能系统。

#### ¶135

相反,预期用于追踪自然人(例如确定嫌疑人移动或逃跑的方向,以便采取可能的强制措施)的人工智能系统属于生物识别的定义范围,前提是追踪个人的能力依赖于生物识别数据,并且将该人的生物识别数据与参考数据库中存储的生物识别数据进行比对。这一结论可以从《人工智能法》第 5(1)(h)(iii) 条和第 26(10) 条的含义中推导出来。《人工智能法》第 5(1)(h)(iii) 条允许将实时 RBI 用于追踪犯罪嫌疑人。《人工智能法》第 26(10) 条涉及对涉嫌或已定罪犯有刑事犯罪的人的定向搜索(另见下文第 3.1.2.2 节),前提是此类使用的所有其他条件均得到满足(另见下文第 3.1.2.2 节)。例如,下列人工智能系统被视为生物识别系统:——将涉嫌犯罪的一名或多名嫌疑人的生物识别标识符(面部、身高、体型、头发/眼睛颜色、步态的组合,能够唯一识别一个人)与实时 CCTV 流(当根据第 5(1)(h) 条的有限例外之一豁免于禁止时)或与案发后分析并与已知定罪罪犯的生物识别模板参考数据库比对的 CCTV 录像进行比较的自动比对。——使用步态识别将已知逃犯存储的生物识别步态档案与从附近主要交通枢纽收集的 CCTV 视频流进行比较,以在参考材料上首次侦测后追踪该个人的人工智能系统。——在大型活动(如体育赛事、政治集会)期间部署人工智能系统,使用执法系统中存储的生物识别数据检测特定地点与恐怖组织有关的已知特定个人的存在(当根据第 5(1)(h) 条的有限例外之一豁免于禁止时)。

#### ¶136

预期用于生物识别验证的人工智能系统不属于高风险分类的范围15。生物识别验证(包括认证)包括将传感器上呈现的生物识别数据与先前提供并存储在设备(如智能手机、护照或身份证)上的另一组生物识别数据进行比较,或以加密形式存储在数据库中而解密密钥仅保存在个人一方(如智能手机)的存储数据进行比较(一对一验证)。生物识别验证的唯一目的是确认特定个人就是其声称的那个人。

例如:——在自动边境管制闸口捕获的旅行者面部图像(面部图像)与其护照芯片中存储的面部图像进行比较,以确认持证人是合法的证件持有者的人工智能系统,不被视为 RBI 系统。但是,如果在同一场景中,在边境捕获的旅行者生物识别数据

15 《人工智能法》附件三第 1(a) 点。

除验证目的外同时与国际刑警组织等刑事数据库进行比对,则属于 RBI。——包含移动指纹扫描仪的人工智能系统,用于将活体指纹与个人电子身份证或驾照上存储的指纹模板进行比较,以核查其身份(例如市政雇员或执法人员要求个人将手指放在移动指纹扫描仪上以验证其身份)。此类系统不被视为 RBI 系统。

**_ii. 远程性_**

#### ¶137

根据《人工智能法》第 3(41) 条,远程性意味着人工智能系统能够在无需个人积极参与的情况下、通常在一定距离外识别个人。

#### ¶138

附件三第 1(a) 点明确将预期用于生物识别验证的人工智能系统排除出高风险分类,此类系统的唯一目的是确认特定自然人就是其声称的那个人。正如《人工智能法》序言第 15 段所澄清的,这可能包括为允许自然人获得服务、解锁设备或获得场所的安全进入权限而确认其身份的生物识别系统16。例如,下列情形不被视为 RBI 系统——使用面部扫描技术允许进入限制区域(如电厂厂区)的人工智能系统:此类系统将入口摄像头前呈现的个人面部与允许进入建筑物的人员参考数据库中的参考图像进行比较(一对多)。——使用与个人数字身份钱包关联的智能手机面部认证来访问在线警方报案门户的人工智能系统:此类系统将数字身份钱包中存储的生物识别样本与另一设备捕获的生物识别数据进行比较,以在允许提交报案之前确认用户所声称的身份。

#### ¶139

《人工智能法》序言第 17 段澄清,将生物识别验证和认证系统排除出 RBI 系统定义的理由是,与可能用于在个人未积极参与的情况下处理大量个人生物识别数据的 RBI 系统相比,此类系统对自然人基本权利的影响可能较小。该序言进一步澄清,RBI 系统通常用于同时感知多人或其行为,以便在个人未积极参与的情况下实现对自然人的识别。

#### ¶140

就积极参与而言,仅告知使用生物识别系统的个人此类使用是不够的。相反,他们需要积极参与其使用,例如,积极且自觉地在传感器前出示自己,且该传感器的安装方式应能促进积极参与。

16 例如 Ross A, Jain AK (2015)《生物识别概述》,载于 Li S.Z. 和 Jain A.K.(编)《生物识别百科全书》(第 1 版,Springer Science,纽约),第 289-294 页。

例如,——用于给予地铁站进站权限的人工智能系统,如生物识别地铁票,个人积极参与并自觉接近生物识别传感器以获得进站权限,不满足远程性条件。——相反,安装在地铁站墙壁或天花板上的摄像头用于监控目的的人工智能系统满足远程性条件,因为系统所针对的个人未积极参与其识别过程。——为执法目的使用从犯罪现场提取的证据(如潜指纹)中某人的生物识别数据、且该人不在场(或在场但处于昏迷状态)的人工智能系统不构成积极参与。——逮捕后,嫌疑人被警方羁押。根据适用的国内刑事诉讼法,警官在标准羁押处理程序中拍摄嫌疑人的面部照片,使用人工智能系统将此次正式识别程序中拍摄的“嫌犯照片”与生物识别模板数据库进行比对。该系统不构成 RBI 系统,因为其不具远程性(嫌疑人积极参与)。——执法人员使用的人工智能系统,证人为验证身份自愿捕获其指纹,并仅与其电子身份证上存储的生物识别模板进行比较,构成积极参与。——公共机关使用的人工智能系统,通过面部识别对照预先确定的涉嫌参与恐怖主义人员的观察名单核查个人身份。该人工智能系统用于在大型公共活动期间允许其进入公共可达空间(如城市广场)内限制进入且有围栏的安全区域。希望进入安全区域的人员通过可见告示和公开宣传提前获知,进入须接受生物识别核查,面部识别扫描仪的设置要求有意识的参与(如站在标记的采集区域内并面向传感器)才能进入安全区域。此类参与将被视为积极参与。

#### ¶141

处理(也包括非接触式,即无身体接触的)指纹、步态、声音、DNA、击键和其他(生物识别)行为信号并用于生物识别的系统,也可能构成 RBI 系统,前提是满足上文所述的远程性条件17。手掌扫描系统大多构成生物识别验证或认证系统。然而,在某些情况下,手掌扫描系统也可用于识别嫌疑人,例如比较儿童性虐待材料以确定是否涉及同一犯罪者。例如,下列生物识别可以被视为远程识别:

17 EDPB-EDPS,《联合意见 5/2021》,第 11 页;欧洲联盟理事会,《法律事务处意见》,12302/22,2022 年 9 月 12 日,第 33 段,以及《人工智能法》序言第 15 段。

——捕获语音样本的生物识别技术系统可以通过使用麦克风在正在说话的人身上收集生物识别样本来部署。——步态识别系统可以通过闭路电视(CCTV)使用,并自动检查视频与先前捕获的模板是否匹配。——击键生物识别技术可用于通过将个人的独特打字节奏与先前捕获的击键模板进行匹配来寻找正在输入欺诈信息的人。

#### ¶142

个别执法机关佩戴的随身摄像头,例如用于对数百人参加的示威进行非定向拍摄,将被视为满足远程性条件。在虚拟空间使用的 RBI 系统,如果其通常在无积极参与的情况下于一定距离外运作,也可能被视为满足该条件。

**_iii. 参考数据库_**

#### ¶143

没有包含用于识别自然人比较目的的生物识别数据的参考数据库,就无法进行生物识别。因此,参考数据库的存在对于对个人执行远程生物识别是不可或缺的。参考数据库可以由一个或多个个人的生物识别数据组成。

#### ¶144

针对参考数据库的生物识别要求对照包含生物识别参考的所有数据记录进行比较18。例如,——申根信息系统(SIS)的自动指纹识别系统(SIS-AFIS)19 数据库可以用作执行指纹学搜索的参考数据库。——国家失踪人员数据库可以用作失踪人员面部识别的参考数据库。——私营公司的语音数据库可以用作参考数据库。

**a) 属于第 1(a) 点高风险用例范围的人工智能系统实际示例**

——媒体档案的面部/语音识别:预期用于通过将视听内容与参考数据库(如公共广播机构和国家级视听资料库维护的媒体档案)进行比较来识别选定个人(如公众人物)、且无需个人积极参与的人工智能面部和语音识别技术。——数据库中(语音)声纹匹配:预期用于分析录音或声纹以识别特定说话者、通过将其生物识别数据与已建立的无其积极参与的已知个人和声纹数据库进行比较的人工智能解决方案。——安装在体育场墙壁和/或天花板上的 CCTV 摄像头(事后远程):如果比赛中发生事件,捕获的生物识别数据(即面部图像)将与生物识别数据库进行比较以识别犯罪者,体育场访客无需积极参与。——预期用于从安装在私人财产上的 CCTV 摄像头拍摄的图像中识别涉嫌入室盗窃且在无其积极参与的情况下行动的人的人工智能系统。与《人工智能法》第 5(1)(h) 条的禁止不同,附件三第 1(a) 点所列的高风险用例不限于公共可达空间中的 RBI。——预期用于将互联网上发现的儿童性虐待材料(CSAM)与包含面部图像和纹身的既定国家或国际嫌疑人数据库进行比较、以在无积极参与的情况下识别犯罪者的人工智能系统。——需要通过反向搜索(反向图像搜索)在互联网上识别隐姓埋名生活、无其积极参与的恐怖分子的调查:参考数据库可以是从网站或互联网上可获得的信息中提取的生物识别模板的转换形式。——预期用于将图片(例如来自互联网或 CCTV)中的属性与从互联网拍摄并编入数据库索引的图片进行比较(参考数据库可以是从网站上或一般互联网上可获得的信息中提取的生物识别模板的转换形式)、以在无积极参与的情况下识别图片中的人的人工智能系统。

**b) 不属于第 1(a) 点高风险用例范围的人工智能系统实际示例**

——体育场入口处用于通过直接出入控制检测被列入黑名单、禁止进入体育场的人员的 CCTV 面部识别系统:此类系统不满足远程性条件,因为自然人需要积极参与,即主动站到人工智能系统前才能进入体育场。——预期用于生物识别验证(认证)或非远程识别的系统,例如:o 用于解锁智能手机的人工智能解决方案。

o 用于简化识别交易者的入驻流程的人工智能解决方案。o 用于在线考试监考(所谓的远程监考)认证的人工智能解决方案。o 用于简化服务访问(如在线登录银行账户(登录认证)或致电银行客服获取特定交易信息)的人工智能解决方案。o 执法人员在路边检查期间执行身份验证的人工智能解决方案。警官使用移动设备将个人活体指纹仅与其身份证上存储的指纹进行比较以验证其身份。——智能家居/住宅区的人工智能系统:预期用于通过扫描入口处的面部图像、虹膜、声音(声纹识别)或指纹来认证或验证个人身份、并在与相关个人同意登记的生物识别数据组成的参考数据库核查成功后才授予进入家庭或住宅区权限的人工智能系统,将被视为用于生物识别验证目的,且不被视为满足远程性条件(该个人同意登记并自觉在入口处出示自己)。——智能通道人工智能生物识别系统:在短通道或走廊中从多个角度捕获个人面部图像,并将这些图像与已向该系统登记的人员(借此无需停下即可进入音乐会、体育场、城市广场的大型公共活动等)的生物识别数据库进行比对的人工智能系统,而未登记人员则由安保人员或自动门系统根据应用情况接近并驱逐。此类系统仅用于获得服务/场所的进入权限,已登记人员将被视为积极参与识别。——预期用于确认自然人身份、其唯一目的是获得服务、解锁设备或获得场所的安全进入权限的人工智能系统:例如,用于控制进入危险区域的面部识别系统(如在工业环境中授予或拒绝进入机械或安全风险较高的区域);用于控制公司办公大楼内安全区域物理进入的人工智能解决方案;用于关键电力基础设施或海港/内河港口设施的安全设施进入的生物识别系统(仅限员工/授权人员)。——使用生物识别数据但不预期用于生物识别的系统:例如,在移民和庇护程序背景下,使用在个人积极参与下收集的语音样本进行语言/方言分析、以确定个人来自哪个国家和区域的人工智能系统。此类工具的目的不是识别个人。相反,语音样本与一组认可的语音样本进行匹配,以佐证来源国。然而,参见下文关于第 1(b) 点的第 3.1.3 节和关于附件三第 7 点的第 3.7 节。

——筛选查获材料以整理其内容的人工智能系统:例如,人工智能系统筛选查获的视频,如 100,000 个文件,为评估查获证据做准备,例如照片中是否有儿童。——执法机关用于分析犯罪现场的人工智能系统:从犯罪现场收集各种材料,包括 CCTV、证人材料等。目标是通过分析人和物体的出现(例如通过基于汽车、车牌、衣物、包、武器、毒品等物体以及可能的面部、纹身和胎记进行聚类、追踪或定位)获得对究竟发生什么事的调查洞见。个人不会与外部数据库进行匹配,即不确立其身份;且仅使用与犯罪现场有直接联系的材料。这是初始识别之前的工作步骤,即使可能涉及面部比较,鉴于数据集的封闭性,这尚不受《人工智能法》第 6(2) 条和附件三第 (1)(a) 点的高风险分类约束。——使用多光谱成像从皮肤表面和表层下(真皮)捕获信息(收集生物识别数据)以捕获指纹、但不与参考数据库进行生物识别匹配的人工智能系统。——仅用于网络安全和个人数据保护目的的人工智能系统:例如,唯一目的是使个人数据匿名化的人工智能系统,如预期仅用于实现《人工智能法》序言第 54 段所述网络安全和个人数据保护措施的生物识别系统。——使用摄像头(如卫星、红外/热成像)检测人类存在的人工智能系统,例如:o 提供火车座位占用信息或人员计数的人工智能系统:人工智能系统使用安装在列车车厢天花板上的红外热成像摄像头;捕获每个座位的温度;分析数据并通过网站/移动应用程序向乘客提供更新。o 用于检测轨道上的人员(闯入者)以防止事故和基础设施损坏的人工智能系统:人工智能系统使用安装在铁路轨道周围、列车前方等的红外热成像摄像头;提醒司机/安保团队存在闯入者。o 使用无人机/卫星搭载的摄像头捕获的特定空间图像或录音、基于非生物识别数据(如异常运动、人类携带的电子设备发出的射频信号)核实这些空间中是否存在人类的人工智能系统,用于搜寻失踪人员(如迷失在广阔无人区域(例如大片森林)中的人)。虽然此类人工智能系统可用于识别个人,但它们不涉及生物识别数据。o 使用红外热成像摄像头检测人类存在的人工智能系统不被归类为高风险人工智能系统,因为其目的不是识别

个人,而是仅仅检测人类的存在20。此外,此类系统不依赖生物识别数据。——不基于生物识别数据追踪个人的人工智能系统:例如,执法部门使用人工智能视频分析工具,基于衣物颜色和身体轮廓跨摄像头追踪逃跑的嫌疑人,而不提取或匹配生物识别特征。——执法部门使用的人工智能大型数据处理系统,基于面部图像交叉核对和识别各刑事案件之间的联系,而不使用生物识别数据识别共同嫌疑人。

#### 1.2.2 根据《人工智能法》第 26(10) 条对某些执法使用事后 RBI 的授权要求

#### ¶145

《人工智能法》第 26(10) 条由七个分段组成,涉及三种特定情形21。第 1 和第 2 分段包含对在调查框架内对涉嫌或已定罪犯有刑事犯罪的人进行定向搜索而使用事后远程生物识别(post-RBI)系统的部署者的特定授权要求。第 3 至第 6 分段包含面向任何用于任何执法目的(包括远程识别和定位犯罪者、搜寻失踪人员以及预防犯罪)的高风险事后 RBI 系统部署者的一般规则和程序要求。第 7 分段授权成员国就事后 RBI 的使用引入更具限制性的法律。

**a) 《人工智能法》第 26(10) 条第 1 和第 2 分段**

#### ¶146

在调查框架内为执法目的、对涉嫌或已定罪犯有刑事犯罪的人进行定向搜索而使用高风险人工智能系统进行事后 RBI,要求部署者(通常为执法机关)请求司法机关或行政机关(其决定具有约束力并接受司法审查)的授权。授权要求并不适用于附件三第 1(a) 点所归类所有 RBI 系统。如上所述,其适用范围被收窄至为执法目的进行定向搜索的调查框架内的特定情形。

#### ¶147

“定向搜索”中的“定向”涉及执法机关是否有合理理由怀疑嫌疑人与犯罪之间存在联系,并因此正在寻找该嫌疑人的问题。一旦确认了这一点,执法机关可以根据具体情况使用最有效的 RBI 搜索方法。例如,它可以根据具体情况运行探针式或图库式搜索。“定向搜索”中的“搜索”

20 然而,在移民、庇护和边境管制管理背景下,使用红外热成像或卫星成像检测在未获授权地点穿越边境的人的人工智能系统属于附件三第 7(d) 点用例的范围(下文第 3.7.5 节)。
21 除《人工智能法》第 26(10) 条下的特定部署者义务外,任何高风险事后 RBI 系统还需要符合高风险人工智能系统的要求以及适用于将其投放市场或投入使用的提供者的所有义务,部署者的其他义务(如人工监督和监测等,第 26 条)、进行基本权利影响评估的义务(第 27 条)或提供决策解释权(第 86 条)同样适用。这些其他义务和要求将在委员会 2026 年正在编制的另一组指南中予以澄清。

涉及确定定向个人在时间和地点上所处位置的目标。

#### ¶148

无论个人身份已知还是未知,对个人的搜索都可能是定向的。只要存在搜索特定个人的理由,搜索就可以被视为定向的。嫌疑人必须作为嫌疑犯或罪犯与刑事犯罪直接相关。定向搜索的示例:——武装抢劫后,调查人员获得 CCTV 图像,并确定警方记录中已有的已知个人为头号嫌疑人。当局使用嫌疑人的面部模板进行事后 RBI 查询,以确定该人是否出现在当时附近交通枢纽的视频中。该搜索是定向的,因为搜索窄聚焦于该个人,并且与具体刑事犯罪有直接联系。——绑架案的目击者向调查人员提供显示嫌疑人面部的视频。警方从视频中提取生物识别模板,并进行事后 RBI 搜索,以确定同一人是否出现在疑似逃跑路线沿线其他摄像头捕获的视频中。关于非定向搜索,见下文第 ¶159-160 段。

#### ¶149

基于与犯罪直接相关的客观且可核实的事实对潜在嫌疑人进行的初始识别,被排除于《人工智能法》第 26(10) 条的授权要求之外。《人工智能法》未定义何时将一个人视为嫌疑人,但在第 26(10) 条的语境中,这应被理解为执法机关合理认为其犯有刑事犯罪的人。执法机关的怀疑必须基于客观且可核实的事实。初始识别涉及针对参考数据库识别一名或多名潜在嫌疑人,以查明其身份或在参考数据库中确认存在匹配的生物识别档案,而不必确立嫌疑人的身份。问题是:这个人(潜在嫌疑人)是谁?示例包括将嫌疑人的生物识别数据与已知人员的生物识别模板(例如来自警方档案或欧盟信息系统)进行比较。目标可以是查明嫌疑人的可能身份(例如 8/10 的匹配度表明这是 A 某人),或者查明嫌疑人是否先前犯过罪或曾是嫌疑人(这是一个其生物识别痕迹先前已在犯罪现场被发现的人;这是一个其生物识别档案已在参考数据库中的人)。换言之,初始识别不一定旨在确立个人的民事身份。在初始识别的情况下,只要人工智能系统构成远程生物识别系统并因此归类为高风险(见上文第 3.1.2.1 节),系统就需要符合高风险人工智能系统的要求。基于与犯罪直接相关的客观且可核实的事实对潜在嫌疑人进行初始识别,无需特定授权。初始识别的示例:——刺伤事件后,调查人员获得清晰显示犯罪者面部的 CCTV 视频。警方生成生物识别模板,并将其与国家和欧盟警方

数据库进行比较,以确定是否存在匹配的生物识别档案并识别可能的人。——入室盗窃后,警方从 CCTV 中提取犯罪者的面部图像,并将其与先前从其他犯罪现场收集的生物识别痕迹进行比较,以确定同一人是否可能涉及多起犯罪。——恐怖事件后,调查人员获得显示一名犯罪者的视频,但尚无法确认其身份。使用事后 RBI 针对警方数据库生成排序的候选匹配(如“可能是 A 某人”),其他证据须与该候选匹配相印证才能识别该人。——在参考数据库(包括警方记录)以及公共或私人视频监控摄像头系统中进行的搜索,通过比较给定个人的生物识别样本,例如 (a) 面部、纹身或任何其他可识别身体部位的图片,(b) 步态,(c) 声音,从以下来源和在以下情况下收集:(i) 来自视频监控摄像头,(ii) 来自遗骸、下落或痕迹,特别是未知人员的,(iii) 来自昏迷人员的,(iv) 来自社交媒体,(v) 来自查获材料,(vi) 在羁押期间强制获取的,(vii) 在对个人进行主动搜索背景下为首次识别而进行的合法截取。初始识别的示例包括:——机场当局应正在搜索该个人的国家执法机关的要求,基于从社交媒体收集的图片在其视频监控摄像头系统中搜索特定个人的存在(位置)。但是,一旦系统匹配成功,为同一目的继续在系统中搜索该个人并搜索该嫌疑人的行为,不被视为初始识别。——成员国 B 执法机关在警务合作信息交换中应成员国 A 执法机关的咨询,在对涉嫌犯罪且正在被主动搜索的人士的背景下首次在刑事数据库中搜索某人身份,属于初始识别。——通过 Prüm II 框架在另一成员国的国家刑事数据库中,使用在犯罪现场收集的潜指纹或潜掌纹、或面部图像进行搜索,以识别正在被主动搜索的嫌疑人。——欧洲刑警组织(Europol)在 Prüm II 框架下,使用从第三国机关收到的指纹或面部图像在成员国数据库中搜索,以确定被主动追踪的个人的身份,直至匹配成功。——欧洲刑警组织在支持成员国对涉嫌犯有(包含多次 ATM 攻击的任务范围内的)犯罪的特定个人的主动搜索时,基于当地监控摄像头的视频在其自身数据中进行比较。只要该人尚未被识别,此类为识别目的的处理就被视为初始处理。使用同一份样本

在欧洲刑警组织数据中为搜索该嫌疑人的同一目的进行进一步识别、并可能揭示该人出现在新环境中的处理,不能被视为初始处理。

#### ¶150

当调查已从较广泛的关注人员缩小到有限数量的嫌疑人,并且这在针对某项犯罪的公开调查的某种正式状态中得到体现时,需要就定向搜索获得授权。通常,当国内法下存在正式调查,且对特定嫌疑人(已知者)启动了某种(官方)(搜索)程序时,即为如此。问题是:嫌疑人在哪里?确定个人在时间和地点上的位置是调查框架内进行的定向搜索的基本组成部分。《人工智能法》第 26(10) 条语境下对个人的定向搜索指使用 RBI 系统追踪个人。例如,在调查过程中,执法机关认为 B 某人很可能是已发生犯罪的犯罪者。正在使用事后 RBI 系统分析犯罪现场周围收集的 CCTV 视频和视频材料(即与犯罪地点和时间的联系),以查明嫌疑人从哪里来或去了哪里,以便可能对该人采取执法行动,并可能对相关个人的权利和自由产生后果。包含嫌疑人单一图片或音频录音的生物识别数据模板在此语境下可以被视为“参考数据库”,并将与收集的 CCTV 和视频材料进行比较。例如,根据《人工智能法》第 26(10) 条,以下情形需要主管司法机关或行政机关的事先授权:——为绘制已识别嫌疑人行踪而反复进行的事后 RBI 查询。当局为重建身份已知的嫌疑人(以便逮捕该人)的移动轨迹,在多个参考数据库上反复运行事后 RBI;确定该人在时间和空间上的位置(即使是过去的)将帮助当局在与该人出现在视频中的时刻所经过时间相容的公里距离处设置路障。——起诉的证据确认。事后 RBI 专门用于确认已知嫌疑人出现在犯罪现场某时刻的视频中,以供证据使用。

#### ¶151

定向搜索包括查明具体嫌疑人的位置。“定位”不是《人工智能法》下的定义术语。不基于生物识别数据的定位不在《人工智能法》生物识别规则的范围内,例如跟踪戴红围巾的人。

#### ¶152

执法机关经常使用人工智能系统分析犯罪现场。在这种情况下,人工智能系统被用作筛选工具,用于分析大量视频材料,例如调查事件经过。从犯罪现场收集各种材料,包括 CCTV 材料等。目标是通过分析人和物体的出现获得关于究竟发生什么事的调查洞见。个人不会与外部生物识别数据库进行匹配,且仅使用与犯罪现场有直接联系的材料。系统的使用侧重于了解犯罪现场周围出现的人的动向。这是初始识别之前的工作步骤,即使可能涉及面部或其他生物识别特征的比较,鉴于数据集的

封闭性,这不会被认定为 RBI 和高风险。同样的逻辑适用于用于筛选儿童性虐待材料(CSAM)但不为识别目的筛选个人生物识别数据的人工智能系统。

#### ¶153

当不是基于能够实现识别的生物识别模板、而是基于例如眼睛或头发颜色或身高(例如搜索证人描述的嫌疑人:瘦削女性、三十多岁、160-165 厘米、浅肤色、深色头发、棕色眼睛、离开犯罪现场周边)搜索人员时,基于生物识别数据的定位被视为属于生物识别分类的定义范围。人工智能系统对视频进行排序和筛选,以标记属于该类别的人。仅基于生物识别特征搜索出现情况——而不建立能够实现识别的生物识别模板——不被视为 RBI。不被视为 RBI 的人工智能系统示例:——犯罪后按头发和眼睛颜色筛选人员。证人描述嫌疑人深色头发、棕色眼睛。调查人员使用人工智能对犯罪现场视频进行排序,以对具有这些身体特征的人进行分类。这不一定构成生物识别,但如果排序基于生物识别数据,则可能构成生物识别分类。——用于调查分诊的年龄段估计。人工智能系统将犯罪现场视频中出现的人归入大致年龄段,以支持人工审查。

#### ¶154

要求对定向搜索涉嫌或已定罪犯有刑事犯罪的人而使用事后 RBI 系统获得授权的目标,是需要进行评估和决定,即为此目的设想使用该人工智能系统是否是在特定刑事犯罪调查背景下找到该人的严格必要措施。该必要性评估必须考虑定向搜索的个人、时间和地理范围,并评估是否存在找到相关人员的侵入性较小的手段。严格必要性条件由拟部署该系统的执法机关针对每个具体案件评估。授权请求可以与开始调查或根据国内法请求其他监控措施相关联,以简化程序。

#### ¶155

根据《人工智能法》第 26(10) 条第 1 分段,请求必须在开始使用事后 RBI 系统之前或没有不当延迟地提出,且不得迟于开始使用后 48 小时。

#### ¶156

授权必须向司法机关或行政机关(其决定具有约束力并接受司法审查)请求。请求授权的义务仅适用于在调查框架内对涉嫌或已定罪犯有刑事犯罪的人进行的定向搜索。这排除了例如对失踪人员或受害者的定向搜索(无需授权),或犯罪调查框架之外的搜索(例如,执法机关使用已知的儿童性虐待受害者生物识别模板来识别同一儿童出现在其他无关的儿童性虐待报告中的图像或视频,或基于证人驾照照片在社交媒体的索引版本(如抓取材料)中搜索犯罪现场证人的照片出现情况)。根据国内法,司法机关

或行政机关授予的授权可能涉及特定个人或在特定调查中对犯有具体刑事犯罪(或犯罪)的特定嫌疑人群体。可能无须知道个人的民事身份。

#### ¶157

《人工智能法》第 26(10) 条要求的授权程序可以设计得足够灵活,以涵盖不可预见的操作场景和大数据量的筛选,例如 CSAM。就 CSAM 而言,搜索受害者不受授权要求的约束。数据的排序和筛选也无关紧要。授权要求仅适用于针对具体嫌疑人的特定定向搜索(除非属于初始识别)。在不影响司法独立和国内程序法与实践的前提下,为便利该要求的实施并使其可操作,成员国可以考虑依赖目前为遵守其他联盟或国内法(例如关于通信截取授权)而设立的司法授权程序。

#### ¶158

如果请求的授权被拒绝,事后 RBI 系统的使用应立即停止,与使用请求授权的该高风险人工智能系统相关的个人数据必须删除。这并不意味着应删除标准参考数据库,而仅删除调查特有的个人数据。该要求适用于 CCTV 或视频材料处理的结果,例如通过将材料与参考数据进行比较而建立的生物识别档案和识别结果或联系。例如,它不适用于已合法获取的 CCTV 材料本身。

#### ¶159

在任何情况下,事后 RBI 都不得以非定向方式用于执法目的,除非特定个人与刑事犯罪、刑事诉讼、真实且现存的或真实且可预见的刑事犯罪威胁,或对特定失踪人员的搜索之间存在联系(第 3 分段)。这普遍适用,也适用于《人工智能法》第 26(10) 条第 1 分段所述调查框架内定向搜索人员无需授权时执法目的使用事后 RBI 系统的情况。

#### ¶160

《人工智能法》序言第 95 段进一步规定:“事后 RBI 系统应始终以相称、合法和严格必要的方式使用,因而在要识别的个人、地点、时间范围方面具有针对性,并基于合法获取的视频录像的封闭数据集。无论如何,事后 RBI 系统不应在执法框架内使用,以免导致不分青红皂白的监视。事后 RBI 的条件在任何情况下都不应为规避实时远程生物识别的禁止条件和严格例外提供依据。”用例各不相同,取决于具体情况。严格必要性条件的遵守必须由拟部署该系统的执法机关评估和证明。这也适用于情报行动,前提是其为执法目的进行且不专门用于国家安全目的。非定向搜索的示例包括:——警方在周末对市中心 CCTV 中出现的所有人员进行面部识别,而非针对特定人员进行搜索,以侦测可能的犯罪者。

——警方在公共示威发生后部署事后 RBI 系统,扫描举行示威的公共广场视频中出现的所有人员,而先前未识别出特定嫌疑人或与犯罪相关的具体个人。——当局定期使用面部识别检查公共场所(如交通枢纽)的视频流,以侦测任何潜在关注人员,而无时间限制或与犯罪相关的调查目的。

**b) 《人工智能法》第 26(10) 条第 3 分段**

#### ¶161

《人工智能法》第 26(10) 条第 3 分段规定,执法机关不得仅基于事后 RBI 系统的输出作出对个人产生不利法律效果的决定。这一限制叠加在《人工智能法》第 14 条的人工监督要求之上。为决策提供信息的进一步分析可以例如涉及某人是否曾在不同地点,或是否存在该人不能成为搜索对象的其他原因22。

**c) 《人工智能法》第 26(10) 条第 4 分段**

#### ¶162

《人工智能法》第 26(10) 条第 4 分段确认,第 26(10) 条的要求不影响第 (EU) 2016/679 号条例第 9 条和第 (EU) 2016/680 号指令第 10 条关于生物识别数据处理的规定。

**d) 《人工智能法》第 26(10) 条第 5 和第 6 分段**

#### ¶163

根据《人工智能法》第 26(10) 条第 5 和第 6 分段,事后 RBI 系统的部署者必须在相关警察档案中记录此类系统的每次使用,并在要求时提供该记录。此外,它们必须主动向相关市场监督机关和国家数据保护机关提交年度报告(可汇总涵盖多次部署),但不披露与执法相关的敏感行动数据。

**e) 《人工智能法》第 26(10) 条第 7 分段**

#### ¶164

根据《人工智能法》第 26(10) 条第 7 分段,成员国可以根据联盟法律,就事后 RBI 系统的使用引入更具限制性的法律。

### 分节:第 1(b) 点:生物识别分类

#### ¶165

附件三第 1(b) 点将预期用于基于对敏感或受保护特征或属性的推断进行生物识别分类的人工智能系统归类为高风险。此类系统被认为值得高风险分类,因为它们

22 关于 RBI 背景下人工监督的更多细节,见欧盟委员会《关于禁止人工智能实践的指南》第 10.2.2.5 点,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(《人工智能法》),文本与欧洲经济区相关(官方公报 L,2024/1689)。
涉及处理额外的敏感个人数据,并对自然人的其他基本权利(如私人和家庭生活权、不受歧视权以及人的尊严)构成重大风险。

#### ¶166

《人工智能法》第 3(40) 条将生物识别分类系统定义为“基于自然人的生物识别数据将其归入特定类别的人工智能系统,除非该分类属于另一商业服务的附属功能,且出于客观技术原因确属必要”。因此,人工智能系统对个人进行生物识别分类通常是确定个人的生物识别数据是否属于具有某种预定特征的群体的过程。它不是关于识别特定个人或验证其身份,而是关于将个人归入某个类别。“生物识别数据”的概念在第

### 分节:上文(第 3.1.1.i 节)中解释。

#### ¶167

生物识别分类可以依赖身体特征类别(例如面部特征和形态、肤色),据此将人员归入特定类别。生物识别分类也可以基于 DNA 或行为方面,例如击键分析或个人的步态23。生物识别分类不包括根据衣物或配饰(如围巾、帽子、手套、手表或十字架)以及社交媒体活动进行分类。

#### ¶168

如果系统“属于另一商业服务的附属功能,且出于客观技术原因确属必要”,则不属于生物识别分类系统的定义范围。《人工智能法》序言第 16 段解释说,纯粹附属功能是与另一商业服务内在关联的功能,意味着该功能出于客观技术原因不能脱离主服务使用,且该功能或功能性的整合不是规避《人工智能法》规则适用性的手段。

**_i. 根据敏感或受保护的属性或特征_**

#### ¶169

根据《人工智能法》附件三第 1(b) 点,只有预期用于根据敏感属性或特征进行生物识别分类的人工智能系统才会被归类为高风险,前提是这些系统不受《人工智能法》禁止。序言第 54 段澄清,敏感属性或特征是指 GDPR 第 9(1) 条所保护的那些属性或特征。它们包括关于“种族或族裔出身、政治观点、宗教或哲学信仰或工会成员身份、基因数据、用于唯一识别自然人的生物识别数据、有关健康的数据或有关自然人性生活或性取向的数据”的属性或特征。根据《人工智能法》第 5(1)(g) 条,投放市场、为此特定目的投入使用或使用基于自然人的生物识别数据对其进行分类以推导或推断其种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向的生物识别分类系统,均被禁止。因此,族裔出身、基因数据和有关健康的数据这些属性和特征在此具有关键相关性。

**_ii. 生物识别分类必须基于对这些属性或特征的推断_**

#### ¶170

要被归类为高风险,人工智能系统必须使用生物识别数据来推断敏感或受保护的属性或特征,然后根据该属性或该

23 参见例如第 29 条工作组《关于生物识别技术发展的第 3/2012 号意见》,WP193,2012 年 4 月 27 日,第 16-17 页。工作组在此提到“软识别”(第 17 页),即“侦测人们的行为或特定需求”。

特征对个人进行分类。这意味着生物识别数据必须作为输入,而敏感或受保护的属性或特征是人工智能系统从生物识别数据中推断出的输出。

**a) 属于第 1(b) 点高风险用例范围的人工智能系统实际示例**

——对患者进行分类的人工智能系统。该人工智能系统用于侦测以行动障碍形式表现出来的疾病的早期症状。人工智能系统捕获患者的步态,基于捕获的步态数据推断其健康数据,并将这些个人归入预定义类别(例如疾病的早期阶段、晚期阶段)。——对旅客进行分类的人工智能系统。该人工智能系统用于安装在机场的摄像头,分析旅客在航站楼之间的移动。人工智能系统捕获旅行者的生物识别数据(如步态、面部模板),基于这些捕获数据推断生物识别标识符,并使用它们将旅行者归入某个类别。初始分类基于推断的生物识别信息,如族裔出身。这些类别例如用于生成聚合的旅客档案(如单人旅客、家庭出行的旅客)或支持有针对性的运营措施。

**b) 不属于第 1(b) 点高风险用例范围的人工智能系统实际示例**

——对跨越欧盟边境的外国人进行分类的人工智能系统。该人工智能系统用于安装在边境口岸的摄像头,捕获面部图像以推断外国人的年龄和性别。该系统不是高风险,因为年龄和性别等属性不被视为 GDPR 第 9(1) 条下的敏感或受保护属性。如果收集年龄和性别是为了评估进入欧盟领土的外国人构成的风险,则该人工智能系统可以根据附件三第 7(b) 点被认定为高风险系统。——根据客户性别对客户进行分类以提供/改进个性化客户体验的人工智能系统。该人工智能系统捕获击键,分析以确定客户的性别,以提供/改进个性化体验(如个性化广告)。该人工智能系统部署生物识别分类(基于客户的生物识别数据将其归入某个类别)。然而,该人工智能系统推断的是性别,而性别不是 GDPR 第 9(1) 条下的敏感或受保护属性或特征。——预期用于年龄估计的人工智能系统。该人工智能系统防止未成年人例如:(i) 访问在线有害内容,(ii) 访问年龄限制服务(如在线博彩、个人贷款、信用卡、投资平台、移动支付钱包),(iii) 进入不适合儿童的实体场所,或 (iv) 使用仅向超过法定年龄门槛(如烟草)的人提供产品的自动售货机。该人工智能系统通过摄像头捕获击键或/和面部特征,并基于捕获图像/击键模式与某些年龄组人群特征的比较和概率预测,将个人归入特定年龄组。该人工智能系统推断的是年龄,而年龄不是 GDPR 第 9(1) 条下的敏感或受保护属性或特征。——预期用作内容审核工具的人工智能系统。该人工智能系统扫描文本/图片以识别非法或不适当内容。虽然该系统基于特定迹象对内容进行分类(例如可能揭示政治观点并可被视为

敏感或受保护属性或特征的极端内容),但该分类不是基于生物识别数据作出的。

### 分节:第 1(c) 点:情绪识别

#### ¶171

附件三第 1(c) 点将情绪识别系统归类为高风险。《人工智能法》第 3(39) 条将“情绪识别系统”定义为“基于自然人的生物识别数据来识别或推断其情绪或意图的目的”的人工智能系统。

#### ¶172

对于旨在识别或推断情绪或意图的人工智能系统的科学基础存在严重关切,特别是因为情绪的表达在不同文化和情境中、甚至在同一个体内都差异巨大。情绪识别系统具有侵扰性,并存在可能影响个人基本权利的关键缺陷。此类系统的关键缺陷包括其可靠性有限、缺乏特异性以及泛化能力有限。

#### ¶173

虽然基于语言的 AI 社交伴侣并未在《人工智能法》下被专门归类为高风险,但不能排除在某些情况下它们可能预期用于情绪识别(基于例如语音或视频通话中的生物识别数据识别和推断情绪或意图),从而须根据《人工智能法》附件三第 1(b) 点被归类为高风险。

**_i. 识别和推断情绪或意图_**

#### ¶174

当处理自然人生物识别数据(例如声音或面部表情)允许直接比较并识别出与先前编程在情绪识别系统中的情绪或意图相一致的情绪或意图时,即发生情绪或意图的识别。推断是通过推导系统本身的分析和其他过程所产生的信息来进行的。在这种情况下,关于情绪的信息不仅基于在自然人身上收集的数据,而且还从其他数据中推断出来,包括从数据中学习如何侦测情绪或意图的机器学习方法24。推断通常以识别(情绪或意图)为前提,因此预期用于推断情绪或意图的人工智能系统应被理解为也识别情绪或意图25。

**_ii. 情绪或意图_**

#### ¶175

情绪或意图的概念应从广义上理解,不应作限制性解释。《人工智能法》序言第 18 段对此概念提供了一些澄清,列举了“诸如快乐、悲伤、愤怒、惊讶、厌恶、尴尬、兴奋、羞耻、轻蔑、满意和愉悦”等情绪。这些示例并非穷尽性的。

24 参见《人工智能法》序言第 12 段。因此,推断数据也常常是基于概率的分析(大数据)过程的结果,旨在发现数据集中的相关性和模式。
25 《人工智能法》序言第 18 段。

#### ¶176

不应通过提及态度来规避《人工智能法》,因此附件三第 1(c) 点的高风险用例包括以下情形:人工智能系统预期用于基于生物识别数据发现某人表现出例如愤怒态度。

#### ¶177

《人工智能法》序言第 18 段澄清,情绪或意图不包括“身体状态,如疼痛或疲劳,包括例如用于侦测专业飞行员或驾驶员疲劳状态以防止事故的系统”(例如,识别某人是否生病不是情绪识别)。该序言进一步澄清,情绪识别系统不包括“仅侦测显而易见的表情、姿势或动作,除非其用于识别或推断情绪”。这些表情可以是基本的面部表情,如皱眉或微笑,也可以是手势,如手、手臂或头部的动作,或一个人声音的特征,如提高嗓音或低语。然而,当这些显而易见的表情或姿势用于识别或推断情绪或意图时,则属于“情绪或意图”概念的涵盖范围。

**a) 属于第 1(c) 点高风险用例范围的人工智能系统实际示例**

——AI 与随身摄像头或远程监控系统(所谓的警方随身摄像头)的整合:例如,巡逻单位使用的 AI 增强随身摄像头,能够实现自动化行为模式侦测,通过步态、身体姿势、动作和面部分析标记“攻击性姿态”,以评估个人在警方接触中是否可能参与打架。这构成一个情绪识别系统,因为它解读身体线索以推断个人的情绪或精神状态——在本例中为愤怒。——游戏行业用于衡量游戏体验以进一步改进产品(真实游戏体验)的人工智能系统。该人工智能系统追踪身体姿势、面部表情、闭眼和注视,以衡量玩家的反应,包括其兴奋、愤怒、沮丧、愉悦;分析上述记录数据以识别需要改进的游戏体验的相关要素。此类系统涉及处理生物识别数据(例如作为生物识别数据来源的面部表情)。它还基于玩家的生物识别数据识别或推断玩家的情绪。兴奋、愤怒、沮丧都是情绪的例子。——在音乐会活动中维持秩序的人工智能解决方案。该人工智能系统安装在墙壁或天花板上的摄像头中;筛选观众的情绪,如声音、面部和动作;当系统发现体育场某个区域的情绪变得具有攻击性时,更多安保人员将被派往该区域。该人工智能系统预期用于情绪识别:它筛选每位参与者的情绪以评估观众的情绪。——在呼叫中心用于推断客户情绪的人工智能系统。该人工智能系统分析客户的语音,并评估语调、音高和音量,以衡量客户满意度水平(用于统计目的),确定将其转接给人工客服的时机(如愤怒时)、用于故障排除目的,或用于加强客户关怀业务部门。这些人工智能系统从客户的声音中推断其情绪,例如他们是快乐还是愤怒。该生物识别系统是否预期识别客户身份并不重要。——智能手表情绪监测器/可穿戴设备。该人工智能系统集成到智能手表中,测量生物识别数据(如声音、心率)并监测用户情绪(如悲伤、好奇、

快乐、无聊),以协助用户识别其情绪状态并提供情绪改善建议。此类人工智能系统推断用户情绪,具有侵扰性。情绪识别结果是否仅向特定用户披露并不重要。

**b) 不属于第 1(c) 点高风险用例范围的人工智能系统实际示例**

——汽车行业用于通过侦测驾驶员失去专注力(即困倦、睡着、突发健康问题)来帮助防止事故的人工智能系统。该人工智能系统通过车辆中安装的摄像头和运动传感器追踪身体姿势、面部表情、闭眼和注视;分析收集的数据以提醒驾驶员或接管车辆控制权,并安全停车。此类人工智能系统不被视为高风险人工智能系统,因为情绪或意图不包括疼痛或疲劳,这些是身体状态。——对显而易见表情的观察。仅仅观察一个人在微笑不是情绪识别。使用设备追踪其新闻主持人对镜头微笑次数的电视广播机构不属于情绪识别。

## 领域 2——关键基础设施(附件三(2))

#### ¶178

《人工智能法》附件三第 2 点将预期在特定关键基础设施(特别是关键数字基础设施、道路交通,或供水、供气、供热或供电)的管理和运营中作为安全组件使用的人工智能系统的六个用例列为高风险。序言第 55 段澄清,该分类旨在应对此类系统的故障或失灵可能大规模危及人的生命和健康并导致社会和经济活动正常进行出现明显中断的风险。

#### ¶179

然而,即使某些人工智能系统可能不属于附件三第 2 点所列关键基础设施用例的范围,如果其受附件一(见第三节)所列联盟协调立法监管,它们仍可能根据《人工智能法》第 6(1) 条被归类为高风险。例如,嵌入《人工智能法》附件一所列联盟协调立法涵盖的产品(如无线电设备、缆车装置、民航或铁路系统)中的人工智能系统即可能如此。

### 分节:用例概述与横向问题

人工智能系统要属于附件三第 2 点所列高风险用例的范围,必须满足两项条件。

#### ¶2

第一,人工智能系统必须预期在《人工智能法》第 3(14) 条含义内作为安全组件使用。第二,该预期用途必须涉及关键数字基础设施、道路交通的管理和运营,或供水、供气、供热或供电。

**_i. 关键基础设施中的安全组件_**

#### ¶180

如上文第三节第 2.2 点所解释的,《人工智能法》基于面向产品安全的法律框架。因此,人工智能系统作为关键基础设施中安全组件的分类,必须主要根据人工智能系统本身所发挥的保护功能来评估。在关键基础设施的背景下,该评估必须侧重于人工智能系统是否通过减少、防止、控制或缓解风险(如果风险成为现实将导致对人的身体伤害或对财产的物理损害)来直接保护基础设施的物理完整性。在关键基础设施中,安全组件的功能与该基础设施物理完整性的维护内在相关。

#### ¶181

安全组件必须发挥安全功能这一要求,将仅具有支持性、信息性、组织性或优化导向(即优化关键基础设施的性能和运营,如效率、成本)且本身不发挥此类直接保护功能的人工智能系统排除出高风险分类。

#### ¶182

例如,预期用作“纯通道”功能——指被动传输流量或数据而不对其内容或目的地进行任何控制或决策——的人工智能系统不会被归类为高风险。

#### ¶183

基于实时数据收集的 AI 交通流量优化系统。此类系统是交通数据分析平台,为流量优化功能实现智能分析,但不直接触发可能影响安全的交通管理变化;它不直接保护安全或物理完整性。这些系统提供洞见,但不直接保护物理完整性。交通系统没有它也能运行。此类功能对关键基础设施的物理完整性没有直接和即时的影响。虽然它可能影响服务的可用性,但其本身不负责触发有害结果。

#### ¶184

更具体地说,只有当人工智能系统履行以下安全功能之一时26,才应被归类为关键基础设施中的安全组件:a. 该人工智能系统预期用作关键基础设施中的组件,通过直接保护关键基础设施的物理完整性来监测和侦测可能直接导致对自然人的身体伤害或对财产的物理损害的情形(例如侦测关键基础设施运行中异常行为的人工智能系统);b. 该人工智能系统预期用作关键基础设施中的组件,监测和侦测安排维护和检查的需要,如果不进行维护和检查可能直接导致关键基础设施物理完整性风险以及对自然人的身体伤害或对财产的物理损害(例如侦测关键基础设施的物理部件是否磨损并可能需要更换或维护的人工智能系统);c. 该人工智能系统预期用作关键基础设施中的组件,通过直接保护关键基础设施的物理完整性来防止对自然人的身体伤害或对财产的物理损害(例如在侦测到异常行为时防止关键基础设施开始运行的人工智能系统);d. 该人工智能系统预期用作关键基础设施中的组件,通过直接保护关键基础设施的物理完整性来控制或限制可能对人的身体伤害或对财产的物理损害(例如

26 定义见上文第三章第 2.2.2 节。

控制关键基础设施的特定行为或功能并相应调整其功能的人工智能系统);e. 该人工智能系统预期用作关键基础设施中的组件,通过直接保护关键基础设施的物理完整性来减轻可能的对自然人的身体伤害或对财产的物理损害的后果(例如在出现危险状况时触发行动(如安全停止)的人工智能系统);f. 该人工智能系统预期用作关键基础设施中的组件,控制或监督履行安全功能的另一系统(例如通过传感器实时监督另一系统运行并作为直接履行安全功能的安全组件起作用的人工智能系统)。

#### ¶185

仅设计用于防止以下类型伤害或损害发生的组件不应被视为“安全组件”:a) 非身体伤害或非物理和无形的损害(如精神损害、权利侵害);b) 第三方造成的任何损害,包括通过使用中介服务产生的损害。

#### ¶186

在实践中,评估人工智能系统是否构成关键基础设施中的安全组件时,应考虑是否存在直接保护关键基础设施物理完整性并能防止伤害或损害发生的冗余或备用系统。

#### ¶187

《人工智能法》序言第 55 段明确区分了“安全组件”和“网络安全组件”。要属于附件三第 2 点所列用例的范围,人工智能系统不得仅用于网络安全目的。如果没有直接的安全作用,人工智能系统就不能被视为关键基础设施中的安全组件,因此不能根据第 6(2) 条被归类为高风险。仅用于网络安全目的、因此不属于附件三第 2 点用例范围的人工智能系统示例:——预期实时主动识别和消除网络威胁的 AI 蜜罐系统。——预期主动与潜在攻击者互动以了解新攻击模式的 AI 技术。——预期支持侦测未经授权访问(即在密码被滥用之前通知受影响的客户)的人工智能系统。——预期侦测可疑电子邮件地址并识别被盗数据的人工智能系统。

**_ii. 人工智能系统必须由根据《关键实体韧性指令》被认定(identified)为关键的实体使用_**

#### ¶188

人工智能系统要根据《人工智能法》附件三第 (2) 点被归类为高风险,必须预期在该条款所列的关键基础设施部门之一使用。附件三第 (2) 点将预期在以下关键基础设施领域之一的管理和运营中用作安全组件的人工智能系统列为高风险:a) 数字基础设施,b) 道路交通,或 c) 供水、供气、供热或供电。

#### ¶189

为界定该用例的精确范围,《人工智能法》在第 3(62) 条中援引关于关键实体韧性的第 (EU) 2022/2557 号指令(“《关键实体韧性指令》”或“《CER 指令》”)27 中的关键基础设施定义。《CER 指令》第 5(1) 条授权委员会制定该指令涵盖的部门和子部门中的基本服务清单。在此基础上,委员会通过了第 (EU) 2023/2450 号授权条例(“《CER 授权条例》”),该条例提供了基本服务清单,并将每项服务与《CER 指令》附件中可能被认定(identified)为《CER 指令》下关键实体的相应实体类别相关联。

#### ¶190

对《人工智能法》第 3(62) 条援引《CER 指令》的理解应当是:只有当人工智能系统由成员国根据《CER 指令》认定(identified)为关键实体的实体使用时,该系统才被归类为关键基础设施中的安全组件(因而为高风险)。

#### ¶191

还应注意,这一解释并不要求向第三方人工智能系统提供者披露被认定(identified)关键实体的身份。首先,第三方提供者可以选择开发和投放符合《人工智能法》下高风险人工智能系统要求并预期用于高风险目的的人工智能系统,无论潜在部署者的身份如何。其次,作为部署者的被认定(identified)关键实体可以在采购程序、合同文件或技术规范中要求所购买的人工智能系统符合《人工智能法》,而无需披露其已被认定(identified)为《CER 指令》下的关键实体。在实践中,实体可能出于各种运营、网络安全、公司治理或责任相关的原因选择采购符合高风险要求的人工智能系统,无论其是否已被正式认定(identified)为关键实体。

#### ¶192

此外,在现实中,涉及欧洲关键基础设施运营商的采购和供应安排通常已经包含限制向第三方披露敏感运营信息的保密和安全保障措施。

### 分节:关键数字基础设施用例

#### ¶193

根据上文第 3.2.1.ii 节介绍的方法,“预期用于关键数字基础设施管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(8) 条所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括:——提供和运营互联网交换点服务(互联网交换点提供者);——提供域名系统(DNS)服务,不包括与根域名服务器相关的服务(DNS 服务提供者);

27 欧洲议会和理事会 2022 年 12 月 14 日关于关键实体韧性并废除理事会第 2008/114/EC 号指令的第 (EU) 2022/2557 号指令,(官方公报 L 333,2022 年 12 月 27 日,第 164 页)。

——顶级域名(TLD)名称注册机构的运营和管理(TLD 名称注册机构);——提供云计算服务(云计算服务提供者);——提供数据中心服务(数据中心服务提供者);——提供内容分发网络(内容分发网络提供者);——提供信任服务(信任服务提供者);——提供公开可用的电子通信服务(电子通信服务提供者);——提供公共电子通信网络(公共电子通信网络提供者)。

#### ¶194

因此,预期用于关键数字基础设施管理和运营中的人工智能系统,只有在其预期由成员国根据《CER 指令》认定(identified)为关键实体的实体使用时,才应被视为高风险。

**a) 属于关键数字基础设施高风险用例范围的人工智能系统实际示例**

——在云计算中心用作火警控制系统的 AI 系统,因其直接安全功能而属于此类(序言第 55 段)。《人工智能法》第 6(3) 条所列的例外均不适用于此类系统,因为其在防止对中心物理基础设施的直接损害以及对自然人的伤害方面发挥作用。

**b) 不属于关键数字基础设施高风险用例范围的人工智能系统实际示例**

——预期用于改进关键数字基础设施服务质量和运营的人工智能系统,例如:用于故障工单管理的人工智能系统;预期用于优化网络并适应定制客户需求的人工智能系统;与网络维护技术用户指南的 AI 交互;预期用于预测网络负载的人工智能系统。此类人工智能系统不应被视为具有直接安全功能。

### 分节:关键基础设施中的道路交通用例

#### ¶195
道路交通应理解为地表道路41,不包括水道。根据上文第 3.2.1.ii 节介绍的方法,“预期用于道路交通管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(2) 条第 (d) 点所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括:

——交通管理控制,包括与道路网络规划、控制和管理服务相关的方面,但不包括不属于公共实体(道路主管机关)一般活动基本组成部分的交通管理或智能交通系统运营;——智能交通系统服务(智能交通系统运营商);

#### ¶196

因此,预期用于道路交通管理和运营中的人工智能系统,只有在其预期由成员国根据《CER 指令》认定(identified)为关键实体的道路交通实体(即道路主管机关或智能交通系统运营商)使用时,才应被视为高风险。

**a) 属于道路交通高风险用例范围的人工智能系统实际示例**

——预期用作实时翻译工具的人工智能系统。此类系统对于运输服务员工克服控制中心与司机之间或乘客与司机之间的语言障碍是必要的,它确保语言沟通并有助于公共交通运营的安全。——预期用于监测道路交通并相应调整交通信号灯的人工智能系统。此类系统通过直接保护道路交通管理系统的物理完整性,控制或限制可能对人的身体伤害或对车辆、道路使用者和周围环境的物理损害。因此,应视为对道路交通安全有直接影响。——预期用于识别脆弱桥梁和码头边重型物体的人工智能系统。此类系统有助于防止桥梁和码头墙坍塌。它通过直接保护依赖道路交通管理系统的道路基础设施的物理完整性,防止对自然人的身体伤害和对桥下或码头边物体的物理损害。该人工智能系统的故障可能导致潜在的坍塌未被及时侦测,桥梁和码头墙上的人在坍塌时面临风险。该人工智能系统并非管理桥梁和码头所必需,而是额外的安全组件,类似于紧急按钮。——预期用于将实时水位数据与道路交通的船闸管理相连接(例如在洪水风险情景中)的人工智能系统。此类系统通过直接保护依赖道路交通管理系统的道路基础设施的物理完整性,监测和侦测可能直接导致对自然人的身体伤害或对财产的物理损害的情形。——预期用作能够通过电信网络与道路使用者通信的控制系统(智能交通控制系统——iTCS)的人工智能系统。此类系统可以识别交通、对接收的数据进行分析,并基于这些分析作出决策。这可以实现某些道路使用者优先于其他道路使用者;一个关键优势是繁忙道路上的交通流得到改善。通过与 iTCS 的数据交换,道路使用者还可以获知交通信号灯将保持红灯或绿灯多长时间。此类人工智能系统防止事故(例如两条车流交叉时发生迎面碰撞、拥堵时的连锁反应事故),其故障可能导致交通瘫痪、紧急服务(如救护车)受阻,或繁忙路口事故可能性增加,此类

故障对基础设施完整性(信号、路面、车辆等的损坏)和自然人的健康与安全(死亡和伤害)均构成直接和即时的风险。

**b) 不属于道路交通高风险用例范围的人工智能系统实际示例**

——基于实时数据收集的 AI 交通流量优化系统。此类系统是交通数据分析平台,为流量优化功能实现智能分析,但不直接触发可能影响安全的交通管理变化;它不直接保护安全或物理完整性。这些系统提供洞见,但不直接保护物理完整性。交通系统没有它也能运行。——用于预测性维护的人工智能系统,作为一系列安全措施的一部分,能够对基础设施维护进行更准确的预测。此类人工智能系统只是帮助防止故障;它不是安全组件,系统的故障不会危及安全,因为系统没有它也能运行,它只是诸多安全保障中一项预防性质的措施,而非系统安全运行所必需。

### 分节:关键基础设施中的供水用例

#### ¶197

根据上文第 3.2.1.ii 节介绍的方法,“预期用于供水管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(6) 和 (7) 条所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括:——饮用水供应和饮用水分配,不包括供人消费用水的分配,前提是该服务不是分销其他商品和货物的分销商一般活动中非基本组成部分的服务(供人消费用水的供应商和分销商)。——废水收集、处理和处置,不包括不属于企业一般活动基本组成部分的城市废水、生活污水或工业废水的收集、处置或处理(收集、处置或处理城市废水、生活污水和工业废水的企业)。

#### ¶198

因此,预期用于供水管理和运营中的人工智能系统,只有在其预期由成员国根据《CER 指令》认定(identified)为关键实体的水务实体使用时,才应被归类为高风险。

**a) 属于供水高风险用例范围的人工智能系统实际示例**

——预期用作水压监测系统中压力传感器的人工智能系统。此类人工智能系统符合“安全组件”的定义,且预期用于饮用水分配,这属于供水用例的范围(序言第 55 段)。——预期用于预测影响饮用水的污水系统溢流的人工智能系统。此类人工智能系统符合“安全组件”的定义,且预期用于饮用水分配,这属于供水用例的范围。

### 分节:关键基础设施中的供气用例

#### ¶199

根据上文第 3.2.1.ii 节介绍的方法,“预期用于供气管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(1)(d) 条所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括28:——供气(供应企业);——配气(配气系统运营商);——输气(输气系统运营商);——储气(储气系统运营商);——液化天然气(LNG)系统的运营(LNG 系统运营商);——天然气生产(天然气企业);——天然气采购(天然气企业);——天然气的精炼和处理(天然气精炼和处理设施运营商)。

#### ¶200

用于供气管理和运营中的人工智能系统,如果预期由成员国根据《CER 指令》认定(identified)为关键实体的燃气实体(即供气企业、配电、输配或储气系统运营商、LNG 系统运营商、天然气企业、天然气精炼和处理设施运营商)使用,则应被视为高风险。

**a) 不属于供气高风险用例范围的人工智能系统实际示例**

用作天然气管道监测预测性维护工具的人工智能系统,通过分析运营数据预测维护需求。此类人工智能系统不直接控制安全功能,现有安全系统仍独立运行。

28 供气用例不包括《CER 指令》附件三第 1c 点所定义的石油子部门(石油输送管道运营商;石油生产、精炼和处理设施、储存和输送运营商;理事会第 2009/119/EC 号指令第 2 条第 (f) 点所定义的中共储备实体)。

### 分节:关键基础设施中的供热用例

#### ¶201

根据上文第 3.2.1.ii 节介绍的方法,“预期用于供热管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(1) 条第 (b) 点所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括提供区域供热或区域供冷(区域供热或区域供冷运营商)。

#### ¶202

用于供热管理和运营中的人工智能系统,如果预期由提供区域供热或区域供冷、且已被成员国根据《CER 指令》认定(identified)为关键实体的实体使用,则应被视为高风险。

**a) 不属于供热高风险用例范围的人工智能系统实际示例**

用于在热电厂(发电厂)中执行定期、预定义巡逻和检查点的自主移动机器人中的 AI。此类人工智能系统只能用于侦测目的。它不能采取预防措施、积极干预运营、纠正故障或避免危险。因此,它缺乏安全功能。

### 分节:关键基础设施中的供电用例

#### ¶203

根据上文第 3.2.1.ii 节介绍的方法,“预期用于供电管理和运营中的人工智能系统”指预期用于对提供《CER 授权条例》第 2(1) 条第 (a) 点所确立的基本服务所必需的资产、设施、设备、网络或系统或其一部分中的人工智能系统。这包括29:——供电(电力企业);——配电系统的运营、维护和发展(配电系统运营商);——输电系统的运营、维护和发展(输电系统运营商);——发电(生产商);——指定电力市场运营商服务(指定电力市场运营商);——需求响应(电力市场参与者);——电力聚合(电力市场参与者);

29 供电用例不包括《CER 指令》附件三第 1c 点所定义的氢能部门(氢能生产、储存和输送运营商)。

——储能(电力市场参与者)。

#### ¶204

用于供电管理和运营中的人工智能系统,如果预期由成员国根据《CER 指令》认定(identified)为关键实体的电力实体(即供电企业、配电或输电运营商、电力生产商、指定电力市场运营商或电力市场参与者)使用,则应被视为高风险。

#### ¶205

对于在核能生产中用作安全组件的人工智能系统,需要特别考虑。《CER 指令》序言第 5 段界定了能源部门内的范围,承认发电可能包括核电站的输电部分,但排除条约和联盟法律(包括有关核电的相关联盟法律文件)所涵盖的核特定要素。

#### ¶206

因此,在核能生产中用作安全组件的人工智能系统不属于附件三第 (2) 点所列高风险用例。核电站内部署的人工智能系统不受关键基础设施用例的涵盖,而核电站电力组件中用作安全组件的人工智能系统则可能被涵盖。

**a) 属于供电高风险用例范围的人工智能系统实际示例**

用于物理周界防护的监视和保护(如用于直接保护基础设施物理完整性的摄像头系统、雷达系统和无人机控制系统)中的人工智能系统。用于在运行电网时侦测数据模式异常、以监测和支持与关键功能(如电力负荷分配、电网稳定性或停机程序)相关的决策的人工智能系统。

**b) 不属于供电高风险用例范围的人工智能系统实际示例**

——通过预测能源需求进行电网优化的人工智能系统。核心安全功能由其他系统分别处理,因此该系统不能被视为具有直接安全功能。——用于能源电网网络网络安全监测的人工智能系统。此类系统预期仅用于网络安全目的。它持续监测网络流量、侦测异常模式,并在整个电网通信网络中识别潜在的网络安全威胁。它分析数据流、识别可疑活动,并提醒安全人员注意潜在的入侵或恶意软件。它独立于直接控制物理电网运行的运营技术系统运行。——用作电表安装质量保证的人工智能系统。此类人工智能系统分析已安装电表的图像。系统输出提供给人工

工作人员并附有关于错误和改进的建议。它没有直接安全功能。——用作事件侦测(如预防性停电预防)的人工智能系统。其输出是侦测异常并预测即将发生的停电或事件。为防止其发生,人工智能系统作为一系列安全措施的一部分,向电网控制中心发送所侦测或预见事件的警告。电网控制中心操作员随后可以采取预防措施,如切换负荷以防止停电。此类人工智能系统因缺乏直接安全功能而不被视为高风险,因为它只是预防性质的一项措施,并非系统安全运行所必需。它本身不采取行动,而只是丰富电网控制中心的决策选项。即使系统错误地指示即将发生停电或事件,也不会造成停电。——用于侦测和分析电网运行提供数据中异常的人工智能系统,其输出例如作为未来改进电网运行的基础。用于在运行电网时侦测数据模式异常以便人工操作员检查的人工智能系统,其存在是为了丰富决策过程。它缺乏直接安全功能。——作为助手提供建议、预测输电、区域或地方层面能源消耗的人工智能系统。此类人工智能系统缺乏直接安全功能。——由人工工作人员监督的 AI 系统,对电网失衡作出预测,例如 15 分钟间隔。这些预测支持运营规划,但也直接影响市场参与者。AI 系统的故障可能误导外部和内部参与者,可能导致次优调度或对冲策略。这可能影响电网稳定性,进而可能导致供电故障。由于系统与潜在损害之间缺乏直接联系,这不会被归类为高风险系统。

## 领域 3——教育与职业培训(附件三(3))

#### ¶207

《人工智能法》承认预期用于教育和职业培训领域的人工智能系统具有潜在的高风险性质。虽然在此领域使用的人工智能系统可能促进高质量的教育和培训,但某些人工智能系统可能对受其影响的个人(如学生或学徒)的健康、安全或基本权利产生负面影响,因为它们可能影响一个人的教育和职业生涯,进而影响其谋生能力30。如果设计和使用不当,此类系统可能特别具有侵扰性,并可能侵犯受教育和培训的权利以及不受歧视的权利,并使历史上的歧视模式(例如针对女性、某些年龄段人群、残疾人或某些种族或族裔出身或性取向的人)长期存在。

#### ¶208

基于《欧洲联盟运行条约》第 114 条的《人工智能法》,为高风险人工智能系统的投放市场、投入使用和使用建立了统一的框架,确保联盟

30 《人工智能法》序言第 56 段。

对此类系统采取一致的方法。因此,成员国根据《欧洲联盟运行条约》第 165 条在教育领域的自主权,不影响根据附件三第 3 点将预期用于教育和职业培训领域的人工智能系统归类为高风险,也不影响《人工智能法》规定的高风险人工智能系统义务适用于该系统。

### 分节:用例概述与横向问题

#### ¶209

附件三第 3 点将预期用于教育和职业培训领域的四个 AI 系统用例列为高风险,即:(a) 预期用于确定各级教育和职业培训机构或项目的准入或录取、或将自然人分配到其中的人工智能系统;(b) 预期用于评估自然人学习成果的人工智能系统;(c) 预期用于在各级教育和职业培训机构背景下或内部评估个人将接受或能够获得的教育适当水平的人工智能系统;以及 (d) 预期用于在各级教育和职业培训机构背景下或内部监测和侦测学生在考试期间被禁止行为的人工智能系统。

**_i. “教育和职业培训机构”的概念_**

#### ¶210

人工智能系统只有在预期用于任何级别的教育和职业培训机构背景下或内部时,才会根据附件三第 3 点被归类为高风险。对“教育和职业培训机构”的提及与“所有级别”的提及相结合,应从广义上理解,以涵盖各级正规和非正规教育,包括幼儿、小学、中学、高等教育和职业教育与培训,以及成人教育。

#### ¶211

正如《关于禁止人工智能实践的指南》31 所解释的,《人工智能法》中对“教育机构”的提及是宽泛的,涵盖公立和私立机构,对学生的类型或年龄、或具体环境(在线、面对面、混合模式等)没有限制。教育机构通常由相关国家教育主管机关或同等机关认证或认可,并且可以提供证书(以参与作为获得证书的前提条件)。

#### ¶212

这不仅包括正规教育和职业培训机构,还包括非正规机构,如成人教育和继续教育机构,这些机构可能提供个性化学习和技能发展机会,并可能在培训或课程完成后提供证书。

#### ¶213

特别是,正规教育指从小学到高等教育的结构化教育体系,也可能包括技术和专业培训的专门项目。非正规教育指正规教育课程之外的任何有意的、自愿的和有计划

31 第 255 段,欧盟委员会《关于禁止人工智能实践的指南》,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(《人工智能法》)。

的个人和社会教育项目,旨在传授和实践价值观,并发展广泛的技能和能力。职业教育与培训在几个欧盟教育体系中是正规教育的组成部分。

#### ¶214

属于附件三第 3 点所列某一用例范围的人工智能系统,是那些预期在各级教育和职业培训机构背景下或内部使用的系统。此类系统主要影响参与学习的人,如学生或学徒。如果人工智能系统在教育或职业培训机构的背景下使用,但主要针对教育工作者和培训人员的培训(包括教师和学术人员),则该系统不属于附件三第 3 点所列用例的范围,尽管它可能属于附件三第 4 点所列的某一就业用例。

#### ¶215

属于附件三第 3 点所列用例范围的人工智能系统通常涉及个人数据的自动化处理,以评估自然人的个人方面,特别是分析或预测与该人学术或职业培训路径相关的方面。此类系统通常会对自然人执行画像,并可能导致 GDPR 第 22 条含义内的自动化决策。即使系统满足《人工智能法》第 6(3) 条所列过滤器机制的条件,也应始终被归类为高风险。

**_ii. 与禁止实践及附件三第 1(c) 点用例的相互作用_**

#### ¶216

《人工智能法》第 5(1)(f) 条禁止在教育机构领域投放市场、为此特定目的投入使用或使用推断自然人情绪的人工智能系统,除非该系统的使用预期出于医疗或安全原因而投放市场或投入使用。如果在教育领域推断自然人情绪的人工智能系统不属于该禁止的范围,它仍可能被归类为高风险,无论是因其属于附件三第 3 点所列某一用例的范围,还是属于附件三第 1(c) 点所列用例的范围。

### 分节:第 3(a) 点:预期用于确定各级教育和职业培训机构准入或录取、或将自然人分配到其中的 AI 系统

#### ¶217

附件三第 3(a) 点将预期用于确定各级教育和职业培训机构准入或录取、或将自然人分配到其中的人工智能系统归类为高风险。在此语境下,“准入、录取或分配”指确定一个人是否可以注册、进入或被安排到特定课程、项目或学习路径的过程。这些系统的输出可能影响一个人的学习和教育路径以及受教育权。

#### ¶218

通常属于此用例的人工智能系统是那些预期用于评估申请以确定特定自然人在各级对特定教育机构的准入、处理对其申请的评估或协助此类录取决定(如学生安置和分配)的系统。同样,将求职者或雇员与合适的职业培训项目匹配的职业培训分配系统,也应被视为确定职业培训机构的准入或录取(包括各级该机构内各项目的准入或录取),因此根据附件三第 3(a) 点被归类为高风险。考虑到对学习者表现或进展的评估可以独立于录取和分配过程进行,预期

用于此类评估的人工智能系统应被视为不属于此用例,尽管它们可能属于附件三第 3(b) 点所列用例。

#### ¶219

附件三第 3(a) 点所列用例还应理解为包括预期用于将学生或学徒分配到各级教育和职业培训机构(或其下属单位)内特定项目或课程的人工智能系统,因为其输出直接影响个人在该机构学习、培训或注册权利的切实行使。

**a) 属于第 3(a) 点高风险用例范围的人工智能系统实际示例**

——预期用于审查和评估学生申请、成绩单和考试成绩以确定教育机构录取资格的自动化录取系统。这包括评估潜在学生申请并确定其录取资格的系统,因为系统的输出将直接影响申请人学习、培训或在该机构注册的权利。例如,当系统的评估和建议有可能影响决策过程、决定录取决定的结果时,即为如此。在系统不执行画像的情况下,《人工智能法》第 6(3) 条的过滤器机制可以适用,例如,如果系统仅预期执行教育机构对资格评估的准备性任务(第 6(3) 条 (d) 项)。——基于地点、可用性和申请人的其他个人特征作出决定的学校分配系统,预期由市政当局或地区机关使用,以自动化方式将学生(通常为小学或中学教育)分配到公立学校。此类系统通过收集结构化数据(如学生的家庭住址、学校学区的地理边界以及每所学校的可用容量)运作。它们还考虑兄弟姐妹就读情况和父母身份,以使家庭团聚或优化后勤效率,如最小化通勤距离。此类系统处理此类数据以将学生分配到学校,确保遵守分区规则并平衡各机构的招生人数。由于系统对数据的评估构成画像,《人工智能法》第 6(3) 条的过滤器机制不能适用于它。——地区就业机构预期用于处理申请人的先前教育记录、已完成的认证和标准化能力倾向测试结果,以将个人与可用的学徒项目相匹配的职业培训分配 AI 工具,应被归类为高风险。此类系统应用预定义的资格标准(如每个项目所需的最低资格和能力限制),将候选人分配到适当的培训名额。由于系统对数据的评估构成画像,《人工智能法》第 6(3) 条的过滤器机制不能适用于它。——自动化奖学金资格评估系统,预期用于基于个人财务状况(包括其收入、支出和家庭规模)的数据自动化确定个人是否具备奖学金项目资格的过程。此类系统评估个人获得经济援助的资格,从而确定其进入教育机构的准入。

**b) 不属于第 3(a) 点高风险用例范围的人工智能系统实际示例**

——使用 AI 的教育项目匹配平台,根据中学生指示的偏好和先前选择的兴趣主题,向其提供高等教育项目和最合适机构的推荐。此类系统的输出不决定教育项目的准入或录取,而是作为告知潜在学生的工具,以支持其自身关于是否申请特定机构或项目的决策过程。——大学提供的录取信息聊天机器人,用于回答潜在学生的问题,并为他们提供有关录取要求、申请流程和可用项目的信息。虽然此类聊天机器人与录取过程相关,但它们不对学生录取作出决定,也不提供可能影响录取决定的个性化推荐。此类聊天机器人的输出仅限于提供一般信息和指导,不可能实质性影响决策过程。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——教育机构预期用于处理申请的支持性 AI 系统,用于文件处理,如索引、搜索、文本和语音处理,以及随申请提供的文件的翻译,以及提取、转换和组织收集的数据为有意义和可用的格式。虽然此类系统支持评估过程,但它们对决策过程没有相关影响,因为它们仅预期用于便利申请人档案的组织和审查。因此,此类系统属于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的人工智能系统例外。——教育机构预期用于事后审查和分析录取委员会所作录取决定的 AI 录取决定审查工具。此类系统不预期用于取代或影响人工评估,而是提供质量控制检查,以确保录取过程按预期运作,并支持和改进未来的决策过程,而非作出决定。由于此类系统预期用于侦测决策模式和偏离,且不打算取代或影响先前已完成的人工评估,因此可以被认为属于《人工智能法》第 6(3)(c) 条所列预期侦测决策模式的人工智能系统例外。——教育机构预期用于在录取过程之前自动分类和整理收到的申请的 AI 录取数据整理器。此类系统预期用于从非结构化申请文件(如简历、求职信、成绩单)中提取相关信息并将其转换为结构化格式,将每份申请归入若干预定义类别之一(如本科生、研究生、国际学生),并识别和标记重复申请以防止不必要的处理。前提是系统不对教育机构的录取或准入作出任何决定,它可以被认为属于《人工智能法》第 6(3)(a) 条所列预期执行数据处理和组织狭窄程序性任务的系统例外。

### 分节:第 3(b) 点:预期用于评估学习成果的 AI 系统

#### ¶220

附件三第 3(b) 点将预期用于评估各级教育和职业培训机构学习成果的人工智能系统归类为高风险。学习成果的评估指根据相关标准(学习成果、验证)评估在正规和非正规教育、职业教育和培训环境中获得的知识、专门技能、信息、价值观、技能和能力的过程。

#### ¶221

该评估过程的结果通常涉及根据预定义的学习目标、标准、课程目标或能力框架对学习者成就进行量化或质性评估。由此产生的评估可用于多种目的,如颁发成绩或证书、授予揭示掌握差距的资格、为认证或资格决定提供信息,以及自动引导或个性化后续教学路径(如推荐补习模块、自适应学习资源或进阶到更高级内容)。

#### ¶222

鉴于总结性评估和形成性评估的不同目的及其对个人学习前景的影响,应对两者加以区分。总结性评估指对学习成果的评估,其在正式教学单元(课程、项目或教育路径,如学期、学段或学年)结束时产生成绩、评价或资格,并因此可能对学习者的教育轨迹产生重大影响,包括引导其学习过程。相比之下,形成性评估是一个持续的评估学习成果和进展的过程,其目标是改进表现,而不是产生最终成绩、评价或资格。在大多数情况下,形成性评估在整个学术项目或课程的实施阶段持续进行,不导致总结性评估。其主要目的是通过练习、提供反馈和指导等活动支持学习,帮助学生学习进步。

#### ¶223
考虑到对学生教育轨迹的影响,只有基于总结性评估作出影响教育和职业路径的最终决定的评估性人工智能系统才属于附件三第 3(b) 点。这意味着对学生教育路径有重大影响的人工智能系统(如确定学生最终成绩或计入最终评价或学业表现的中间成绩的 AI 评分系统)应被归类为高风险。这源于该条款中“评估学习成果”表述的使用。

#### ¶224

相反,作为持续教育过程一部分提供反馈和学习支持的人工智能系统不应被归类为高风险。此类别包括根据学生表现调整课程材料难度的自适应学习系统、为学生提供个性化反馈和指导的智能辅导系统,以及跟踪学生参与度和进展并向教师和教育工作者提供洞见的学习分析平台。此类系统通常不对影响个人教育路径作出最终决定,而是以持续的方式支持学习过程并向学生提供反馈。

#### ¶225

此外,学生自愿使用、而非其注册的教育或职业培训机构特别要求其使用的、支持非正规和非正式学习的人工智能系统,不应被归类为高风险。此类系统只有在导致获得相关公共机关认可的证书、认证或某种形式的验证时,才应被归类为高风险,因为此时它们将对学生的教育和职业轨迹产生影响,除非《人工智能法》第 6(3) 条的某一例外适用。

**a) 属于第 3(b) 点高风险用例范围的人工智能系统实际示例**

——预期用于评估学生作业(如计入最终评价的测试、测验和考试)的 AI 评分和反馈系统。此类人工智能系统通过分析作业结果并提议成绩,对学生的总结性评价产生影响。——预期用于通过在每个单元结束时生成报告(包括成绩、优势和劣势领域以及改进建议)向学生提供进展建议和反馈的 AI 个性化学习助手。虽然此类人工智能系统通过持续向学生提供反馈和指导以帮助其改进对课程材料的理解来支持形成性评估,但其输出也被教师用于在学期结束时告知学生成绩的决定,因此对总结性评价产生影响。

**b) 不属于第 3(b) 点高风险用例范围的人工智能系统实际示例**

——学生预期用于支持非正规和非正式学习的 AI 语言学习软件应用程序,提供即时反馈和对已识别错误的纠正,但不导致获得证书、认证或认可形式的验证。此类人工智能系统由学生自愿使用,而非教育机构要求使用。——预期用于支持神经多样性学生(如自闭症、阅读障碍和多动症)的 AI 神经多样性学习伴侣,其使用机器学习算法创建个性化的学习路径,通过提供实时反馈和对学习材料、节奏和格式的调整来满足每个学生的个人需求和学习风格,以帮助此类学生保持参与和积极性。例如,此类人工智能系统可以为阅读障碍学生提供文本转语音功能、字体大小和颜色调整以及多感官学习材料,以帮助该学生更好地理解和记忆信息。此类系统还可以提供额外时间完成作业、休息和减压练习等便利措施,以帮助有焦虑或感官处理问题的学生。此类系统的输出用于告知教师的教学并为神经多样性学生提供额外支持,但不预期用于确定成绩或评估学生学习。——预期通过分析学生语音并提供改进建议(如纠正语调、节奏和口音)向学生提供语言发音或流利度反馈的 AI 发音反馈工具。系统提供的

反馈被学生用于改进其发音技能;教育工作者不使用它来确定计入最终评价的成绩或评估语言熟练度。同样的示例可以适用于仅预期供学习者或学生使用的、提供阅读技能反馈的 AI 工具。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——预期用于检查教师准备的考试是否存在错误(如语法问题、措辞歧义或与评分标准不一致)并提出修订建议供教师考量的 AI 考试质量检查器。然而,由于人工智能系统不改变考试的核心内容,也不改变难度水平或问题背后的教育意图,且教师对考试内容的任何最终决定仍负责,因此人工智能系统的作用应被视为严格限于增强考试的清晰度和准确性,确保其无误并与预期的学习成果一致。因此,此类系统属于《人工智能法》第 6(3)(b) 条所列预期改进先前已完成的人工活动结果的系统例外,即通过细化考试准备工作的质量而不改变教师原始教育决定的实质或影响。——教育机构预期用于处理学期期间学生获得的评估和考试成绩相关数据、以确定学生年度学习成果最终成绩的 AI 成绩计算器。此类人工智能系统设计用于执行平均成绩的简单计算,考虑每次评估和测试的成绩和权重,并将系统输出作为一个表示平均成绩的数值,供教师用于告知其对学生的最终表现评价。因此,此类系统属于《人工智能法》第 6(3)(a) 条所列预期执行狭窄程序性任务的系统例外。——预期用于侦测决策模式或与先前决策模式的偏离、以识别教师所作评估决定中潜在不一致或异常的 AI 评估审查工具。此类人工智能系统分析教师随时间的评分模式,并标记任何与预期模式的偏离。例如,如果教师一直给完成某项作业的学生打高分,但突然给以相同方式完成同一作业的一组学生打低分,人工智能系统将把这一偏离标记为潜在异常。人工智能系统的输出随后由人工评估者审查,后者调查被标记的偏离并确定其是否有理由。人工评估者可以决定调整成绩或采取其他纠正措施,但人工智能系统的输出不用于自动更改评估决定。因此,此类系统属于《人工智能法》第 6(3)(c) 条所列预期侦测决策模式或与先前决策模式偏离的系统例外,因为它不打算取代或影响先前已完成的人工评估。

### 分节:第 3(c) 点:预期用于评估适当教育水平的 AI 系统

#### ¶226

附件三第 3(c) 点将预期用于在各级教育和职业培训机构背景下或内部评估个人将接受或能够获得的教育适当水平的人工智能系统归类为高风险。此类系统可以服务于两个主要目的。第一个是确定个人在持续学习路径中进展方面将接受的教育水平,如升入下一年级或进入更高水平的课程。第二个是评估个人将能够获得的教育水平,通过评估其在进入或开始某个项目之前的学习准备情况和资格。后一种评估通常通过分班测试或技能评估进行,用于确定适当的起始水平或特定教育或职业路径的资格。

#### ¶227

预期用于第一个目的的人工智能系统可以基于学生在特定学科领域(如数学或语言)当前的知识和技能水平,以这种方式确定他们下一步最适合的课程、项目或培训模块水平,从而支持个性化学习路径。此类系统还可以考虑学生可能拥有的任何特殊教育需求或才能,如阅读障碍或音乐方面的惊人才能,并为他们的教育提供个性化建议。例如,人工智能系统可以推荐在数学方面有特殊才能的学生学习微积分或数论高级课程,同时推荐阅读障碍学生在阅读和写作方面获得额外支持。

#### ¶228

预期用于第二个目的的人工智能系统可用于评估个人的技能、知识和能力,以确定最适合该人的教育或职业培训水平。通过分析学习者当前的能力——以及相关的进步潜力——系统可以推荐教育路径中的适当位置,并确定学生是否准备好进入下一阶段的学习。

#### ¶229

最终决策责任由教师以及教育和职业培训机构的责任工作人员承担,他们可以接受人工智能系统的建议,或基于其专业判断和对每个学生需求和能力的了解推翻这些建议。然而,如果设计和部署不当,此类系统可能将学生错误分类,对其学习机会和长期成果产生负面影响,这就是为什么它们应被归类为高风险。

**a) 属于第 3(c) 点高风险用例范围的人工智能系统实际示例**

——教育或职业培训机构预期用于确定新生最优课程水平的 AI 自适应分班工具。此类系统评估学生的能力,向教育工作者提出学生应处于初级、中级还是高级班的建议,或根据其技能决定其是否应升入高等教育或职业培训。——职业培训机构预期用于评估学习者将能够在特定职业项目中获得的教育水平的职业培训水平评估系统。此类系统可以使用分班测试和技能评估的组合来评估学习者在相关领域(如数学、物理和工程原理)的知识和技能,并确定其参加特定学习水平或课程的资格。

——预期用于将有特殊教育需求的学生分类到适当教育项目并推荐最适合每个学生的教育安置(包括所需支持水平)的特殊教育 AI 分类器。此类系统可以使用机器学习算法分析一系列数据,包括学生评估数据,如标准化测试(包括智商测试、成就测试和行为评估)的结果。它还可以考虑教师对学生行为、社交技能和学业表现的反馈,以及心理评估,包括心理学家关于学生认知能力、情商和学习风格的报告,以及学生的病史,包括任何已诊断状况或残疾的信息。

**b) 不属于第 3(c) 点高风险用例范围的人工智能系统实际示例**

——学生的个性化教育建议:预期用于基于学生自己提供的信息(如兴趣和职业目标),为学生提供下一学年可能有兴趣申请的适当教育水平(如课程、项目或认证)个性化教育建议的人工智能系统。由于该系统不预期由教育机构使用,而仅预期帮助学生对其教育路径作出知情决定,因此不属于附件三第 3(c) 点所列用例的范围。——教育成就趋势分析:预期由教育机构、政策制定者和研究人员使用、从包括教育机构和政府数据库在内的各种来源分析学生完成中等教育后所获得教育水平趋势,并识别学生正在追求的教育项目类型和教育水平模式的人工智能系统。由于系统的输出不用于就个别学生的教育安置或机会作出决定,而是提供对教育格局的更广泛理解,因此它不属于附件三第 3(c) 点所列用例的范围。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——预期用于帮助教育工作者准备评估学生对特定教育或培训水平准备情况、基于学生先前教育和工作经验的数据并生成一组教育工作者可用于评估学生准备情况的问题和主题的 AI 预评估工具,不应被视为高风险。由于系统的输出被教育工作者用于告知其评估方法,但其本身不对个人将接受或能够获得的教育适当水平作出任何决定,因此应被认为属于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的系统例外。——改进高级课程安置建议:教育或职业培训机构预期用于分析导师基于学徒表现记录和学习成果数据对学徒提出追求某些高级课程建议的结果,并就改进建议方法提供建议(如识别可以

考虑的其他因素,或建议可以采取的替代行动方案)的人工智能系统。由于系统的输出被机构用于细化其建议并改进决策过程,但不对学徒的教育安置或机会作出任何决定,因此应被认为属于《人工智能法》第 6(3)(b) 条所列预期改进先前已完成的人工活动结果的系统例外。

### 分节:第 3(d) 点:预期用于监测和侦测学生被禁止行为的 AI 系统

#### ¶230

附件三第 3(d) 点将预期用于在各级教育和职业培训机构背景下或内部监测和侦测学生在考试期间被禁止行为的人工智能系统归类为高风险。

#### ¶231

此用例涵盖预期用于在考试期间监测和识别学生被禁止行为的 AI 系统,包括现场和远程或在线、同步和异步方式。

#### ¶232

在此语境下,学生被禁止行为应被理解为学生损害测试过程完整性的任何行为或活动。这可能包括更广泛的行为,如抄袭、串通和篡改考试材料。属于此用例的 AI 系统通常用于防止在测试环境中损害学术诚信的形式(如作弊)。它们可以涵盖一系列 AI 技术,包括面部识别、击键分析、屏幕监测、音频和视频录制。

#### ¶233

人工智能系统必须同时监测和侦测被禁止行为。监测和侦测是相互关联的过程,其中监测通常是侦测的前提。

#### ¶234

附件三第 3(d) 点中对考试的提及意味着被禁止行为必须发生在导致学生评价或成绩的过程中,即在总结性评估的背景下。评估监测和侦测是否发生在考试期间的关键要素是系统预期使用的时间和背景。系统必须预期由各级教育和职业培训机构在受控测试情形(如笔试、口试或其他有监督的实时评估)期间使用。

#### ¶235

检查作业、论文或其他作业是否存在抄袭或不当合作等活动不属于此用例的范围,因为它们通常发生在无监督环境中,在作业已完成并提交之后,且不涉及测试过程本身的实时监测或实时行为分析。

**a) 属于第 3(d) 点高风险用例范围的人工智能系统实际示例**

——教育或职业培训机构预期用于在认证考试期间通过结合使用面部识别、击键分析和屏幕监测来监测应试者被禁止行为(如在考试期间访问未授权材料或与他人通信)的 AI 考试监考系统。

——教育机构预期使用机器学习算法的实时行为分析系统,分析学生行为并侦测在线考试期间可能表明作弊的模式。——教育机构预期用于通过面部识别和物体侦测监测和侦测现场考试期间被禁止行为(如使用未授权材料或设备)的 AI 考试监测系统。

**b) 不属于第 3(d) 点高风险用例范围的人工智能系统实际示例**

——教育机构预期用于对照现有内容数据库检查作业或课外作业抄袭情况的人工智能系统。此类系统不预期用于监测和侦测考试期间被禁止行为,而是分析在无监督环境中产生的已提交作业,且不涉及测试过程中的实时监测或实时行为分析。——教育机构预期用于监测和侦测学生在食堂、走廊和其他非考试环境中的行为并提醒工作人员注意潜在的欺凌、骚扰或其他不良行为事件的学生非学术行为 AI 系统。此类系统不用于监测和侦测考试期间被禁止行为,而是用于非学术目的,如维持安全有序的学校环境,且不涉及对学生学业表现的评估或评定。然而,如果该系统满足远程生物识别系统的定义,它可以根据附件三第 1 点被归类为高风险。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——AI 确认可疑行为:在在线考试期间,人工监考员观察到学生表现出可疑行为(如持续将视线移开屏幕或以可能表明其正在复制隐藏来源的打字模式打字),并使用人工智能系统确认或排除其怀疑。该人工智能系统基于已知作弊行为数据集进行训练,可以识别表明学术不端的模式。人工智能系统分析学生数据并向人工监考员提供报告,表明该学生的行为与作弊一致。报告突出显示人工智能系统识别的特定模式和异常,如异常击键模式或过度鼠标移动。人工监考员审查报告并可以决定进一步调查并采取适当行动,如提醒学生的教师或启动正式调查。此类系统属于《人工智能法》第 6(3)(b) 条所列预期改进先前已完成的人工活动结果的系统例外。——身份验证:预期在考试期间使用、自动处理学生身份验证文件(如身份证件或面部识别扫描等生物识别数据)以确认参加考试的人与注册候选人相符的人工智能系统。由于该系统有助于简化身份验证,但不直接决定学生是否可以继续参加考试或在虚报身份的情况下是否应适用任何制裁——这些

决定由人工监考员作出——因此它应属于《人工智能法》第 6(3)(a) 条所列预期执行程序性任务的系统例外。

## 领域 4——就业、劳动者管理、自营职业的准入(附件三(4))

#### ¶236

附件三第 4 点将预期用于就业、劳动者管理和自营职业准入的两个 AI 系统用例列为高风险。这些包括:(a) 预期用于招聘或选拔自然人的人工智能系统,特别是:——投放定向招聘广告;——分析和筛选求职申请;以及——评估候选人。(b) 预期用于以下目的的人工智能系统:——作出影响以下事项的决定:• 工作相关关系的条款;• 晋升;或• 工作相关合同关系的终止。——基于个人行为或个人特征或特质分配任务;或——监测和评估工作相关关系中人员的表现和行为。

#### ¶237

序言第 44 段澄清,在情绪识别的具体背景下(特别是在工作场所),人工智能系统的使用可能加剧结构性权力失衡32。此类失衡涉及工人和求职者相对于雇主的议价地位不平等。序言第 57 段将就业领域的人工智能系统归类为高风险的正当性建立在以下理由上:此类系统可能“对未来职业前景、这些人的生计和工人权利产生明显影响”。该序言还明确,工作相关合同关系应有意义地包括雇员和通过平台提供服务的人员。此外,同一序言指出,“此类系统可能使历史上的歧视模式长期存在,例如针对女性、某些年龄段人群、残疾人或某些种族或族裔出身或性取向的人(……),并可能损害他们的数据保护和隐私基本权利”。

### 分节:横向问题

**_i. 个人范围_**

32 该序言特别针对预期用于侦测与工作场所和教育相关情境中个人情绪状态的人工智能系统。然而,其逻辑可以转用于属于《人工智能法》附件三第 4 点范围的更广泛高风险人工智能系统。

#### ¶238

附件三第 4 点所列用例的个人范围涵盖“就业、劳动者管理和自营职业的准入”33。《人工智能法》本身未定义这些概念,但要求对它们有共同的理解34。

#### ¶239

欧盟法院(CJEU)判例法就《欧洲联盟运行条约》第 45 条发展了“工人”的自主概念,可以从中借鉴来定义就业的概念。根据该判例法,成为工人的基本特征是在一定时期内为他人并在其指导下提供服务以换取报酬35。然而,“工人”的概念必须被视为更广泛的“就业、劳动者管理和自营职业的准入”表述的一个要素,且序言第 57 段中对“工作相关合同关系”的提及不应被解读为仅限于正式雇佣合同,而应解读为涵盖构成工作、“就业”和一般自营活动(例如,因监管要求或选择而自营、但形式上融入为其提供服务的组织中的自然人)的更广泛安排。

#### ¶240

“劳动者管理”的概念承认 AI 驱动的劳动者管理是工作场所中日益普遍的特征。将劳动者管理纳入附件三所列高风险用例的范围,使《人工智能法》能够解决招聘和就业阶段对基本权利的损害风险。《人工智能法》中关于高风险人工智能系统的规定,结合第 5(1)(f) 条关于工作场所情绪识别的禁止,为规范自动化管理任务的 AI 系统的发展建立了全面的法律框架,并为雇主使用 AI 系统时工人权利的保护规定了最低标准36。诸如招聘流程、工作分配、监测和工人评估等管理职能,以及关于晋升、报酬或终止的决定,均属于附件三第 4 点所列用例的范围。

#### ¶241

在附件三第 4 点中加入“自营职业的准入”旨在涵盖自雇个人,如作为独立承包商、服务提供者工作或从事独立职业的人,其依靠获得合同或任务来维持生计。虽然序言第 57 段承认工作相关合同关系也涉及通过平台提供服务的人员37,但“自营职业的准入”的概念比平台工作更广泛,涵盖其他形式的自营活动,如处境

33 在具体确定范围内的用例时,序言第 57 段将是支持解释的重要工具。
34 并非所有用于选拔、招聘或工作场所的人工智能系统都被归类为高风险。只有预期在《人工智能法》附件三第 4 点 a) 和 b) 款所述用例(其范围在下面进一步详述)内使用且未根据过滤器获得豁免的人工智能系统才属于。
35 第 66/85 号案,Lawrie-Blum,EU:C:1986:284;第 C-256/01 号案,Allonby,EU:C:2004:18;以及第 C-229/14 号案,Balkaya,EU:C:2015:455。
36 根据第 2(11) 条,《人工智能法》“不阻止联盟或成员国维持或引入在雇主使用 AI 系统方面对保护工人权利更为有利的法律、法规或行政规定,也不阻止鼓励或允许适用对工人更为有利的集体协议”。
37 欧洲议会和理事会 2024 年 10 月 23 日关于改善平台工作工作条件的第 (EU) 2024/2831 号指令(“《平台工作指令》”),官方公报 L 2024/2831,2024 年 11 月 11 日,第 2(1)(c) 条将平台工人定义为“执行平台工作的任何自然人,无论其雇佣关系的法律性质如何”。

与工人相当38 的个体自雇者。在这方面,欧盟既有规范(acquis)在获得职业活动机会方面为自雇者提供了一些保护39。因此,只要人工智能系统对自由职业者、独立专业人士、服务提供者和平台工人获得工作机会的机会起中介或限定作用,无论其合同身份如何,他们都属于附件三第 4 点所列用例的个人范围。委员会《关于禁止人工智能实践的指南》40 进一步澄清,“工作场所”的概念必须作广义解释,涵盖“任何特定的物理或虚拟空间,自然人(例如自雇情况下)在其中从事由其雇主或其所隶属组织分配的任务和责任”。

**_ii. 与禁止实践的相互作用_**

#### ¶242

如果预期用于就业领域的人工智能系统属于《人工智能法》第 5 条所列禁止之一,则其投放市场、投入使用和使用本身即属违法,无论其提供者或部署者采取任何保障措施。相反,属于附件三第 4 点所列某一用例的人工智能系统被归类为“高风险”,并须承担更严格的合规义务。如果人工智能系统同时属于这两项规定,则禁止将优先,系统仍属违法。在此语境下,特别相关的是考虑关于在工作场所推断情绪的人工智能系统的禁止,此类系统根据《人工智能法》第 5(1)(f) 条被禁止。关于受《人工智能法》第 5(1)(f) 条禁止涵盖的人工智能系统示例,请参阅《关于禁止人工智能实践的指南》41。

### 分节:第 4(a) 点:预期用于招聘或选拔自然人的 AI 系统

38 欧盟委员会公报(2022/C 374/02),《关于欧盟竞争法适用于个体自雇者工作条件集体协议的指南》,官方公报 C 374,2022 年 9 月 30 日,第 2-13 页,将个体自雇者定义为“没有雇佣合同或不在雇佣关系中、主要依靠自己的个人劳动提供相关服务”的人。该指南还提到处于与工人相当境况的个体自雇者类别。
39 可见于关于在自雇身份活动中男女平等待遇原则适用的第 2010/41/EU 号指令。此外,在此语境下,必须提及第 2000/43/EC 号指令和第 2000/78/EC 号指令,它们涵盖在免受基于种族或族裔出身、宗教或信仰、残疾、年龄和性取向的歧视方面获得自营职业的准入。参见欧洲议会和理事会 2010 年 7 月 7 日关于在自雇身份活动中男女平等待遇原则适用并废除理事会第 86/613/EEC 号指令的第 2010/41/EU 号指令,官方公报 L 180,2010 年 7 月 15 日,第 1-6 页;理事会 2000 年 6 月 29 日关于不论种族或族裔出身实现平等待遇原则的第 2000/43/EC 号指令,官方公报 L 180,2000 年 7 月 19 日,第 22-26 页;以及理事会 2000 年 11 月 27 日关于建立就业和职业平等待遇一般框架的第 2000/78/EC 号指令,官方公报 L 303,2000 年 12 月 2 日,第 16-22 页。
40 欧盟委员会《关于禁止人工智能实践的指南》,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(《人工智能法》),文本与欧洲经济区相关(官方公报 L,2024/1689)。
41 关于不属于第 5(1)(f) 条禁止范围的情绪识别 AI 系统,请参阅本指南中对附件三(1)(c) 的分析。

#### ¶243

附件三第 4(a) 点将预期用于招聘或选拔自然人、特别是用于投放定向招聘广告、分析和筛选求职申请以及评估候选人的人工智能系统归类为高风险。

#### ¶244

将预期用于招聘和选拔的人工智能系统归类为高风险,其正当性在于这些过程构成进入劳动力市场的主要入口。在此阶段作出的决定可以限定个人的职业前景和谋生途径。同时,内部和外部招聘人员与候选人之间的结构性权力不对称,加上雇主掌握的有关候选人(以及自雇者的缔约方)、工作要求的信息量巨大,以及劳动力市场,共同造成了一种必须确保求职者权利得到保护的环境。

#### ¶245

人工智能系统要根据附件三第 4(a) 点被归类为高风险,其预期开展的活动应与招聘过程的实质相关或对其产生影响:涵盖准备步骤(专门广告、寻访、申请前筛选)和选拔过程(候选人的入围筛选、评分、排名或测试)。“招聘”和“选拔”的概念需要功能性解释,因为它们部分重叠但不相同。

**_i. “招聘”的概念_**

#### ¶246

招聘构成准备建立新的工作相关关系的过程,从识别和吸引潜在申请人开始,并在适用的情况下持续到合同订立。这包括早期寻访活动,包括投放定向招聘广告(见下文第 iii 点)、在数据库中识别潜在候选人,或在正式程序启动前采取的其他非正式方法42。人工智能系统也可以预期用于招聘,例如用于简历筛选、候选人寻源或申请人排名。

#### ¶247

人工智能系统还可以分析招聘数据,以根据技能和过往表现预测哪些候选人最有可能成功,或帮助生成职位描述。这些系统是否属于附件三第 4 点的范围,取决于系统是否真正属于招聘领域并以实质性影响职业前景或工人权利的方式运作。如果属于,则只要系统满足《人工智能法》第 6(3) 条的任何条件,即可被豁免于高风险分类。为评估这一点,关键是审查人工智能系统对潜在或实际候选人就业和职业机会的潜在影响,或歧视风险43。

42 这一理解与欧盟法院的判例法一致,后者确认欧盟平等待遇法在获得就业阶段即已适用。在第 C-54/07 号案 Centrum voor gelijkheid van kansen en voor racismebestrijding 诉 Firma Feryn NV,EU:C:2008:397,以及随后的第 C-507/18 号案 Associazione Avvocatura per i diritti LGBTI,EU:C:2019:922 中,法院认为雇主关于潜在雇员的歧视性陈述构成歧视,即使在不存在正式招聘程序的情况下也是如此。
43 例如,职位描述或广告可能对谁将在招聘程序中取得成功产生强烈影响,特别是如果它们规定了工作所需的资格和/或选拔标准。基于有偏数据(如过去的招聘模式)起草它们,可能增加对不利群体歧视的风险。

生成职位描述的人工智能系统 一种仅基于先前由人工招聘人员定义的任务清单和必要资格技能组合生成职位描述的人工智能系统。此类 AI 工具如果其预期目的包括以影响申请人前景的方式在招聘过程中发挥作用,则可以属于附件三第 4 点的高风险用例。然而,上述特定人工智能系统应被视为执行狭窄的程序性任务(第 6(3)(a) 条),因为此特定用例仅构成有限风险,且不会实质性地影响申请过程,因此应被豁免于高风险分类。相反,同类型但由人工智能系统本身基于职位的高层描述生成必要资格和技能、或具有额外功能使其能够通过对照其创建的职位描述评估候选人简历并据此提出适格性建议从而实质性影响申请过程的人工智能系统,不能被视为属于过滤器范围,应被归类为高风险。

#### ¶248

招聘的概念包括入职流程,其中执行此类流程的人工智能系统的结果可能影响获得工作的机会,特别是在入职构成招聘过程的相关方面而非其结束后的第一步时(例如雇主对初步录用工人进行核查时)。当工人被认为已获录用时,招聘即告结束,解雇程序必须通过为此设立的特定渠道进行。

**_ii. “选拔”的概念_**

#### ¶249

选拔有两个不同的含义。一方面,它反映了附件三第 4 点的高风险领域也涵盖“自营职业的准入”这一事实。虽然此类过程可能不是严格意义上的“招聘”,但自雇的自然人在被签约之前也可能经历选拔过程。因此,缔约方使用于选拔自雇人员的人工智能系统应属于附件三第 4(a) 点的范围。另一方面,“选拔”还指招聘中评估、筛选和选择候选人以晋升或录用的特定阶段。它涵盖申请分析、自动入围筛选、评分、排名或分配工作适格性预测分数等活动。

**_iii. 投放定向招聘广告_**

#### ¶250

虽然附件三第 4(a) 点列举了“分析和筛选求职申请”和“评估候选人”等选拔示例,但该清单不应被视为穷尽性的44。在附件三第 4(a) 点中明确列入定向招聘广告,是因为经过算法定制以触达特定人群的广告投放决定

44 第 4(a) 点的适用受到人工智能系统预期目的的限制,因为预期用于选择或评估投标书或对招标书回复的人工智能系统,不会仅仅因为理论上能够选择或评估来自自雇个体经营者的报价而被归类为高风险。然而,要脱离高风险分类的范围,人工智能系统的使用不得导致对自雇人员(而非其报价)的事实上的选择(或排除),也不得导致对自雇人员(而非其报价)的评估。

了谁会知晓特定空缺职位并受到鼓励申请。如果投放定向招聘广告的人工智能系统依赖画像,则鉴于《人工智能法》第 6(3) 条最后分段将基于画像的人工智能系统排除出该条款过滤器机制的适用范围,它应始终被视为高风险。即使此类人工智能系统不涉及画像,如果它有意义地限定获得就业机会的途径或可能导致歧视风险,该系统也应被视为高风险。

#### ¶251
招聘广告必须被理解为雇主正在为具体空缺职位寻找候选人的积极表示。与公司相关的雇主品牌宣传或一般性广告,如果实际上与空缺职位无关,则不属于附件三第 4(a) 点所列用例的范围。

#### ¶252

此外,如果广告展示对象的个性化直接源于职位描述内在要求的不带歧视的、客观的和合理的标准45,则可以将其排除出“定向招聘广告”的范围。同样,仅基于情境要素(情境定向,contextual targeting)(如广告投放位置(例如网站)的内容)且与特定自然人或自然人群体不直接相关的 AI 系统投放招聘广告,也应被视为不属于附件三第 4(a) 点所列用例的范围。在这种情况下,该位置的目标受众将与广告主为填补空缺职位而试图触达的相关受众相同。然而,招聘广告仍可展示给访问该位置的任何人(即不存在排除)。

**_iv. 分析和筛选求职申请_**

#### ¶253

附件三第 4(a) 点中使用的“分析和筛选求职申请”应作广义理解,而不是将用例限制于始终同时执行这两种功能的 AI 系统。需要功能性解释:如果人工智能系统仅以描述性方式分析申请(如转换文件格式或将学位归入标准类别而不施加评估权重),则它可以被视为执行《人工智能法》第 6(3)(d) 条含义内的准备性任务。相反,以可能导致申请人在获得某些工作机会方面受到限制的方式分析求职申请的人工智能系统,例如通过生成适格性分数、评估候选人档案或经验与选拔标准或职位描述的匹配度,或生成限定入围筛选的能力档案,则属于附件三第 4(a) 点所列高风险用例的范围。在这种情况下,“分析”和“筛选”构成一个连续体的一部分:分析

45 如果要求源于真实的、决定性的职业要求,缺少该要求可能使候选人无法履行职位描述中所述职能,即为如此;而非当它属于一种偏好的特征或特定档案(虽然可取但与所需资格/技能没有直接和客观联系)时。在评估所述不带歧视的、客观的和合理的标准时,必须考虑欧盟非歧视既有规范,包括第 2000/78/EC 号指令和第 2000/43/EC 号指令第 4 条,以及欧洲议会和理事会 2006 年 7 月 5 日关于在就业和职业事项中实施男女机会平等和待遇平等原则(重订)的第 2006/54/EC 号指令第 14(2) 条,官方公报 L 204,2006 年 7 月 26 日,第 23-36 页。

影响进入后续阶段的情况事实上起着筛选的作用,因此属于附件三第 4(a) 点的范围。

**_v. 评估候选人_**

#### ¶254

附件三第 4(a) 点中使用的“评估候选人”也必须作广义理解。评估指对候选人(包括自雇者)适格性、优点或潜力的任何评定,无论是通过评分、排名、预测建模还是从数据输入得出的定性判断。该条款不要求人工智能系统进行的评估直接决定录用结果。只要它显著影响决策过程即可,例如通过制定入围名单、优先考虑某些申请人或在招聘或选拔过程中对评估进行评分,从而可能使某些候选人受益。仅呈现事实信息而不涉及评估权重的 AI 工具(如显示未经改动的就业历史的软件)如果不对适格性产生评估,则可以不在范围之内。

**a) 属于第 4(a) 点高风险用例范围的人工智能系统实际示例**

——预期用作自动化职位匹配和排名工具、通过分析和筛选候选人协助内部和外部招聘人员进行招聘和选拔过程的人工智能系统应被归类为高风险。此类系统处理结构化和非结构化数据(如简历、技能、教育、过往任职、认知、社交和情感能力),并将其与职位描述或历史招聘数据进行比较,以生成定量分数、排名(如“前 5 名候选人”)和/或定性匹配类别(如“高匹配”、“低匹配”)。这些输出用于为内部和外部招聘人员筛选候选人,他们保留审查、推翻或补充算法建议的自由裁量权。然而,系统的排名和分数是决策的主要输入。例如,它可能导致某些性别或残疾候选人排名过低或被排除。因此,它须根据附件三第 4(a) 点被归类为高风险。——预期用于跨在线平台进行候选人或承包商寻源的人工智能系统:招聘机构部署 AI 工具搜索社交媒体、专业网站或招聘板以及其自身的简历数据库。招聘人员输入预定义标准,如经验年限、技术技能或教育背景。系统处理非结构化和结构化数据,识别匹配的档案,并生成潜在候选人(自然人或承包商)的入围名单。此系统属于附件三第 4(a) 点用例的范围,因为它通过筛选和识别候选人直接且有意义地影响自然人的招聘和选拔。考虑到 AI 系统执行的任务及其对决策结果的实质性影响,第 6(3) 条的任何例外均不适用。——对自雇服务提供者进行排名的 AI 系统:帮助消费者寻找自雇服务提供者以协助其完成各种任务的在线平台,使用 AI 职位匹配工具对服务提供者进行排名,并确定向潜在消费者展示哪些服务提供者。

此系统属于附件三第 4(a) 点用例的范围,因为它通过筛选和排名潜在服务提供者直接且有意义地影响自然人的选拔。由于其输出塑造获得未来任务的机会,并可能对自雇者的职业生涯及其生计和权利产生决定性影响,第 6(3) 条的任何例外均不适用。——预期用于飞行员招聘的 AI 视觉监测系统:预期用于评估飞行员候选人视觉能力的 AI 系统。使用摄像头和传感器,系统监测相关指标(如视力敏锐度和反应速度),然后评估候选人是否达到客运航班所需阈值。这些结果直接决定候选人担任某些角色的资格。此系统属于附件三第 4(a) 点用例的范围,因为它用于招聘和选拔以评估候选人的适格性(即在本例中他们是否有资格执飞长途或短途航班)。考虑到 AI 系统执行的任务性质及其对决策结果的实质性影响,第 6(3) 条的任何克减均不适用。——预期用于在招聘过程中对申请人答案进行评分的人工智能系统:预期用于评估求职者在在线评估期间所给书面或口头回答46 的 AI 系统。系统基于语言和实质标准为每位申请人分配数值分数,然后生成用于确定谁被邀请进入面试阶段的排名。此系统属于附件三第 4(a) 点用例的范围,因为它用于招聘和选拔。AI 执行核心评估功能,并对招聘和选拔的实质产生有意义的影响。考虑到 AI 系统将实质性影响决策这一事实,第 6(3) 条的任何例外均不适用,特别是。——预期用于支持商业公司学徒招聘的人工智能系统:公司使用 AI 系统支持学徒招聘。该系统用于管理和处理学徒职位的申请,可能通过筛选简历、将申请人匹配到职位或基于预定义标准(如资格或年龄)生成入围名单。虽然学徒制包含培训要素,但 AI 在正式雇佣关系招聘背景下使用,因此属于附件三第 4(a) 点用例的范围。考虑到 AI 系统执行的任务性质,第 6(3) 条的任何例外均不适用。——预期用于在社交媒体上向特定用户投放定向招聘广告的人工智能系统:系统收集和分析广泛的数据导航模式数据

46 口头回答可以例如通过能够处理视频和音频并通过虚拟形象与申请人互动的 AI 系统来评估。

和用户特征。广告主提供定向标准,如年龄、教育和职业背景或行业,系统识别并优先考虑潜在受众。系统不限于匹配诸如候选人是否拥有某些专业认证或地理位置等要求。由于系统通过定向广告决定获得就业机会的途径,它属于附件三第 4(a) 点用例的范围。由于系统的运作可能实质性影响哪些候选人能够了解

职位空缺,从而影响其追求就业的能力,因此它不能受益于《人工智能法》第 6(3) 条的例外。——就业机构预期用于将候选人分配到空缺职位的人工智能系统:系统处理候选人数据,如简历中的信息,包括技能、教育经历和先前工作经验。在雇主方面,系统纳入工作要求、职业分类和劳动力市场数据。然后系统通过为特定空缺职位对候选人进行排名或向求职者建议合适的职位发布来生成建议。这些输出被机构的个案工作人员使用,他们可能高度依赖系统管理大量申请。由于系统在招聘和获得就业机会的背景下评估候选人,它属于附件三第 4(a) 点用例的范围。由于系统的建议直接决定哪些候选人被推荐给雇主以及哪些空缺职位展示给求职者,因此它不能受益于《人工智能法》第 6(3) 条的例外。——预期用于在招聘期间对求职者进行背景调查的人工智能系统:系统汇总和分析多种类型的数据。标准输入包括官方记录,如教育和专业认证、就业历史、社交网络历史,以及在法律允许的情况下,信用或财务数据。系统还纳入开源和在线信息。雇主或招聘人员以综合风险分数、“低”、“中”或“高”风险等类别、或突出显示潜在问题(如无法解释的就业空白、标记的财务负债或有争议的在线活动)的特定警报的形式收到输出。这些输出可以在大批量招聘中用作过滤器,被标记为“高风险”的候选人可能在个案工作人员审查其档案之前被降级或排除。虽然人工审查形式上属于该过程的一部分,但实践中系统的输出严重影响哪些候选人在招聘过程中晋级,从而实质性影响招聘过程的结果。由于系统实质性影响职业前景并在招聘范围内使用,它属于附件三第 4(a) 点用例的范围。由于系统执行画像,它不能受益于《人工智能法》第 6(3) 条的例外。

**b) 不属于第 4(a) 点高风险用例范围的人工智能系统实际示例**

——预期仅用于识别广告描述中不具包容性或歧视性措辞的人工智能系统:系统的识别逻辑基于由人类专家定义和审查的模式和术语,系统标记潜在有问题的短语。乍一看,系统在广义就业领域运作,但该职位广告筛选工具不预期用于招聘或选拔自然人,因此不属于附件三第 4(a) 点用例的范围。——预期用于雇主品牌广告、将公司呈现为有吸引力的工作场所的人工智能系统:广告突出工作场所文化、员工福利或职业发展机会等方面,但不与任何特定职位空缺挂钩,且不带歧视。系统可以使用网站流量、参与率或一般人口统计等指标优化广告投放以触达更广泛或更合适的

受众。然而,系统仅限于雇主品牌广告,不涉及特定职位空缺,因此不属于附件三第 4(a) 点用例的范围。——预期用于雇主声誉监测的人工智能系统:公司使用 AI 系统扫描在线平台和社交媒体,查找提及该雇主的评论或评价,目的是跟踪该组织作为工作场所的声誉,并识别潜在申请人如何看待公司的总体趋势。不对特定评论或特定用户(在收集时已匿名化)进行分析或跟踪。虽然该 AI 系统与招聘有更广泛的联系,因为雇主声誉可能影响公司对求职者的吸引力,但它不预期用于直接招聘或选拔自然人,因此不属于附件三第 4(a) 点用例的范围。——预期用于员工入职支持的人工智能系统:系统在入职过程中提供关于公司政策、培训计划以及常见问题的个性化信息。由于系统在录用后支持内部人力资源运营,不影响自然人的招聘或选拔,也不以任何方式影响他们获得工作的机会,因此系统不属于附件三第 4(a) 点用例的范围。如果系统影响工作相关关系的条款或为绩效评估提供信息或监测工人,则可能属于附件三第 4(b) 点用例的范围。——预期用于协助候选人针对特定空缺职位定制简历的人工智能系统:AI 系统分析候选人的简历以及候选人提供的空缺职位描述。基于这些要素,AI 工具建议对候选人简历进行修改,以提高被选中参加面试的可能性。这些建议仅与候选人共享。虽然 AI 系统可能间接影响候选人获得期望职位的成功率,但其使用由候选人发起和管理,在潜在雇主的控制之外,且发生在招聘和选拔过程之外。因此它不属于附件三第 4(a) 点用例的范围。——预期用于协助候选人寻找最佳可用职位的人工智能系统:候选人使用该系统分析职位空缺以及候选人提供的涵盖其技能、经验和职业期望的信息。基于这些要素,系统对职位空缺进行排名并推荐最适合候选人的职位。这些建议仅与候选人共享。虽然 AI 系统可能间接影响候选人获得期望职位的成功率,但其使用由候选人发起和管理,在潜在雇主的控制之外,且发生在招聘和选拔过程之外。因此它不属于附件三第 4(a) 点用例的范围。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——预期用于从官方登记册验证申请人专业认证的人工智能系统(例如每位候选人提供的律师会员编号与国家或地区律师协会维护的官方登记册核对)。系统输出是事实性的:“已确认”或“未确认”,任何问题都标记供人力资源或法律人员人工跟进。虽然系统在招聘期间应用,但它除确认认证外不筛选或评估候选人。由于系统在此二元事实确认之外不实质性塑造候选人选拔,并执行明确界定且有限的功能,它可以被视为执行狭窄的程序性任务。因此它属于《人工智能法》第 6(3)(a) 条所列例外。——预期用于识别和组织收到的空缺职位简历信息并将其组织在招聘人员可搜索的内部数据库中的 AI 系统。此类系统将用于明确界定且有限的功能,对申请人的招聘或选拔没有实质性影响。因此它属于《人工智能法》第 6(3)(d) 条所列预期执行狭窄程序性任务的 AI 系统例外。——预期用于安排面试的人工智能系统:系统用于自动化协调与求职者的面试预约。系统通过与公司的日历工具以及每位候选人提供的可用性偏好集成来运作。它基于双方可用性和后勤限制(如时区差异或每位招聘人员每天最大会议次数)提议面试时间段。它还在面试前几天向招聘人员和候选人发送提醒,提醒他们面试的日期、时间和地点。系统包括允许候选人指示特定无障碍需求的功能,如请求手语翻译、延长面试时长或替代沟通形式。这些偏好随后自动纳入日程安排过程,以确保作出适当安排。虽然日程安排系统在招聘背景下运作,但它不执行任何有助于候选人选拔的功能。由于系统的目的纯粹是后勤性质,且它不发起也不影响与就业相关的评估,因此它属于《人工智能法》第 6(3)(a) 条所列狭窄程序性任务例外。——预期用于核查招聘中人工模式的人工智能系统:AI 系统用于审计过去的招聘决定,通过分析匿名化招聘数据,包括简历分数、面试记录和录用结果。系统采用统计建模来侦测潜在偏见或不一致。它不参与正在进行的招聘,也不影响当前候选人评估,也不基于已识别或可识别的招聘人员或申请人个人特征进行评估或作出决定。其作用纯粹是回顾性的,基于匿名化信息,针对已完成的人工评估。虽然它属于附件三第 4(a) 点用例的范围,但该系统受益于《人工智能法》第 6(3)(c) 条所列针对预期侦测决策模式或与先前决策模式偏离而不取代或影响先前已完成的人工评估的 AI 系统的例外。——预期用于发送个性化确认收到申请的电子邮件(包含申请候选人的姓名和代称)的人工智能系统。此类系统不以任何方式影响候选人被选中担任该职位的可能性。它属于《人工智能法》第 6(3)(a) 条所列预期用于执行狭窄程序性任务的 AI 系统例外。

### 分节:第 4(b) 点:预期用于管理工作相关关系的 AI 系统

#### ¶255

附件三第 4(b) 点将预期用于作出影响工作相关关系条款、工作相关合同关系的晋升或终止决定、基于个人行为或个人特征或特质分配任务、或监测和评估此类关系中人员表现和行为的人工智能系统归类为高风险。

#### ¶256

这些 AI 系统涉及招聘和选拔过程之后发生的情形,涵盖在就业或合同(自雇者)关系存续期间(直至其终止)某些管理特权的行使和工作的组织。

#### ¶257

工作场所管理中的 AI 系统虽然能够提高效率和一致性,但也可能对工人的生计、未来职业前景和权利产生决定性影响,并可能导致歧视风险。根据《人工智能法》,使用 AI 管理或对劳动力作出决定本身并不违法,但其风险(特别是关于透明度、责任和结构性权力失衡)证明了根据附件三第 4(b) 点将某些 AI 系统归类为高风险系统并使其遵守《人工智能法》第三章规定的要求和义务的合理性47。

**_i. 预期用于作出影响工作相关关系条款决定的 AI 系统_**

#### ¶258

附件三第 4(b) 点中使用的“决定”一词应作功能性而非形式主义的理解(重实质轻形式)。在劳动关系语境中,决定是可归因于雇主的任何作为或不作为48,其对工人的合同地位或关系或其工作方式产生实质性影响。它不限于严格意义上的合同或关系的单方修改,而是扩展到对工人享有合同或关系项下基本权利和基本义务产生实质性影响的运营性决定。“预期用于作出决定”应理解为包括 AI 系统以自动化方式作出决定的情形,以及人工操作员正式作出决定但在很大程度上依赖 AI 系统输出的情形。

#### ¶259

关于附件三第 4(b) 点中使用的“工作相关关系的条款”,这些是劳动合同或关系的根本要素,如果它们不存在或不同,可能已导致一方或双方不同意合同或关系。这涵盖界定雇主和雇员相互权利义务平衡的那些条件,包括工作条件,如薪酬权利、工作时间安排、休假权利和休息时间。欧盟既有规范(包括《透明和可预测工作条件

47 《人工智能法》关于高风险 AI 系统分类的规则以及相关要求和义务直接且横向适用于运营者。然而,在不影响《人工智能法》规则的充分和统一适用的前提下,即使其 AI 系统属于过滤器范围,运营者也应意识到他们可能须承担来自其他欧盟法律文件(如 GDPR)的义务。例如,在平台工作的背景下,《平台工作指令》特别重要。
48 就业法中对“决定”的功能性解读不仅涵盖正式行为,还包括对工人地位产生约束效力的不作为。“不予晋升”是一个法律上相关的决定:见第 C-409/95 号案 Marschall,EU:C:1997:533;第 C-407/98 号案 Abrahamsson and Anderson 诉 Fogelqvist,EU:C:2000:367。

指令》)49 和成员国劳动法,在确定哪些要素属于“工作相关关系的条款”范围时应予以考虑。对此类条款的决定不限于严格意义上的合同或关系的单方修改,而是扩展到对工人享有上述根本要素所产生的权利义务产生实质性影响的决定(例如,拒绝休假请求或对常规工作时间作出重大改变)。

#### ¶260

“工作相关关系”包括雇佣关系,也包括自雇,包括通过平台提供服务的自雇人员的合同关系(见序言第 57 段)以及处境与工人相当的其他个体自雇者。

#### ¶261

雇主提供的培训权利是《透明和可预测工作条件指令》50 第 4(2) 条下“雇佣关系的基本方面”。然而,没有权利且没有法律或集体协议义务的可选或辅助培训,并不自动属于附件三第 4(b) 点用例的范围。就高风险分类而言,当完成培训或通过评估被设定为晋升或升迁的条件,或以其他方式与报酬、职级或持续受雇能力和保住工作相关联时,培训获得决定性的法律意义。在这种情况下,其相关性成为职业发展或持续受雇能力的决定因素。如果 AI 系统评估培训模块中的表现,并且此类评估纳入绩效评估、持续受雇能力或更高职级职位的资格,则应被认为属于附件三第 4(b) 点用例的范围。

#### ¶262

然而,同样重要的是认识到,并非每一项日常管理或运营组织调整都构成附件三第 4(b) 点含义内的“影响工作相关关系条款的决定”。要属于该用例,决定需要达到重要性的阈值。结合序言第 57 段对附件三第 4(b) 点的功能性解释不能扩大到包括所有日常或运营决定。虽然影响开展工作的实际条件,但未实质性改变基础合同或工作关系所产生的权利或义务的决定,不构成附件三第 4(b) 点含义内的“影响工作相关关系条款的决定”。这包括管理人员在“工作相关关系条款”限度内在日常基础上作出的个人运营决定,如分配办公室空间和在指定轮班背景下的休息或午餐时间(只要工人享有的总休息和午餐时间不发生变化)。

**_ii. 工作相关合同关系的晋升和终止_**

#### ¶263

附件三第 4(b) 点中使用的“晋升”和“工作相关合同关系的终止”应被理解为可归因于雇主的任何作为或不作为,其分别通过提升职级、职责、报酬或职业发展机会,或任何在情境上会导致

49 包括第 4(2) 条所述雇佣关系的基本方面。欧洲议会和理事会 2019 年 6 月 20 日关于欧盟透明和可预测工作条件的第 (EU) 2019/1152 号指令,官方公报 L 186,2019 年 7 月 11 日,第 105 页。
50 关于培训权利的信息(如有)应由雇主在第一个工作日后的一个月内以文件形式单独提供给工人。

有效形式的晋升的要素,对工人地位产生影响;以及可归因于雇主的任何终止雇佣关系或其他工作相关合同关系或剥夺工人随附基本权利和福利的作为或不作为51。

#### ¶264

关于“晋升”,欧盟就业法已承认涉及职业发展的决定构成法律上相关的决定52。在解释附件三第 4(b) 点语境下使用的该术语时,类似的考虑可能适用。关于“终止”,它可以以类似于联盟法律中使用的方式来理解,即由雇主或缔约方决定的、工作相关合同关系的最终、不可撤销的终点。其他形式的脱离工作,如果不是决定性的,可能符合工作相关关系条款的实质性修改,因此可能属于该概念以及附件三第 4(b) 点中使用的“终止”概念的范围。终止包括解雇、裁员,以及在 AI 驱动的不续签决定情形下定期合同的到期不续签,或任何产生等效效果的行为。如前所述,不作为也构成可以主张终止的要素。

#### ¶265

虽然非标准工作安排、特别是平台工作可能模糊“暂停”、“停用”和“终止”之间的区别,但当 AI 系统决定性暂停平台账户时,其效果是剥夺个人获得其职业活动的机会,无论合同形式如何。长期或频繁暂停平台访问可能产生类似效果。更一般地说,解雇雇员与终止或暂停与名义上自雇人员的合同之间的功能等同性53 确认,通过作为或不作为对合同终止的决定可能构成附件三第 4(b) 点所涵盖的对自营职业准入的限制。

#### ¶266

虽然终止是就业环境中影响最深远的决定,但《人工智能法》第 6(3) 条的过滤器机制仍可能适用于属于附件三第 4(b) 点用例范围的 AI 系统。例如,如果 AI 系统仅保留记录并在定期合同到期前向适当经理标记其即将到期,不涉及自由裁量考虑、评估性判断,也不建议作出决定,则结果直接来自合同本身而非 AI 系统的决定。在这种情况下,系统在实质上不改变工人的权利,因此不应被视为高风险。

**_iii. 预期用于基于个人行为或个人特征或特质分配任务的 AI 系统_**

51 推定解雇不是联盟法律的自主概念,但在成员国的劳动法中广泛得到承认。例如,在西班牙,《劳动者规约》第 50 条允许雇员在雇主行为构成对义务的“严重违反”(如单方面降低条件或骚扰)时终止合同并有权获得补偿。
52 第 2006/54/EC 号指令将“晋升”列为与获得就业、自雇和培训等并行的受保护领域。另见第 C-409/95 号案 Marschall,EU:C:1997:533;第 C-407/98 号案 Abrahamsson and Anderson 诉 Fogelqvist,EU:C:2000:367,两者均涉及性别平等规则在晋升决定中的适用。虽然以性别歧视为中心,但这些案例说明了法院在将晋升视为法律上重要的就业决定方面更广泛的方法。
52 在第 C-715/20 号案 K.L,EU:C:2024:139 中,法院认为必须向定期工人提供与长期雇员同等要求的终止理由,从而承认不续签与解雇可能具有功能等同性。
53 联盟平等待遇法明确保护的不只是“获得就业”,还包括“获得自营职业”和更广泛的职业:参见前文所述的第 2000/78/EC 号指令和第 2000/43/EC 号指令。

#### ¶267

附件三第 4(b) 点中“预期用于基于个人行为或个人特征或特质分配任务”应结合序言第 57 段来解读,该段澄清此类系统可能对工人的未来职业前景、生计和权利产生重大影响。任务分配不仅仅是一种运营安排,还可能是职业发展的决定因素。例如,分配更复杂、更显眼或更有价值的任务可能为晋升开辟道路,而分配重复性或不那么受重视的任务实际上可能阻碍晋升,并可能影响当前或未来收入。

#### ¶268

如果任务分配受个人行为或个人特征考量的驱动,除了尊严、数据保护和隐私问题外,结构性使某些群体处于不利地位的风险也会增加。这也反映在序言第 57 段中,该段澄清此类系统“可能使历史上的歧视模式长期存在,例如针对女性、某些年龄段人群、残疾人或某些种族或族裔出身或性取向的人”。

#### ¶269

附件三第 4(b) 点的范围应被理解为涵盖任何“基于个人行为或个人特征或特质”的个人任务分配,其中可能包括基于性格测试、行为评分或推断的生产力特征的数据。

#### ¶270

行为指标,如守时、对客户请求的响应速度、可靠性指标或绩效评级,属于“个人特征或特质”的范围。例如,向接受率较低或响应时间较慢的工人扣留配送时段访问权限的 AI 系统,或根据内部公司法务提供的响应时间和绩效评级对自雇外部律师库进行排名的 AI 系统,将工作机会限定于此类行为画像。

#### ¶271

个人行为或个人特征与特质之间的分界线在于,所涉属性是否属于工人的个人特质或社会身份,而非妨碍执行所需任务的、中性的、客观的和外部的因素,如不可用性或地点不合适54。

#### ¶272

仅依赖与工作要求直接相关的客观、中性和外部标准的任务分配系统,不属于附件三第 4(b) 点所列用例的范围。客观、中性和外部标准不能成为国籍或族裔的替代指标。这些包括不属于工人个人行为、个人特质或社会身份的属性,且也不属于欧盟非歧视既有规范的涵盖范围。例如,根据工人在排班工具中指示的可用性分配任务、或根据持有所需专业认证(如叉车许可证或专业律师认证)分配任务的 AI 系统,不构成对附件三第 4(b) 点含义内个人特质的依赖。同样,基于与配送地点的地理邻近性分配工作的 AI 系统通常不应被归类为高风险。

**_iv. 预期用于监测和评估此类关系中人员表现和行为的 AI 系统_**

54 例如《宪章》第 21 条不受歧视基本权利所保护的此类特征(性别、年龄、残疾等)明确属于涵盖范围,等等。

#### ¶273

AI 系统可以显著扩展雇主监督、监测和评估工人或其他工作相关关系人员表现和行为的手段。部署此类系统本身并不违法:管理监督是雇佣关系固有的,雇主可以合法地寻求提高生产力、保护财产或确保工作场所安全。然而,此类部署可能引起隐私和个人数据保护方面的担忧,以及与工作场所健康、安全、歧视和尊严相关的担忧。

#### ¶274

附件三第 4(b) 点中使用的“监测和评估此类关系中人员的表现和行为”必须被理解为一个自主的高风险类别。“监测”和“评估”的条件是选择性的,涵盖预期系统性地监测“或”评估工人表现或行为的 AI 系统,包括试用期内55,无论这是否影响合同约定的正式条款,如薪酬或工作时间。

#### ¶275

“表现”的概念包括定量生产力指标,如完成的任务数量或产出速度。它也包括定性生产力指标,如工作质量56。例如,根据每小时配送数量自动对工人评级的 AI 系统属于该概念。诸如反馈分数、绩效评估、考核或由 AI 系统生成的直接纳入员工档案的排名等定性指标也应如此。

#### ¶276

“行为”的概念可能包括守时、遵守或可能遵守工作场所规则(如员工风险画像)、对客户的响应能力、与同事的互动模式以及与工会的接触57。评估工人(包括可能降低评级)因其轮班接受率低或拒绝任务而受到评定的 AI 系统应被视为评估行为。

#### ¶277

雇主部署的、完全为满足外部法律或监管义务(如为遵守金融市场滥用规则而记录交易)的 AI 系统,只要也不用于此目的,就不应被视为为就业目的监测或评估个人的表现或行为。同样,纯粹且完全出于医疗和安全原因或为保护财产和公司资产而部署的 AI 系统,也不在监测或评估个人表现或行为(为就业目的)的概念范围之内。这些 AI 系统将不属于附件三第 4(b) 点所列用例的涵盖范围。

#### ¶278

监测工人行为或表现以支持其执行任务、但不被设计为向工人施压以实现额外生产力(例如通过自动标记防止信息或产品发送给错误收件人)的 AI 系统,不应被归类为高风险,前提是 AI 系统仅向工人(而非雇主或雇主组织内的任何其他人)标记潜在问题。同样,传达表现数据的 AI 系统(如汇总成功销售交易数据并与公司平均水平比较

55 序言第 57 段。
56 设计用于测量肌肉运动、疲劳、脑电波或心率等生理指标的 AI 系统,当上述生理指标用于监测或评估表现时,可以被视为高风险。如果 AI 系统的使用仅与纯粹医疗或安全原因相关,则情况不同。
57 不影响根据适用的联盟和国内法对行为的监测或评估的合法性。

且仅通知工人的系统)不应被归类为高风险。

**a) 属于第 4(b) 点高风险用例范围的人工智能系统实际示例**

——零售/物流公司部署 AI 排班器分配轮班、休息时段和待命窗口。提供给 AI 系统的输入包括行为/表现信号(守时、未到记录、所提供轮班的接受/拒绝率、客户/经理评级)等。优化器对每个时段的工人进行排名并自动分配轮班,将表现最好的工人分配到最重要的轮班。排名较低的工人获得较不重要的轮班,可能轮班数量也较少、可变薪酬较低且模式较不可预测。如果工人拒绝“优先报价”,优化器还会降低其优先级。该 AI 系统将评估工人的表现和行为并基于此评估分配任务,因此属于附件三第 4(b) 点的范围。使用该 AI 系统将影响工人的报酬、获得优先任务的机会以及可能的晋升。因此,该系统不能受益于《人工智能法》第 6(3) 条的例外。——在线辅导平台部署 AI 系统管理自雇教师账户。输入包括学生满意度评级、课程完成率和视频会议系统的守时日志。系统将这些汇总为“教师表现分数”。如果分数连续三周低于 4/5,系统自动暂停教师账户一个月。如果低评级在另一审查期间持续,账户将被永久停用。实际效果是教师无法再接受课程,从而结束其与平台的工作关系。系统的效果是工作关系的功能性终止。附件三第 4(b) 点中使用的“终止”应从实质意义上理解,涵盖任何剥夺工人持续参与机会的决定。——律师事务所合伙人之间工作量分配的 AI 系统:系统输入计费工时、先前任务周转时间、邮件响应速度以及自愿参与事务所活动(如培训、客户开发)的数据。这些行为输入被汇总为分数,作为客户事务分配的基础。由于系统基于合伙人的个人行为分配任务,实质性影响当前工作条件和长期职业轨迹,它属于附件三第 4(b) 点用例的范围。——平台工作中定价和薪酬确定的 AI 系统:网约车平台部署 AI 系统动态设定司机报酬。输入包括实时需求、司机接受率、乘客评级和平均完成时间。系统计算每程费用并调整每位司机的薪酬乘数。例如,乘客评级持续较低或完成时间较慢的司机获得较低的薪酬系数,而高评级司机获得奖金。这些调整自动进行并实时应用,直接影响收入。形式上存在人工监督,但实践中薪酬水平完全由算法决定,申诉

很少改变结果。由于报酬决定属于工作相关关系的条款,该系统属于附件三第 4(b) 点用例的范围58。——预期用于公务员职位分配的人工智能系统:公共行政机关使用 AI 系统在候选人通过竞争性考试后将成功候选人(如教师或医生)分配到具体职位。系统考虑考试成绩、地理偏好、空缺职位可用性和资历。它生成决定哪位候选人分配到哪个职位的最终分配名单。可以申诉,但实践中 AI 系统的分配输出具有决定性,因为行政部门依赖系统完成安置。由于系统用于公共部门角色的分配,直接且有意义地决定公务员的工作条件和职业路径,它属于附件三第 4(b) 点用例的范围。

**b) 不属于第 4(b) 点高风险用例范围的人工智能系统实际示例**

——用于跟踪配送运营的 AI 系统:快递和航运公司使用 AI 系统跟踪货运数据并侦测标签中的潜在错误或配送中的问题。系统评估标签内容、监测运输中的包裹并侦测包裹运输到目的地过程中预期路线与实际路线之间的潜在偏差。如果 AI 系统侦测到偏差,它仅通知负责的员工。负责员工随后采取必要的纠正程序(如果需要)。由于系统的目的是确保流畅的工作流程运营和合同合规、支持工人执行任务而非评估工人表现,监测活动是附带性的,不属于附件三第 4(b) 点用例的范围59。——培训表现评估的 AI 系统:公司使用 AI 系统通过分析测验结果和课程完成数据来评估员工在自愿培训模块中的进展。系统仅向员工提供反馈和学习建议以支持个人发展。其功能限于在培训背景下衡量学习成果,而非考核工作表现、决定晋升或塑造管理决定。——办公空间优化的 AI 系统:公司使用 AI 预订工具在混合工作场所优化工位分配,通过将员工预订与可用工位或会议室进行匹配。虽然系统组织物理工作场所资源,但它不分配任务、决定晋升、评估工人或影响雇佣权利。——公司差旅规划的 AI 系统:公司使用 AI 应用程序优化商务差旅安排,为需要参加会议或大会的员工建议经济高效的航班、酒店和行程。只要不违反公司政策的客观规则

58 AI 系统可用于为终端用户动态设定价格,而不一定属于《人工智能法》附件三第 4(b) 点的范围。然而,要做到这一点,AI 系统不得构造或影响雇佣条件(如薪酬)。
59 前提是其也不预期用于绩效评估。

(如最高价格),AI 应用程序的建议不阻止员工作出替代选择甚至完全手动预订。系统支持后勤和预算,但不确定工作分配、绩效评估、职业发展或终止决定。——向平台骑手建议配送区域的 AI 系统:食品配送平台部署 AI 系统,基于天气、过往订单和实时交通数据等因素,推荐预计需求较高的地理区域。骑手收到诸如“预计 1-2 点期间 X 区域需求较高”的通知,但他们可以自由忽略这些建议。拒绝建议没有惩罚,没有接受或拒绝建议的骑手特定登记,系统也不减少他们获得未来任务的机会。该推荐工具仅提供可选的、不具约束力的支持信息,不代表基于个人行为的任务分配。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——为报告编制绩效记录的 AI 系统:制造公司使用 AI 系统自动从公司考勤应用程序收集员工月度考勤记录,并将其整理为结构化报告和仪表板,AI 系统在固定日期发送给经理。系统不监测员工考勤、不生成绩效分数、不提出建议也不标记员工,它仅整合员工在考勤应用程序中输入的现有信息。经理继续独立进行定性评估。虽然系统在就业监测领域运作并属于附件三第 4(b) 点用例的范围,但它不从事监测,也不作出评估性判断,属于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的 AI 系统例外。——细化人工起草的晋升评估的 AI 系统:咨询公司使用 AI 写作助手在评估完全完成后细化经理的晋升报告。经理在 AI 系统改进语言清晰度、确保与公司风格一致并标记潜在有偏措辞之前,根据公司标准决定建议、起草理由并分配评级。在过程结束时,内部政策要求经理复核修订后的评估。系统不改变结果、分数,也不创造新内容;其作用是支持性的。虽然系统与晋升决定相关,但它不影响决策,属于《人工智能法》第 6(3)(b) 条所列预期改进先前已完成的人工活动结果的 AI 系统例外。

## 领域 5——基本私人和公共服务与福利(附件三(5))

#### ¶279

获取和享有某些私人和公共服务与福利是人工智能系统的使用需要特别考虑的领域。此类使用可能带来好处并提高效率和服务的质量。正如序言第 58 段所解释的,如果人工智能系统的使用导致歧视性或准确度不佳的结果或对基本权利构成其他风险,此类使用也可能严重影响对此类基本服务的获取和享有。

### 分节:横向问题与用例概述

#### ¶280
附件三第 5 点在获取和享有基本私人服务和基本公共服务与福利领域内列出了四个被归类为高风险的用例:(a) 公共机关或代表公共机关预期用于评估自然人获得基本公共援助福利和服务(包括医疗保健服务)的资格,以及授予、减少、撤销或追回此类福利和服务的 AI 系统;(b) 预期用于评估自然人信用状况或确立其信用评分的 AI 系统,但用于侦测金融欺诈目的的 AI 系统除外;(c) 预期用于人寿和健康保险情形下对自然人进行风险评估和定价的 AI 系统;(d) 预期用于评估和分类自然人紧急呼叫,或用于调度紧急一线响应服务(包括警察、消防员和医疗救助)或确立其调度优先级的 AI 系统,以及紧急医疗保健患者分诊系统。

#### ¶281

虽然《人工智能法》未定义基本公共服务和私人服务,但序言第 58 段解释说,这些应被理解为人们充分参与社会或提高其生活水平所必需的服务和福利。

### 分节:第 5(a) 点:评估自然人获得基本公共援助福利和服务的资格,以及授予或拒绝此类福利和服务

#### ¶282

附件三第 5(a) 点将公共机关或代表公共机关预期用于评估自然人获得基本公共援助福利和服务(包括医疗保健服务)的资格,以及授予、减少、撤销或追回此类福利和服务的 AI 系统归类为高风险。此类使用可能导致系统作出或支持由公共机关或代表公共机关作出的决定,这些决定评估自然人获得基本公共援助福利和服务(包括医疗保健服务)的资格,以及授予、减少、撤销或追回此类福利和服务。如果开发或使用不当,预期用于此类目的的 AI 系统可能包含偏见或错误,可能错误地评估自然人无资格获得福利,将她们单独挑出来进行进一步检查,或将她们置于优先级较低的类别。为应对此类风险,此类系统被归类为高风险,并须遵守保障措施,以确保其按预期运作、准确、安全且不带歧视。

#### ¶283

此类 AI 系统要根据《人工智能法》附件三第 5(a) 点被归类为高风险,必须预期由公共机关或代表公共机关使用:(i) 评估自然人获得基本公共援助福利和服务(包括医疗保健服务)的资格;或 (ii) 授予、减少、撤销或追回此类福利和服务;或 (iii) 用于这两种目的。

#### ¶284

AI 系统要根据附件三第 5(a) 点被归类为高风险必须满足的条件及相关概念,在以下小节中有更详细的分析。

**_i. “公共机关”和“代表机关”的概念_**

#### ¶285

附件三第 5(a) 点规定,AI 系统必须预期由公共机关或代表其使用。

#### ¶286

《人工智能法》未定义公共机关的概念。可以参考 CJEU 关于公共机关概念的判例法。在其判例法中,CJEU(就第 2003/4 号指令而言)将公共机关定义为构成任何层级国家公共行政或行政执行机关一部分的行政机关,包括由国家设立且仅由国家可以决定解散的公法法人60。此外,无论受公法还是私法规制的实体,如果它们提供公共利益服务并“被赋予超出适用于私法主体之间关系的正常规则所产生的特殊权力”61,也属于行政机关。欧盟机构、机关和署也是公共机关。

#### ¶287

关于附件三第 5(a) 点中使用的“代表……行事”,请参阅上文第 2.5 节。

**_ii. “基本公共援助福利和服务”的概念_**

#### ¶288

序言第 58 段澄清,基本公共援助福利和服务是自然人申请或接受的那些对其充分参与社会或提高生活水平所必需的福利和服务。此类自然人通常依赖其申请的福利和服务,并且相对于主管公共机关处于弱势地位。该序言给出了可被认为属于附件三第 5(a) 点范围的主要类型公共服务和福利的说明性清单。这些包括62:1. 医疗保健服务(如长期护理服务);2. 社会保障福利(如疾病津贴;生育津贴和同等的父育津贴;伤残津贴;老年津贴;遗属津贴;工伤和职业病津贴;丧葬补助;失业津贴;提前退休

60 第 C-279/12 号案,Fish Legal,EU:C:2013:853,第 51 段:“从组织上构成行政机关的实体,即构成任何层级国家公共行政或行政执行机关一部分的实体,就第 2003/4 号指令第 2(2)(a) 条而言是公共机关。这一第一类包括所有由国家设立且仅由国家可以决定解散的公法法人。”
61 第 C-279/12 号案,Fish Legal,EU:C:2013:853,第 52 段:“第 2003/4 号指令第 2(2)(b) 条定义的第二类公共机关涉及从功能上定义的行政机关,即受公法或私法规制的实体,根据适用于其的法律制度,被委托履行公共利益服务(特别是在环境领域),并为此目的被赋予超出适用于私法主体之间关系的正常规则所产生的特殊权力。”
62 服务和福利参见关于社会保障制度协调的第 (EC) 883/2004 号条例、2019 年理事会关于工人和自雇者获得社会保护的建议、2023 年理事会关于积极包容的适当最低收入建议,以及 2008 年委员会关于被排除在劳动力市场之外的人积极包容的建议。

津贴;家庭津贴;长期护理津贴;最低收入津贴;住房津贴;获得基本服务(如水、能源、数字通信)的津贴);3. 社会服务(如社会救助服务、就业和培训服务、住房支持和社会住房、儿童保育)。

#### ¶289

某些公共支持措施,本身并非公共福利或服务,根据附件三第 5(a) 点所列用例不构成“基本”。例如,税收减免被排除在该用例之外,因为它本身不是一种服务或福利,即使它可能为受益人提供财务支持。

**_iii. 评估自然人资格的概念_**

#### ¶290

成员国提供各种类型的公共援助福利和服务,评估自然人申领资格的方式各不相同。资格评估应被理解为评估和决定自然人获得福利或服务的可能性,也包括所获得福利或服务的水平。此类评估通常基于一些预定义标准,并将在决定授予或拒绝相关服务福利之前进行。一旦确定资格,将作出授予或拒绝福利或服务的实际决定。资格评估也可以在作出授予或拒绝此类福利和服务的初步决定之后进行。在这种情况下,将通过评估该人的资格来确认授予或拒绝的决定。这可能反过来导致自然人收到过多援助福利需要偿还、或收到过少援助福利需要补充的情形。

**_iv. 公共援助福利和服务的“授予或拒绝”的概念_**

#### ¶291

关于授予或拒绝公共援助福利和服务的一系列决定可能属于附件三第 5(a) 点所列用例的范围。这源于“授予、减少、撤销或追回”这些表述的使用,它涵盖了与此类决定相关的所有可能情形。为清晰起见,应注意序言第 58 段也提到拒绝公共援助福利和援助。虽然附件三第 5(a) 点未明确说明,但整体方法表明,预期用于拒绝自然人获得公共援助福利和/或服务(而不仅仅是减少、撤销或追回先前授予的福利和/或服务)的 AI 系统也属于其中所列用例的范围。

**_v. 资格评估与基本公共援助福利和服务的授予或拒绝之间的联系_**

#### ¶292

公共机关或代表公共机关预期仅用于评估自然人获得基本公共援助福利和服务资格的 AI 系统将被归类为高风险,即使该系统随后不用于授予或拒绝这些福利和服务。事实上,AI 系统往往仅为此目的使用,系统不对授予或拒绝福利或服务作出决定。同样,预期仅用于授予、拒绝、减少、撤销或追回此类福利和服务的 AI 系统也属于该用例的范围,无须该系统参与先前的资格评估。

#### ¶293

公共机关或代表公共机关预期用于在自然人资格评估为肯定结果后授予其基本公共援助福利和服务、从而提高其生活水平和生计的 AI 系统,也将根据附件三第 5(a) 点被归类为高风险。如果授予是在对自然人获得此类福利和服务的资格作出错误评估之后进行的,并因此可能导致先前授予的福利和服务被拒绝、减少、撤销或追回,对该人的生活水平和生计产生负面影响,则上述结论仍然成立。

**a) 属于第 5(a) 点高风险用例范围的人工智能系统实际示例**

确定资格的自动化决定 ——预期在个案中决定失业津贴授予的 AI 系统。系统分析该人是否符合领取津贴的资格、在哪个期间以及以何种金额领取,并向个案处理人员提出关于资格和领取津贴的建议。此类 AI 系统是高风险,因为它预期评估自然人的资格,并就这些福利的授予或拒绝提出建议。——预期在收到申请后评估自然人获得社会福利资格的 AI 系统。系统处理申请数据并交叉引用外部数据库,然后基于给定数据生成关于申请人获得社会福利资格的决定。此类 AI 系统是高风险,因为它预期评估自然人的资格并生成关于其资格的决定。——公共行政机关预期通过评分系统评估自然人获得社会住房或失业津贴资格的 AI 系统,该评分系统不属于《人工智能法》第 5(1)(c) 条所涵盖的禁止实践。系统利用人口统计、行为和财务数据来预测欺诈或长期依赖的可能性。此类 AI 系统是高风险,因为它有助于评估自然人的资格,并实质性影响关于申请人是否将获得福利和服务的决定。优先级排序 ——预期评估社会住房申请的 AI 系统。系统评估申请人的档案,基于收入、家庭规模、年龄、就业状况和地点确定特定社会住房单元的资格、紧急程度和优先级。系统可以替代或影响人工决策,并且是高风险,因为它直接影响获得基本住房福利的机会。——预期对居家护理服务分配进行优先级排序的 AI 系统。地方机关可以使用此类系统确定有限的居家护理小时数在合格人员中的分配和优先级。此类 AI 系统是高风险,因为它实质性影响老年人或依赖此类护理的人获得基本护理服务的机会,从而可能影响他们的基本权利和福祉。——预期评估由公共机关管理的失业支持或收入支持计划申请资格、并在资源或处理能力有限的背景下相应地对这些申请进行优先级排序的 AI 系统。此类 AI 系统是高风险,因为它评估基本公共援助福利和

服务的申请,并通过优先级排序实质性影响此类福利和服务的授予、时间或有效获得。人工审查的支持工具 ——预期分析自然人提交的基本公共援助福利申请(如疾病津贴)以侦测潜在的不规范和/或不准确之处或欺诈指标,并标记申请以供公共机关进一步调查的 AI 系统。当申请被标记时,人工个案处理人员接管以评估该申领是否欺诈。此类 AI 系统是高风险,因为它用于评估基本公共援助福利资格的背景下,并实质性影响获得此类福利的机会。特别是,标记决定申请是否须接受进一步审查、延迟、暂停或可能拒绝,因此对影响这些福利的授予、延续或有效获得的决定具有工具性作用。——预期回答个案处理人员与评估自然人申请获得公共机关管理的基本护理福利或服务(简称“护理福利”)相关的法律问题的聊天机器人。个案处理人员可以授予或拒绝自然人申请的福利,同时基于聊天机器人给出的、针对具体案件/个人资格评估个性化的回答,对最终决定负责。此类 AI 系统是高风险,因为个案处理人员对自然人获得护理福利或服务资格的决定受到聊天机器人给出的法律回答的实质性影响。——预期评估医疗保健申请以确定是否应由外部机构对申请进行深入审查的 AI 系统。即使是否转交的决定由个案处理人员作出,此类 AI 系统也是高风险,因为系统的初步评估是决定获得医疗保健服务的进一步审查的决定性步骤。带资格核查的主动邀请 ——公共机关预期用于健康预防性筛查、基于人群分层建议个性化预防性筛查(如乳房 X 光检查)邀请并进行预防性筛查资格评估的 AI 系统。此类 AI 系统是高风险,因为它评估一个人进行预防性筛查(一种医疗保健服务)的资格,即使这是通过主动邀请进行的。

**b) 不属于第 5(a) 点高风险用例范围的人工智能系统实际示例**

不带资格评估的主动邀请 ——预期主动识别需要预防性护理的人的 AI 系统。此类 AI 系统不属于附件三第 5(a) 点用例的范围,因为它仅识别需要预防性护理的人,不决定被识别者的资格,前提是系统的输出不用于对此类服务的获取进行优先级排序、排除或以其他方式施加影响。

——预期基于需求将人员与最适合他们的公共支持服务匹配、使用匿名化数据建议和预填支持服务申请的 AI 系统。此类 AI 系统不属于附件三第 5(a) 点用例的范围,因为它不预期评估自然人的资格,而是支持公共支持服务的提供。个案处理人员分配 ——预期仅告知基本公共援助福利申请应由哪个机构或有能力的人员(进一步)评估的 AI 系统。此类 AI 系统不属于附件三第 5(a) 点用例的范围,因为它仅建议谁应评估该申请,而不实际评估资格。法人资格的核查和费用报销 ——预期评估公司而非自然人的费用报销申请或申领的 AI 系统。此类 AI 系统不属于附件三第 5(a) 点用例的范围,因为它不评估自然人的申请或申领。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

回答个案处理人员事实性问题的聊天机器人 ——预期回答个案处理人员与评估自然人申请获得医疗保健福利(如自然人的年龄)相关的事实性问题的聊天机器人。个案处理人员可以基于聊天机器人给出的回答授予或拒绝自然人申请的福利。此类 AI 系统属于附件三第 5(a) 点用例的范围,因为个案处理人员对自然人获得医疗保健福利资格的决定取决于聊天机器人给出的回答。然而,由于系统仅以结构化的方式提供现有的事实信息,而不评估这些信息对自然人医疗保健福利申请的资格,且个案处理人员必须审查聊天机器人提供的信息以确保决定不仅仅基于 AI 系统的输出,因此它属于《人工智能法》第 6(3)(a) 和 (d) 条所列预期执行狭窄程序性任务的 AI 系统例外。人工审查的支持工具 ——预期总结医疗报告、个案处理人员将以此作为授予或拒绝医疗保健福利决定基础的 AI 系统。此类 AI 系统属于附件三第 5(a) 点用例的范围,因为它预期用于获得医疗保健服务。然而,由于系统仅限于总结报告中的信息,且个案处理人员必须在作出决定前审查报告中的相关信息,因此它属于《人工智能法》第 6(3)(a) 和 6(3)(d) 条所列预期执行狭窄程序性任务的 AI 系统例外。语言工具

——预期翻译以外国语言作出的公共援助服务申请的 AI 系统。此类 AI 系统属于附件三第 5(a) 点用例的范围,因为它预期用于评估自然人的公共援助福利申请。然而,由于翻译援助福利和服务申请是该过程中不可避免的步骤,但对这些申请的资格评估不具有决定性,因此该系统属于《人工智能法》第 6(3)(a) 和 (d) 条所列预期执行狭窄程序性和准备性任务的 AI 系统例外。——预期在希望申请公共援助服务和福利的自然人与个案处理人员之间的对话中通过将语音转换为文本使用(简称“转写”)的 AI 系统。系统创建对话摘要,该摘要将用于作出关于自然人资格的决定。此类 AI 系统属于附件三第 5(a) 点用例的范围,因为它与评估自然人的公共援助福利和服务申请相关。然而,只要个案处理人员在对话期间在场并能够核查系统所作的摘要,从而使输出只是其决定的辅助而非决定性要素,则系统属于《人工智能法》第 6(3)(a) 和 6(3)(d) 条所列预期仅执行狭窄程序性任务的 AI 系统例外。

### 分节:第 5(b) 点:预期用于评估自然人信用状况或确立其信用评分的 AI 系统

#### ¶294

附件三第 5(b) 点将预期用于评估自然人信用状况或确立其信用评分的 AI 系统归类为高风险。将该用例纳入附件三的理由是,信用状况或信用评分的确定通常决定获得基本私人服务的机会,因此在那种背景下使用 AI 系统可能对寻求此类机会的自然人的健康、安全或基本权利构成风险,特别是在序言第 58 段所述的歧视情况下。

**_i. 信用状况评估与信用评分_**

#### ¶295

《人工智能法》第 5(b) 点涵盖预期用于两种不同用例的 AI 系统:信用状况的评估和信用评分的确立。《人工智能法》未定义任何一种用例。

#### ¶296

信用状况的评估指评估自然人履行其为所提供服务或所授予信贷付款的合同义务的能力和意愿。此类评估可以例如基于人口统计数据(如年龄、教育水平或居住地)和/或财务数据,包括支付行为、信用历史以及收入和财务变量。信用状况评估通常由金融机构为获得贷款的目的进行,但也可以在其他部门以及为其他基本私人和公共服务进行。例如,信用状况评估可以用于评估一个人获得公共援助福利和服务的资格或机会。在这种情况下,AI 系统应根据附件三第 5(a) 点被归类为高风险。信用评分可以出于多种目的确立。

#### ¶297

信用评分的确立指创建和构建自然人信用状况的表示。此类评分的确定可以例如基于人口统计数据(包括支付行为、信用历史以及收入和财务

变量)和/或财务数据。系统产生的分数可以采取多种形式,如数字、排名或标签。信用评分可以出于多种目的确立。如果 AI 系统预期用于确立此类评分以确定获得金融资源或住房、电力和电信服务等基本服务的机会,则无论该 AI 系统可能具有的其他目的如何,都应被归类为高风险。在这种情况下,对高风险 AI 系统要求的合规评估应限于预期的高风险目的,不应延伸至其他目的。

#### ¶298

应注意,附件三第 5(b) 点仅在 AI 系统预期用于评估自然人的信用状况和确立自然人的信用评分时将其归类为高风险;它本身并未确立获得信贷或金融资源或任何其他基本私人服务的权利。AI 系统要根据附件三第 5(b) 点被归类为高风险必须满足的条件及相关概念,在以下小节中有更详细的分析。

**_ii. “评估信用状况”与“确立信用评分”以及“定价”之间的关系_**

#### ¶299

要根据附件三第 5(b) 点被归类为高风险,AI 系统必须预期用于评估自然人的信用状况或确立自然人的信用评分,或两者兼有。虽然确立信用评分通常是评估信用状况的一部分,但 AI 系统预期用于其中一种目的即足以被归类为高风险。每种用例本身都可能影响决策过程并影响获得相关基本私人服务的机会。例如,信用状况评估和信用评分确立都可能直接影响借款人的利率定价或计算方式。然而,要根据附件三第 5(b) 点被认定为高风险,系统无须同时预期用于计算特定价格或利率。

#### ¶300

相反,预期用于定价的 AI 系统不属于附件三第 5(b) 点所列用例的范围,即使它依赖从信用状况评估或信用评分中获得的数据。然而,将两种功能整合在一个系统中以一体化流程运作(评估自然人的信用状况和信贷定价)的 AI 系统,将符合此类高风险用例。

**_iii. 基本私人服务_**

#### ¶301

如果私人服务是人们充分参与社会或提高生活水平所必需的,则该私人服务是基本的。序言第 58 段澄清,基本私人服务包括获得金融资源,并提供住房、电力和电信服务作为示例。要使其他服务被视为基本私人服务,它们必须对自然人和其生活水平的提高同等重要,且自然人被排除出获得此类服务的机会必须与其生活、健康、生计和参与社会受到的影响与该序言所述服务相当。此类服务的示例可能包括健康和长期护理、其他公用事业(如燃气和供水服务)以及运输服务。

#### ¶302

就可能构成基本私人服务的金融服务63 类型而言,可能有必要基于对获得金融资源的一般性提及和序言第 58 段中提到的基本私人服务示例作出进一步区分。除确定获得金融资源的机会外,只有与以下服务同等或类似的服务才应被视为基本私人服务:提供银行账户64;支付服务,包括作为支持交易的附属功能提供信贷(如临时透支);提供贷款和信贷;提供信用额度或信用卡限额的扩展;提供抵押贷款;以及第 297 段进一步描述的公共金融服务。就第 5(b) 点中的信用评分和信用状况评估用例而言,此基本私人服务清单不产生自然人获得这些服务的权利。

#### ¶303

一些公共机关或公共金融机构提供金融服务,如带有信贷要素的财务支持计划(如补贴贷款、担保、可偿还预付款),其中信用状况可能事先评估。这些公共金融服务可以包括为首次购房者或房屋翻新提供公共支持的低息或零息贷款、为某些面临被排除风险的人群提供贷款,或以学生支持计划或社会小额信贷计划的形式提供。这些公共金融服务也被视为附件三第 5(b) 点含义内的基本私人服务。

#### ¶304

相反,以下金融服务不被视为基本私人服务:股票和证券的购买;保证金交易的机会;复杂金融工具的准入;高级信用卡;以及特殊贷款,如休闲/旅行贷款。

#### ¶305

由于在评估 AI 系统是否应根据附件三第 5(b) 点所列用例被归类为高风险时,系统的预期用途才是关键,因此如果提供者希望其系统不被如此归类,应由其向主管市场监督机关证明其系统仅预期用于非基本私人服务。如果系统预期同时用于基本和非基本私人服务,它将被归类为高风险。

**_iv. 欺诈侦测例外_**

#### ¶306

附件三第 5(b) 点规定,预期用于评估自然人信用状况或确立其信用评分的 AI 系统,如果用于侦测金融欺诈的目的,则不应被视为高风险。AI 系统可以侦测信用申请中的异常行为或申请人数据中可能表明欺诈的可疑模式。此类系统的典型示例是使用 AI 侦测被滥用、伪造或篡改的个人身份证明文件(如身份证、驾照等)或其他伪造或修改的文件(如收入证明、银行对账单等)的工具。

#### ¶307

要使例外适用,欺诈侦测必须是 AI 系统的主要预期用途,先于该 AI 系统可能用于的所有其他目的。例如,当 AI 系统主要用于模式识别和异常侦测,而非评估一个人偿还贷款的能力或意愿时,即为如此。

#### ¶308

如果 AI 系统预期用于欺诈侦测,即使其输出可能用于信用状况评估或确立信用评分,该系统也应被视为不属于附件三第 5(b) 点用例的范围。

#### ¶309

预期用于反洗钱和反恐融资(“AML/CFT”)的 AI 系统不受该例外的涵盖,因为这些活动受其他欧盟立法监管,且与金融欺诈无关。然而,只要其预期用途不涵盖信用状况评估,此类系统就在范围之外。然而,预期用于 AML/CFT 的 AI 系统如果与信用状况评估或信用评分确立在功能上相关联并同时预期用于这些目的,则可能根据第 5(b) 点被归类为高风险 AI 系统。

**a) 属于第 5(b) 点高风险用例范围的人工智能系统实际示例**

用于消费贷款和抵押贷款的信用评分 ——预期基于自然人的支付行为和收入创建其信用状况的数值表示、以支持消费信贷或抵押贷款决策的 AI 系统,这些属于基本私人服务。部署者以外的第三方使用的信用评分 ——信用机构部署的预期确立信用评分的 AI 系统,其结果分数与第三方共享,用于决定是否向自然人授予贷款/抵押贷款或提供住房、医疗保健或电信服务的机会。要属于附件三第 5(b) 点用例的范围,系统的部署者无须与使用信用评分进行决策的一方相同。

**b) 不属于第 5(b) 点高风险用例范围的人工智能系统实际示例**

客户分类和个性化营销 ——预期对客户进行分类的 AI 系统,例如为履行信息义务、向客户提供定制信息、评估产品适格性或提供个性化营销报价,只要该分类不参与自然人信用状况的评估。——预期执行高级细分以基于人口统计和行为数据更深入了解客户群体及其如何使用某些服务(简称“细分”)的 AI 系统。用于测试定价变化如何影响客户行为、竞争力或盈利能力的定价模拟(简称“定价模拟”)也可能如此,前提是它们与

执行信用状况评估的 AI 系统相区别。即使它们的输出可能在更下游使用,它们也代表价值链中较早的步骤。信贷决定之前或之后的支持 ——预期用于与信用状况评估相关的客户支持的 AI 系统不应根据附件三第 5(b) 点被归类为高风险,因为它们不评估自然人的信用状况或确立其信用评分。这些 AI 系统可以协助申请人理解或填写信贷申请表(如解释术语),或就特定答案如何影响批准可能性提供动态反馈。如果它们不预期作为信用状况评估或信用评分过程的一部分使用,因为它们仅支持申请人准备信贷申请但不参与正式的信用评分评估,则它们不属于第 5(b) 点用例的范围。——预期用于处理和受理贷款或健康和人身保险决定后投诉的 AI 系统,只要它不同时构成信用状况的评估或信用评分的确立。此类系统通常代表信贷申请过程中的一个单独阶段,个人在此阶段对信贷提供或信用状况评估的决定提出异议。信用敞口监测 ——预期在信贷授予后仅用于内部审慎目的的信用敞口监测(跟踪和分析信贷相关活动、评估借款人风险并侦测违约或财务困境的早期预警信号)的 AI 系统,不应根据附件三第 5(b) 点被归类为高风险。抵押品评估 ——预期评估抵押品的 AI 系统,只要 AI 系统预期仅与抵押资产相关使用,例如通过评估其特征、风险因素和/或其出售的可行性。为杠杆交易产品提供信贷或扩展保证金 ——金融中介机构预期用于评估向现有或潜在客户扩展保证金信贷(客户以其现有证券为抵押借款)的 AI 系统。尽管能够决定自然人获得金融资源的机会,但如果此类 AI 系统仅预期用于提供或扩展保证金信贷这一非基本私人服务,则不应根据附件三第 5(b) 点被归类为高风险。

### 分节:第 5(c) 点:预期用于人寿和健康保险情形下风险评估和定价的 AI 系统

#### ¶310

附件三第 5(c) 点将预期用于健康和人身保险情形下对自然人进行风险评估和定价的 AI 系统归类为高风险。序言第 58 段解释说,此类系统可能对一个人的生计产生重大影响,如果设计、开发和使用不当,可能侵犯其基本权利,并可能对其生活和健康造成严重后果,包括金融排斥和歧视。AI 系统要根据附件三第 5(c) 点被归类为高风险必须满足的条件及相关概念,在以下小节中有更详细的分析。

**_i. 风险评估和定价的定义_**

#### ¶311
附件三第 5(c) 点所列高风险用例涵盖与自然人的健康和人身保险相关的两类 AI 系统:执行风险评估的系统和为保险保费定价的系统,或两者兼有。要根据附件三第 5(c) 点被认定为高风险系统,系统无须预期仅用于这些用例。

#### ¶312

风险评估应被理解为包含对自然人风险状况的评估,以确定是否提供、拒绝、撤销或交付与健康和人身保险相关的服务,特别是全部/部分保险承保范围,包括保单条款和条件的制定或变更(如承保范围、除外责任、免赔额、保单限额)。AI 系统可以针对上文所述获得和享有这些保险服务的任何步骤进行风险评估。

#### ¶313

定价应被理解为指作为保单条款和条件组成部分用于确定保险保费的方法和标准。通常,风险评估将是定价的前提。然而,AI 系统无须预期同时用于风险评估和定价,因为执行评估的系统可能导致获得被拒绝或保险合同履行受到影响,其方式足以证明其应被归类为高风险,如序言第 58 段所述。

**_ii. 在健康和人身保险的情况下_**

#### ¶314

要根据附件三第 5(c) 点被归类为高风险,AI 系统必须预期用于人身和健康保险情形下对自然人进行风险评估和定价。其他保险服务(如汽车或机动车保险、家庭保险等)不在该用例的涵盖范围内。第 (EU) 1286/2014 号条例第 4(2) 条定义的基于保险的投资产品不应被理解为附件三第 5(c) 点含义内的健康或人身保险。

#### ¶315

这意味着 AI 系统的预期目的(风险评估或定价)应是为可能作出关于获得和享有健康或人身保险保单的决定提供信息。获得和享有健康和人身保险不限于导致协议订立的情形。它涵盖导致保险保单订立或拒绝的所有步骤,包括其撤销或条款和条件的变更。

#### ¶316

就附件三第 5(c) 点而言,健康和人身保险的概念在成员国之间可能有所不同。人身保险一词可以理解为涵盖第 2009/138/EC 号指令附件二所列的保险类别。相反,附件三第 5(c) 点不应被理解为涵盖第 2009/138/EC 号指令附件一所列的非人寿保险类别,但该附件 A 节第 1 和 2 点所列的类别(按保险类别划分的风险分类)除外。这些点中提及的风险(如事故,包括工伤和职业病,以及疾病)应被视为

由附件三第 5(c) 点含义内的健康保险服务所涵盖,因为它们通常涵盖医疗费用。

#### ¶317

健康和人身保险一词也应被视为涵盖私人长期护理保险,因为它构成附件三第 5(c) 点含义内的健康保险服务。此类保险对一个人的生计产生重大影响,并可能对其生活和健康造成与健康和人身保险类似的严重后果,符合序言第 58 段。它也应被视为涵盖个人养老金产品,只要这些产品可能对一个人的晚年生计产生重大影响。

#### ¶318

信用人寿保险合同也应被视为属于附件三第 5(c) 点的范围,因为它们无论其作为还款保障保险(信用保险)的功能如何,都构成人身保险。信用人寿保险通常在一个人借入大笔金额(如抵押贷款、汽车贷款或大额信贷额度)时提供。该保单在借款人死亡时偿清贷款。对于此类保险,风险评估可以采取评估自然人借款人信用状况或确立其信用评分的形式。

#### ¶319

附件三第 5(c) 点涵盖的健康和人身保险可以在私人或公共基础上提供(见上文)。例如,基于公法的健康保险公司预期使用的 AI 系统也将属于附件三第 5(c) 点的范围,只要该系统预期用于对自然人进行风险评估或定价。

#### ¶320

私人服务的健康保险被视为附件三第 5 点含义内的基本私人服务,即使提供该保险的成员国拥有提供全民医疗保健的公共医疗保健体系。在这种情况下,私人健康保险将构成对该公共医疗的补充,例如用于涵盖更多治疗选择或获得私人治疗的机会。

**_iii. 欺诈侦测_**

#### ¶321

与附件三第 5(b) 点所列用例不同,第 5(c) 点未规定欺诈侦测的例外。因此,预期用于健康和人身保险情形下风险评估或定价的 AI 系统将被归类为高风险,即使它也具有可用于欺诈侦测的功能。只有在该功能可以被视为本身构成独立系统的情况下,该系统才不属于附件三第 5(c) 点的范围,而预期用于健康和人身保险情形下风险评估和定价的系统将被归类为高风险。这与序言第 58 段一致,该段澄清用于欺诈侦测的系统总体上不应被归类为高风险。

**a) 属于第 5(c) 点高风险用例范围的人工智能系统实际示例**

风险评估和定价 ——保险人预期用于审查人寿保险申请的 AI 系统,只要其符合上述风险评估的定义。如果 AI 系统

处理申请人提供的数据(如年龄、健康状况、家族史、生活方式习惯和职业)并依赖死亡率表(估计每位申请人在给定期间内的死亡概率),则通常即为如此。该处理指导保险人是否接受申请以及适用什么条件。——保险人预期用于预测风险群体预期年度医疗成本的 AI 系统。AI 系统可以计算并加上管理费用和利润空间。最终数字成为向该群体成员收取的保费。

**b) 不属于第 5(c) 点高风险用例范围的人工智能系统实际示例**

索赔管理 ——预期用于健康保险产品在保险事件发生时进行索赔管理的 AI 系统。这是因为这些系统预期用于核实索赔是否符合保单条款或确定应付金额,它们不属于附件三第 5(c) 点用例的范围。这些用例与执行风险评估或定价不同,即使其结果可能影响对健康保险的享有。同样,如果这些系统预期用于索赔管理,通过除其他外对照各种数据库验证索赔人信息以提高准确性和决策质量,则它们可能不属于附件三第 5(c) 点用例的范围。人寿保险产品设计 ——预期用于人寿保险产品设计的 AI 系统,如果它们不预期用于个案中的风险评估和定价,则不属于附件三第 5(c) 点用例的范围。这些 AI 系统通常通过分析大量人口统计、行为和社会经济数据来支持数据驱动的产品设计方法。通过识别新兴客户需求、风险模式和承保缺口,AI 系统使保险人能够创建既相关又具有竞争力定价的定制人寿保险产品。例如,这些 AI 系统可以侦测服务不足的细分市场,并推荐适合其档案的产品特性或定价模式。情景模拟和预测建模可能有助于在推出前评估新产品的影响,缩短开发时间并降低市场风险。这些 AI 系统通常代表保险公司价值链中先前且独立的阶段。产品设计可以设定提供哪些保险产品以及在何种定价框架内提供的框架。然而,不涉及对自然人风险状况的评估以确定是否提供、拒绝、撤销或交付与健康和人身保险相关的服务。

### 分节:与其他联盟立法的相互作用:第 (EU) 575/2013 号条例(《资本要求条例》)第 144 条和第 2009/138/EC 号指令(《偿付能力 II 指令》)第 120 条

#### ¶322

如果预期用于评估自然人信用状况或确立其信用评分的 AI 系统也预期用于联盟法律规定的审慎目的(计算信用机构和保险企业的资本要求),它仍将根据附件三第 5(b) 和 (c) 点被归类为高风险。这源于该条款的明确规定:预期用于其中所列用例的 AI 系统只有在预期用于侦测金融欺诈目的时,方可被豁免于高风险分类。

#### ¶323

序言第 58 段中关于联盟法律为审慎目的规定的、用于计算信用机构和保险企业资本要求的 AI 系统不应被视为《人工智能法》下高风险的表述澄清,用于这些目的的 AI 系统如果不预期同时用于评估自然人的信用状况和确立自然人的信用评分,则不属于附件三第 5(b) 点用例的范围。此类不属于附件三第 5(b) 点用例范围的系统示例是:金融机构预期仅用于根据第 (EU) 575/2013 号条例第 143 条在内部评级法(IRB)下计算自然人贷款组合风险加权敞口、但同一系统不预期用于信用评分或评估自然人信用状况的 AI 系统。此类(通常为)内部 AI 系统本身并非高风险,因为第 (EU) 575/2013 号条例第 144(1)(b) 条65 和《偿付能力 II 指令》第 120 条中提到了使用测试。

#### ¶324

在此背景下,应回顾的是,就高风险分类而言,AI 系统的主要目的是什么并不重要。只要系统的目的之一是附件三第 5(b) 点所列用例,该 AI 系统就应被归类为高风险,无论同一 AI 系统是否也用于 IRB 方法下的内部评级以及违约和损失估计以计算自有资金要求。

#### ¶325

然而,如果金融机构为这两种操作使用不同的 AI 系统(例如,银行使用以 IRB 系统为输入的信用评分 AI 系统,或使用以信用评分为输入但在某些要素上偏离 IRB 系统的 IRB 系统),则用于 IRB 目的的 AI 系统不应被归类为高风险,因为只有信用评分系统才预期用于《人工智能法》附件三第 5(b) 点所列用例。同样的原则适用于广泛使用内部模型、且这些模型根据《偿付能力 II 指令》第 120 条在其治理体系中发挥重要作用的保险企业。

#### ¶326

附件三所列用例含义内是否存在一个或两个底层 AI 系统,需要进行逐案评估。市场监督机关和提供者必须根据《人工智能法》第 3(1) 条对 AI 系统的定义识别底层 AI 系统及其边界,并从《关于人工智能系统定义的指南》66 中汲取灵感。这可能除其他外要求描述 AI 系统的硬件和软件组件,以及其目标和功能(着眼于输入和输出),及其与其他 AI 系统或其环境的接口。

65 欧洲议会和理事会 2013 年 6 月 26 日关于信用机构审慎要求并修订第 (EU) 648/2012 号条例的第 (EU) 575/2013 号条例。
66 欧盟委员会《关于人工智能系统定义的指南》,该指南依据欧洲议会和理事会 2024 年 6 月 13 日第 (EU) 2024/1689 号条例(《人工智能法》),文本与欧洲经济区相关(官方公报 L,2024/1689)。

#### ¶327

金融机构作为属于附件三第 5(b) 点用例范围的高风险 AI 系统的提供者,在非实时生产环境中实施已批准 IRB 系统的模型变更,在获得批准之前不应被视为根据《人工智能法》第 3(11) 条将 AI 系统投入使用,因为在此之前,实践中并无部署按非实时环境中实施方式运作的 AI 系统的意图。

#### ¶328

在任何情况下,金融机构在高风险规则适用日期之前投放市场或投入使用的高风险 AI 系统享有祖父条款(grandfathered)待遇,无须符合相关要求和义务,除非自该日期起这些系统的设计发生重大变更(见《人工智能法》第 111(2) 条和下文第五节,以及关于审慎要求的相关联盟立法)。为此,相关联盟立法中关于 IRB 方法内信用评分重大变更的定义,将在评估附件三第 5(b) 点中的高风险 AI 系统是否根据《人工智能法》第 111(2) 条发生设计重大变更时具有相关性。

### 分节:第 5(d) 点:紧急呼叫的评估和分类,或紧急一线响应服务的调度或调度优先级的确定

#### ¶329

附件三第 5(d) 点将预期用于评估或分类自然人紧急呼叫,或用于调度紧急一线响应服务(包括警察、消防员和医疗救助)或确立其调度优先级的 AI 系统,以及紧急医疗保健患者分诊系统归类为高风险。如果开发或使用不当,使用此类系统可能对人的生命和健康及其财产非常危急的情形构成风险。为应对这些风险,此类系统被归类为高风险,并须遵守保障措施,以确保其按预期运作、准确、安全且不带歧视。

#### ¶330

五类 AI 系统属于附件三第 5(d) 点所列用例的范围:(i) 预期用于评估和分类自然人紧急呼叫的 AI 系统;(ii) 预期用于调度紧急一线响应服务的 AI 系统;(iii) 预期确立紧急一线响应服务调度优先级的 AI 系统;(iv) 预期用于调度紧急医疗保健患者分诊系统的 AI 系统;(v) 预期确立紧急医疗保健分诊系统调度优先级的 AI 系统。

#### ¶331

属于《人工智能法》附件三第 5(d) 点用例范围、且根据第 (EU) 2017/745 号条例(《医疗器械条例》)第 2(1) 条构成医疗器械、或根据《无线电设备指令》第 2(1)(1) 条构成无线电设备、并满足该条款条件的 AI 系统,属于《人工智能法》附件一的范围,也应根据《人工智能法》第 6(1) 条被归类为高风险(见上文第三节)。如果《人工智能法》第 6(1) 条不适用,则属于第 5(d) 点用例范围的 AI 系统根据《人工智能法》第 6(2) 条和附件三被归类为高风险。

**_i. “紧急呼叫”的含义_**

#### ¶332

《人工智能法》未定义“紧急呼叫”的概念。可以参考第 (EU) 2018/1972 号指令(《欧洲电子通信法典》)第 2(31)、(36) 和 (38) 条67。这些条款定义了“呼叫”、“公共安全应答点”(“PSAP”)和“紧急通信”的概念。就后者而言,紧急通信被归类为“终端用户与 PSAP 之间通过人际通信服务进行的通信,其目标是向紧急服务请求和接收紧急救助”,这不仅限于呼叫,还可以包括短信和视频。PSAP 是“在公共机关或成员国认可的私人组织负责下首次接收紧急通信的物理地点”68。

**_ii. “紧急一线响应服务”的含义_**

#### ¶333

《人工智能法》未定义“紧急一线响应服务”的概念。此类服务通常是成员国的主管权限69,成员国立法指定应被视为紧急一线响应服务的组织和类型。此外,可以参考《欧洲电子通信法典》第 2(39) 条,该条将“紧急服务”定义为“成员国认可的、在特别是存在对生命或肢体、个人或公共健康或安全、私人或公共财产或环境的直接风险的情况下根据国内法提供即时和快速援助”的服务。附件三第 5(d) 点和序言第 59 段将警察、消防员和医疗救助作为此类服务的示例。此类服务还可以包括救护服务、与例如灾害风险管理和预报相关的信息管理运营中心,以及提供搜索、救援和疏散的组织。

**_iii. “紧急医疗保健患者分诊系统”的含义_**

#### ¶334

紧急医疗保健患者分诊系统只要满足《医疗器械条例》第 2(1) 条中医疗器械的定义,就可以构成医疗器械。如果此类系统满足《人工智能法》第 6(1) 条的条件,它们将根据该条款和《人工智能法》附件一被归类为高风险,并要求与部门法律进行精简一致的合规(见上文第三节)。

#### ¶335

不构成医疗器械的紧急医疗保健患者分诊系统应根据《人工智能法》第 6(2) 条和附件三第 5(d) 点被归类为高风险。

**_iv. “预报”和“灾害监测”的含义_**

#### ¶336

AI 系统也可以用于在自然人没有紧急呼叫的情况下预报或预测需要紧急一线响应服务的情形,例如在需要紧急一线响应服务时发出警报的系统。

67 欧洲议会和理事会 2018 年 12 月 11 日关于建立欧洲电子通信法典(重订)的第 (EU) 2018/1972 号指令。该指令目前正在修订中,委员会预计于 2026 年第一季度提出提案。
68 欧洲议会和理事会 2014 年 4 月 16 日关于协调成员国关于无线电设备市场供应的法律并废除第 1999/5/EC 号指令的第 2014/53/EU 号指令。
69 《欧洲联盟运行条约》第 196 条。

此类系统只有在特别预期用于决定何时或何地调度紧急一线响应服务时,才属于附件三第 5(d) 点的范围。

**a) 属于第 5(d) 点高风险用例范围的人工智能系统实际示例**

分析呼叫并确定干预优先级 ——紧急响应中心预期用于对 112 呼叫进行分类以分配紧急程度级别并调度响应人员、使用自然语言处理的 AI 系统。此类 AI 系统是高风险,因为系统预期用于评估和分类呼叫,并确立紧急一线响应服务调度的优先级,包括服务的实际调度。——用于分析警方收到的紧急呼叫、通过提取相关信息(如相关关键词)根据情况的紧急性和严重程度确定干预优先级的 AI 系统。系统评估情况的紧急性和应给予的响应。此类 AI 系统是高风险,因为它直接参与评估、优先级排序和调度自然人发出的来电,且系统评估应给予何种响应。人工审查的支持工具 ——预期为紧急一线响应服务接听员提供实时决策支持的 AI 系统,通过充当接听员的助手、倾听来电者描述中可能危及生命的紧急情况迹象或信号,有效增强人工决策技能。AI 系统使用实时自动语音识别技术创建高质量记录,并在通话期间分析数据并与先前紧急呼叫收集的历史数据进行比较。此类 AI 系统是高风险,因为它通过协助紧急一线响应服务接听员基于倾听可能表明医疗紧急情况的关键词来帮助对呼叫进行分类,从而评估自然人发出的呼叫。——预期确定排队中未被接听来电中紧急情况性质和严重程度的 AI 系统。AI 系统的作用是识别危及生命的紧急情况,并在等待来电需要优先处理时提醒人工接听员,而执行自动化分诊或优先调度的决定仍由人工接听员作出。此类 AI 系统是高风险,因为它将紧急呼叫评估和分类为危及生命的和非危及生命的。紧急分诊系统 ——急诊科中预期对患者进行优先级排序、但不执行临床评估医疗行为或诊断功能的 AI 系统。此类 AI 系统是高风险,因为它预期用于确立紧急医疗保健患者分诊系统调度的优先级。

——预期用作聊天机器人、在不执行临床评估医疗行为或诊断功能的情况下在医疗机构触发紧急医疗服务。快速警报系统 ——预期用于支持分配资源和预先定位资产以扑灭野火的 AI 系统,其中系统不仅预测野火在某个地区受保护森林中演变的可能性和方向,还自动触发紧急一线响应服务的调度,或提供明确的人员分配建议以控制野火。系统不取代人工决策,而是支持工作人员。此类 AI 系统是高风险,因为它特别预期用于触发紧急一线响应服务,并决定何时和/或何地调度紧急一线响应服务。此类系统的影响与其对资源调度和地点的决定性作用相关,这些决定是在人的生命和健康及其财产保护的关键情形中作出的。语言工具 ——预期用作心理健康危机分诊聊天机器人、使用自然语言处理评估与紧急心理健康服务基于聊天的接触的严重性和紧迫性、但不执行临床评估或诊断功能的 AI 系统。此类 AI 系统是高风险,因为它指导心理健康干预响应,带有错误分类的风险,并提供第一线紧急分诊功能。

**b) 不属于第 5(d) 点高风险用例范围的人工智能系统实际示例**

转写紧急呼叫 ——预期转写质量较差的紧急呼叫、或来电者可能恐慌或无法沟通的呼叫、识别相关关键词并自动转写、从而节省接听员要求来电者重复所花费时间的 AI 系统。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为它通过专注于与紧急一线响应服务相关的特定关键词来协助紧急一线响应服务接听员评估自然人发出的呼叫,但不评估或分类该呼叫。预报 ——在紧急一线响应服务通过紧急通信获知之前分析各种数据集以快速指示潜在灾害的 AI 系统。这些系统可以例如识别易涝地区并建议缓解策略,基于风、温度和植被密度模拟潜在的野火蔓延模式,处理社交媒体流以侦测新话题何时成为趋势,并监测天气条件和地震活动。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为它不预期决定何时和/或何地调度紧急一线响应服务,而更像是预期用于潜在灾害一般预报的系统,与调度紧急一线响应服务没有联系。

增强学习和培训 ——用于提供逼真训练环境的 AI 驱动模拟平台。该系统除其他外为一线响应人员创建基于情景的培训,使其能够演练对洪水、野火和网络攻击的响应,随后进行自动化讲评和响应建议。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为它预期提供具有逼真情景的学习环境。实践中,此类系统不用于评估和分类自然人发出的实时来电,也不实际调度或优先排序紧急一线响应服务。在此环境中获得的经验和信息对于开发将用于《人工智能法》附件三第 5(d) 点所列预期目的的 AI 系统很有价值,但为学习目的不被视为高风险。患者识别 ——预期使用生物识别参数安全识别接受医疗程序的患者的 AI 系统。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为系统不预期用于其中所列的预期目的之一。与服务连接相关的 AI 系统 ——预期在收到紧急呼叫的网络或缺乏连接性方面传达流量的 AI 系统。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为它本身不负责触发有害结果,即使它可能影响服务的可用性。预计愈合时间 ——预期估计医院病房和床位管理的愈合时间的 AI 系统。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为系统不预期用于其中所列的预期目的之一。医疗预约 ——预期安排医疗预约的 AI 系统。此类 AI 系统不属于第 5(d) 点所列用例的范围,因为系统不预期用于其中所列的预期目的之一,且与危及生命的紧急情况无关。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

优先级排序的准备工具 ——预期在可能发生紧急情况之前解读天气风险数据(如野火或洪水)并为资源优先级排序提供准备性情报(如预先部署的消防员或防洪装置)及其预先分配的 AI 系统。此类 AI 系统属于第 5(d) 点所列用例的范围,因为它预期用于确立紧急服务调度的优先级。然而,由于

系统对与优先级排序相关的评估执行准备性任务,该评估将由人工分析人员和主管指挥官评估和确认,因此它属于《人工智能法》第 6(3)(d) 条的例外。人工审查的支持工具 ——预期向一线响应人员提供紧急现场态势感知(如患者和伤亡人员的位置以及例如其体温)的 AI 系统。这可以是现场指挥官持有的系统,用于收集和整合来自人工一线响应人员、自主救援机器人或无人机以及传感器数据(如放射性或毒素)的相应数据。此类 AI 系统属于附件三第 5(d) 点用例的范围,因为它与紧急医疗保健患者分诊系统相关。然而,由于系统仅以结构化方式提供现有的事实信息,而不评估这些信息以对患者和伤亡人员进行优先级排序或分诊,因此它属于《人工智能法》第 6(3)(a) 和 (d) 条所列预期执行狭窄程序性和准备性任务的 AI 系统例外。

## 领域 6——执法(附件三(6))

#### ¶337

正如序言第 59 段所解释的,鉴于执法机关的作用和责任,其涉及某些 AI 系统使用的行动以显著程度的权力不对称为特征,并可能导致监视、逮捕或剥夺自然人自由,以及对《欧盟基本权利宪章》所保障基本权利的其他不利影响。因此,《人工智能法》将执法指定为 AI 系统的特定应用可能对自然人和法人的健康、安全和基本权利构成相当大风险的领域之一。

#### ¶338

《人工智能法》附件三第 6 点列明了五个高风险用例,预期用于执法领域的 AI 系统在这些用例中被归类为高风险。联盟立法者认为这些用例是准确性、可靠性和透明度特别重要的情形,以避免不利影响、保持公众信任并确保问责和有效救济(序言第 59 段)。如上文第 2.6 节所解释的,人工智能系统在这些用例下被归类为高风险人工智能系统,不应被理解为该系统依据联盟法律的其他法律文件或与联盟法律相容的国内法的使用是合法的。

### 分节:用例概述与横向问题

#### ¶339

《人工智能法》附件三第 6 点涵盖执法机关或代表执法机关、或支持执法机关的欧盟机构、机关、办事处或署预期使用的 AI 系统,只要此类使用依据相关联盟法律或国内法系被允许。以下用例被归类为高风险:(a) 预期用于评估自然人成为刑事犯罪受害者风险的 AI 系统;(b) 预期用作测谎仪及类似工具的 AI 系统;(c) 预期用于在刑事犯罪调查或起诉过程中评估证据可靠性的 AI 系统;

(d) 预期用于评估自然人犯罪或再犯风险(不仅仅基于对自然人的画像)、或评估自然人或群体的性格特征和特质或过去犯罪行为的 AI 系统;(e) 预期用于在侦测、调查或起诉刑事犯罪过程中对自然人进行画像的 AI 系统。

**_i. “执法机关”的概念_**

#### ¶340

“执法机关”一词对于确定 AI 系统是否属于《人工智能法》附件三第 6 点所列高风险用例的范围具有决定性意义。《人工智能法》第 3(45) 条第 (a) 和 (b) 点对“执法机关”的定义与第 (EU) 2016/680 号指令(《执法指令》,以下简称“LED”)第 3(7) 条对“主管机关”的定义相同。根据该定义,“执法机关”的概念应被理解为包括 (a) 主管预防、调查、侦测或起诉刑事犯罪或执行刑事处罚(包括防范和预防对公共安全的威胁)的任何公共机关;或 (b) 成员国法律委托其行使公共机关权力和公共权力以预防、调查、侦测或起诉刑事犯罪或执行刑事处罚(包括防范和预防对公共安全的威胁)的任何其他机构或实体。

#### ¶341

鉴于成员国法律制度的多样性,《人工智能法》第 3(45) 条中“执法机关”的概念应使用功能性方法解释。这意味着,机构或实体是否被归类为执法机关,将不取决于该机构或实体的正式称谓,而取决于其依法执行的任务是否具有执法性质,即预防、调查、侦测或起诉刑事犯罪或执行刑事处罚,而非行政性质。《人工智能法》含义内执法机关的示例70 包括以下机构(当它们执行执法任务(预防、调查、侦测或起诉刑事犯罪或执行刑事处罚71)时):——警察,——检察官,——缓刑和假释服务,——监狱(惩戒)服务。对于具有混合权限的机关,附件三第 6 点不应仅因为该机关拥有某些执法权力而适用。它仅在该 AI 系统预期由该机关或代表该机关行使其执法职能时使用、且

70 “执法机关”的定义在欧盟各成员国的国内法中有所不同,因此此清单仅供定向参考。
71 关于概念和所涵盖活动的进一步讨论,见欧盟委员会《关于禁止人工智能实践的指南》第 319-325 点。

预期用途属于附件三第 6 点所列某一用例的范围时适用。另见下文第 ¶348 段。

#### ¶342

就《人工智能法》而言,在刑事事项中行事的司法机关,或其他行使司法职能或构成刑事事项司法体系一部分的机关,应既被视为附件三第 8 点含义内的“司法机关”,也被视为该附件第 6 点含义内的“执法机关”。这种将“执法机关”概念解释为包括“司法机关”的理解是《人工智能法》特有的,特别是关于附件三第 6 点用例的范围。这是因为《人工智能法》第 3(45) 条对“执法机关”的定义与 LED 第 3(7) 条使用的“主管机关”定义相同,且该概念应以一致的方式解释。《人工智能法》下“执法机关”概念的范围不影响其他联盟法律文件中相同或类似概念的解释。

#### ¶343

某些成员国的海关机关在某些情况下应被视为执法机关,特别是当它们预防、调查和侦测与海关相关的犯罪时。在此类情形下,这些机关将在执法框架内运作,因此预期在此类情形中使用的 AI 系统,如果属于《人工智能法》附件三第 6 点所列某一用例的范围,将被归类为高风险。相反,当海关机关以行政而非执法身份行事时,那些机关以该身份预期使用的 AI 系统将不会被归类为高风险,因为附件三第 6 点所列用例仅涉及执法活动(见第
**_iii. 排除用于行政程序中的 AI 系统(续上文)。_**

#### ¶344

执法机关应区别于国家情报机关(有时称为国家情报单位、安全部门或秘密机构),尽管在某些情况下这些机关行使重叠的权限。在一些成员国,国家情报机关也可能在执法机关行使权限时为其提供支持。当国家情报机关执行执法职能(预防、调查、侦测或起诉刑事犯罪或执行刑事处罚)时,该机关预期在行使这些职能时使用的 AI 系统,如果属于附件三第 6 点所列某一用例的范围,可根据《人工智能法》第 6(2) 条被归类为高风险。否则,《人工智能法》第 2(3) 条第二分段明确将专门用于军事、国防或国家安全目的(无论是否修改)而投放市场、投入使用或使用的 AI 系统排除出其范围,无论开展这些活动的实体类型如何。序言第 24 段澄清了该条款中“专门”概念应如何解释,以及在哪些情况下用于此类目的的 AI 系统如果也用于执法目的,仍可能属于《人工智能法》的范围72。

#### ¶345

如果提供者投放市场或投入使用预期同时由执法机关和国家情报机关使用的 AI 系统,则此类系统应被归类为高风险 AI 系统(然而,国家情报机关不受部署者义务的约束,因为它们被排除在《人工智能法》范围之外)。如果执法机关和国家情报机关联合开发项目并创建 AI 系统,只要该 AI 系统也预期用于执法背景,则同样适用。

72 另见《关于禁止人工智能实践的指南》第 2.1.5 节。

相反,如果系统仅预期由完全在执法活动之外行事的情报机关使用,则不属于《人工智能法》的范围。

**_ii. “支持执法机关或代表其行事的欧盟机构、机关、办事处或署”**

#### ¶346

《人工智能法》附件三第 6 点所列用例不仅指执法机关和代表执法机关行事的实体,还指支持执法机关或代表其行事的欧盟机构、机关、办事处或署。

#### ¶347

因此,这些用例应被视为涵盖例如:欧洲刑警组织(Europol,欧盟执法合作署),它支持各成员国的执法机构打击影响两个或更多成员国、恐怖主义以及影响联盟政策所涵盖共同利益的犯罪形式的严重犯罪;欧洲司法合作署(Eurojust,欧盟刑事司法合作署),它汇集联盟内外各地的检察官和法官,努力有效打击所有形式的严重跨境犯罪;以及欧洲检察官组织(EPPO,欧洲检察官办公室),它调查、起诉并将侵害联盟经济利益的犯罪诉诸审判。《人工智能法》附件三第 6 点所列用例也可能适用于欧洲边境和海岸警卫队(Frontex),只要其活动构成执法活动。

**_iii. 排除用于行政程序中的 AI 系统_**

#### ¶348

《人工智能法》附件三第 6 点所列用例仅指预期用于与执法活动相关的 AI 系统。特别预期用于行政活动的 AI 系统(例如税务和海关机关使用的系统,如与关税、税率或不具惩罚性质的合规检查相关的系统,以及执行分析信息的行政任务的金融情报单位根据欧盟反洗钱法使用的系统),不应根据该条款被归类为高风险(序言第 59 段)。同样的逻辑类推适用于在这些领域工作的欧盟层面行政实体。

#### ¶349

就海关机关预期使用的 AI 系统而言,只要其预期用途限于此类行政程序(如进口和入境程序、出口和出境程序以及过境程序),就不应根据《人工智能法》附件三第 6 点被归类为高风险。然而,如上所述,当 AI 系统预期用于属于高风险用例的目的时,该系统应被归类为高风险 AI 系统。此类用例的示例是海关风险管理系统,其输出被海关官员用于评估跨越边境的货物不符合适用法律要求的可能性。此类系统将不属于附件三第 6 点所列任一用例的范围。一般而言,此类系统不是为预防、调查、侦测或起诉刑事犯罪而设计的,而是为了标记可能不符合联盟和国家关于农业和食品安全、植物和动物健康、知识产权、产品安全、环境、废物管理规则、文化产品保护等规则的情况。另一方面,当 AI 系统也用于侦测构成刑事犯罪的案件时,如果它们属于第 6 点的一个或多个用例,则应被归类为高风险。

#### ¶350

正如《关于禁止人工智能实践的指南》第 218 段所解释的,对于不受联盟法律监管的犯罪,犯罪的国内定性须接受 CJEU 的审查,因为“刑事犯罪”是联盟法律的自主概念,应在各成员国之间一致解释。CJEU 在不同背景下已得出结论,成员国对犯罪的分类在这方面不具有决定性73。用于评估犯罪性质(刑事或非刑事)的相关标准可以在 CJEU 和欧洲人权法院(“ECtHR”)的相关判例法中找到74。行政违法被排除在附件三第 6 点的范围之外。

**_iv. 风险评估和自然人画像的概念(第 6(a)、6(d) 和 6(e) 点)_**

#### ¶351

《人工智能法》附件三第 6 点列出了三个不同的用例,涉及执法机关预期用于评估风险或对自然人画像的 AI 系统。

#### ¶352

这三个用例服务于三种类型的目的。首先,第 6(a) 点涉及潜在受害者风险评估或画像,具体指预期用于评估自然人可能成为刑事犯罪受害者风险的 AI 系统的使用,这包含前瞻性、预防性和保护性功能。其次,第 6(d) 点涉及潜在犯罪者或潜在犯罪者群体的风险评估或画像,具体指预期用于评估具体个人以评价其(潜在)犯罪行为的人工智能系统。第三,第 6(e) 点涉及在侦测、调查和起诉刑事犯罪背景下应用画像时更一般的画像,例如使用某些标准从一般人群或特定群体中挑出潜在嫌疑人名单。

#### ¶353

《人工智能法》第 6(3) 条最后一段规定,属于附件三所列某一用例范围的 AI 系统,如果对自然人执行画像,应始终被视为高风险。这意味着,即使 AI 系统满足《人工智能法》第 6(3) 条过滤器机制的条件,如果它对自然人执行画像,仍将被归类为高风险。

#### ¶354

如果 AI 系统在群体层面而非个人层面分析数据,从而在此背景下不处理个人数据,则此类使用不构成 LED 第 3(4) 条所定义的画像(即要构成画像,必须存在由使用个人数据评估与自然人相关的特定个人方面所构成的自动化处理)75。相反,将画像应用于个人将构成画像,因为它将直接影响他们并影响其个人状况。

73 参见例如 CJEU 2013 年 11 月 14 日判决,Marián Baláž,第 C-60/12 号案,EU:C:2013:733。
74 根据 CJEU 判例法,应由国内法院根据所谓的“恩格尔标准”(Engel criteria)确定非刑事处罚是否可以被视为“刑事”处罚。参见:ECtHR 1976 年 6 月 8 日判决,Engel and Others 诉荷兰,申请号 5100/71、5101/71、5102/71、5354/72 和 5370/72,CE:ECHR:1976:0608JUD000510071,第 82 段。这些标准最初由欧洲人权法院(ECtHR)发展,随后得到 CJEU 认可,是选择性的而非累积性的。在审查处罚是否具有刑事性质时,主管国内法院应评估:(1) 相关条款在国内法下的分类;(2) 犯罪本身的性质;以及 (3) 处罚的严重程度。在评估犯罪性质时,考虑的因素除其他外包括:程序是否由具有法定执行权力的公共机构提起;法律规则是否具有惩罚或威慑目的;法律规则是否旨在保护通常由刑法保护的社会普遍利益;任何处罚的施加是否以认定有罪为前提。关于处罚的严重程度,相关参考是国内法规定的最高可能处罚。这些标准是选择性的,不一定是累积性的。参见欧洲人权法院《欧洲人权公约第 6 条指南——公平审判权(刑事方面)》,更新于 2024 年 2 月 29 日。另见 CJEU 2012 年 6 月 5 日判决 Bonda,第 C-489/10 号案,EU:C:2012:319,第 37 段及其后;CJEU 2013 年 2 月 26 日判决 Åkerberg Fransson,第 C‑617/10 号案,EU:C:2013:105,第 35 段。

#### ¶355

重要的是要注意,《人工智能法》附件三第 6(a)、6(d) 和 6(e) 点所列用例不涵盖对地点或地理区域的分析或测绘。因此,设计用于在群众活动(如体育赛事、音乐会)期间预测风险区域的 AI 系统,如果不对个人画像、而仅依赖地理和非个人数据或特定区域的人口密度,则不会被归类为高风险。然而,如果该 AI 系统具有情绪识别能力以识别例如愤怒和攻击性,则系统将属于《人工智能法》附件三第 1(c) 点用例的范围。例如,警方机关部署 AI 系统,基于情报报告中的威胁指标、近期事件数量和政治发展,评估一个设有多座政府大楼的地区的恐怖主义威胁等级(如“低”、“中”、“高”)。在这种情况下,未对自然人执行画像,因为评估与评价任何被识别自然人的个人特征无关,且系统的输出(即估计的威胁等级)集体适用于该地区出现的所有人。此类威胁等级评估也不用于挑出被视为潜在嫌疑犯或受害者的人。因此,该 AI 系统不会根据《人工智能法》附件三第 6 点被归类为高风险。

### 分节:第 6(a) 点:评估自然人成为刑事犯罪受害者的风险

#### ¶356

要属于附件三第 6(a) 点所列用例的范围,AI 系统必须满足以下累积条件:(i) 系统必须预期由执法机关或代表执法机关、或由支持执法机关或代表其行事的欧盟机构、机关、办事处或署使用;(ii) 系统必须预期用于评估与作为受害者的自然人相关的风险(即不是物体、地理位置、事件或组织);以及 (iii) 该人必须是刑事犯罪的潜在未来受害者(不是事故或行政违规等其他风险)。

#### ¶357

预期用于评估自然人成为刑事犯罪受害者风险的 AI 系统通常设计用于支持预防性和保护性执法策略。此类 AI 系统分析与个人相关的各种个人和情境数据,以评估他们对某些犯罪情形的风险或脆弱性。它们处理诸如个人历史、官方报告、社会或家庭情况等信息,以产生对个人可能成为特定犯罪受害者的可能性评估。

#### ¶358

《人工智能法》未定义“受害者”一词76。就《人工智能法》附件三第 6(a) 点而言,该术语可以被理解为指由 AI 系统推断或识别

75 关于画像的更多细节,见第 2.7.2 节。
76 第 2012/29/EU 号指令(《受害者权利指令》;欧洲议会和理事会 2012 年 10 月 25 日关于确立犯罪受害者权利、支持和保护最低标准的第 2012/29/EU 号指令,并取代理事会第 2001/220/JHA 号框架决定。官方公报 L 315,2012 年 11 月 14 日,第 57-73 页)第 2(1)(a) 条提供了“受害者”一词的定义。然而,应注意,《受害者权利指令》中的定义是回顾性的,因为它指已经遭受伤害的人,而《人工智能法》附件三第 6(a) 点中的用例是前瞻性的。同样,出于性别暴力目的的“受害者”定义可以在关于打击暴力侵害妇女行为和家庭暴力的第 (EU) 2024/1385 号指令中找到。官方公报 L,2024/1385,2024 年 5 月 24 日。

为面临遭受伤害(包括身体、精神或情感伤害或经济损失)的概率或风险的人,该伤害源于如果成为现实即构成刑事犯罪的行为。

#### ¶359

此类 AI 系统被归类为高风险是基于这些系统可能对安全、安保或基本权利产生的影响。此类 AI 系统既可用于保护潜在受害者的基本权利(例如保护一个人免受身体伤害),而不当的运作或使用也可能引发加强监视、福利检查、名誉损害、造成负面心理后果或污名化。因此,此类系统的正常运作具有实质性重要性,因为缺陷或误用可能导致评估不足和假阴性风险,加上执法机关的过度依赖,可能导致预防措施或保护被扣留(例如在评估据称性别暴力受害者所需保护的情况下)。

**a) 属于第 6(a) 点用例范围的人工智能系统实际示例**

家庭暴力风险评估系统 ——预期用于分析受害者陈述、警方报告、先前事件、限制令数据、社会服务记录和其他数据以确定家庭暴力(潜在)受害者所面临风险水平的家庭暴力风险评估系统,应被认为属于附件三第 6(a) 点所列用例的范围。此类 AI 系统是执法机关用于评估自然人成为刑事犯罪受害者风险的工具的经典示例。它们影响关键干预,包括警方保护措施和法律行动,这些可以防止伤害发生,或者如果有缺陷,则使受害者易受进一步虐待。此类 AI 系统的使用涉及画像,因此它们不能受益于《人工智能法》第 6(3) 条规定的过滤机制。——司法机关预期在刑事法庭程序中使用、以估计严重或重复亲密伴侣暴力的概率(例如在签发或维持限制令时)的 AI 风险评估系统。由于此类风险评估涉及画像,不能适用《人工智能法》第 6(3) 条的豁免。脆弱性剥削风险评估系统 ——预期用于评估个人被贩卖风险(特别是在跨境、劳动剥削或移民背景下,或来自特别脆弱背景的年轻人)的人口贩运脆弱性侦测系统,应被认为属于附件三第 6(a) 点所列用例的范围。此类系统汇总年龄、缺乏有效证件、与无关成年人同行、受他人控制的迹象以及与高风险行业的联系等指标,以产生指示未来人口贩运可能性的分数。这些系统涉及个人风险评估,并对基本权利有潜在后果。此类 AI 系统的使用涉及

画像,因此它们不能受益于《人工智能法》第 6(3) 条规定的过滤机制。

**b) 不属于第 6(a) 点用例范围的人工智能系统实际示例**

预测地点聚焦风险的 AI 系统 ——预期用于分析特定环境/地点将发生犯罪和受害(即某些地区的人将成为犯罪受害者)风险的 AI 系统,应被认为不属于附件三第 6(a) 点所列用例的范围。作为环境/地点聚焦系统,此类系统不明确评估特定人员(受害者)的风险,除非因他们在风险区域而涉及。然而,如果系统预期用于预测特定个人在该地区犯罪或潜在犯罪的风险,则此类系统将属于附件三第 6(d) 点所列用例的范围。——预期在响应报案犯罪现场的初始阶段支持执法的态势感知和风险评估 AI 系统,应被认为不属于附件三第 6(a) 点所列用例的范围。此类系统可以通过机器人或无人机部署,设计用于处理视觉和情境输入以侦测关键要素,如武装人员、武器或环境危险的存在。由于系统的目的是评估即时环境,而非基于个人或情境数据评估与特定个人相关的风险,因此不应仅凭此被归类为高风险。然而,如果系统还具有生物识别能力,它可能属于附件三第 1 点所列用例的范围(见上文第 3.1 节)。预测事故或行政违规风险的 AI 系统 ——预期用于识别可能发生事故的路段或时段、从而人们面临成为道路交通事故受害者风险(的 AI 系统),应被认为不属于附件三第 6(a) 点所列用例的范围。要使此类系统属于该用例,它应预期用于分析成为刑事犯罪受害者(而非事故受害者)的风险。此外,此类系统是地点聚焦的,不分析与具体个人相关的风险。——预期用于预测大型集会过度拥挤、踩踏或结构性危险的 AI 视频分析,应被认为不属于附件三第 6(a) 点所列用例的范围。——预期用于识别面临成为事故/灾难受害者风险人群的 AI 洪水风险和野火蔓延模型,应被认为不属于附件三第 6(a) 点所列用例的范围。另见关于附件三第 5(d) 点所列用例的第 3.6.5 节。

### 分节:第 6(b) 点:测谎仪或类似工具

#### ¶360

附件三第 6(b) 点将预期用作测谎仪(也称为测谎器)或类似工具的人工智能系统归类为高风险。此类系统预期通过测量心率、血压、呼吸和皮肤电导等生理反应来评估一个人是否在说真话。

#### ¶361

与测谎仪类似的系统包括:检查语音模式以寻找欺骗迹象的语音压力分析;监测与认知压力相关的眼球运动和瞳孔扩张的眼动追踪和瞳孔测量;侦测与说谎相关的大脑活动的脑成像技术;以及使用 AI 解读微表情、肢体语言或言语线索的行为分析工具。

#### ¶362

此类系统的目的不同于属于附件三第 1(c) 点所列用例范围的情绪识别系统。测谎仪设计用于推断欺骗,在执法背景下主要用于审讯期间,而情绪识别系统分析生物识别线索以推断情绪状态(如悲伤或愤怒),通常没有直接身体接触,使其与风险预测或视频材料优先级排序等任务相关(见上文第 3.1.4 节和《关于禁止人工智能实践的指南》第 7 节)。预期用作测谎仪或类似工具的 AI 系统可能包含情绪识别功能,因为恐惧可以作为测谎的替代指标。在这种情况下,AI 系统可以被认为属于附件三第 1 点所列用例的范围。

**a) 属于第 6(b) 点范围的人工智能系统实际示例**

——预期用于分析面部微表情以评估审讯期间回答可信度的 AI 系统。同样,在嫌疑人回答问题期间测量眼动追踪和瞳孔反应的 AI 系统。此类系统在决策和画像中的作用使其不能受益于《人工智能法》第 6(3) 条所列的例外。

**b) 不属于第 6(b) 点用例范围的人工智能系统实际示例**

——预期用于监测警官疲劳或压力水平(通过可穿戴传感器或面部分析)的职业健康和安全目的 AI 系统。此类系统也应被认为不属于附件三第 1(c) 点所列用例的范围,如序言第 18 段进一步澄清的那样(见第 3.1.4 节);由于它们预期用于医疗和安全原因,也被排除于《人工智能法》第 5(1)(f) 条所列的禁止实践。——执法机关预期用于转写访谈并标记语调变化(如更高音调、更慢/更快语速)、但不就陈述的真实性得出结论的 AI 系统。然而,应核查特定用例是否不构成情绪识别系统从而属于《人工智能法》附件三第 1 点。

——标记不同测谎员如何解读类似案件中不规范的 AI 系统,为执法机关突出不一致之处。此类系统本身不是测谎仪,而是预期用于解读测谎员的工作。

### 分节:第 6(c) 点:预期用于评估证据可靠性的 AI 系统

#### ¶363

附件三第 6(c) 点将执法机关或代表执法机关、或支持执法机关或代表其行事的欧盟机构、机关、办事处或署预期用于在刑事犯罪调查或起诉过程中评估证据可靠性的 AI 系统归类为高风险。该条款提及“证据可靠性的评估”,因此仅聚焦于这一特定任务,且仅在公开的刑事调查或起诉过程中。

#### ¶364

在执法活动背景下,评估证据可靠性意味着评估证据在用于调查、逮捕或起诉的案件中是否值得信赖、准确和可信。这特别包括在进行深入调查或采取逮捕或其他起诉行动之前对证据真实性进行可经法庭验证的核验。该用例涵盖的 AI 系统的核心功能是证据可靠性评估。这可能包括例如:——真实性验证;——数据完整性检查;——来源可靠性评估;——评估证据是否与其他可用信息一致或内部一致。

#### ¶365

这不包括预期用于处理收集到的信息、但不预期用于评估证据可靠性的 AI 系统。不属于“证据可靠性评估”范围(因此不在《人工智能法》第 6 点范围内)的此类任务示例包括:信息的收集、整理和结构化,数据提取和链接,文档聚类,时间线重建,可视化,文档索引,重复侦测,各种形式的搜索(包括例如基于关键词的查询、相似/模糊搜索、知识图谱搜索,以及跨文本、音频、图像或视频的多模态和语义检索),翻译和转写,以及数据结构和标准化。

**a) 属于第 6(c) 点用例范围的人工智能系统实际示例**

真实性验证 ——执法机关预期用于侦测数字图像、音频录音或视频是否被更改或操纵(例如确认作为证据提交的 CCTV 录像或智能手机录音的真实性;核实收集的图片不是深度伪造)的 AI 数字取证图像、音频和视频分析解决方案。数据完整性检查和来源可靠性评估 ——执法机关预期用于确定和评估文件更改或伪造签名的 AI 系统。——预期用于评估从移动设备或其他设备检索的数字证据真实性(包括通过分析数字痕迹,如地理定位记录、文件创建和修改历史等元数据)并标记需要人工更仔细检查的要素的 AI 系统。——预期用于协助主管执法机关评估证据(包括来自人工来源的证据,如线人或证人的可信度)可靠性(通过分析陈述的内部一致性、与已核实事实的一致性以及同一来源在过去案件中提供信息的准确性等因素)的 AI 系统。

**b) 不属于第 6(c) 点用例范围的人工智能系统实际示例**

图像增强和数据恢复 ——预期用于法医重建、图像增强或从设备恢复数据的 AI 系统。此类系统不评估证据可靠性,而是通过处理、恢复或提取随后可以被检查和依赖的数据来协助人类专家。重建犯罪现场的 AI 系统 ——预期用于测绘或重建犯罪现场或基于收集的数据(照片、测量值等)提供可视化或模型的 AI 系统。此类系统帮助调查人员更好地理解犯罪现场的空间关系和事件顺序,而不评估证据可靠性。模式侦测 ——预期用于侦测调查中的模式并将其通知执法机关(例如识别近期盗窃案中相似的入室手法,或通知近期凶杀案中相似的受害者特征)的 AI 系统。此类系统不评估证据可靠性,而是发现原本可能被忽视的相关性或模式,帮助执法机关聚焦调查或发现案件之间的潜在联系。内容标记和搜索 ——预期用于侦测在线儿童性虐待材料、但不评估其作为证据可靠性的 AI 系统。此类系统的主要功能是识别、标记和过滤可能违法的内容。——执法机关预期用于筛选在线儿童性虐待材料并将其归入以下优先处理类别的 AI 解决方案:(i) 新材料;(ii) 已在数据库中登记的材料;以及 (iii) 深度伪造图片。此类系统不评估证据可靠性,而是设计用于通过过滤或预选大量流入材料来支持调查工作流。在此用例中适用《人工智能法》第 6(3) 条不影响所涉 AI 系统根据《人工智能法》附件三所列其他用例(如附件三第 6(a) 点)被认定为高风险系统的可能性。——执法机关预期用于分析性产业在线广告并标记最可能与人口贩运相关的广告的 AI 系统。此类系统不评估证据可靠性,而是设计用于识别、标记和过滤可能违法的内容。——预期用于将子弹上的弹道痕迹与参考数据库中登记的痕迹进行匹配、以识别特定武器是否被用于犯罪的 AI 系统。此类系统不评估证据可靠性,

而是通过评估证据材料与参考数据库之间的相似性构成文件处理或数据库搜索的手段。

**c) 属于该用例范围但根据《人工智能法》第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——在证据评估过程中使用但仅将选定进行真实性分析的文件、图片、视频或其他材料归入类别、从而构建证据评估结构、且该分类不影响这些文件作为证据的可靠性评估的 AI 系统。此类系统属于《人工智能法》第 6(3)(a) 条所列预期执行狭窄程序性任务的 AI 系统例外。——在证据评估过程中使用、对收集用于证据可靠性评估的财务文件进行索引和标记(例如核验银行账户流水;或核验是否存在某些姓名或物体)的 AI 系统。此类系统属于《人工智能法》第 6(3)(a) 和 (d) 条所列预期执行狭窄程序性或准备性任务的 AI 系统例外。

### 分节:第 6(d) 点:评估具体个人犯罪或再犯风险的 AI 系统

#### ¶366

第 6(d) 点将执法机关或代表执法机关、或支持执法机关或代表其行事的欧盟机构、机关、办事处或署预期用于评估具体个人犯罪或再犯风险的 AI 系统归类为高风险,前提是该评估不仅仅基于画像或评估其性格特征,或通过考察其过去犯罪行为或其所属群体过去犯罪行为。换言之,第 6(d) 点中的用例包括预期用于评估个人犯罪或再犯风险的 AI 系统,但不影响《人工智能法》第 5(1)(d) 条规定的禁止。《人工智能法》附件三第 6(d) 点所列用例的每项条件将在以下小节中审查。

**_ii. “不仅仅基于”(i) 画像、(ii) 性格特征和特质评估以及 (iii) 自然人或群体过去犯罪行为评估的选择性概念_**

#### ¶367

附件三第 6(d) 点所列用例涵盖预期用于评估自然人犯罪或再犯风险的预测性和行为性 AI 系统。它明确排除仅基于 (i) 按 LED 第 3(4) 条的画像、(ii) 性格特征和特质评估(这已被《人工智能法》第 5(1)(d) 条禁止,见《关于禁止人工智能实践的指南》第 5 节)77 或 (iii) 自然人或群体过去犯罪行为评估的 AI 系统。序言第 59 段澄清,附件三第 6(d) 点所列用例应被解释为选择性的。如果

77 《人工智能法》第 5(1)(d) 条禁止仅基于画像或性格特征和特质评估来评估或预测自然人实施刑事犯罪风险的 AI 系统。

存在至少一个此类用例,则 AI 系统符合高风险条件,除非它属于《人工智能法》第 5(1)(d) 条规定的禁止范围。

#### ¶368

当 AI 系统用于支持对个人参与犯罪活动(该评估已基于与犯罪活动直接相关的客观且可核实的事实)的人工评估时,该 AI 系统评估自然人犯罪或再犯风险的使用并不仅仅基于画像。正如序言第 42 段所澄清的,当已存在对相关自然人的合理怀疑时,即为如此。《关于禁止人工智能实践的指南》第 199 至 206 段载有关于第 5(1)(d) 条下画像“仅仅”概念的进一步指导。

**a) 属于第 6(d) 点用例范围的人工智能系统实际示例**

处理被拘留人员时用于评估犯罪/再犯风险的 AI 系统 ——警方在处理被拘留的年轻嫌疑人初始阶段预期用于计算指示再犯可能性风险分数的 AI 系统,该分数随后用于就采取什么措施作出决定。AI 系统不自主作出决定;结果与其他信息一并考虑,最终决定由主管机关作出。该 AI 系统预期用于支持执法机关评估自然人再犯风险,且该评估并不仅仅基于 LED 第 3(4) 条所述对自然人的画像,或评估自然人或群体的性格特征和特质或过去犯罪行为,因为存在与犯罪活动直接相关的可核实事实(评估在拘留后进行)。缓刑官使用的 AI 系统 ——缓刑官预期用于通过评估犯罪记录、羁押期间的行为和进展以及其他案件相关的监督信息等因素,支持告知假释或有条件释放决定的评估的 AI 系统。与上面的示例一样,存在将个人与犯罪活动直接联系的可核实事实(该人已被定罪)。监狱机构使用的 AI 系统 ——监狱机构用于基于先前犯罪记录、监狱设施内的暴力或社会经济数据预测犯罪者再犯可能性的 AI 系统。与上面的示例一样,存在将个人与犯罪活动直接联系的可核实事实(该人要么已被定罪,要么因涉嫌实施此类犯罪而被拘留)。刑事法院用于评估犯罪/再犯风险的 AI 系统 ——预期在刑事法院用于估计累犯、暴力再犯或进一步严重犯罪发生可能性的 AI 风险评估系统。由于此类风险评估系统涉及画像,第 6(3) 条的例外不适用。

**b) 不属于第 6(d) 点用例范围的人工智能系统实际示例**

地点聚焦 AI 系统 ——预测可能犯罪地点和时间范围(如某街区入室盗窃风险)、但不将预测与可识别个人相关联的 AI 系统。第 6(d) 点中的用例涉及自然人的风险评估,而非地理空间预测。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——检查缓刑官风险评估表格中是否填写所有必填字段、或标记输入数据中不一致之处(如犯罪日期或羁押期间不匹配)的 AI 系统。此类 AI 系统为风险评估执行准备性任务,不评估个人特征。它也是为狭窄的程序性任务(《人工智能法》第 6(3)(a) 条)而设计的,因为它仅标记不一致之处,且无论如何都将属于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的 AI 系统例外。——收集和预排序先前定罪、缓刑报告和其他记录以为人工官员准备案件档案的 AI 系统。此类系统为风险评估执行准备性任务,因此符合《人工智能法》第 6(3)(d) 条的豁免条件。

### 分节:第 6(e) 点:预期用于在侦测、调查或起诉刑事犯罪过程中对自然人画像的 AI 系统

#### ¶369
附件三第 6(e) 点将执法机关或代表执法机关、或支持执法机关或代表其行事的欧盟机构、机关、办事处或署预期用于在侦测、调查或起诉刑事犯罪过程中按 LED 第 3(4) 条所述对自然人画像的 AI 系统归类为高风险。将该用例纳入附件三第 6 点确认了画像本身——当通过 AI 系统、特别是在刑事司法背景下由执法机关实施时——由于其可能破坏正当程序、数据保护和平等待遇的权利,值得以高风险的监管应对。

#### ¶370

该条款适用于执法机关预期在画像自然人过程中用于在各种犯罪背景下识别潜在嫌疑人或其他关注人员(如受害者)的 AI 系统。此类系统通常分析各种类型的数据,如地理信息、登记数据、证人描述或在线活动,以生成有助于犯罪侦测、调查或起诉的画像或标记。

**a) 属于第 6(e) 点用例范围的人工智能系统实际示例**

预期用于协助识别潜在嫌疑人的 AI 系统 ——在报告儿童失踪时协助识别潜在嫌疑人的 AI 系统,分析邻里、居住在邻里且在性犯罪者登记册上的人员及其行踪,以及他们先前虐待过的儿童类型。AI 系统的目的是从行为模式中生成个性化风险推断,从而将人员筛选为潜在嫌疑人。此类系统将涉及画像,因为它执行个人数据的自动化处理以评估和预测自然人行为的各个方面。当对潜在参与犯罪活动的评估由过去犯罪行为和其他可核实事实支持时,系统将不仅仅基于画像和评估个人特征。因此,它属于《人工智能法》附件三第 6(e) 点用例的范围,而非《人工智能法》第 5(1)(d) 条规定的预测性警务禁止。——基于证人描述和其他个人数据协助识别潜在嫌疑人的 AI 系统。此类 AI 系统处理个人数据,基于模式推断身份相关特征和其他个人方面,并将个人挑出为潜在嫌疑人。预期用于定向在线监测的 AI 系统 ——监测在线帖子、基于情感分析、发帖模式和网络对用户进行分类、并为潜在极端主义关联分配标记的 AI 系统。系统自动分析通信模式、语言使用和行为指标,将人员分类为潜在的激进化对象。系统执行画像,因为它为执法目的评估和预测自然人的特征和可能的未来行为。这不构成《人工智能法》第 5(1)(c) 条禁止的社会信用评分,因为系统仅限于特定领域或背景内的定向激进化监测。

**b) 不属于第 6(e) 点用例范围的人工智能系统实际示例**

——分析街区并分配犯罪分数的 AI 系统(预测性犯罪测绘系统),只要它们不包括对个人的画像,如附件三第 6(d) 和 (e) 点所述。——侦测表明洗钱或恐怖融资的可疑交易模式的 AI 系统,即使这允许将此类交易与个人画像相关联。然而,在除仅关注交易(结构性、定量或行为性交易数据,如交易金额、频率、间隔、地理路径)之外,此类系统还与个人数据组合或被个人数据丰富、从而能够构建个人画像(如姓名、账号)的情况下,可能出现边缘案例。如果系统评估此类个人特征,则应被归类为高风险。

——分析包含时间、地点、作案手法、嫌疑人/受害者描述、身体特征、衣物、车辆和社会人口统计指标等变量的警方犯罪报告和案件档案、以识别不同事件之间的模式和相似性、将它们关联为同一犯罪者实施的可能的“系列案”的 AI 犯罪关联系统。其主要输出是警报、犯罪关联假设和对可能未来犯罪的预测(不与特定个人关联)。

### 分节:不属于附件三第 6 点用例范围的其他 AI 系统

#### ¶371

附件三第 6 点(和第 1 点)所列用例(对执法尤其相关)并未涵盖用于执法目的的所有 AI 系统。这些用例主要涉及 AI 系统直接应用于自然人或有能力实质性影响决策的情形。因此,执法部门使用的许多不符合这些标准的 AI 应用可能不属于第 6 点(和第 1 点)所涵盖的用例。

#### ¶372

以下是执法机关使用的一般不会根据《人工智能法》第 6(2) 条和附件三第 6 点被归类为高风险的 AI 系统示例78。此清单仅供定向参考,不是穷尽性的,因为除下文提到的之外,执法中还有许多其他 AI 系统。——用于自动化行政任务(如行政和会计、案件管理、设备管理、调度巡逻班次的 AI 系统)的 AI 系统。此类 AI 系统预期用于纯粹的附属行政活动,因此不属于附件三第 6 点所列用例的范围。——警方网站上的聊天机器人,提供一般信息、引导用户浏览网站。此类 AI 系统预期用于纯粹的附属行政活动,因此不属于所列用例的范围。——寻求识别具体车辆的自动车牌读取器。此类 AI 系统不被视为第 1 点含义内的生物识别,也不涉及第 6 点含义内的画像,因为该技术本身以车辆为重点,而非以人为主。然而,数据的使用、存储和解读方式在后续阶段可能产生监视过度或侵犯隐私的风险(例如,如果能够重建个人出行模式)。——检查是否违反道路安全规则(如超速、闯红灯、摩托车骑手未戴头盔、驾驶时使用智能手机)的 AI 系统。此类 AI 系统不属于附件三第 6 点所列用例的范围,也不构成附件三第 1 点含义内的生物识别。

78 如序言第 52 段所述,对于产品安全组件或本身是产品的高风险 AI 系统以外的其他高风险 AI 系统,如果鉴于其预期目的,它们对人的健康和安全或基本权利构成高损害风险,同时考虑可能损害的严重性及其发生的概率,并且它们用于本条例规定的若干预先确定的特定领域,则宜将其归类为高风险。

——预期用于侦测物体(如武器、可疑包裹、危险物体、被盗物品,包括文化物品和美术品)的 AI 系统。此类 AI 系统不属于附件三第 6 点所列用例的范围,也不构成附件三第 1 点含义内的生物识别。——预期用于侦测异常行为或动作(如奔跑、举起手臂、战斗姿势、可能表明有人持有武器的身体位置等)的 AI 系统,实时或在视频流中(不识别个人,而是识别过程或行为是否可能违法)。——实时侦测枪声的 AI 系统。此类 AI 系统不属于附件三第 6 点所列用例的范围,因为它们基于声音侦测而非人员侦测运作。——海关机关用于评估货物(跨越边境的货物)的 AI 系统。海关机关核查货物在附件三第 6 点的背景下通常不构成执法机关。此外,这些系统基于可核实数据(如集装箱号、货物描述、路线、运输方式、支付方式)评估货物是否符合欧盟立法,而非评估个人特征或行为。在某些情况下,此类 AI 系统也可能处理关于进口商或出口商先前涉及货物进口不规范行为、与犯罪组织的关联或贩毒犯罪记录的信息。如《关于禁止人工智能实践的指南》(第 214 段)所述,此类系统不属于《人工智能法》第 5(1)(d) 条禁止的范围,因为对自然人参与非法货物进出口可能性的任何预测不仅仅基于画像,而是基于与货物以及进口商或出口商先前参与犯罪活动相关的客观且可核实的信息,并须经人工审查以确定情况是否需要海关管制或风险缓解行动。——海关和/或执法机关预期用于分析与货物流动和运输作业相关数据(如航运路线、货物频率和模式、申报货物中的异常、运输方式等)以侦测滥用商业运输系统运输被贩运货物的 AI 系统。此类 AI 系统不属于附件三第 6 点所列用例的范围,因为它们不寻求预测自然人犯罪的可能性或对自然人画像。相反,它们审查与货物商业运输相关的客观且可核实的数据,以确定可能需要进一步调查的异常。

## 领域 7——移民、庇护、边境管制管理(附件三(7))

#### ¶373

《人工智能法》附件三第 7 点列明了预期用于移民、庇护和边境管制管理领域的四个高风险 AI 系统用例。正如序言第 60 段所解释的,在这些领域使用的 AI 系统影响可能处于特别弱势地位的人,而对他们待遇的处理可以决定进入领土、国际保护、居留、拘留或遣返的机会。因此,此类使用对个人进入欧盟领土和在其领土内停留及其安全和基本权利具有重大影响。在此领域部署任何 AI 系统还必须遵守适用的欧盟庇护、签证和边境管理规则和程序,并充分尊重 GDPR/EUDPR 和《宪章》,包括不推回原则

和国际保护权,以及成员国在《1951 年难民公约》及其《1967 年议定书》下的义务。在《人工智能法》中,欧盟立法者强调准确性、不带歧视和透明度对于维护基本权利、保持公众信任和确保有效救济特别重要。如上文第 2.6 节所解释的,人工智能系统在这些用例下被归类为高风险人工智能系统,不应被理解为该系统依据联盟法律的其他法律文件或与联盟法律相容的国内法的使用是合法的。

### 分节:用例概述与横向问题

#### ¶374

附件三第 7 点列明了主管公共机关或代表主管公共机关、或欧盟机构、机关、办事处或署预期在移民、庇护和边境管制管理领域使用的四个高风险 AI 系统,只要此类使用依据相关联盟法律或国内法系被允许。特别是,该条款将以下用例归类为高风险:(a) 测谎仪或类似工具;(b) 预期用于评估意图进入或已进入成员国领土的自然人所构成风险(如安全、非正常移民或健康风险)的 AI 系统;(c) 预期用于协助主管公共机关审查庇护、签证或居留申请及相关申诉(涉及申请身份的自然人的资格,包括对证据可靠性的相关评估)的 AI 系统;以及 (d) 预期用于在移民、庇护或边境管理背景下侦测、识别或认定自然人的 AI 系统(旅行证件验证除外)。

**_i. “主管机关”和“代表……行事”的概念(续)_**

#### ¶375

附件三第 7 点所列 AI 系统用例涉及主管公共机关或代表主管公共机关、或欧盟机构、机关、办事处或署预期在移民、庇护和边境管理领域使用的系统。这涵盖根据欧盟或国内法律指定的国家主管机关,以及在欧盟法律授权的范围内行事的欧盟机构、机关、办事处或署。

#### ¶376

在不影响对此背景下 AI 系统使用与《宪章》和欧盟次级法相容性评估的前提下,这些机关可能包括以下非穷尽性示例:——根据第 (EU) 2016/399 号条例(“《申根边境法典》”)79 和第 (EU) 2019/1896 号条例(“《欧洲边境和海岸警卫队框架》”)80 设立的边境管制机关。这些机关在外部边境执行检查及相关任务。“欧洲边境

79 欧洲议会和理事会 2016 年 3 月 9 日关于人员跨境流动规则联盟法典(《申根边境法典》)(编纂)的第 (EU) 2016/399 号条例,官方公报 L 77,2016 年 3 月 23 日,第 1-52 页。
80 欧洲议会和理事会 2019 年 11 月 13 日关于欧洲边境和海岸警卫队的第 (EU) 2019/1896 号条例,官方公报 L 295,2019 年 11 月 14 日,第 1-131 页。

和海岸警卫队”由负责边境管理的国家当局和 Frontex 组成;——根据第 (EC) 810/2009 号条例81(“《签证法典》”)和第 (EU) 2021/1134 号条例82(“《VIS 框架》”)负责审查签证申请和作出签证决定的领事机关和中央签证机关;——根据第 2013/32/EU 号指令83 以及自 2026 年 6 月 12 日起根据将取代该指令的第 (EU) 2024/1348 号条例(“《庇护程序条例》”)84 主管的庇护机关,特别是负责国际保护申请一审审查的“决定机关”;——根据《遣返指令》2008/115/EC85 行事的移民/遣返/拘留机关,包括签发和执行遣返决定并运作遣返/拘留程序的机关;——在适用联盟和国家法律框架下审查与庇护、签证或居留决定相关的上诉或相关申诉的主管机关和其他上诉或审查机构(包括行政上诉机构和司法机关);——在其授权范围内在上述领域行事的欧盟机关、办事处和署,特别是根据第 (EU) 2019/1896 号条例(“《EBCG 条例》”)86 行事的 Frontex、根据第 (EU) 2021/2303 号条例87 行事的欧洲庇护局,以及根据第 (EU) 2018/1726 号条例设立的 eu-LISA,负责管理/运营根据第 (EU) 603/2013 号条例88 设立的大规模 IT 系统(VIS、SIS、Eurodac),作为通过生物识别数据处理支持庇护和移民管理的联盟系统,并自 2026 年 6 月 12 日起根据将取代第 (EU) 603/2013 号条例的第 (EU) 2024/1358 号条例89 运作。

81 欧洲议会和理事会 2009 年 7 月 13 日关于确立共同体签证法典(《签证法典》)的第 (EC) 810/2009 号条例,官方公报 L 243,2009 年 9 月 15 日,第 1-58 页。
82 欧洲议会和理事会 2021 年 7 月 7 日关于改革签证信息系统的第 (EU) 2021/1134 号条例,官方公报 L 248,2021 年 7 月 13 日,第 11-87 页。
83 欧洲议会和理事会 2013 年 6 月 26 日关于授予和撤销国际保护共同程序的第 2013/32/EU 号指令(重订),官方公报 L 180,2013 年 6 月 29 日,第 60-95 页。
84 欧洲议会和理事会 2024 年 5 月 14 日关于在联盟确立国际保护共同程序的第 (EU) 2024/1348 号条例,官方公报 L,2024/1348,2024 年 5 月 22 日。
85 欧洲议会和理事会 2008 年 12 月 16 日关于成员国遣返非法居留第三国国民共同标准和程序的第 2008/115/EC 号指令,官方公报 L 348,2008 年 12 月 24 日,第 98-107 页。
86 欧洲议会和理事会 2019 年 11 月 13 日关于欧洲边境和海岸警卫队的第 (EU) 2019/1896 号条例,官方公报 L 295,2019 年 11 月 14 日,第 1-131 页。
87 欧洲议会和理事会 2021 年 12 月 15 日关于欧洲联盟庇护局的第 (EU) 2021/2303 号条例,官方公报 L 468,2021 年 12 月 30 日,第 1-54 页。
88 欧洲议会和理事会 2013 年 6 月 26 日关于设立用于指纹比对的“Eurodac”的第 (EU) 603/2013 号条例(重订),官方公报 L 180,2013 年 6 月 29 日,第 1-30 页。
89 欧洲议会和理事会 2024 年 5 月 14 日关于设立用于生物识别数据比对的“Eurodac”的第 (EU) 2024/1358 号条例,官方公报 L,2024/1358,2024 年 5 月 22 日。

#### ¶377

根据领域不同,以下法律文件可能与确定主管机关(包括主管的欧盟机构、机关或署)相关:第 2024/1356 号条例90(“《筛查条例》”)涉及入境前筛查和转介;《庇护程序条例》91 涉及庇护程序;第 2024/1349 号条例92(“《遣返边境程序》”)涉及遣返边境程序;以及第 2024/1351 号条例93(“《庇护和移民管理条例》”)。

**_ii. 与其他联盟规则的相互作用_**

#### ¶378

《人工智能法》的高风险规则在欧盟庇护、签证和边境管理程序规则之外,还适用于根据附件三第 7 点被归类为高风险的 AI 系统。AI 系统的预期用途必须符合这些规则,因此必须尊重适用的保障措施,包括不推回原则和有效获得庇护程序的机会,以及成员国在《1951 年难民公约》及其《1967 年议定书》下的义务。如果 AI 系统作为组件部署并在诸如签证信息系统(VIS)、申根信息系统(SIS)、欧洲指纹数据库(Eurodac)、出入境系统(EES)、欧洲旅行信息和授权系统(ETIAS)、欧洲犯罪记录信息系统——第三国国民(ECRIS-TCN)、报告和统计中央存储库(CRRS)或欧盟互操作性组件等系统的基础设施内获得授权,并被设计用于使用这些系统的数据,则必须尊重这些法律文件的目的限制、访问条件和基本权利保障。

**_iii. 与生物识别高风险系统的相互作用_**

#### ¶379

如果属于附件三第 7 点所列某一用例范围的 AI 系统的功能涉及处理生物识别数据或技术(如面部、指纹、步态),且该系统的功能使其属于第 1(a)、(b) 或 (c) 点所列某一用例范围并适用第 2.3.1 节所述的考量,则该系统也将根据附件三第 1 点(生物识别)被归类为高风险。因此,由于该系统根据附件三第 1 点被归类为高风险,其将须接受第三方合格评定。

#### ¶380

预期用于验证旅行或身份证件(包括检查变形、异常油墨、复制的签名,或芯片或公钥基础设施(PKI)的有效性)的 AI 系统不属于附件三第 7(d) 点所列用例的范围。相反,预期用于在人员侦测和识别流程中执行呈现攻击检查(presentation-attack checks,包括人员在场活性检查)的 AI 系统不是证件验证功能,通常将根据附件三第 7(d) 点所列用例被归类为高风险,除非该系统用于 RBI,在这种情况下它将根据附件三第 1(a) 点被归类为高风险。在无感边境程序中,旅行者积极出示自己以进行针对其旅行证件的一对一验证,仅作为防

90 欧洲议会和理事会 2024 年 5 月 14 日关于在外部边境对第三国国民进行筛查的第 (EU) 2024/1356 号条例,官方公报 L,2024/1356,2024 年 5 月 22 日。
91 欧洲议会和理事会 2024 年 5 月 14 日关于在联盟确立国际保护共同程序的第 (EU) 2024/1348 号条例,官方公报 L,2024/1348,2024 年 5 月 22 日。
92 欧洲议会和理事会 2024 年 5 月 14 日关于确立遣返边境程序的第 (EU) 2024/1349 号条例,官方公报 L,2024/1349,2024 年 5 月 22 日。
93 欧洲议会和理事会 2024 年 5 月 14 日关于庇护和移民管理的第 (EU) 2024/1351 号条例,官方公报 L,2024/1351,2024 年 5 月 22 日。

欺骗保障措施使用的呈现攻击侦测仍是该验证功能的一部分,其本身不将系统归类为附件三第 7 点下的高风险。当相同功能用于支持验证之外的操作性人员侦测、跟踪或识别时,系统将根据附件三第 7 点被归类为高风险,除非满足附件三第 1 点的分类条件,在这种情况下适用该分类。

#### ¶381

高风险分类遵循系统的预期用途。预期仅用于搜救(救生)的 AI 系统不属于边境管制用例的范围,因此不会根据附件三第 7 点被归类为高风险。同一系统如果预期用于移民或边境管制,则可能根据附件三第 7 点被归类为高风险,前提是系统满足该点的其他条件。许多 AI 系统可以同时用于边境管制和搜救或航行安全。当系统的预期用途包括两者时,由于其预期的边境管制用途,系统将属于附件三第 7 点所列用例的范围。

**_iv. 与 AI 禁止实践的相互作用_**

#### ¶382

当主管公共机关或代表主管公共机关在移民、庇护和边境管制管理领域使用的 AI 系统属于《人工智能法》第 5 条所列实践之一时,其使用应被禁止。当该条款的所有适用条件未全部满足、禁止无法适用时,只要系统属于《人工智能法》附件三第 1 点或第 7 点所列某一用例的范围,则应被归类为高风险。

#### ¶383

《人工智能法》第 5(1)(b) 条禁止利用自然人脆弱性(年龄、残疾、特定社会或经济状况)、以可能造成重大伤害的方式实质性扭曲该人行为为目的或效果的人工智能系统。行为分析工具(如评估语音压力、微表情或注视模式的工具)本身并不会仅仅因为错误解读压力或文化表达而被禁止。此类错误解读可能影响对证据的评估,但不一定具有扭曲自然人行为的目的或效果。

#### ¶384

在一段时间内基于生理反应、行为(包括在线活动)或其他个人数据评估或对移民进行排名以得出概括性可信度或风险分数的 AI 系统,特别是跨情境使用或产生不利待遇的,可能构成《人工智能法》第 5(1)(c) 条禁止的社会信用评分。提供者和部署者还必须确保使用不构成第 5(1)(c) 条下被禁止的社会信用评分实践。

#### ¶385

预测边境人员未来犯罪行为(如从注视/语音模式推断“犯罪意图”)的工具可能属于第 5(1)(d) 条所列禁止范围。当该条款的条件满足时,禁止适用。当第 5(1)(d) 条的条件未全部满足时,同一工具如果其预期目的是评估移民风险,则可能根据附件三第 7(b) 点被归类为高风险。提供者和部署者必须确保使用不构成第 5(1)(d) 条下被禁止的个性化犯罪风险评估。

#### ¶386

在边境使用的欺骗或可信度分析 AI 工具(如微表情/语音压力)不被视为受《人工智能法》第 5(1)(h) 条禁止涵盖的 RBI 系统,因为它们

不通过数据库比较确立自然人的身份。此类 AI 工具通常将根据附件三第 7 点被归类为高风险。

#### ¶387

为执法目的在边境附近部署 AI 系统进行实时 RBI,只有在为《人工智能法》第 5(1)(h)(i)-(iii) 条所列目标严格必要且满足第 5(2)-(5) 条所有要求的情况下才被允许。然而,如欧盟委员会《关于禁止人工智能实践的指南》所解释的,边境口岸不被视为公共可达空间,因此该禁止在该背景下不适用,而通往边境口岸的街道或附近的森林通常属于此类空间。某些空间可能具有双重功能。例如,机场就其公共区域而言通常被视为公共可达空间,但专门用于边境管制的区域(海关官员所在地,进行护照或身份证检查)不是,因此在此类区域部署实时 RBI 系统被排除在禁止范围之外,但很可能根据《人工智能法》附件三第 1 点或第 7 点被归类为高风险。

### 分节:第 7(a) 点:预期用作测谎仪或类似工具的 AI 系统

#### ¶388

附件三第 7(a) 点将预期在移民、庇护和边境管制管理领域用作测谎仪或类似工具的 AI 系统归类为高风险。此类 AI 系统通常设计用于分析生理、行为或生物识别信号,目的是推断自然人在移民、庇护或边境管制情境中的欺骗。当此类系统预期由执法机关或代表执法机关在这些情境中使用时,它们将根据附件三第 6(b) 点被归类为高风险。

#### ¶389

附件三第 7(a) 点下的高风险分类反映了此类系统可能对入境、居留或保护决定产生的严重后果,加上有记录的准确性和偏见风险。当此类系统预期在移民、庇护和边境管制背景下使用时,即使主管机关可能不作出关于入境、居留或保护的最终决定,它们也被视为高风险。即使由人工作出最终决定,由于过度依赖和自动化偏见,系统的输出也可能显著影响该决定。

#### ¶390

测谎仪或类似工具涵盖一系列模态,包括语音模式分析(语音压力分析)、微表情或面部肌肉活动、注视、姿势或身体动作、生理反应的热成像、组合这些信号的多模态访谈平台(见第 3.6.3 节第 6(b) 点:测谎仪或类似工具)。如果 AI 系统将任何模态用于推断或侦测欺骗以外的目的(如语言或方言侦测),则系统不太可能根据附件三第 7(a) 点被归类为高风险。

**a) 属于附件三第 7(a) 点用例范围的人工智能系统实际示例**

——边境警卫在外部机场的二次检查中部署 AI 系统。在官员主导的访谈中,系统分析旅行者的言语和非言语反应,并向官员提供补充性可信度指标。——领事机关使用 AI 系统,在领事官员进行的签证面试中分析申请人的语音模式和言语反应,向官员提供与陈述真实性相关的补充指标。

#### ¶391

此类系统属于第 7(a) 点,因为它们作为在移民、庇护或边境管制程序中用于评估真实性的测谎仪类型工具运作。《人工智能法》第 6(3) 条的过滤器机制不适用于上例所述系统,因为系统生成直接影响个案审查实质的评估性输出,不能被视为该条款所列例外下的狭窄程序性、准备性或决定后任务。

#### ¶392

此外,此类 AI 系统本身并不根据《人工智能法》第 5(1)(b) 条被禁止,除非设计或使用以显著有害的方式实质性扭曲弱势人员的行为。此外,此类 AI 系统不受《人工智能法》第 5(1)(h) 条禁止,也不根据附件三第 1(a) 点被归类为高风险,因为它们不是 RBI 系统:它们在面对面访谈中在个人积极参与下运作(因此不是“远程”),它们不执行针对参考数据库的一对多身份匹配(它们推断可信度而非身份),且它们的处理不以(实时)确立身份为目的。

**b) 不属于附件三第 7(a) 点用例范围的人工智能系统实际示例**

——处理访谈音频(如测谎工具那样)但不推断欺骗的 AI 系统。相反,它自动转写访谈或将回答翻译成另一种欧盟语言用于案件档案。——仅预期为档案创建中性的、不设优先级的访谈摘要、不带可信度评分或建议的 AI 系统。此系统不属于附件三第 7(a) 点,因为系统不评估欺骗。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——预期用于归一化音频/视频信号(如降噪、调整光照、提取面部特征点)以便个案工作人员更容易审查录音的 AI 系统。如果系统不产生或暗示欺骗推断,它可以受益于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的 AI 系统例外。

### 分节:第 7(b) 点:预期用于评估寻求进入或居留人员风险的 AI 系统

#### ¶393

附件三第 7(b) 点将主管公共机关或代表主管公共机关、或欧盟机构、机关、办事处或署预期用于评估意图进入或已进入成员国领土的自然人所构成风险(包括安全风险、非正常移民风险或健康风险)的 AI 系统归类为高风险。

#### ¶394

确定 AI 系统是否应根据附件三第 7(b) 点被归类为高风险的最重要要素,是系统产生可影响入境、居留、拘留、遣返或相关措施决定的个人风险分数、类别或标记的预期目的。相反,将数据流组合成更高层级摘要(例如通过求和、平均或分组数据)以产生总量流动或人员配置分析、且输出不与已识别个人关联的 AI 系统,不应根据附件三第 7(b) 点被归类为高风险。

#### ¶395

属于附件三第 7(b) 点所列用例范围的 AI 系统通常构成画像,因为它们评估自然人构成的风险。重要的是系统在此背景下是否处理个人数据。在这种情况下,系统不能受益于《人工智能法》第 6(3) 条的过滤器机制。例如,通过使用或推断有关该人的信息输出每人风险标记或风险分数的 AI 系统,执行个人数据的自动化处理以评估或预测该人的行为或行踪,从而执行画像。相反,如果系统处理匿名化数据使得没有个人被识别或可识别,则系统不应被视为执行画像。低层级聚合或与其他数据集的关联性仍可能使聚合数据(即关于均值、计数、比率的组合统计)落入个人数据的定义。仅产生聚合输出、从不应用于已识别或可识别个人的 AI 系统,应被视为不属于附件三第 7(b) 点所列用例的范围。然而,如果系统将聚合指标应用于具名或可识别旅行者以生成风险标记或分诊,则其使用涉及个人数据并构成画像,因此应根据该条款被归类为高风险。

#### ¶396

属于附件三第 7(b) 点所列用例范围的 AI 系统,只有在执行本身不构成画像、且不实质性影响个人风险评估实质或结果的狭窄程序性或纯准备性功能时,方可受益于《人工智能法》第 6(3) 条的过滤器机制。然而,组合配置应作为整体评估,而非单独评估(见上文第 2.3 节)。

**a) 属于附件三第 7(b) 点用例范围的人工智能系统实际示例**

个人层面移民或安全风险评分 ——入境检查的风险评分:预期分析旅行者个人历史、旅行模式和观察名单匹配、以产生边境警卫用于决定是否将人转介二次检查的“风险分数”的 AI 系统。——自动化安全风险标记:预期在旅行授权或签证处理期间使用基于特定趋势和筛选规则的指标计算每人风险标记(安全、非正常移民或健康),并将具名旅行者转介进一步检查的 AI 系统。——签证风险评分(案件模式):预期使用国籍和类似替代指标按预测逾期居留风险对签证申请人进行排名的 AI 系统,导致特定群体进入强化处理轨道。仅当此类 AI 系统构成随时间跨情境对个人进行不利待遇的概括性社会行为评分时,才可能属于《人工智能法》第 5(1)(c) 条所列禁止范围。——基于在线搜索的移民意图标记:预期从具名旅行者最近的在线搜索行为推断其非正常移民可能性、并为入境管制中使用的个人生成风险标记的 AI 系统。此类 AI 系统在《人工智能法》下不被禁止,除非 (i) 它通过例如生成随时间跨情境对个人不利待遇的概括性可信度排名执行第

5(1)(c) 条含义内的社会评分,或 (ii) 它以第 5(1)(d) 条含义内的被禁止方式预测犯罪行为。这些系统预期对已识别或可识别个人产生评估性输出(如分数、标记或排名),用于对该人进行分诊或引导其接受与入境或在成员国居留相关的进一步检查或更严格待遇。此类输出实质性影响评估的实质,不属于符合《人工智能法》第 6(3) 条过滤器机制条件的任务。此类工具也可用于推断意图进入或已进入成员国领土的个人可能构成的安全风险。个人层面健康风险标记 ——预期基于生物识别读数和近期旅行历史评估个人是否构成传染病风险、并将其标记进行额外医疗检查的 AI 系统。这是对已识别或可识别个人的实质性评估,直接引导边境待遇;它们不属于可能符合《人工智能法》第 6(3) 条所列例外的任务。映射到个人层面风险的物体和行程信号 ——预期处理车牌读取和旅行时间数据、以生成具名旅行者因其两点之间行程异常长而构成更高非正常移民风险的个体警报、并将该人转介二次筛查的 AI 系统。该警报被指定并用作关于自然人的风险指标,即使第二个 AI 系统或人工执行最终评估。虽然初始信号来自车辆或路线,但预期用途是为特定个人生成警报并将该人转介二次检查。一旦系统输出用于分诊的个人特定风险指标,它就实质性影响评估,且不符合《人工智能法》第 6(3) 条过滤器机制的资格。应用于个人的群体层面风险指标 ——预期从总量历史数据(如按路线和季节的逾期居留率)推导群体层面风险指标、并将这些指标应用于具名旅行者的个人数据以生成用于将该人转介强化检查的个人非正常移民风险标记的 AI 系统。由若干非高风险组件组成的 AI 系统 ——预期从总量历史数据(如按路线和季节的逾期居留率)推导群体层面指标的 AI 系统,与将指标应用于具名旅行者以生成用于将旅行者转介二次筛查的个人非正常移民风险标记的非 AI 规则引擎组合。单独来看,没有一个模块根据第 7(b) 点是高风险的:分析模块仅输出聚合统计,规则引擎不是 AI 系统。然而,与评估自然人构成风险的目的结合使用时,组合设置应被归类为高风险;它不符合《人工智能法》第 6(3) 条过滤器机制的资格。

**b) 不属于附件三第 7(b) 点用例范围的人工智能系统实际示例**

聚合或队列层面分析 ——预期处理和聚合大量数据以侦测移民趋势和模式、预判流动或从聚合数据中识别可能的非正常移民网络(无自然人被识别或可识别)的 AI 系统。由于输出不涉及已识别或可识别的自然人,系统不受附件三第 7(b) 点所列用例的涵盖。——预期处理聚合数据(如来源国、路线特征、实时流行病学)以将入境群体标记为具有较高健康风险并触发公共卫生措施(检测或隔离)的 AI 系统。由于系统不评估已识别或可识别自然人构成的风险,且同一措施适用于队列所有成员(如特定航班上的每个人都接受检测),它不属于附件三第 7(b) 点所列用例的范围。如果用于估计群体风险的数据是个人数据,则适用 GDPR,但系统仍在该用例范围之外。如果系统(或包含系统的组合配置)预期基于个人特征选择群体中的特定个人进行不同待遇,则它应被视为评估自然人构成的风险,属于该用例。不映射到个人的车辆聚焦筛查 ——预期处理车牌读取和旅行时间数据、以标记行程异常长的车辆并将其引导至一般二次通道进行技术检查、而不创建或暗示对司机或乘客风险评估的 AI 系统。如果输出被框定并严格用作车辆层面物流而非个人风险指标,则不属于附件三第 7(b) 点所列用例的范围。如果边境警卫随后作为被标记车辆的标准操作后果也检查乘客,这不会将 AI 系统的输出转变为个人层面风险评估。——预期监测过境边境口岸车辆以标记被盗车辆进行二次检查的 AI 系统,不评估第 7(b) 点含义内自然人构成的风险。决定后数据清理 ——预期在人工评估结束后统一已完成风险评估记录中的术语并侦测重复条目的 AI 系统。此类 AI 系统不产生、也不预期产生用于入境或居留决定的个人层面风险输出。

### 分节:第 7(c) 点:预期用于协助审查庇护/签证/居留申请及相关申诉的 AI 系统

#### ¶397

附件三第 7(c) 点将主管公共机关或代表主管公共机关、或欧盟机构、机关、办事处或署预期用于协助主管

公共机关审查庇护、签证或居留许可申请以及相关申诉(涉及申请身份的自然人的资格,包括对证据可靠性的相关评估)的 AI 系统归类为高风险。此类系统被归类为高风险,因为它们有可能实质性影响公共机关的决定,这些决定影响通常处于特别弱势地位的人,而错误、偏见或不透明可能导致严重的、有时是不可逆转的伤害(例如由于身份被拒或面临被驱逐的风险)。

#### ¶398

第 7(c) 点涵盖预期协助主管机关审查庇护、签证或居留许可申请人资格以及审查与资格确定相关的申诉的 AI 系统。这包括涉及可能影响申请实质性评估(如事实、证据或可信度)或决策过程程序公正性(如被听取意见权、翻译或说理)要素的申诉。它不涵盖关于一般服务质量(理解为对不影响资格评估实质或决策过程程序公正性的服务提供组织或后勤方面的投诉)的申诉。

#### ¶399

附件三第 7(c) 点所列要素是选择性的(庇护或签证或居留;申请或相关申诉),而非累积性的。“包括对证据可靠性的相关评估”这一表述澄清,证据可靠性检查是说明性的,而非穷尽性的。“协助”的概念不限于对例如国际保护申请的决定。它还包括审查的早期阶段(如分析访谈内容、文件或来源国信息且与实体决定相关的步骤)。当 AI 系统的输出实质性影响资格确定的实质或结果时(例如通过验证或质疑证据、突出不一致之处、对问题进行优先级排序或对身份要素进行预分类),应根据附件三第 7(c) 点被归类为高风险。例如,如果 AI 系统从在办案件的实质内容(陈述、文件、COI)中推导其输出,并使用它们对证据进行优先级排序、标记、验证或质疑,或建议后续步骤,则它实质性影响审查,仍属于第 7(c) 点。虽然对于狭窄程序性或纯准备性任务可以依赖第 6(3) 条的过滤器机制,但评估证据可靠性的系统通常实质性影响决策,原则上应被归类为高风险(例如侦测文件变形的情况)。
#### ¶400

当单个集成助手预期协助资格(及相关申诉)审查且其输出能够实质性影响实质内容(例如通过验证或质疑证据、对问题进行优先级排序或对身份要素进行预分类)时,整体 AI 系统属于附件三第 7(c) 点所列用例的范围。如果个别功能真正可分离并独立投入使用(如作为独立工具),则每项功能可以就其可能的高风险分类单独评估。某些模块可以符合《人工智能法》第 6(3)(a) 和 (d) 条所列预期执行狭窄程序性或纯准备性任务的 AI 系统例外,而其他模块仍属高风险。然而,引导资格分析的单体助手内的低风险模块不能受益于过滤器机制。将低风险模块嵌入引导资格分析的单体助手内也不会使整体系统纳入过滤器机制。要使《人工智能法》第 6(3)(c) 条的例外适用,系统必须预期执行事后模式或偏离侦测。

**a) 属于附件三第 7(c) 点用例范围的人工智能系统实际示例**

证据评价和一致性分析 ——预期评估文件真实性和一致性或个人叙述合理性、并向审查人员提供其在确定移民入境或寻求庇护者资格时所依赖的可信度信号的 AI 系统。这些输出验证或质疑审查人员所依赖的证据,因此协助审查。——预期分析从设备合法获得的电话数据以验证路线、时间线或联系人、并产生用于资格评价的信号(简称“分析”)的 AI 系统。这协助机关对档案中证据的评价。——预期侦测文件变形、异常油墨、复制的签名或芯片和公钥基础设施有效性、作为资格评估程序中证件验证步骤一部分的 AI 系统。与先前提交内容的自动差异比较 ——预期识别与先前提交内容的实质或可信度相关差异、以协助机关随后审查庇护、签证、居留许可申请或相关申诉的 AI 系统。此类 AI 系统协助审查。审查中使用的来源推断 ——预期分析录音语音以指示可能来源国或来源地区、用于机关的资格推理和来源国信息选择的 AI 系统。该输出在审查人员决定特定人员档案中的信息是视为已证明、有争议、优先处理还是进一步调查时提供协助。

**b) 不属于附件三第 7(c) 点用例范围的人工智能系统实际示例**

——预期为申请人提供常见问题解答、引导用户找到正确表格、安排预约或发送申请状态通知的 AI 系统。此类 AI 系统不协助机关审查资格或相关申诉,其预期目的是为移民申请人提供服务交付。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

狭窄程序性任务(《人工智能法》第 6(3)(a) 条)

——预期仅通过应用预定义类别来组织案件档案以供存储和检索(例如“身份文件”、“医疗记录”、“访谈记录”)、而不按重要性对材料排名或省略任何项目的 AI 系统。为存储和检索应用固定的预定义标签是狭窄的程序性操作。系统不评估证据、设定优先级或影响评估。——预期检查签证申请的完整性和格式、基于公开客观标准对文件进行排序或分配以供行政处理、且仅执行技术性和非解释性操作、不评估申请内容、不确定适用程序轨道或以其他方式引导审查实质内容的 AI 系统。——预期突出显示当前陈述与先前陈述之间逐字差异(如字符串级对比)、而不生成任何可信度评估或建议后续问题的 AI 系统;当系统评估差异的重要性或将其标记为可信度问题时,例外不再适用。——在严格客观规则下(如签证便利化协议为特定国家申请人确定固定费用)将申请人引导至支付固定费用的预检工具。——预期检查旅行授权或签证(ETIAS/VIS)文件完整性或格式(如必填字段、文件存在)、而不产生任何个人风险分数、标记或分诊的 AI 系统。此类系统执行狭窄的程序性任务而非准备性任务,因为它不为审查准备或构建实质内容。准备性任务(《人工智能法》第 6(3)(d) 条) ——预期转写访谈、翻译访谈记录或为档案生成中性摘要、而不就后续步骤提供建议或建议结果的 AI 系统。超出这些功能的系统(例如引入申请人陈述中不包含的要素、进行可信度评估或将申请人陈述与适用法律框架关联)将不能受益于该例外。——对电子设备进行大规模数据扫描以提取个人所经旅行路线元数据的 AI 系统。系统从搜索中产生中性输出,提供与地理定位相关的所有元数据片段,而不偏向任何一条信息。因此,它可以被视为执行准备性任务。改进已完成的人工活动(第 6(3)(b) 条) ——预期在人工评估结束后统一术语并纠正决定中的语法、而不引入额外推理或改变结果的 AI 系统。推断或表述未明确陈述的法律或事实理由、或重新评估可信度的系统不受该例外涵盖。

事后模式侦测(第 6(3)(c) 条) ——预期分析过去的、已完成的资格档案以侦测决策模式或偏离、用于质量保证报告、而不在在办案件中提出结果的 AI 系统。

### 分节:第 7(d) 点:预期用于在移民、庇护或边境管制管理背景下侦测、识别或认定自然人的 AI 系统(旅行证件验证除外)

#### ¶401

附件三第 7(d) 点将主管公共机关或代表主管公共机关、或欧盟机构、机关、办事处或署预期在移民、庇护或边境管制管理背景下、为侦测、识别或认定自然人目的使用的 AI 系统归类为高风险,但旅行证件验证除外。此类系统被归类为高风险,因为它们通常应用生物识别或身份识别,其输出可以立即触发侵入性措施(额外筛查、拒绝入境、限制行动或拘留),且时间和提出异议的能力有限。因此,错误率、人口统计偏见和不透明决策逻辑的组合可能转化为错误识别和歧视性待遇。

#### ¶402

附件三第 7(d) 点下的高风险分类由预期目的决定;部署地点和传感器模态不是决定性的。旅行证件验证被排除在附件三第 7(d) 点所列用例之外。在人员侦测或识别中使用的在场检查(如活性或呈现攻击侦测)可能属于该用例,并且在涉及生物识别或分类时,属于附件三第 (1) 点所列用例。

#### ¶403

仅用于搜救的 AI 系统不是边境管制用途,因此不属于附件三第 7(d) 点所列用例的范围。只有既侦测、识别或认定人员、又不影响运营决策的功能,方可受益于《人工智能法》第 6(3) 条所列的例外。

**a) 属于附件三第 7(d) 点用例范围的人工智能系统实际示例**

边境口岸人员的识别 ——在边境口岸使用实时面部识别进行身份检查、将实时摄像头画面与互联系统中的生物识别模板进行比较并为操作员行动返回身份命中的 AI 系统。此类系统在范围内,因为其预期目的是为边境管制目的识别自然人,这属于“侦测、识别或认定”的表述范围。在陆海边境提示运营行动的侦测 ——组合 AI 卫星图像服务、监视塔或无人平台,标记人员存在以供边境管制部门对侦测到的人员作出响应。

此类系统在范围内,因为其预期目的是侦测接近陆地边境的人员并生成触发巡逻派遣、逮捕或二次检查的警报。——用于海上监视、侦测和跟踪人员以用于移民管理或边境管制行动(包括提示拦截或登船)的 AI 系统。此类系统在范围内,因为其预期目的是为这些行动侦测和跟踪自然人,无论平台在领海、毗连区还是公海运作。重要的是预期目的,而非其位置。相反,如果 AI 系统专门负责航行安全或救生,其输出不提示边境管制单位,而是发送给搜救(SAR)协调部门,仅用于防止碰撞或协调搜救,而不发起或支持边境管制行动,则系统将不在范围内。——预期分析传感器数据以侦测车辆中人员的存在或数量(包括隐藏人员)并生成提示二次检查警报的 AI 系统。该系统在范围内,因为它涉及为边境管制目的侦测自然人,即使不进行识别。过滤器机制不能适用,因为系统生成的警报驱动运营行动,这既不是狭窄程序性任务也不是准备性任务。受控设施中的个人层面监测 ——预期监测收容或拘留区域、侦测或跟踪已识别人员并提醒工作人员干预的 AI 系统。系统在移民管理环境中侦测或跟踪自然人,因此在范围内。如果系统仅估计场景层面异常(如人群涌动或高声干扰激增),而不侦测或跟踪人员且不生成个人特定警报,则不在范围内。

**b) 不属于附件三第 7(d) 点用例范围的人工智能系统实际示例**

非边境管制或人员侦测功能的 AI 系统 ——预期仅协调搜救行动而侦测海上遇险人员、与移民管理或边境管制任务无关联的 AI 系统。此类系统不在范围内,因为其预期目的是救生而非边境管制。——预期验证旅行或身份证件(如芯片或 PKI 有效性、变形或油墨异常、复制的签名)的 AI 系统。旅行或身份证件验证被排除在此用例之外。——嵌入边境机关使用的海上或无人平台、预期并技术上限于避免碰撞(例如侦测障碍物(包括人员)仅用于防止撞击且不生成用于拦截、跟踪、分诊或任何边境管制响应的警报)的 AI 系统。此类系统不在范围内,因为其输出仅用于航行安全,而非用于移民、庇护或边境管制管理。当具有相同感测或侦测能力的 AI 系统预期用于提示或支持关于人员的边境管制行动时,它将属于范围之内。

不侦测、识别或认定人员的分析 ——预期分析历史数据以识别证件欺诈模式并为一般指标或人员配置提供信息、而不侦测人员的 AI 系统。此类系统不在范围内,因为其输出不侦测、识别或认定自然人。如果系统识别的模式随后应用于具名个人进行分诊,则系统将属于范围之内,因为它执行个人层面风险评估。——预期估计人群规模或闸口占用率以平衡通道和减少排队的 AI 系统。此类系统不在范围内,前提是其设计使其不侦测、识别或认定人员且不生成个人层面警报。

**c) 属于该用例范围但根据第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——预期稳定、降噪或增强视频流、不执行任何人员侦测、识别或认定、且不产生运营响应提示的 AI 系统。此类系统属于《人工智能法》第 6(3)(d) 条所列预期执行准备性任务的 AI 系统例外。

## 领域 8——司法管理与民主进程(附件三(8))

#### ¶404

《人工智能法》附件三第 8 点将司法管理和民主进程确定为 AI 系统的某些用例可能对自然人的健康、安全和基本权利构成重大风险的领域之一。序言第 61 段将此类系统归类为高风险的正当性建立在其对民主、法治和基本权利与自由(包括获得有效救济权和公平审判权)的潜在重大影响之上。

### 分节:第 8(a) 点:预期用于协助司法机关或用于替代性争议解决的 AI 系统

#### ¶405

附件三第 8(a) 点将司法机关或代表司法机关预期用于协助司法机关研究和解释事实与法律以及将法律适用于具体事实、或以类似方式用于替代性争议解决的 AI 系统归类为高风险。因此,附件三第 8(a) 点包含两个不同的用例:第一,司法机关或代表司法机关预期用于协助司法机关研究和解释事实与法律以及将法律适用于具体事实的 AI 系统;第二,预期在替代性争议解决(例如预期用于仲裁程序)中研究和解释事实与法律以及将法律适用于具体事实的 AI 系统。第一用例:预期用于协助司法机关的 AI 系统

**_i. 用例概述与横向问题_**

#### ¶406

附件三第 8(a) 点所列第一个高风险用例涉及司法机关或代表司法机关预期用于协助该机关研究和解释事实与法律以及将法律适用于具体事实的 AI 系统。将此类 AI 系统归类为高风险旨在应对 AI 协助司法决策时潜在偏见、错误和不透明的风险。与《欧洲联盟条约》第 19 条和《宪章》第 47 条一致,序言第 61 段强调“使用 AI 工具可以支持法官的决策权或司法独立,但不应取代它:最终决策必须保持为人工驱动的活动”。这再次确认了法官在司法管理中的基本作用以及其独立决定能力的重要性。

#### ¶407

AI 系统要根据《人工智能法》附件三第 8(a) 点第一个用例被归类为高风险,必须满足两个累积条件:第一,AI 系统必须预期由司法机关或代表其使用;第二,该系统的预期目的必须是协助司法机关研究和解释事实与法律,以及将法律适用于具体事实。这些条件及解释它们所需的概念在以下小节中有更详细的分析。

#### ¶408

如上所述,就《人工智能法》而言,在刑事事项中行事的司法机关,或其他行使司法职能或构成刑事事项司法体系一部分的机关,应既被视为附件三第 8 点含义内的“司法机关”,也被视为该附件第 6 点含义内的“执法机关”。

**_ii. 司法机关_**

#### ¶409

要属于此用例,AI 系统必须预期由司法机关或代表其使用。《人工智能法》不包含“司法机关”的定义。虽然从序言第 61 段可知此用例主要针对预期由法官使用的 AI 系统,但“司法机关”一词更宽泛,也可以涵盖行使司法职能或构成司法体系一部分的其他机关。

#### ¶410

“司法机关”概念的范围在成员国之间可能有所不同。在许多法域,该术语主要指行使裁判权的法院和法官,如地区法院、区域法院、高等法院、最高法院和宪法法院。一些成员国也设立了特别法庭作为司法机关。

#### ¶411

同时,附件三第 8(a) 点不预期涵盖司法行政,即负责司法机构管理、治理和支持(而非案件裁判本身)的机构或机关。司法机关的概念也不预期涵盖准裁判机构,尽管其行使决策职能,但不能等同于司法机关。因此,“司法机关”的概念不包括数据保护机关或作为行政机关行事的竞争主管机关等机构。然而,它们的决定仍须接受主管法院的司法审查,在这种情况下附件三第 8(a) 点所列用例可能具有相关性。

#### ¶412

CJEU 关于“司法机关”概念的判例法可以作为确定附件三第 8(a) 点用例是否适用的指导。根据 CJEU 的说法,司法机关是依法设立、独立并有权在司法管理中作出有约束力决定的机构94;通常(但不一定排他地)指

94 第 C-64/16 号案,Associação Sindical dos Juízes Portugueses,EU:C:2018:117,第 38 段:“在这方面,法院指出,评估一个机构是否为‘法院或法庭’时要考虑的因素除其他外包括:该机构是否依法设立、是否永久存在、其管辖权是否强制、其程序是否对审、是否适用法律规则以及是否独立。”

司法体系内的法院或法庭95,排除公证人96 等机构。一个机构在执行司法职能时可以被归类为此类,但在行使其他职能(特别是行政性质职能)时则不能。当其行使行政权力、而不同时被要求对具体案件进行裁判时,不能被视为行使司法职能。

#### ¶413

就《人工智能法》附件三而言,检察官通常应被视为属于附件三第 6 点执法机关的用例,因为这些用例明确包括负责起诉刑事犯罪的机构97。它们是否也可被视为附件三第 8(a) 点意义上的“司法机关”,将取决于适用法律规定的其机构独立性以及 AI 系统预期由其使用的目的。就其机构独立性而言,CJEU 关于检察官在第 2002/584/JHA 号框架决定(“《欧洲逮捕令》”)中作用的判例法可以作为借鉴98。《人工智能法》第 5(3) 和 (6) 条强调了此类独立性的重要性,该条款要求司法机关在批准在公共可达空间使用“实时”RBI 系统时独立行事99。

**_iii. 代表司法机关行事_**

#### ¶414

上文第 2.5 节关于附件三若干用例中使用的“代表……行事”解释的考量,与附件三第 8(a) 点第一个用例相关。因此,“预期由司法机关或代表其使用”的 AI 系统应涵盖预期由司法机关本身使用、以及在司法机关可能将其某些活动外包给其他实体的情形下由这些实体使用的 AI 系统。如果司法机关请求第三方(即指定或委托第三方在司法机关的权限、指示或委派下执行分析)对案件材料进行分析,且该第三方为此分析目的使用 AI 系统,则此类使用应被视为代表请求机关使用该 AI 系统。

#### ¶415

法院指定的专家(如技术专家、法医专家、心理学家、社会服务机构)在为《人工智能法》目的准备司法机关要求的报告、且这些报告预期协助司法机关行使其裁判职能时,在某些情况下可以被视为“代表司法机关行事”。在这方面,“代表司法机关行事”的概念应限于专家或第三方由司法机关指定、委托、指示或委派执行其指示下并以其责任承担的具体任务的情形。决定性要素不仅是专家的报告可能在程序中使用,而且是任务在法院给予的授权范围内并在其程序控制下进行。当事人指定的专家不应属于此概念,因为他们由一方而非法院指示。

#### ¶416

当事人及其法律代表预期使用的 AI 系统不属于附件三第 8(a) 点的范围,因为当事人及其代表不是“代表司法机关行事”。因此,律师预期用于便利向司法机关提交程序文件的 AI 系统不属于附件三第 8(a) 点所列用例的范围。

**_iv. “预期用于协助司法机关研究和解释事实与法律以及将法律适用于具体事实”_**

#### ¶417

只有预期用于协助司法机关执行司法任务的 AI 系统才会属于附件三第 8(a) 点所列用例的范围。该协助必须包括协助司法机关 (i) 研究和解释事实与法律,或 (ii) 将法律适用于具体事实,或 (iii) 两者兼有。这意味着 AI 系统的预期目的必须是协助司法机关完成这两项任务之一或全部。

#### ¶418

不要求 AI 系统必然同时协助“研究和解释事实与法律”和“将法律适用于具体事实”;这些条件是选择性的。两者是不同类型的法律活动,AI 系统协助其中任何一项活动都会导致该 AI 系统发挥对个人决定具有高度重要性的功能。AI 系统预期协助其中任何一项活动即足以被归类为高风险。司法机关的使用情形对高风险分类不具有决定性。此外,该用例不要求 AI 系统必须预期实际执行上述任务,而仅要求“协助司法机关”执行这些任务。这意味着 AI 系统需要以与其司法决策相关的方式协助司法机关。例如,AI 系统可以被认为协助将法律适用于具体事实,而不建议司法决定。

#### ¶419

当任务与司法推理或决策缺乏足够直接的功能联系时,“协助”的要求将得不到满足。序言第 61 段解释说,将 AI 系统归类为高风险不应延伸至预期用于纯粹附属行政活动(不影响个案中的实际司法管理)的 AI 系统,如司法决定、文件或数据的匿名化或假名化、人员之间的通信和行政任务。换言之,该序言区分了影响司法职能行使的 AI 系统与仅执行行政任务的系统。后一类系统不预期以与高风险分类相关的方式“协助”司法机关。

#### ¶420

即使 AI 系统可以被认为以使其符合高风险分类资格的程度“协助”司法机关,如果第 6(3) 条过滤器机制的任何条件得到满足,提供者也可以适用该机制,除非该 AI 系统执行画像。

**_v. “研究和解释事实与法律”_**

#### ¶421

“研究和解释事实与法律”的概念指司法机关在裁判过程中开展的活动。它包括对事实情况的审查和评估,以及相关法律规定和判例的识别和解释。因此,它不涵盖单纯的信息检索。因此,预期用作高级搜索工具的 AI 系统通常不受《人工智能法》附件三第 8(a) 点涵盖。仅整理文件、检索法律文件或判例法或执行基于关键词搜索的系统发挥辅助信息功能。它们便利获得法律来源,但其本身不从事法律推理或解释。

#### ¶422

然而,在检索之外,AI 系统还可以赋予含义、解决歧义或从检索来源中得出法律结论(例如基于呈现的案件事实建议相关先例;识别相关法律方面并总结文本;提供其从多个来源推断的法律推理)。此类 AI 系统协助研究和解释事实与法律,因此很可能根据附件三第 8(a) 点被归类为高风险。

**_vi. “将法律适用于具体事实”_**

#### ¶423

“将法律适用于具体事实”的概念指司法机关在裁判过程中开展的核心活动。它包括将呈现的事实涵摄于适用法律之下,从而结合了对事实情况的评估和对相关法律规定及判例的解释。这应从广义上理解,意味着该用例应被视为既涵盖 AI 系统协助对案件的完整司法评估,也涵盖对其构成要素的评估。

**a) 属于第 8(a) 点用例范围的人工智能系统实际示例**

司法决定/判决起草系统 ——分析案件事实情况、收到的提交文件、识别适用法律和判例法,然后能够生成司法决定/判决或其部分(特别是说理部分和决定)草稿的 AI 系统。此类 AI 系统属于附件三第 8(a) 点用例的范围,因为它预期协助法官研究和解释事实与法律,并将法律适用于具体事实。满足一项条件即足够;然而,在此例中,两项条件均得到满足。

——在小额索赔案件(如争议金额低于一定数额)中依赖结构化案件数据和法律模板生成(草拟)决定或支付令(在民事诉讼中对方不争辩欠付特定金额时)的 AI 系统。此类系统属于附件三第 8(a) 点用例的范围,因为它预期协助司法机关研究和解释事实与法律以及将法律适用于具体事实。由于其与决策的接近程度和对决定的影响,该系统不符合《人工智能法》第 6(3) 条所列任何例外的资格。预期用于重复性案件的 AI 系统 ——预期通过以下方式支持法官处理相同或相似案件的 AI 系统:(i) 从诉请中提取相关事实,并基于相似案件中反复出现的事实形态进行聚类;(ii) 检索先前决定数据库以查找相似案件并识别法律推理模式;(iii) 基于先前相似案件的结果为最终决定准备建议和相应的文本模块。此类 AI 系统将属于《人工智能法》附件三第 (8)(a) 点。这是因为,就高风险分类而言,系统必须在其组合配置中评估,其联合输出可能实质性影响个人决定的结果,而不是孤立地评估模块(如果单独考虑,这些模块可能不在附件三第 8(a) 点范围内,或满足第 6(3) 条所列条件之一)。仅执行 (i) 项活动的 AI 系统将预期执行第 6(3)(d) 条含义内的准备性任务,因此可能符合过滤器下的豁免资格。为具体事实选择相关先例和法律的 AI 系统 ——分析案件呈现的事实(或其摘要)、然后协助法官识别相关法律和法律先例并建议它们如何适用于案件事实的 AI 系统。此类 AI 系统直接协助解释法律并将其适用于具体事实的核心司法任务,因此属于附件三第 8(a) 点用例的范围。由于其对决策的影响,该系统不能受益于《人工智能法》第 6(3) 条所列任何例外。然而,要使 AI 系统“协助将法律适用于具体事实”,系统应通过分析呈现的事实来选择先例和适用法律。如果系统仅基于所涉法律的一般领域(如家庭赡养案件、金融犯罪或谋杀未遂)或关键词对数据库执行 AI 搜索,则此类系统应被视为搜索引擎,因此不能被视为预期协助司法机关研究和解释事实与法律,或协助将法律适用于具体事实。

**b) 不属于第 8(a) 点用例范围的人工智能系统实际示例**

语音转文本系统 ——法院用于转写法庭程序和听证会音频录音(随后成为案卷一部分)的 AI 语音转文本系统。该系统具有以下功能:(i) 可以接受各种音频文件格式(或实时音频)并生成文本记录,包括自动说话人分离(区分不同声音)和标点插入;(ii) 可以

纠正术语——例如识别法律术语或名称并相应调整词汇。虽然转写成为案卷一部分的法庭听证会可以被认为协助司法机关获取证人和程序当事人的证言,但此类工具不协助研究和解释事实与法律100。AI 系统生成的录音或记录后来可能构成司法程序中证据记录的一部分,且不准确可能影响基本权利,这一事实本身并不意味着该系统预期在附件三第 8(a) 点含义内协助司法机关研究和解释事实与法律。在这种情况下,系统的预期目的限于技术性录音或转写,无分析或评估功能。如果此类 AI 系统后来用作信息检索中的技术辅助以帮助查询法庭记录(例如请求搜索“话题 X 何时被讨论”以在原始音频文件中找到位置),上述结论仍然成立。如果语音转文本记录随后由 AI 系统进一步处理以总结或选择关键论点或产生与司法决策相关的进一步评估(包括最终向法官提出建议),则该结论可能不同。与公众沟通的 AI 系统 ——法院网站上提供的 AI 聊天机器人,协助网站访问者查找相关信息。此类系统作为虚拟助手运作,设计用于向个人提供关于程序步骤、所需文件、截止日期和可用救济的信息。它们不协助司法机关研究和解释事实与法律,也不协助将法律适用于具体事实。——设计用于协助司法机关起草关于公共利益案件的新闻稿或法律摘要的 AI 系统。系统将判决的技术语言转化为可理解的摘要。此类系统执行不影响个案中实际司法管理的附属行政活动。案件分配系统 ——考虑法官专业化、工作量或休假安排将案件分配给法官的 AI 系统。此类系统预期执行不影响个案实际司法管理的附属行政活动。如果 AI 系统还对具体案件的程序性前提进行司法评估(如案件是否应公开审理、法院是否有管辖权、案件应由独任法官还是合议庭审理),则评估可能不同。

100 如果此类系统仅仅是语音转文本 AI 系统,它也可以被视为附属和行政任务,不应被视为属于附件三第 8(a) 点下的高风险用例,符合序言第 61 段。此类应用履行一项主要属于文秘和技术性的任务,不直接影响个案中的司法管理。此类系统便利记录保存和文档编制,但不协助司法决策。因此,它们不应与协助评估证据、确定风险或起草决定说理的 AI 系统相提并论。

司法程序中证据提交的处理和管理 ——预期协助司法机关更有效地管理和搜索大量案件证据的 AI 系统。该系统的功能包括:(i) 提供案件证据中记载的某些事件的时间线,其中 AI 重建跨不同证据记载的事件时间线;(ii) 在案件证据中搜索并提供内容引用。此类 AI 系统预期协助司法机关组织和获取事实材料,而不分析、评估或从该材料中得出结论。此类系统不预期协助研究和解释事实与法律,也不协助将法律适用于具体事实。其他附属行政活动 ——预期用于纯粹附属行政活动(不影响个案裁判)的 AI 系统,如司法决定、文件或数据的匿名化或假名化;人员之间的内部通信;搜索投递地址和发送文件;核实法院费用支付;处理电子签名;核实授权委托书;以及其他类似的行政任务。

**c) 属于该用例范围但根据《人工智能法》第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

协助对收到的申请或诉请进行预分类的 AI 系统 ——分析法院收到的申请或诉请内容以及先前判例法模式以预分类案件类型(如合同法、继承案件等)的 AI 系统。原则上,此类 AI 系统可以被认为协助研究和解释事实与法律,因此属于附件三第 8(a) 点用例的范围。然而,此类 AI 系统将受益于《人工智能法》第 6(3)(a) 和 (d) 条分别所列预期执行狭窄程序性任务或对评估的准备性任务的 AI 系统例外。如果系统还对案件可受理性提出建议(除非仅为技术性检查),即使随后由法院工作人员审查,该系统也不能受益于这些例外,因为它涉及实质性评估,不再能被视为执行狭窄程序性任务;且由于与最终决策的接近程度和影响,也不能被视为纯粹准备性任务。元数据提取 ——基于档案事实执行数据分析以进行元数据提取(如从诉请中提取程序角色(当事人、法律代表、证人、专家等)以支持传票等文秘工作)的 AI 系统。此类系统通常不会被认定为预期协助研究和解释事实与法律。即使某些功能可能导致这样的结论,该系统在任何情况下都将受益于《人工智能法》第 6(3)(a) 条所列预期执行狭窄程序性任务的 AI 系统例外。

高级搜索引擎 ——集成在公众和法院工作人员使用的国家判例法公共数据库中、使用经典方法(布尔运算符、关键词搜索、相关法律依据等)搜索决定、创建已公布决定摘要和搜索结果摘要、以及基于自然语言(NLP)搜索的 AI 系统。虽然此类 AI 系统预期协助研究和解释法律(除其他外供司法机关使用),但它仅执行狭窄的程序性任务。语言编辑辅助 ——预期校对或改进法官起草的司法决定或判决风格、而不改变内容的 AI 系统。此类 AI 系统是否会被视为预期协助将法律适用于具体事实的 AI 系统存在疑问,因为协助程度似乎微不足道。无论如何,该系统将受益于《人工智能法》第 6(3)(b) 条所列预期改进先前已完成的人工活动结果的 AI 系统例外。建议事实问题的 AI 系统 ——在法官起草决定后使用 AI 系统将判决草稿与案件档案进行比较,并识别草稿似乎未处理的事实问题或方面。这可能涉及对事实材料的解释。然而,如果系统仅执行合规检查,从而帮助法官检查是否已考虑所有相关事实方面,且不评估可信度、不确定发生了什么、不建议任何事实问题应如何回答,或以其他方式实质性影响对事实的司法确定,则它将执行一项预期改进先前已完成的人工活动结果的任务(《人工智能法》第 6(3)(b) 条)。第二用例:预期以类似方式用于替代性争议解决的 AI 系统

**_i. 用例概述与横向问题_**

#### ¶424

附件三第 8(a) 点所列第二个高风险用例涉及替代性争议解决(“ADR”)机构预期以与预期协助司法机关研究和解释事实与法律以及将法律适用于具体事实的 AI 系统类似的方式使用的 AI 系统。将此类 AI 系统归类为高风险同样旨在应对潜在偏见、错误和不透明的风险。此类分类的目的是确保在争议解决背景下提供相同水平的保护,无论 AI 系统预期协助的具有法律约束力效果的裁判活动是在具有宪法确立裁判职能的普通法院领域内还是之外。

#### ¶425

AI 系统要根据附件三第 8(a) 点第二个用例被归类为高风险,必须满足两个条件:第一,该系统必须预期由 ADR 机构使用,且 ADR 程序的结果对当事人产生法律效果;第二,系统的预期目的必须是协助 ADR 机构研究和解释事实与法律以及将法律适用于具体事实。

**_ii. 替代性争议解决的概念_**

#### ¶426
ADR 指在公正的 ADR 机构协助下在法院之外裁判争议。ADR 的示例包括仲裁、调解、和解、监察专员和申诉委员会101。解释 ADR 概念的灵感可以在联盟立法中找到,如经第 2025/2647 号指令修订的第 2013/11/EU 号指令(《ADR 指令》),该指令规范消费者 ADR。

**_iii. 替代性争议解决机构_**

#### ¶427

附件三第 (8)(a) 点指以“类似方式”用于 ADR 的 AI 系统,这应被理解为系统用于与司法机关使用时相同的目的。序言第 61 段澄清,这应被理解为系统应由 ADR 机构使用。

#### ¶428

《人工智能法》未定义哪些实体构成 ADR 机构。对于消费者争议中使用的 ADR,可以在《ADR 指令》第 4(1)(h) 条102 中找到灵感,该条将 ADR 实体定义为任何不论名称或称呼如何、以持久基础设立并通过 ADR 程序提供争议解决、且根据该指令第 20(2) 条列入清单103 的实体。

#### ¶429

在消费者保护之外,ADR 机构应被视为包括处理民事(包括商事和劳动)及其他争议的广泛实体。此类实体可能包括:——商事仲裁机构(如国家和国际仲裁机构)或解决企业之间争议的投资争议机构;——根据欧盟《调解指令》(2008/52/EC)104 设立的民事和商事事项调解中心;——劳动争议解决机构,如就业法中的和解或调解服务;——在歧视事项中提供替代性争议解决方案的平等机构105;

101 关于消费者争议中的 ADR,见《消费者替代性争议解决——欧盟委员会》。
102 欧洲议会和理事会 2013 年 5 月 21 日关于消费者争议替代性争议解决并修订第 (EC) 2006/2004 号条例和第 2009/22/EC 号指令的第 2013/11/EU 号指令(《消费者 ADR 指令》)。官方公报 L 165,2013 年 6 月 18 日,第 63-79 页。
103 https://consumer-redress.ec.europa.eu/dispute-resolution-bodies_en
104 欧洲议会和理事会 2008 年 5 月 21 日关于民事和商事事项调解某些方面的第 2008/52/EC 号指令。官方公报 L 136,2008 年 5 月 24 日,第 3-8 页。
105 理事会 2024 年 5 月 7 日关于不论种族或族裔出身人员平等待遇、就业和职业事项中不论宗教或信仰、残疾、年龄或性取向人员平等待遇、社会保障事项及获得和供应商品和服务中男女平等待遇的平等机构标准的第 (EU) 2024/1499 号指令,并修订第 2000/43/EC 号和第 2004/113/EC 号指令,官方公报 L,2024/1499,2024 年 5 月 29 日;欧洲议会和理事会 2024 年 5 月 14 日关于就业和职业事项中男女平等待遇和平等机会的平等机构标准并修订第 2006/54/EC 号和第 2010/41/EU 号指令的第 (EU) 2024/1500 号指令,官方公报 L,2024/1500,2024 年 5 月 29 日。

——专业纪律或监管机构(如医疗保健、法律职业或工程领域),这些机构通常运作 ADR 机制来处理专业实践中的争议或投诉。

**_iv. 对当事人产生法律效果_**

#### ¶430

虽然附件三第 8(a) 点的措辞简洁,但序言第 61 段澄清,当 ADR 程序的结果对当事人产生法律效果时,预期由 ADR 机构使用的 AI 系统应被归类为高风险。因此,当 ADR 程序的结果是自愿协议或不具约束力的建议时,预期在此类程序中使用的 AI 系统将不属于附件三第 8(a) 点所列用例的范围,因为该程序不对当事人产生法律效果。

#### ¶431

ADR 程序是否对当事人产生法律效果取决于成员国的国内法。这应逐案核实。例如,仲裁裁决通常对当事人具有约束力和终局效力,类似于法院判决。它们在国内法下可强制执行,并通过《联合国承认及执行外国仲裁裁决公约》(纽约,1958 年 6 月 10 日)106 在国际上得到承认。相反,在调解和和解的情况下,结果通常是自愿协议,一般不具约束力法律效力,但第 2008/52/EC 号指令(“《欧盟调解指令》”)允许当事人约定其协议由法院或主管机关赋予可执行性,给予其与判决相同的效力。

#### ¶432

就消费者争议而言,《ADR 指令》明确承认提议解决方案(当事人可自由接受)、强加解决方案(可能对当事人具有约束力,或甚至仅对经营者具有约束力)或将当事人聚在一起以促成友好解决方案的 ADR 计划。实践中,同一 ADR 机构可能交付不止一种类型的结果,例如取决于当事人的意愿。要使 ADR 程序产生法律效果,约束性质适用于任何一方(即仅经营者)即已足够。

#### ¶433

《ADR 指令》2025 年修正案为决策过程中自动化决策的使用(影响关于是否处理争议的决定和关于争议结果的决定的行为,不包括纯粹行政或技术任务)引入了额外保障。即,当事人应被告知使用了自动化手段,并有权请求对结果进行人工审查。这些额外保障与《人工智能法》并行适用,且不限于 AI 系统,也涵盖《人工智能法》范围之外的科技。

#### ¶434

当 ADR 程序的结果对当事人产生法律效果时,预期目的为协助 ADR 机构研究和解释事实与法律、或将法律适用于具体事实的 AI 系统,应根据附件三第 8(a) 点被归类为高风险。属于此用例范围的 AI 系统实际示例可以从上文为预期由司法机关使用的 AI 系统提供的示例中推导出来。

106 https://www.newyorkconvention.org/english。

### 分节:第 8(b) 点:预期用于影响选举或公投结果的 AI 系统

**_i. 用例概述与横向问题_**

#### ¶435

附件三第 (8)(b) 点将预期用于 (i) 影响选举或公投结果或 (ii) 影响自然人在选举或公投中行使其投票时投票行为的 AI 系统列为高风险。该条款澄清,此用例不包括自然人未直接接触其输出的 AI 系统,如从行政或后勤角度用于组织、优化或构建政治活动的工具。序言第 62 段解释说,将此用例范围内的 AI 系统归类为高风险旨在应对对《宪章》第 39 条所载投票权的不当外部干预风险,以及对民主和法治的不利影响。

#### ¶436

AI 系统要根据《人工智能法》附件三第 8(b) 点所列用例被归类为高风险,必须满足两个条件:第一,AI 系统的预期目的必须是影响选举或公投的结果,或影响自然人在选举或公投中行使其投票时的投票行为;第二,自然人必须直接接触 AI 系统的输出。这些条件及解释它们所需的概念在以下小节中分析。

**_ii. 预期影响选举或公投结果或自然人的投票行为_**

#### ¶437

只有预期用于影响选举或公投结果或自然人投票行为的 AI 系统——即 AI 系统必须特别预期对选民的抉择或投票率产生效果——才属于附件三第 8(b) 点所列用例的范围。因此,该用例的重点是潜在目标:系统必须指向选举影响,而不仅仅是偶然能够实现它。因此,对选举或公投结果或自然人投票行为产生非故意影响的 AI 系统,如在其他内容中亦推荐政治内容、从而事实上有可能影响政治观点的一般内容推荐系统,不应被归类为高风险。通用人工智能系统如果对影响选举过程的使用提供了充分保障(例如,当被用户询问时明确回答不能提供任何投票建议、或仅提供关于选举的中立、事实性和信息性内容(投票程序(如何、何时、何地投票)、登记程序;制度和法律框架;关于政党和候选人的客观信息(如引用其官方网站);以及关于民主进程的一般公民教育)的聊天机器人),也不会属于高风险类别,因为它们不预期影响选举或公投的结果或自然人的投票行为。

#### ¶438

AI 系统应预期用于影响选举或公投的结果或影响自然人在选举或公投中行使其投票时的投票行为,意味着该用例的范围既包括集体影响(选举或公投整体的结果),也包括个体影响(个别选民的行为)。尽管采用选择性表述,这两个用例部分重叠。这是因为对投票行为的影响必然导致对选举或公投结果的影响,无论是通过塑造选民的抉择还是通过影响投票率,从而改变选票的分布和结果。附件三第

8(b) 点的措辞明确将投票行为的影响与“在选举或公投中行使投票”联系起来。

#### ¶439

在附件三第 8(b) 点中纳入“投票行为”澄清了该高风险用例涵盖预期塑造个别选民决策的 AI 系统,即使最终结果(总体结果)不是直接目标。如果没有对投票行为的提及,狭义解读可能暗示高风险规则仅适用于存在可证明的改变选举或公投集体结果风险的情况。然而,这种解读将违背纳入此用例以保护民主进程免受不当外部干预的首要目标。相反,影响选举或公投的结果具有更广泛的含义,因为它可以超越投票,涉及选举过程的其他阶段,如重新划定选区边界。

**_iii. 投票行为的范围_**

#### ¶440

附件三第 8(b) 点提及“自然人的投票行为”。在此语境下,投票行为应被理解为既涵盖选举选择,也涵盖选举参与。因此,“自然人的投票行为”应被理解为不仅涵盖个人如何投票(如他们支持哪个政党或候选人),还涵盖他们是否首先选择参与选举或公投。这些表述也涵盖积极投票和弃权(不参加投票或投空白/无效票)。

#### ¶441

附件三第 8(b) 点不要求自然人的投票行为被有效影响。要属于该用例,AI 系统必须预期用于该目的(包括在被广告宣传为用于特定目的时)。AI 系统部署后的实际结果无关紧要。

**_iv. 与选举或公投的联系_**

#### ¶442

附件三第 8(b) 点所列两个用例都明确提及选举或公投的结果或投票的行使。这应被理解为要求 AI 系统为在选举或公投背景下使用而开发。“选举或公投”的概念应被理解为涵盖可能在欧洲、国家、地区或地方层面举行的选举或公投。

**_v. 高风险分类的适用性与预期部署者类型无关_**

#### ¶443

附件三第 8(b) 点指预期用于特定目的的 AI 系统,因此要求此类 AI 系统的所有提供者将其归类为高风险。该条款未指定谁提供、投入使用或使用该 AI 系统。决定性因素是提供者指定的 AI 系统预期目的,而非部署者是谁。

#### ¶444

实践中,预期用于影响选举或公投结果或自然人投票行为的 AI 系统,可能预期由以下类型的部署者提供或投入使用(非穷尽性清单):——政党、政治基金会、竞选组织和选举候选人:这些可以预期为部署 AI 系统影响投票

行为或选举或公投结果的主要行为者。第 8(b) 点第二句的排除条款支持这一点。第三方(如倡导团体):这些个人或机构也可能对影响选举或公投结果或自然人投票行为有兴趣,或可能为政治行为者的利益而这样做。媒体机构在许多情况下不在范围内;然而,这一假设并非在所有情况下都成立,例如当媒体机构隶属于竞选组织或由政党经营,或当它们提供投票建议应用程序时。

**_vi. 自然人接触输出_**

#### ¶445

附件三第 8(b) 点澄清,它不包括自然人未直接接触其输出的 AI 系统,如从行政或后勤角度用于组织、优化或构建政治活动的工具。这通常排除政党或候选人用于提高后台办公效率的 AI 系统。

**_vii. 合法影响政治观点与外国信息操纵和干预之间的相互作用_**

#### ¶446

政治影响是一项合法活动,属于选举背景的一部分,只要其符合现有欧盟和国内法。附件三第 (8)(b) 点的高风险分类不旨在限制为这些目的开发或使用 AI 系统,而是确保它们以安全和值得信赖的方式开发和使用,并具有应对基本权利和民主价值观风险的保障措施。

#### ¶447

操纵或干预选举,特别是外国信息操纵和干预(FIMI),是一项非法活动,由特定欧盟既有规范处理,如第 (EU) 2024/900 号条例(《政治广告条例》)107、第 (EU) 2022/2065 号条例(“《数字服务法》”)108 和《欧洲民主盾牌》109110。《人工智能法》采用产品安全方法,处理不同层面,即合法使用的 AI 系统的安全和可信度。在《人工智能法》下,只有涉及投放市场、投入使用或使用具有不可接受风险的 AI 系统的少数 AI 实践被禁止;将 AI 系统归类为高风险不服务于该目的。

107 欧洲议会和理事会 2024 年 3 月 13 日关于政治广告透明度和定向投放的第 (EU) 2024/900 号条例。官方公报 L,2024/900,2024 年 3 月 20 日。
108 欧洲议会和理事会 2022 年 10 月 19 日关于数字服务单一市场并修订第 2000/31/EC 号指令的第 (EU) 2022/2065 号条例(《数字服务法》)。官方公报 L 277,2022 年 10 月 27 日,第 1-102 页。
109 委员会致欧洲议会、理事会、欧洲经济和社会委员会及地区委员会的联合通报,《欧洲民主盾牌:赋能强大而坚韧的民主》,JOIN(2025) 791 final。
110 这些欧盟法律文件是互补的。因此,例如,嵌入超大型在线平台服务的 AI 系统将受《数字服务法》下的透明度和风险管理义务约束,并须遵守《政治广告条例》的规则和《人工智能法》的基于风险的规则。

**a) 属于附件三第 8(b) 点用例范围的人工智能系统实际示例**

政治广告的 AI 定向投放 ——预期在第 (EU) 2024/900 号条例(《政治广告条例》)设定的限制内优化政治广告的定向投放和广告交付(包括专门推荐系统)的 AI 系统。此类 AI 系统预期通过影响潜在选民的政治观点来影响选举或公投的结果。在许多情况下,此类系统将包含画像,因此不允许 AI 系统根据《人工智能法》第 6(3) 条被过滤。预期促进对候选人或政策支持的 AI 聊天机器人 ——为政治行为者使用而开发的 AI 聊天机器人(或虚拟代言人/代理),以对话方式与自然人互动,模拟与选民的政治对话以说服他们支持某候选人或政策111。此类 AI 系统属于附件三第 8(b) 点用例的范围,因为影响自然人的政治观点并最终影响选民的抉择在其预期目的之内。AI 投票建议应用程序 ——设计用于基于个别选民的观点推荐政党或候选人的 AI 系统,例如向与系统互动的自然人询问一系列关于政治偏好、价值观或政治议题的问题,然后将答案与政党或候选人的立场进行比较,呈现“最接近匹配”112。此类 AI 系统生成个性化推荐,可以将偏好引向特定政党或候选人,并塑造潜在选民对政治接近度的感知。

**b) 不属于第 8(b) 点用例范围的人工智能系统实际示例**

从行政或后勤角度优化政治活动 ——优化竞选工作人员(包括志愿者)管理的 AI 系统;安排集会、向其分配党员或选择重点议题的 AI 系统。此类系统被附件三第 8(b) 点第二句排除出高风险分类。——分析先前政党捐助者数据库以预测当前或未来竞选捐款可能性的 AI 系统。此类系统被附件三第 8(b) 点第二句排除出高风险分类。——设计用于生成政治广告内容(如可用于起草政治口号和宣传材料以供政党审查和交付的生成式 AI 系统)、但不进一步传播内容的 AI 系统。此类系统协助准备

政治竞选材料,不“预期影响选举结果”113。预期用于监测、研究和模式识别的 AI 系统 ——基于议会网络平台提供的内容监测民选官员提交立法提案或修正案活动的 AI 系统。该监测活动主要服务于信息目的;其直接目的不是影响选举结果。此系统不属于附件三第 8(b) 点的范围。——社会学机构为以客观透明的方式收集、分析和呈现信息而部署的 AI 系统。此类 AI 系统不属于附件三第 8(b) 点,前提是其唯一功能是告知公众或相关利益相关者,而不寻求影响选举过程。——学术机构用于研究目的建模选举行为的 AI 系统。此类系统不预期影响选举结果。无论如何,此类 AI 系统很可能根据《人工智能法》第 2(6) 条被排除。计票中的技术辅助 ——自动计票的 AI 系统。如果 AI 系统仅用于机械识别和计票(如扫描、OCR),则它作为技术辅助运作,不应被归类为高风险,因为其预期目的与附件三第 8(b) 点定义的不一致。提供选举信息的聊天机器人 ——代表选举机关设计、以政治中立方式运作(如提供选举何时举行、何处投票、投票时间等信息)的 AI 聊天机器人114115。

**c) 属于该用例范围但根据《人工智能法》第 6(3) 条过滤器机制获得豁免的人工智能系统实际示例**

——检查人工已写的竞选文本语气、标记潜在不清楚或适得其反的措辞、与现有政党材料冲突的措辞、或建议改述以传达政党优先的情感和价值观的 AI 系统。虽然可以主张该 AI 系统通过影响选民的抉择来预期影响选举结果,但此类 AI 系统可以被豁免,因为它预期仅改进先前已完成的人工活动的结果(第 6(3)(b) 条)。

113 然而,此系统将受《人工智能法》第 50 条下的透明度义务约束。
114 请注意,并非所有聊天机器人都是 AI 系统。请参阅委员会关于 AI 系统定义的指南。
115 然而,此系统将受《人工智能法》第 50 条下的透明度义务约束。

---

## 五、高风险 AI 系统规则的适用

参见配套文件 `art-6-classification-general-principles-2026.md`(交叉引用回委员会指南草案的一般原则部分)。

## 六、高风险用例和委员会指南的审查与更新

参见配套文件 `art-6-classification-general-principles-2026.md`(交叉引用回委员会指南草案的一般原则部分)。











slack-gif-creatoranthropics/skillsKnowledge and utilities for creating animated GIFs optimized for Slack. Provides constraints, validation tools, and animation concepts. Use when users request animated GIFs for Slack like "make me a GIF of X doing Y for Slack."Stars: 198kUpdated Claude CodeCodexVerifiedInstall
ponytailDietrichGebert/ponytailLazy senior dev mode for any coding task: the smallest change that fully solves it, and a reply a busy human understands in one read.Stars: 196kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailHarvest every shortcut: comment into one debt ledger, so deferrals get tracked instead of forgotten. One-shot report.Stars: 196kUpdated Claude CodeCodexVerifiedInstall
ponytail-debtDietrichGebert/ponytailList every `shortcut:` comment (and older `ponytail:` ones) as a debt ledger. One-shot report, changes nothing. Use for "ponytail debt", "what did ponytail defer", "list the shortcuts", /ponytail-debt.Stars: 196kUpdated Claude CodeCodexVerifiedInstall