CSlawyer1985/legal-skillhub / skills/ai-governance-reviewer-carl-ditzler
ai-governance-reviewer-carl-ditzler
Verified当用户希望对内部 AI 用例、AI 产品功能、LLM 工作流或第三方 AI 供应商进行 AI 治理、法律风险、隐私、合规、采购或供应商风险审查时,使用本技能。当事实或证据缺失时,技能首先提出受理和澄清问题,识别所需的文件和缺失的证据,将用例映射到 AI 治理框架和适用的法律领域,并产出带记分卡、发现、责任方、补救行动和后续问题的初步或最终治理审查。
references/working/NIST AI RMF 100-1.md
View on GitHub# NIST AI 100-
# 人工智能风险管理
# 框架(AI RMF 1.0)
```
本出版物可从以下网址免费获取:
https://doi.org/10.6028/NIST.AI.100-
```
```
2023 年 1 月
```
```
美国商务部(U.S. Department of Commerce)
吉娜·M·雷蒙多(Gina M. Raimondo),部长
```
```
美国国家标准与技术研究院(National Institute of Standards and Technology)
劳里·E·洛卡西奥(Laurie E. Locascio),NIST 院长兼商务部负责标准与技术的副部长
```
本文件中可能提及某些商业实体、设备或材料,以充分描述某一实验程序或概念。此类提及并非意在表明美国国家标准与技术研究院(NIST)的推荐或认可,亦非意在表明这些实体、材料或设备必然是满足该目的的最佳选择。
本出版物可从以下网址免费获取:https://doi.org/10.6028/NIST.AI.100-
更新安排与版本
人工智能风险管理框架(AI RMF)旨在成为一份"活"文件(living document)。
NIST 将定期审查本框架的内容与实用性,以确定是否需要进行更新;预计最迟于 2028 年开展一次由 AI 社区正式参与的评审。本框架将采用双数字版本号体系,以跟踪和标识重大变更与次要变更。第一个数字代表 AI RMF 及其配套文件的代际(如 1.0),仅在重大修订时变更。次要修订将以代际数字后的“.n”进行跟踪(如 1.1)。所有变更将通过"版本控制表"进行跟踪,该表记录版本历史,包括版本号、变更日期和变更说明。NIST 计划频繁更新 AI RMF Playbook(《AI RMF 实操手册》)。对 AI RMF Playbook 的评论可随时通过电子邮件发送至 AIframework@nist.gov,并将按半年一次的频率予以审阅和整合。
## 目录
- 执行摘要
- 第 1 部分:基础信息
- 1 界定风险(Framing Risk)
- 1.1 理解并应对风险、影响与危害
- 1.2 AI 风险管理面临的挑战
- 1.2.1 风险度量
- 1.2.2 风险容忍度
- 1.2.3 风险优先级排序
- 1.2.4 组织层面的风险整合与管理
- 2 受众
- 3 AI 风险与可信赖性
- 3.1 有效且可靠(Valid and Reliable)
- 3.2 安全(Safe)
- 3.3 安全且富有韧性(Secure and Resilient)
- 3.4 负责任且透明(Accountable and Transparent)
- 3.5 可解释且可解读(Explainable and Interpretable)
- 3.6 隐私增强(Privacy-Enhanced)
- 3.7 公平——有害偏见得到管理(Fair – with Harmful Bias Managed)
- 4 AI RMF 的有效性
- 第 2 部分:核心与画像(Core and Profiles)
- 5 AI RMF 核心(Core)
- 5.1 治理(Govern)
- 5.2 映射(Map)
- 5.3 度量(Measure)
- 5.4 管理(Manage)
- 6 AI RMF 画像(Profiles)
- 附录 A:图 2 和图 3 中 AI 参与者(AI Actor)任务的说明
- 附录 B:AI 风险与传统软件风险的区别
- 附录 C:AI 风险管理与人机交互
- 附录 D:AI RMF 的属性
- 表 1 GOVERN(治理)职能的类别与子类别。表目录
- 表 2 MAP(映射)职能的类别与子类别。
- 表 3 MEASURE(度量)职能的类别与子类别。
- 表 4 MANAGE(管理)职能的类别与子类别。
## 图目录
图 1 与 AI 系统相关的潜在危害示例。可信赖的 AI 系统及其负责任的使用能够减轻消极风险,并为个人、组织与生态系统带来益处。5
图 2 AI 系统的生命周期与关键维度。改编自 OECD(2022)《OECD AI 系统分类框架——OECD 数字经济论文》。两个内圈显示 AI 系统的关键维度,外圈显示 AI 生命周期阶段。理想情况下,风险管理活动始于应用情境中的规划与设计(Plan and Design)职能,并贯穿 AI 系统生命周期全程。代表性 AI 参与者见图 3。10
图 3 各 AI 生命周期阶段的 AI 参与者。AI 参与者任务的详细说明(包括测试、评估、验证与确认任务细节)见附录 A。注意:AI 模型维度(图 2)中的 AI 参与者按最佳实践相分离——构建和使用模型者与验证和确认模型者相互独立。11
图 4 可信赖 AI 系统的特征。"有效且可靠"是可信赖性的必要条件,如图所示为其他可信赖性特征的基础。"负责任且透明"以竖盒形式显示,因为它与所有其他特征相关。12
图 5 各职能在最顶层组织 AI 风险管理活动,以治理(govern)、映射(map)、度量(measure)和管理(manage)AI 风险。治理被设计为一项横向贯穿的职能,为其他三项职能提供信息并贯穿其中。20
```
第 ii 页
```
## 执行摘要
人工智能(AI)技术具有显著潜力,可以改变社会与人们的生活——从商业和健康到交通运输和网络安全,再到环境和我们的星球。AI 技术可以推动包容性经济增长,支持改善我们世界状况的科学进步。然而,AI 技术也带来风险,可能对个人、群体、组织、社区、社会、环境乃至整个星球产生消极影响。与其他类型技术的风险一样,AI 风险可以以多种方式显现,并可以被刻画为长期或短期、高概率或低概率、系统性或局部性、高影响或低影响。
```
AI RMF 所称的AI 系统,是指一种工程化或基于机器的系统,能够针对给定的目标集,生成预测、建议或决策等输出,从而影响真实或虚拟环境。AI 系统被设计为以不同程度的自主性运行(改编自:OECD AI 建议书:2019;ISO/IEC 22989:2022)。
```
虽然有大量的标准和最佳实践可以帮助组织缓解传统软件或基于信息系统的风险,但 AI 系统所带来的风险在许多方面是独特的(见附录 B)。例如,AI 系统可能基于随时间推移而变化的数据进行训练,有时这种变化重大且出人意料,从而以难以理解的方式影响系统功能与可信赖性。AI 系统及其部署情境往往十分复杂,使得故障发生时难以检测和响应。AI 系统本质上具有社会技术(socio-technical)属性,这意味着它们会受到社会动态和人类行为的影响。AI 风险——以及收益——可能产生于技术方面与社会因素的相互作用,这些社会因素涉及系统的使用方式、系统与其他 AI 系统的交互、由谁操作系统,以及系统所处的社会情境。
这些风险使 AI 成为一项对组织和社会而言都极具挑战性的部署和使用技术。如果没有适当的控制措施,AI 系统可能放大、延续或加剧针对个人和社区的不公平或不良结果。有了适当的控制措施,AI 系统则可以减轻和管理不公平的结果。
AI 风险管理是负责任地开发和利用 AI 系统的关键组成部分。负责任的 AI 实践有助于使关于 AI 系统设计、开发和使用的决策与预期目标和价值观保持一致。负责任的 AI 中的核心概念强调以人为本、社会责任和可持续性。AI 风险管理可以通过促使组织及其内部设计、开发和部署 AI 的团队更批判性地思考情境以及潜在的或意外的不良和积极影响,来推动负责任的使用和实践。理解并管理 AI 系统的风险将有助于增强可信赖性,进而培育公众信任。
```
社会责任(Social responsibility)可指组织"通过透明和合乎道德的行为,对其决策和活动对社会和环境产生的影响"所承担的责任(ISO 26000:2010)。可持续性(Sustainability)指"全球系统的状态,包括环境、社会和经济方面,在此状态下,当代人的需求得到满足,同时不损害后代满足其自身需求的能力"(ISO/IEC TR 24368:2022)。负责任的 AI 旨在产生既公平又负责任的(equitable and accountable)技术。其期望是组织实践依照"职业责任"(professional responsibility)开展,ISO 将职业责任定义为一种"旨在确保设计、开发或部署 AI 系统与应用、或基于 AI 的产品或系统的专业人员,认识到他们所处的影响人、社会和 AI 未来的独特地位"的方法(ISO/IEC TR 24368:2022)。
```
根据《2020 年国家人工智能倡议法案》(National Artificial Intelligence Initiative Act of 2020,P.L. 116-283)的指示,AI RMF 的目标是为设计、开发、部署或使用 AI 系统的组织提供一种资源,帮助其管理 AI 的诸多风险,并促进可信赖、负责任的 AI 系统开发与使用。本框架旨在成为自愿性、维护权利(rights-preserving)、非特定行业、与用例无关的资源,为各种规模、各个行业以及全社会范围内的组织提供实施本框架方法的灵活性。
本框架旨在为组织和个体——此处称为AI 参与者(AI actors)——提供能够提高 AI 系统可信赖性的方法,并帮助促进 AI 系统在设计、开发、部署和使用全过程中的负责任实践。AI 参与者由经济合作与发展组织(OECD)定义为"在 AI 系统生命周期中发挥积极作用的主体,包括部署或运营 AI 的组织和个人"[OECD(2019)《社会中的人工智能——OECD iLibrary》](见附录 A)。
AI RMF 旨在具有实用性,能够随 AI 技术的持续发展而适应 AI 格局,并能够被不同规模、不同能力的组织实施,从而使社会既能受益于 AI,又能免受其潜在危害。
本框架及配套资源将根据技术的发展、全球标准格局以及 AI 社区的经验和反馈不断更新、扩展和改进。NIST 将继续使 AI RMF 及相关指南与适用的国际标准、准则和实践保持一致。随着 AI RMF 投入使用,将积累更多经验教训,为未来更新和更多资源提供参考。
本框架分为两部分。第 1 部分讨论组织如何界定与 AI 相关的风险,并描述预期受众。随后分析 AI 风险与可信赖性,概述可信赖 AI 系统的特征,包括
有效且可靠、安全、安全且富有韧性、负责任且透明、可解释且可解读、隐私增强,以及公平——其有害偏见得到管理。
第 2 部分由框架的"核心"(Core)组成。它描述了四项具体职能,帮助组织在实践中应对 AI 系统的风险。这些职能——GOVERN(治理)、MAP(映射)、MEASURE(度量)和 MANAGE(管理)——进一步细分为类别和子类别。GOVERN 适用于组织 AI 风险管理流程和程序的所有阶段,而 MAP、MEASURE 和 MANAGE 职能则可以在 AI 系统特定的情境中、以及 AI 生命周期的特定阶段加以应用。
与本框架相关的更多资源收录于 AI RMF Playbook 中,可通过 NIST AI RMF 网站获取:
https://www.nist.gov/itl/ai-risk-management-framework。
NIST 与私营和公共部门合作制定 AI RMF,这一工作遵循《2020 年国家人工智能倡议法案》、国家人工智能安全委员会(National Security Commission on Artificial Intelligence)的建议,以及《联邦参与制定技术标准和相关工具的计划》(Plan for Federal Engagement in Developing Technical Standards and Related Tools)所要求开展的更广泛的 AI 工作。在本框架制定过程中与 AI 社区的交流——包括对正式信息征询(Request for Information)的答复、三次广受关注的研讨会、对概念文件和两版框架草案的公开意见、在多个公共论坛上的讨论,以及多次小组会议——为 AI RMF 1.0 以及 NIST 和其他机构开展的 AI 研究、开发与评估提供了信息。将提升本框架的优先研究事项和额外指南将被收录于配套的《AI 风险管理框架路线图》(AI Risk Management Framework Roadmap)中,NIST 和更广泛的社区均可为该路线图作出贡献。
## 第 1 部分:基础信息
## 1 界定风险(Framing Risk)
AI 风险管理提供了一条路径,以最大限度地减少 AI 系统的潜在消极影响(如对公民自由和权利的威胁),同时提供机会以最大限度地发挥积极影响。有效应对、记录和管理 AI 风险及潜在消极影响,可以造就更可信赖的 AI 系统。
### 1.1 理解并应对风险、影响与危害
在 AI RMF 的语境中,风险(risk)指事件发生概率与该事件相应后果的大小或程度的综合度量。AI 系统的影响或后果可以是积极的、消极的或两者兼有,并可能产生机会或威胁(改编自:ISO 31000:2018)。在考虑潜在事件的消极影响时,风险是以下两者的函数:1)若该情形或事件发生将产生的消极影响(即危害的大小),以及 2)发生的可能性(改编自:OMB A-130 号通告:2016)。消极影响或危害可能由个人、群体、社区、组织、社会、环境和整个星球承受。
```
“风险管理指对组织进行引导和控制以应对风险的协调活动”(来源:ISO 31000:2018)。
```
虽然风险管理流程通常针对消极影响,但本框架提供的方法既旨在最大限度地减少 AI 系统的预期消极影响,又旨在识别机会以最大限度地发挥积极影响。有效管理潜在危害的风险可以造就更可信赖的 AI 系统,并释放对个人(个体、社区和社会)、组织以及系统/生态系统的潜在益处。风险管理能够使 AI 开发者和使用者理解影响,并考虑其模型和系统中固有的局限性与不确定性,进而改善系统的整体性能和可信赖性,提高 AI 技术以有益方式被使用的可能性。
AI RMF 旨在应对新出现的风险。在影响不易预见、应用不断演变的场景中,这种灵活性尤为重要。虽然某些 AI 风险和收益已广为人知,但评估消极影响和危害程度可能颇具挑战。图 1 提供了可能与 AI 系统相关的潜在危害示例。
AI 风险管理工作应当考虑到,人类可能假定 AI 系统在一切环境中都能工作——并且工作良好。例如,无论正确与否,AI 系统往往被认为比人类更客观,或被认为提供比一般软件更强的能力。
图 1. 与 AI 系统相关的潜在危害示例。可信赖的 AI 系统及其负责任的使用能够减轻消极风险,并为个人、组织和生态系统带来益处。
### 1.2 AI 风险管理面临的挑战
下文描述了若干挑战。在追求 AI 可信赖性的风险管理过程中,应当将这些挑战纳入考量。
#### 1.2.1 风险度量
定义不清或理解不充分的 AI 风险或故障,难以进行定量或定性度量。无法恰当度量 AI 风险,并不意味着 AI 系统必然构成高风险或低风险。部分风险度量挑战包括:
与第三方软件、硬件和数据相关的风险:第三方数据或系统可以加速研发并促进技术转化,但也可能使风险度量复杂化。风险既可能来自第三方数据、软件或硬件本身,也可能来自其使用方式。AI 系统开发组织所使用的风险度量标准或方法,可能与部署或运营该系统的组织所使用的风险度量标准或方法不一致。此外,AI 系统开发组织可能对其使用的风险度量标准或方法不够透明。客户如何将第三方数据或系统使用或集成到 AI 产品或服务中——尤其是在缺乏充分的内部治理结构和技术保障的情况下——也会使风险度量与管理复杂化。无论如何,所有各方和 AI 参与者都应在其开发、部署或使用(无论是作为独立组件还是集成组件)的 AI 系统中管理风险。
跟踪新出现的风险:识别和跟踪新出现的风险,并考虑对其进行度量的技术,将增强组织的风险管理能力。
AI 系统影响评估方法可以帮助 AI 参与者理解特定情境下的潜在影响或危害。
可靠度量标准的可用性:当前在稳健且可验证的风险与可信赖性度量方法及其对不同 AI 用例的适用性方面缺乏共识,这是 AI 风险度量面临的一项挑战。在寻求度量消极风险或危害时,潜在陷阱包括:度量标准的制定往往是一项机构性工作,可能无意中反映与潜在影响无关的因素。此外,度量方法可能被过度简化、被操纵(gamed)、缺乏关键的细微差别、以意想不到的方式被依赖,或者未能考虑到受影响群体和情境之间的差异。
度量对人群影响的方法,若能认识到情境至关重要、危害可能对不同群体或子群体产生不同影响、以及可能受伤害的社区或其他子群体并不总是系统的直接使用者,则效果最佳。
AI 生命周期不同阶段的风险:在 AI 生命周期较早阶段度量风险,可能得出与较晚阶段度量不同的结果;某些风险在特定时点可能是潜伏的,并可能随着 AI 系统的适应和演进而增大。此外,AI 生命周期中的不同 AI 参与者可能持有不同的风险视角。例如,提供 AI 软件(如预训练模型)的 AI 开发者,与负责在特定用例中部署该预训练模型的 AI 参与者,可能持有不同的风险视角。此类部署者可能认识不到,其特定用途可能带来与最初开发者所认知的不同的风险。所有参与的 AI 参与者共同负有设计、开发和部署一个适合目的的可信赖 AI 系统的责任。
真实环境中的风险:虽然实验室或受控环境中的 AI 风险度量可能在部署前产生重要洞察,但这些度量结果可能不同于在运营性、真实环境中所显现的风险。
不可洞察性(Inscrutability):不可洞察的 AI 系统会使风险度量复杂化。不可洞察性可能是 AI 系统的不透明性(可解释性或可解读性有限)、AI 系统开发或部署中缺乏透明度或文档记录,或 AI 系统固有的不确定性所致。
人类基线:对旨在增强或替代人类活动(例如决策)的 AI 系统进行风险管理,需要某种形式的基线度量标准以供比较。这一点难以系统化,因为 AI 系统执行的任务不同于人类——并且完成任务的方式也不同。
#### 1.2.2 风险容忍度
虽然 AI RMF 可用于对风险进行优先级排序,但它并不规定风险容忍度。风险容忍度(risk tolerance)指组织或 AI 参与者(见附录 A)为实现其目标而愿意承担风险的程度。风险容忍度可能受到法律或监管要求的影响(改编自:ISO GUIDE 73)。风险容忍度以及组织或社会可接受的风险水平,高度依赖于具体情境,且因应用和用例而异。风险容忍度可能受到 AI 系统所有者、组织、行业、社区或政策制定者所确立的政策和规范的影响。随着 AI 系统、政策和规范的演进,风险容忍度很可能随时间推移而变化。不同的组织可能因其特定的组织优先事项和资源考量而具有不同的风险容忍度。
为更好地为危害/成本效益权衡提供信息的不断涌现的知识和方法,将继续由企业、政府、学术界和公民社会进行发展和辩论。在明确 AI 风险容忍度所面临的挑战仍悬而未决的范围内,可能存在一些情境,风险管理框架尚不能轻易适用于减轻消极 AI 风险。
```
本框架旨在保持灵活,并增强现有的风险实践,后者应与适用的法律、法规和规范保持一致。组织应遵循组织、领域、学科、行业或职业要求所确立的关于风险标准、容忍度和应对的现行法规与指南。某些行业或产业可能已经确立了危害的定义,或确立了文件记录、报告和披露要求。在行业内部,风险管理可能依赖于特定应用和用例情境的现行指南。在不存在既定指南的情况下,组织应界定合理的风险容忍度。一旦界定了容忍度,即可使用本 AI RMF 来管理风险并记录风险管理流程。
```
#### 1.2.3 风险优先级排序
试图完全消除消极风险在实践中可能适得其反,因为并非所有事件和故障都能被消除。对风险不切实际的期望可能使组织以导致风险分诊(risk triage)低效或不切实际、或浪费稀缺资源的方式配置资源。风险管理文化可以帮助组织认识到并非所有 AI 风险都相同,从而可以有目的地配置资源。可操作的风险管理工作为评估组织开发或部署的每个 AI 系统的可信赖性提供了明确的指南。政策和资源应根据评估所得的风险水平和 AI 系统的潜在影响进行优先级排序。AI 部署者对 AI 系统进行定制或调整以适应特定使用情境的程度,可以是一个影响因素。
应用 AI RMF 时,组织确定风险最高的
AI 系统在特定使用情境下,需要最紧急的优先级排序和最彻底的风险管理流程。在 AI 系统呈现不可接受的消极风险水平的情形下——例如重大消极影响迫在眉睫、严重危害正在实际发生,或存在灾难性风险——开发和部署应以安全的方式停止,直至风险能够得到充分管理。如果某一 AI 系统的开发、部署和使用用例在特定情境中被认定为低风险,这可能意味着其优先级可以相应降低。
与不直接与人类交互的 AI 系统相比,设计或部署用于直接与人类交互的 AI 系统,其风险优先级排序可能不同。在 AI 系统基于包含敏感或受保护数据(如个人身份信息)的大型数据集进行训练,或者 AI 系统的输出对人类产生直接或间接影响的环境中,可能需要更高的初始优先级。仅与计算系统交互并使用非敏感数据集(例如从物理环境收集的数据)训练的 AI 系统,可能需要较低的初始优先级。尽管如此,基于情境定期评估风险和确定优先级仍然重要,因为非面向人类的 AI 系统也可能产生下游的安全或社会影响。
剩余风险(residual risk)——定义为风险处置(risk treatment)之后剩余的风险(来源:ISO GUIDE 73)——直接影响到最终用户或受影响的个体和社区。记录剩余风险将要求系统提供者充分考虑部署 AI 产品的风险,并将告知最终用户与系统交互可能产生的消极影响。
#### 1.2.4 组织层面的风险整合与管理
AI 风险不应孤立地考虑。不同的 AI 参与者因其在生命周期中的角色不同,承担不同的责任、拥有不同的认知。例如,开发 AI 系统的组织往往无法掌握该系统可能被如何使用的信息。AI 风险管理应整合并纳入更广泛的企业风险管理战略和流程。将 AI 风险与其他关键风险(如网络安全和隐私风险)一并处理,将产生更加一体化的结果并提升组织效率。
AI RMF 可以与用于管理 AI 系统风险或更广泛企业风险的相关指南和框架一起使用。某些与 AI 系统相关的风险在其它类型的软件开发和部署中也很常见。重叠风险的示例包括:与使用底层数据训练 AI 系统相关的隐私问题;资源密集型计算需求相关的能源和环境影响;与系统及其训练数据和输出数据的保密性、完整性和可用性相关的安全问题;以及 AI 系统底层软件和硬件的一般安全性。
组织需要建立并维护适当的问责机制、角色与职责、文化和激励结构,才能使风险管理行之有效。仅使用 AI RMF 本身不会带来这些改变,也不会提供适当的激励。有效的风险管理是通过高层组织的承诺实现的,并可能需要组织或行业内部的文化变革。此外,中小型组织实施 AI 风险管理或采用 AI RMF 时,可能因能力和资源不同而面临与大型组织不同的挑战。
## 2 受众
识别和管理 AI 风险及潜在影响——包括积极和消极的——需要跨越 AI 生命周期的广泛视角和参与者。理想情况下,AI 参与者应代表多样化的经验、专长和背景,并由人口学特征和学科背景多样的团队组成。AI RMF 旨在供 AI 生命周期和各个维度中的 AI 参与者使用。
OECD 制定了一个框架,根据五个关键的社会技术维度对 AI 生命周期活动进行分类,每个维度都具有与 AI 政策和治理(包括风险管理)相关的属性[OECD(2022)《OECD AI 系统分类框架——OECD 数字经济论文》]。图 2 显示了这些维度,NIST 为本框架之目的对其略作修改。NIST 的修改强调了测试、评估、验证和确认(TEVV)流程在整个 AI 生命周期中的重要性,并推广了 AI 系统运营情境的一般化概念。
图 2 中显示的 AI 维度包括:应用情境(Application Context)、数据与输入(Data and Input)、AI 模型(AI Model)以及任务与输出(Task and Output)。在这些维度中执行或管理 AI 系统设计、开发、部署、评估和使用、并推动 AI 风险管理工作的 AI 参与者,是 AI RMF 的主要(primary)受众。
图 3 列出了跨生命周期维度的代表性 AI 参与者,并在附录 A 中详细描述。在 AI RMF 中,所有 AI 参与者协同工作以管理风险并实现可信赖、负责任的 AI 目标。具有 TEVV 专长的 AI 参与者贯穿整个 AI 生命周期,尤其可能从本框架中受益。定期开展 TEVV 任务,可以提供相对于技术、社会、法律和伦理标准或规范方面的洞察,并有助于预见影响以及评估和跟踪新出现的风险。作为 AI 生命周期中的常规流程,TEVV 既允许进行中途补救,也允许进行事后风险管理。
图 2 中心的"人与地球"(People & Planet)维度代表人权以及社会和地球的更广泛福祉。该维度中的 AI 参与者构成 AI RMF 的另一类受众,他们为主要受众提供信息(informs)。这些 AI 参与者可能包括行业协会、标准制定组织、研究人员、倡导团体、
图 2. AI 系统的生命周期与关键维度。改编自 OECD(2022)《OECD AI 系统分类框架——OECD 数字经济论文》。两个内圈显示 AI 系统的关键维度,外圈显示 AI 生命周期阶段。理想情况下,风险管理活动始于应用情境中的规划与设计职能,并贯穿 AI 系统生命周期全程。代表性 AI 参与者见图 3。
环境团体、公民社会组织、最终用户,以及可能受影响的个体和社区。这些参与者可以:
- 协助提供情境,并理解潜在的和实际的影响;
- 成为 AI 风险管理的正式或准正式规范与指南的来源;
- 划定 AI 运行的边界(技术、社会、法律和伦理方面的);以及
- 推动关于平衡社会价值观和优先事项(涉及公民自由和权利、公平、环境和地球以及经济)所需权衡的讨论。
成功的风险管理依赖于图 3 所示 AI 参与者之间的集体责任感。第 5 节所述的 AI RMF 各项职能,需要多样的视角、学科、职业和经验。多元化团队有助于更开放地分享关于技术目的和功能的想法与假设——使这些隐含方面变得更加明确。这种更广泛的集体视角为揭示问题、识别现有和新出现的风险创造了机会。
图 3.
各 AI 生命周期阶段的 AI 参与者。AI 参与者任务的详细说明(包括测试、
```
评估、验证与确认任务细节)见附录 A。注意:AI 模型维度(图 2)中的 AI 参与者按最佳实践相分离——构建和使用模型者与验证和确认模型者相互独立。
```
## 3 AI 风险与可信赖性
要使 AI 系统值得信赖,它们往往需要对利益相关方珍视的多重标准作出响应。增强 AI 可信赖性的方法可以降低消极 AI 风险。本框架阐明了可信赖 AI 的以下特征(characteristics),并就如何应对这些特征提供指南。可信赖 AI 系统的特征包括:有效且可靠、安全、安全且富有韧性、负责任且透明、可解释且可解读、隐私增强,以及公平——有害偏见得到管理。创建可信赖的 AI 需要根据 AI 系统的使用情境平衡这些特征。虽然所有特征都是社会技术系统的属性,但问责与透明还涉及 AI 系统内部及其外部环境中的流程和活动。忽视这些特征会增加消极后果的概率和严重程度。
图 4. 可信赖 AI 系统的特征。"有效且可靠"是可信赖性的必要条件,如图所示为其他可信赖性特征的基础。"负责任且透明"以竖盒形式显示,因为它与所有其他特征相关。
可信赖性特征(如图 4 所示)与社会和组织行为、AI 系统使用的数据集、AI 模型和算法的选择及构建者所作的决策、以及与对这些系统提供洞察和监管的人员的互动密不可分。在决定与 AI 可信赖性特征相关的具体度量标准以及这些度量标准的精确阈值时,应运用人的判断。
单独处理 AI 可信赖性特征并不能确保 AI 系统的可信赖性;通常涉及权衡取舍,很少有所有特征在每种环境中都适用,而且在任何特定情况下,有些特征会显得更重要或不那么重要。归根结底,可信赖性是一个社会概念,跨越一个谱系,并且只与其最薄弱的特征一样强。
在管理 AI 风险时,组织在平衡这些特征方面可能面临艰难决策。例如,在某些场景中,在可解读性优化与实现隐私之间可能出现权衡。在其他情况下,组织可能面临预测准确性与可解读性之间的权衡。或者,在数据稀疏等特定条件下,隐私增强技术可能导致准确性损失,从而影响某些领域中关于公平和其他价值的决策
关于平衡权衡的决策必须考虑决策情境。这些分析可以揭示不同度量之间权衡的存在和程度,但不能回答如何驾驭权衡的问题。这些问题取决于相关情境中所涉及的价值,并应以既透明又恰当可辩护的方式加以解决。
在 AI 生命周期中,有多种方法可以增强情境意识。例如,主题专家可以协助评估 TEVV 结果,并与产品和部署团队合作,使 TEVV 参数与需求和部署条件保持一致。在资源充足的情况下,在整个 AI 生命周期中扩大利益相关方和相关 AI 参与者输入的广度和多样性,可以增加提供情境敏感评估和识别 AI 系统收益与积极影响的机会。这些实践可以提高社会情境中出现的风险得到恰当管理的可能性。
对可信赖性特征的理解和处理取决于 AI 参与者在 AI 生命周期中的特定角色。对于任何给定的 AI 系统,AI 设计师或开发者对特征的认识可能与部署者不同。
```
本文档所阐述的可信赖性特征相互影响。高度安全但不公平的系统、准确但不透明且不可解读的系统,以及不准确但安全、隐私增强且透明的系统,都是不可取的。全面的风险管理方法要求平衡可信赖性特征之间的权衡。确定 AI 技术对于给定情境或目的是否是适当或必要的工具,以及如何负责任地使用它,是所有 AI 参与者的共同责任。委托开发或部署 AI 系统的决定,应基于对可信赖性特征及相关风险、影响、成本和收益的情境评估,并由广泛的利益相关方提供信息。
```
### 3.1 有效且可靠(Valid and Reliable)
验证(Validation)是"通过提供客观证据,确认特定预期用途或应用的要求已得到满足"(来源:ISO 9000:2015)。部署不准确、不可靠或未能很好地泛化到训练数据之外的数据和环境的 AI 系统,会产生并增加消极 AI 风险,降低可信赖性。
可靠性(Reliability)在同一标准中被定义为"项目在规定条件下、规定时间间隔内,按要求执行而不发生故障的能力"(来源:ISO/IEC TS
5723:2022)。可靠性是 AI 系统在预期使用条件下、在规定时间段内(包括系统的整个生命周期)总体正确运行的目标。
准确性和稳健性有助于 AI 系统的有效性和可信赖性,但在 AI 系统中二者可能相互牵制。
准确性(Accuracy)被 ISO/IEC TS 5723:2022 定义为"观测、计算或估计的结果与真实值或被认为真实的值之间的接近程度"。准确性度量应考虑以计算为中心的度量(如假阳性率和假阴性率)、人机协作(human-AI teaming),并展示外部有效性(可泛化到训练条件之外)。准确性度量应始终与明确定义且切合实际的测试集——即代表预期使用条件的测试集——以及测试方法细节相配套;这些应包含在相关文档中。准确性度量可包括对不同数据分段的分类汇总结果。
稳健性(Robustness)或泛化性(generalizability)被定义为"系统在各种情况下保持其性能水平的能力"(来源:ISO/IEC TS 5723:2022)。稳健性是在广泛的条件和情境下(包括最初未预期的 AI 系统用途)实现适当系统功能的目标。稳健性不仅要求系统在预期使用下表现得完全符合预期,还要求如果系统在意外环境中运行,其行为方式应能最大限度地减少对人的潜在危害。
已部署 AI 系统的有效性和可靠性通常通过持续的测试或监测来评估,以确认系统按预期运行。对有效性、准确性、稳健性和可靠性的度量有助于可信赖性,并且应考虑某些类型的故障可能造成更大的危害。AI 风险管理工作应优先考虑将潜在消极影响最小化,并且在 AI 系统无法检测或纠正错误的情况下,可能需要人的介入。
### 3.2 安全(Safe)
AI 系统应"在规定条件下,不导致人的生命、健康、财产或环境受到威胁的状态"(来源:ISO/IEC TS 5723:2022)。AI 系统的安全运行通过以下方式得到改善:
- 负责任的设计、开发和部署实践;
- 向部署者提供关于系统负责任使用的清晰信息;
- 部署者和最终用户的负责任决策;以及
- 基于事件经验证据的风险解释和文档记录。
不同类型的安全风险可能需要根据情境和潜在风险的严重程度,采用量身定制的 AI 风险管理方法。构成严重伤害或死亡潜在风险的安全风险,需要最紧急的优先级排序和最彻底的风险管理流程。
在生命周期期间尽早从规划和设计开始就考虑安全问题,可以防止可能导致系统危险的故障或条件。其他实用的 AI 安全方法通常涉及严格的模拟和域内测试、实时监测,以及对于偏离预期或预期功能之外的系统的关闭、修改或人工介入能力。
AI 安全风险管理方法应从交通运输和医疗保健等领域的安全工作与指南中汲取经验,并与现有的行业特定或应用特定指南或标准保持一致。
### 3.3 安全且富有韧性(Secure and Resilient)
如果 AI 系统及其所部署的生态系统能够经受住意外的负面事件或环境或使用中的意外变化——或者在面对内部和外部变化时能够保持其功能和结构,并在必要时安全、平稳地降级——则可以称其具有韧性(resilient)(改编自:ISO/IEC TS 5723:2022)。常见的安全问题涉及对抗样本(adversarial examples)、数据投毒(data poisoning),以及通过 AI 系统端点窃取模型、训练数据或其他知识产权。能够通过防止未经授权访问和使用的保护机制保持保密性、完整性和可用性的 AI 系统,可以称其是安全的(secure)。NIST 网络安全框架(Cybersecurity Framework)和风险管理框架(Risk Management Framework)中的指南在此适用。
安全与韧性是相关但不同的特征。韧性是在意外的负面事件后恢复正常功能的能力,而安全包括韧性,还包括避免攻击、防范攻击、应对攻击或从攻击中恢复的协议。韧性涉及稳健性,并超越数据的来源(provenance),涵盖对模型或数据的意外或对抗性使用(或滥用、误用)。
### 3.4 负责任且透明(Accountable and Transparent)
可信赖的 AI 依赖于问责。问责以透明为前提。透明度(Transparency)反映的是关于 AI 系统及其输出的信息在多大程度上可供与这类系统交互的个人获取——无论他们是否意识到自己正在交互。有意义的透明根据 AI 生命周期的阶段提供适当水平的信息获取,并针对与 AI 系统交互或使用的 AI 参与者或个人的角色或知识加以定制。通过促进更高层次的理解,透明增强了对 AI 系统的信心。
这一特征的范围从设计决策和训练数据,延伸到模型训练、模型结构、预期用例,以及部署、部署后或最终用户决策是如何及何时作出、由谁作出的。对于 AI 系统输出不正确或以其他方式导致消极影响的情况,透明往往是采取可操作救济(redress)的必要条件。透明应考虑人机交互:例如,当检测到由 AI 系统引起的潜在或实际不良结果时,人类操作员或用户如何收到通知。透明的系统不一定是准确、隐私增强、安全或公平的系统。然而,很难确定一个不透明的系统是否具有这些特征,而且随着复杂系统的演进,很难随时间推移对此加以确定。
在寻求对 AI 系统结果负责时,应考虑 AI 参与者的角色。与 AI 及更广泛技术系统相关的风险与问责之间的关系,在不同的文化、法律、行业和社会情境中各不相同。当后果严重时(例如涉及生命和自由时),AI 开发者和部署者应考虑按比例、主动地调整其透明和问责实践。维护减少危害的组织实践和治理结构(如风险管理),有助于形成更负责任的系统。
增强透明度和问责的措施还应考虑这些努力对实施实体的影响,包括所需资源的水平以及保护专有信息的需要。
维护训练数据的来源(provenance),并支持将 AI 系统的决策归因于训练数据子集,有助于实现透明和问责。训练数据也可能受版权保护,应遵守适用的知识产权法律。
随着 AI 系统透明工具和相关文档的不断演进,鼓励 AI 系统开发者与 AI 部署者合作测试不同类型的透明工具,以确保 AI 系统按预期使用。
### 3.5 可解释且可解读(Explainable and Interpretable)
可解释性(Explainability)指对 AI 系统运行背后机制的表示,而可解读性(Interpretability)指 AI 系统输出在其设计功能目的语境中的含义。可解释性和可解读性共同帮助操作或监管 AI 系统的人员以及 AI 系统的用户,更深入地了解系统的功能和可信赖性,包括其输出。其基本假设是,对消极风险的感知源于缺乏恰当理解或情境化系统输出的能力。可解释且可解读的 AI 系统提供的信息将帮助最终用户理解 AI 系统的目的和潜在影响。
缺乏可解释性带来的风险,可以通过描述 AI 系统如何运作来管理,描述应针对个体差异(如用户的角色、知识和技能水平)加以定制。可解释的系统更容易被调试和监测,也更适合进行更彻底的文档记录、审计和治理。
可解读性风险通常可以通过传达对 AI 系统为何作出特定预测或建议的说明来解决。(参见此处收录的"可解释人工智能四项原则"和"人工智能中可解释性与可解读性的心理学基础"。)
透明、可解释和可解读是相互支持的不同特征。透明可以回答系统中"发生了什么"的问题。可解释性可以回答系统"如何"作出某项决策的问题。可解读性可以回答系统"为何"作出某项决策的问题,以及该决策对用户的意义或情境。
### 3.6 隐私增强(Privacy-Enhanced)
隐私(Privacy)一般指有助于保障人类自主权、身份和尊严的规范和实践。这些规范和实践通常涉及免受侵扰的自由、限制观察,或个人同意披露或控制其身份某些方面(如身体、数据、声誉)的自主权。(参见《NIST 隐私框架:通过企业风险管理改进隐私的工具》。)
匿名性、保密性和控制等隐私价值通常应指导 AI 系统设计、开发和部署的选择。与隐私相关的风险可能影响安全、偏见和透明,并伴随与其他这些特征的权衡。与安全和安保一样,AI 系统的特定技术特征可能促进或削弱隐私。AI 系统也可能通过允许推断识别个人或关于个人的此前属于私密的信息,带来新的隐私风险。
用于 AI 的隐私增强技术(Privacy-Enhancing Technologies,简称"PETs"),以及数据最小化方法(如针对某些模型输出的去标识化和聚合),可以支持隐私增强型 AI 系统的设计。在数据稀疏等特定条件下,隐私增强技术可能导致准确性损失,从而影响某些领域中关于公平和其他价值的决策。
### 3.7 公平——有害偏见得到管理(Fair – with Harmful Bias Managed)
AI 中的公平性(Fairness)包括通过解决有害偏见和歧视等问题来关注平等与公平(equality and equity)。公平标准可能复杂且难以定义,因为不同文化对公平的看法各异,并可能随应用而改变。识别并考虑这些差异将增强组织的风险管理工作。有害偏见得到缓解的系统不一定是公平的。例如,预测在人口统计群体之间大体平衡的系统,仍可能对残障人士或受数字鸿沟影响的人不可及,或者可能加剧现有的差距或系统性偏见。
偏见比人口统计平衡和数据代表性更为宽泛。NIST 确定了需要考虑和管理的三大类 AI 偏见:系统性偏见(systemic)、计算与统计偏见(computational and statistical)以及人类认知偏见(human-cognitive)。每一类偏见都可能在不存在偏见、偏私或歧视意图的情况下发生。系统性偏见可能存在于 AI 数据集中、AI 生命周期的组织规范、实践和流程中,以及使用 AI 系统的更广泛社会中。计算与统计偏见可能存在于 AI 数据集和算法流程中,通常源于非代表性样本导致的系统性错误。人类认知偏见与个人或群体如何感知 AI 系统信息以作出决策或填补缺失信息,或者人类如何思考 AI 系统的目的和功能有关。人类认知偏见普遍存在于 AI 生命周期和系统使用的决策过程中,包括 AI 的设计、实现、运行和维护。
偏见以多种形式存在,并可能根植于帮助
我们对生活作出决策的自动化系统中。虽然偏见并不总是消极现象,但 AI 系统可能潜在地加快偏见的传播速度和扩大其规模,并对个人、群体、社区、组织和社会的危害予以延续和放大。偏见与社会中的透明和公平概念密切相关。(有关偏见(包括三大类别)的更多信息,参见 NIST 特别出版物 1270《迈向识别和管理人工智能偏见的标准》。)
## 4 AI RMF 的有效性
对 AI RMF 有效性的评估——包括衡量 AI 系统可信赖性底线改善情况的方法——将成为 NIST 未来与 AI 社区共同开展的活动的一部分。
鼓励本框架的组织和其他使用者定期评估 AI RMF 是否提高了他们管理 AI 风险的能力,包括但不限于其政策、流程、实践、实施计划、指标、度量方法和预期结果。NIST 计划与他人合作制定评估 AI RMF 有效性的度量标准、方法论和目标,并广泛分享结果和支持性信息。预期框架使用者将从以下方面受益:
- 增强治理、映射、度量和管理 AI 风险的流程,并清晰记录结果;
- 提高对可信赖性特征、社会技术方法和 AI 风险之间关系与权衡的认识;
- 建立作出"可行/不可行"(go/no-go)系统委托与部署决策的明确流程;
- 建立改善组织与 AI 系统风险相关的问责工作的政策、流程、实践和程序;
- 增强优先识别和管理 AI 系统风险及其对个人、社区、组织和社会潜在影响的组织文化;
- 改善组织内部及组织之间关于风险、决策流程、责任、常见陷阱、TEVV 实践和持续改进方法的信息共享;
- 拥有更丰富的情境知识,以提高对下游风险的认识;
- 加强与利益相关方和相关 AI 参与者的互动;以及
- 增强对 AI 系统及相关风险进行 TEVV 的能力。
## 第 2 部分:核心与画像
## 5 AI RMF 核心
AI RMF 核心提供能够促进对话、理解和活动的结果与行动,以管理 AI 风险并负责任地开发可信赖的 AI 系统。如图 5 所示,核心由四项职能组成:GOVERN(治理)、MAP(映射)、MEASURE(度量)和 MANAGE(管理)。这些高层级职能中的每一项都进一步细分为类别和子类别。类别和子类别再细分为具体的行动和结果。行动不构成检查清单,也不必然是有序的步骤集。
图 5. 各职能在最顶层组织 AI 风险管理活动,以治理、映射、度量和管控 AI 风险。治理被设计为一项横向贯穿的职能,为其他三项职能提供信息并贯穿其中。
风险管理应持续、及时,并在 AI 系统生命周期各维度中全程开展。AI RMF 核心职能的执行方式应反映多元和多学科的视角,可能包括组织外部 AI 参与者的观点。拥有多元化团队有助于更开放地分享关于所设计、开发、
部署或评估的技术的目的和功能的想法与假设——这可以创造机会来揭示问题并识别现有和新出现的风险。
作为 AI RMF 的在线配套资源,NIST AI RMF Playbook 旨在帮助组织驾驭 AI RMF,并通过其建议的战术行动(可在组织自身情境中应用)实现框架结果。与 AI RMF 一样,Playbook 是自愿性的,组织可以根据自身需求和兴趣使用其建议。Playbook 使用者可以从建议材料中挑选内容,创建适合自身使用的定制指南,并贡献自己的建议与更广泛的社区分享。与 AI RMF 一起,Playbook 是 NIST 可信赖与负责任 AI 资源中心(NIST Trustworthy and Responsible AI Resource Center)的组成部分。
```
框架使用者可以根据自身资源和能力,以最适合其管理 AI 风险需求的方式应用这些职能。一些组织可能选择从类别和子类别中挑选;另一些组织可能选择——并且有能力——应用全部类别和子类别。假设治理结构已经就位,框架使用者可以在 AI 生命周期中以他们认为能增加价值的任何顺序执行各项职能。在确立 GOVERN 中的结果后,大多数 AI RMF 使用者会从 MAP 职能开始,然后继续到 MEASURE 或 MANAGE。无论使用者如何整合这些职能,该过程都应是迭代的,并在必要时在各职能之间交叉引用。同样,有些类别和子类别的要素适用于多项职能,或者从逻辑上应在某些子类别决策之前进行。
```
### 5.1 GOVERN(治理)
GOVERN 职能:
- 在设计、开发、部署、评估或采购 AI 系统的组织内部培育并实施风险管理文化;
- 概述能够预见、识别和管理系统可能构成的风险(包括对用户及全社会其他人的风险)的流程、文档和组织机制——以及实现这些结果的程序;
- 纳入评估潜在影响的流程;
- 提供一种结构,使 AI 风险管理职能能够与组织原则、政策和战略优先事项保持一致;
- 将 AI 系统设计和开发的技术层面与组织价值观和原则相连接,并为参与采购、训练、部署和监测此类系统的个人赋能组织实践和能力;以及
- 覆盖完整的产品生命周期及相关流程,包括与使用第三方软件或硬件系统及数据有关的法律和其他问题。
GOVERN 是一项横向贯穿的职能,贯穿 AI 风险管理全程,并使流程的其他职能得以实现。GOVERN 的各个方面,尤其是与合规或评估相关的方面,应整合到其他每一项职能中。在 AI 系统的整个生命周期和组织层级中,对治理的关注是有效 AI 风险管理的持续而内在的要求。
强有力的治理可以推动和增强内部实践与规范,以促进组织的风险文化。治理机构可以确定指导组织使命、目标、价值观、文化和风险容忍度的总体政策。高层领导为组织内部的风险管理定下基调,并随之塑造组织文化。管理层将 AI 风险管理的技术层面与政策和运营相结合。文档记录可以增强透明度,改进人工审查流程,并加强 AI 系统团队的问责。
在落实了 GOVERN 职能所述的架构、系统、流程和团队之后,组织应受益于一种以风险理解和管理为导向、目标驱动的文化。框架使用者有责任随着 AI 参与者的知识、文化以及需求或期望随时间推移而演进,继续执行 GOVERN 职能。
与治理 AI 风险相关的实践在 NIST AI RMF Playbook 中有详细说明。表 1 列出了 GOVERN 职能的类别和子类别。
```
表 1:GOVERN(治理)职能的类别与子类别。
```
##### GOVERN1:
```
与映射、度量和管控 AI
风险相关的政策、流程、
程序和实践在整个组织
范围内到位、透明并有
效实施。
```
```
GOVERN 1.1:与 AI 相关的法律和监管要求得到理解、管理和记录。
GOVERN 1.2:可信赖 AI 的特征被整合到组织的政策、流程、程序和实践中。
GOVERN 1.3:建立流程、程序和实践,根据组织的风险容忍度确定所需的风险管理活动水平。
GOVERN 1.4:风险管理流程及其结果通过基于组织风险优先事项的透明政策、程序和其他控制措施得以确立。
```
```
类别 子类别
```
```
续下页
```
```
表 1:GOVERN(治理)职能的类别与子类别。(续)
```
```
GOVERN 1.5:计划对风险管理流程及其结果进行持续监测和定期审查,并明确定义组织角色与职责,包括确定定期审查的频率。
GOVERN 1.6:建立对 AI 系统进行清点的机制,并根据组织风险优先事项配置资源。
GOVERN 1.7:建立以安全方式退役和淘汰 AI 系统的流程和程序,且不以增加风险或降低组织可信赖性的方式进行。
```
GOVERN2:
问责结构到位,
使适当的团队和
个人在映射、度量
和管控 AI 风险方
面被赋予权力、承
担责任并接受培
训。
```
GOVERN 2.1:与映射、度量和管理 AI 风险相关的角色、职责和沟通线路得到记录,并对整个
组织内的个人和团队清晰明确。
GOVERN 2.2:组织的人员和合作伙伴接受 AI 风险管理培训,使其能够按照相关政策、程序和协议履行职责和责任。
GOVERN 2.3:组织的高层领导对与 AI 系统开发和部署相关的风险决策承担责任。
```
GOVERN3:
劳动力多样性、
公平、包容和无
障碍流程在 AI 风
险的映射、度量和
管控过程中被置
于优先地位,贯穿
整个生命周期。
```
GOVERN 3.1:整个生命周期中与映射、度量和管控 AI 风险相关的决策,由多元化团队(如人口统计学特征、学科、经验、专长和背景的多样性)提供信息。
```
```
GOVERN 3.2:建立政策和程序,以定义和区分人机配置及 AI 系统监管的角色与职责。
```
##### GOVERN4:
组织团队致力于
一种考虑并传播
AI 风险的文化
```
GOVERN 4.1:组织政策和实践到位,在 AI 系统的设计、开发、部署和使用中培养批判性思维和安全优先的思维方式,以尽量减少潜在消极影响。
```
```
类别 子类别
```
```
续下页
```
```
表 1:GOVERN(治理)职能的类别与子类别。(续)
```
```
```
```
GOVERN 4.2:组织团队记录其设计、开发、部署、评估和使用的 AI 技术的风险与潜在影响,并在更广泛范围内传播这些影响。
GOVERN 4.3:组织实践到位,以支持 AI 测试、事件识别和信息共享。
GOVERN5:
建立与相关 AI
参与者进行稳健
互动的流程。
```
```
GOVERN 5.1:组织政策和实践到位,以收集、考虑、确定优先级并整合来自 AI 系统开发或部署团队外部人员关于 AI 风险相关潜在个人和社会影响的反馈。
GOVERN 5.2:建立机制,使开发或部署 AI 系统的团队能够定期将来自相关 AI 参与者的经裁定反馈(adjudicated feedback)纳入系统设计和实现。
GOVERN6:建立
政策和程序,以应
对第三方软件和
数据及其他供应
链问题所产生的
AI 风险与收益。
```
```
GOVERN 6.1:建立政策和程序,应对与第三方实体相关的 AI 风险,包括侵犯第三方知识产权或其他权利的风险。
GOVERN 6.2:建立应急流程,以处理被认定为高风险的第三方数据或 AI 系统中的故障或事件。
```
```
类别 子类别
```
### 5.2 MAP(映射)
MAP 职能确立界定 AI 系统相关风险所需的情境。AI 生命周期由许多相互依赖的活动组成,涉及多样化的参与者群体(见图 3)。在实践中,负责流程某一部分的 AI 参与者往往无法完整了解或控制其他部分及其相关情境。这些活动之间以及相关 AI 参与者之间的相互依赖,可能使可靠预见 AI 系统影响变得困难。例如,在确定 AI 系统目的和目标时的早期决策可能改变其行为和能力,而部署环境(如最终用户或受影响个人)的动态可能塑造 AI 系统决策的影响。因此,AI 生命周期某一维度内的最佳意图,可能通过与其它较晚活动中的决策和条件的相互作用而被削弱。
这种复杂性和不同程度的可见性会给风险管理实践带来不确定性。预见、评估和以其他方式应对潜在消极风险的来源,可以减轻这种不确定性,并增强决策过程的完整性。
在执行 MAP 职能过程中收集的信息能够支持消极风险预防,并为模型管理等流程的决策提供信息,也可为关于 AI 解决方案是否适当或必要的初步决策提供信息。MAP 职能中的结果是 MEASURE 和 MANAGE 职能的基础。没有情境知识,以及对已识别情境中风险的认识,风险管理将难以开展。MAP 职能旨在增强组织识别风险和更广泛促成因素的能力。
纳入多元化内部团队的视角,并与 AI 系统开发或部署团队外部的人员进行互动,可以增强该职能的实施。与外部合作者、最终用户、可能受影响的社区及其他方的互动,可能因特定 AI 系统的风险水平、内部团队的构成和组织政策而异。收集如此广泛的视角可以通过以下方式帮助组织主动预防消极风险并开发更可信赖的 AI 系统:
- 提高其理解情境的能力;
- 检验其对使用情境的假设;
- 使其能够识别系统在其预期情境内或外无法正常运作的情形;
- 识别其现有 AI 系统的积极和有益用途;
- 加深对 AI 和机器学习(ML)流程局限性的理解;
- 识别现实应用中可能导致消极影响的约束;
- 识别与 AI 系统预期用途相关的已知和可预见的消极影响;以及
- 预见超出预期用途使用 AI 系统的风险。
完成 MAP 职能后,框架使用者应对 AI 系统的影响拥有足够的情境知识,从而为关于是否设计、开发或部署 AI 系统的初步"可行/不可行"决策提供信息。如果决定继续推进,组织应利用 MEASURE 和 MANAGE 职能,并结合在 GOVERN 职能中落实的政策和程序,协助开展 AI 风险管理工作。框架使用者有责任随着情境、能力、风险、收益和潜在影响随时间推移而演进,继续将 MAP 职能应用于 AI 系统。
与映射 AI 风险相关的实践在 NIST AI RMF Playbook 中有详细说明。表 2 列出了 MAP 职能的类别和子类别。
```
表 2:MAP(映射)职能的类别与子类别。
```
MAP1:情境已
确立并被理解。
```
MAP 1.1:AI 系统将被部署的预期目的、潜在有益用途、情境特定的法律、规范和期望以及预期环境得到理解并记录。考量包括:特定用户群体及其期望;系统使用对个人、社区、组织、社会和地球的潜在积极和消极影响;关于 AI 系统在开发或产品 AI 生命周期中的目的、用途和风险的假设及相关局限性;以及相关的 TEVV 和系统度量标准。
MAP 1.2:参与确立情境的跨学科 AI 参与者、能力、技能和素养反映人口统计学多样性以及广泛的领域和用户体验专长,其参与得到记录。跨学科合作的机会被置于优先地位。
MAP 1.3:组织关于 AI 技术的使命和相关目标得到理解并记录。
MAP 1.4:业务价值或业务使用情境已被明确定义,或在评估现有 AI 系统的情况下——
```
- 被重新评估。
MAP 1.5:组织风险容忍度得到确定并记录。
MAP 1.6:系统需求(如"系统应尊重其用户的隐私")从相关 AI 参与者处引出并为其所理解。设计决策考虑社会技术影响,以应对 AI 风险。
MAP2:
对 AI 系统进行
分类。
```
MAP 2.1:AI 系统将支持的任务及用于实施这些任务的具体方法得到定义(如分类器、生成模型、推荐器)。
MAP 2.2:关于 AI 系统知识界限以及系统输出如何被人类利用和监管的信息得到记录。文档记录提供足够的信息,以协助相关 AI 参与者作出决策和采取后续行动。
```
```
类别 子类别
```
```
续下页
```
```
表 2:MAP(映射)职能的类别与子类别。(续)
```
```
MAP 2.3:科学诚信和 TEVV 考量得到识别并记录,包括与实验设计、数据收集和选择(如可用性、代表性、适宜性)、系统可信赖性以及构念效度(construct validation)相关的考量。
```
MAP3:AI 的
能力、目标用途、
目标和预期收益
与成本,与适当的
基准进行比较后
得到理解。
```
MAP 3.1:预期 AI 系统功能和性能的潜在收益得到审查并记录。
MAP 3.2:因预期或已发生的 AI 错误、或系统功能性和可信赖性而产生的潜在成本——包括非货币成本——与组织风险容忍度相关联,得到审查并记录。
MAP 3.3:目标应用范围基于系统的能力、既定情境和 AI 系统分类得到明确界定并记录。
MAP 3.4:操作人员和从业人员关于 AI 系统性能和可信赖性——以及相关技术标准和认证——的熟练度流程得到定义、评估并记录。
MAP 3.5:人工监管流程按照 GOVERN 职能中的组织政策得到定义、评估并记录。
```
MAP4:风险与
收益针对 AI 系
统的所有组成部
分(包括第三方软
件和数据)进行
映射。
```
MAP 4.1:用于映射 AI 技术及其组成部分法律风险的方
法——包括第三方数据或软件的使用——到位、得到遵循并记录,侵犯第三方知识产权或其他权利的风险亦同样处理。
MAP 4.2:AI 系统各组成部分(包括第三方 AI 技术)的内部风险控制措施得到识别并记录。
```
MAP5:对个人、
群体、社区、组织
和社会的影响得
到刻画。
```
MAP 5.1:基于预期使用、过去在类似情境中使用 AI 系统的经验、公开事件报告、AI 系统开发或部署团队外部人员的反馈或其他数据,对每项已识别影响(既包括潜在有益影响也包括潜在有害影响)的可能性和程度进行识别并记录。
```
```
类别 子类别
```
```
续下页
```
```
表 2:MAP(映射)职能的类别与子类别。(续)
```
```
MAP 5.2:支持与相关 AI 参与者定期互动并整合关于积极、消极和意外影响反馈的实践与人员到位并得到记录。
```
```
类别 子类别
```
### 5.3 MEASURE(度量)
MEASURE 职能采用定量、定性或混合方法工具、技术和方法论,以分析、评估、基准比对和监测 AI 风险及相关影响。它利用 MAP 职能中识别的与 AI 风险相关的知识,并为 MANAGE 职能提供信息。AI 系统应在部署之前以及运行期间定期接受测试。AI 风险度量包括记录系统功能性和可信赖性的各个方面。
度量 AI 风险包括跟踪可信赖特征、社会影响和人机配置的度量标准。在 MEASURE 职能中制定或采用的过程应包括严格的软件测试和性能评估方法论,并附有相关的不确定性度量、与性能基准的比较,以及结果的形式化报告和记录。独立审查流程可以提高测试的有效性,并减轻内部偏见和潜在的利益冲突。
当可信赖特征之间出现权衡时,度量提供了一个可追溯的基础,为管理决策提供信息。选项可能包括重新校准、影响缓解,或将系统从设计、开发、生产或使用中移除,以及一系列补偿性、检测性、威慑性、指令性和恢复性控制措施。
完成 MEASURE 职能后,客观、可重复或可扩展的测试、评估、验证和确认(TEVV)流程——包括度量标准、方法和方法论——到位、得到遵循并记录。度量标准和方法论应遵循科学、法律和伦理规范,并以开放、透明的过程开展。可能需要在定性和定量方面开发新型度量方法。应考虑每种度量类型为 AI 风险评估提供独特而有意义信息的程度。框架使用者将增强其全面评估系统可信赖性、识别和跟踪现有及新出现风险、以及验证度量标准有效性的能力。度量结果将被用于 MANAGE 职能,以协助风险监测和应对工作。框架使用者有责任随着知识、方法论、风险和影响随时间推移而演进,继续将 MEASURE 职能应用于 AI 系统。
与度量 AI 风险相关的实践在 NIST AI RMF Playbook 中有详细说明。表 3 列出了 MEASURE 职能的类别和子类别。
```
表 3:MEASURE(度量)职能的类别与子类别。
```
##### MEASURE1:
```
识别并应用适当
的方法和度量标
准。
```
```
MEASURE 1.1:从 MAP 职能中列出的 AI 风险度量方法和度量标准中选择实施,从最重要的 AI 风险开始。不会——或不能——被度量的风险或可信赖特征得到妥善记录。
MEASURE 1.2:AI 度量标准的适当性和现有控制措施的有效性得到定期评估和更新,包括错误报告及对受影响社区的潜在影响。
MEASURE 1.3:未担任系统一线开发人员的内部专家和/或独立评估人员参与定期评估和更新。根据组织风险容忍度的需要,咨询领域专家、用户、AI 系统开发或部署团队外部的 AI 参与者以及受影响社区,以支持评估。
MEASURE2:AI
系统针对可信赖
特征进行评估。
```
```
MEASURE 2.1:TEVV 期间使用的测试集、度量标准和所用工具细节得到记录。
MEASURE 2.2:涉及人类受试者的评估满足适用要求(包括人类受试者保护),并代表相关人群。
MEASURE 2.3:AI 系统性能或保证标准以定性或定量方式度量,并在与部署环境相似的条件中得到验证。度量结果得到记录。
MEASURE 2.4:AI 系统及其组成部分的功能和行为——如 MAP 职能中所识别——在生产环境中受到监测。
MEASURE 2.5:待部署的 AI 系统被证明有效且可靠。超出技术开发条件的泛化局限性得到记录。
```
```
类别 子类别
```
```
续下页
```
```
表 3:MEASURE(度量)职能的类别与子类别。(续)
```
```
MEASURE 2.6:AI 系统针对安全风险——如 MAP 职能中所识别——进行定期评估。待部署的 AI 系统被证明是安全的,其剩余消极风险不超过风险容忍度,并且能够安全失效,尤其是在被置于超出其知识界限运行的情况下。安全度量标准反映系统可靠性和稳健性、实时监测以及 AI 系统故障的响应时间。
MEASURE 2.7:AI 系统的安全性和韧性——如 MAP 职能中所识别——得到评估并记录。
MEASURE 2.8:与透明和问责相关的风险——如 MAP 职能中所识别——得到审查并记录。
MEASURE 2.9:AI 模型得到解释、验证和记录,AI 系统输出在其情境内——如 MAP 职能中所识别——得到解读,以支持负责任的使用和治理。
MEASURE 2.10:AI 系统的隐私风险——如 MAP 职能中所识别——得到审查并记录。
MEASURE 2.11:公平性和偏见——如 MAP 职能中所识别——得到评估,结果得到记录。
MEASURE 2.12:AI 模型训练和管理活动的环境影响和可持续性——如 MAP 职能中所识别——得到评估并记录。
MEASURE 2.13:MEASURE 职能中所采用 TEVV 度量标准和流程的有效性得到评估并记录。
```
MEASURE3:
随时间跟踪已识
别 AI 风险的机
制到位。
```
MEASURE 3.1:方法、人员和文档记录到位,以基于部署情境中的预期和实际性能等因素,定期识别和跟踪现有的、未预期的和新出现的 AI 风险。
MEASURE 3.2:对于使用现有度量技术难以评估 AI 风险、或度量标准尚不可用的环境,考虑采用风险跟踪方法。
```
```
类别 子类别
```
```
续下页
```
```
表 3:MEASURE(度量)职能的类别与子类别。(续)
```
```
MEASURE 3.3:为最终用户和受影响社区建立报告问题和申诉系统结果的反馈流程,并将其纳入 AI 系统评估度量标准。
MEASURE4:
收集并评估关于
度量有效性的反
馈。
```
```
MEASURE 4.1:识别 AI 风险的度量方法与部署情境相关联,并通过咨询领域专家和其他最终用户获得信息。方法得到记录。
MEASURE 4.2:关于 AI 系统在部署情境中及整个 AI 生命周期中的可信赖性的度量结果,由领域专家和相关 AI 参与者的输入提供信息,以验证系统是否持续按预期运行。结果得到记录。
MEASURE 4.3:基于与相关 AI 参与者(包括受影响社区)的磋商以及关于情境相关风险和可信赖性特征的现场数据,可度量的性能改善或下降得到识别并记录。
```
```
类别 子类别
```
### 5.4 MANAGE(管理)
MANAGE 职能要求按照 GOVERN 职能的规定,定期将风险资源分配给已映射和已度量的风险。风险处置(risk treatment)包括应对事件、从中恢复以及就事件进行沟通的计划。
从专家咨询和相关 AI 参与者的输入中获取的情境信息——在 GOVERN 中确立并在 MAP 中开展——在本职能中被用于降低系统故障和消极影响的可能性。在 GOVERN 中确立并被 MAP 和 MEASURE 采用的系统性文档记录实践,能够增强 AI 风险管理工作并提高透明度和问责。评估新出现风险的流程到位,并配有持续改进的机制。
完成 MANAGE 职能后,风险优先级排序以及定期监测和改进的计划将到位。框架使用者将增强管理已部署 AI 系统风险的能力,并能够根据已评估和已排序的风险配置风险管理资源。框架使用者有责任随着方法、情境、风险以及相关 AI 参与者的需求或期望随时间推移而演进,继续将 MANAGE 职能应用于已部署的 AI 系统。
与管控 AI 风险相关的实践在 NIST AI RMF Playbook 中有详细说明。表 4 列出了 MANAGE 职能的类别和子类别。
```
表 4:MANAGE(管理)职能的类别与子类别。
```
##### MANAGE1:AI
```
基于 MAP 和
MEASURE 职能的
评估及其他分析
输出,对 AI 风险
进行优先级排序、
应对和管理。
```
```
MANAGE 1.1:就 AI 系统是否实现其预期目的和既定目标,以及其开发或部署是否应继续进行作出判断。
MANAGE 1.2:对已记录 AI 风险的处理基于影响、可能性和可用资源或方法进行优先级排序。
MANAGE 1.3:针对 MAP 职能所识别的被认定为高优先级的 AI 风险,制定、规划并记录应对措施。风险应对选项可包括缓解(mitigating)、转移(transferring)、避免(avoiding)或接受(accepting)。
MANAGE 1.4:对 AI 系统的下游收购方和最终用户双方的消极剩余风险(定义为所有未缓解风险的总和)得到记录。
MANAGE2:
制定、准备、实
施、记录并依据
相关 AI 参与者
输入制定策略,
以最大化 AI 收益
并最小化消极影
响。
```
```
MANAGE 2.1:管理 AI 风险所需资源得到考虑——连同可行的非 AI 替代系统、方法或途径——以降低潜在影响的程度或可能性。
MANAGE 2.2:维持已部署 AI 系统价值的机制到位并得到应用。
MANAGE 2.3:在识别到先前未知的风险时,遵循程序对其进行应对和恢复。
MANAGE 2.4:机制到位并得到应用,职责得到分配和理解,以取代、脱离或停用表现出与预期用途不一致的性能或结果的 AI 系统。
MANAGE3:来
自第三方实体的
AI 风险与收益得
到管理。
```
```
MANAGE 3.1:第三方资源的 AI 风险与收益得到定期监测,风险控制措施得到应用并记录。
MANAGE 3.2:用于开发的预训练模型作为 AI 系统定期监测和维护的一部分受到监测。
```
```
类别 子类别
```
```
续下页
```
```
表 4:MANAGE(管理)职能的类别与子类别。(续)
```
```
MANAGE4:风险
处置——包括应对
和恢复——以及针
对已部署 AI 系
统的沟通计划得
到制定、实施和
更新。
```
```
MANAGE 4.1:部署后 AI 系统监测计划得到实施,包括捕捉和评估用户及其他相关 AI 参与者输入的机制、申诉与推翻(appeal and override)、退役、事件响应、恢复和变更管理。
MANAGE 4.2:持续改进的可度量活动被整合到 AI 系统更新中,并包括与利益相关方(包括相关 AI 参与者)的定期互动。
MANAGE 4.3:事件和错误被传达给相关 AI 参与者,包括受影响社区。跟踪、应对和恢复事件与错误的流程得到遵循并记录。
```
```
类别 子类别
```
## 6 AI RMF 画像(Profiles)
AI RMF用例画像(use-case profiles)是基于框架使用者的需求、风险容忍度和资源,针对特定环境或应用对 AI RMF 职能、类别和子类别的实施:例如,AI RMF招聘画像(hiring profile)或 AI RMF公平住房画像(fair housing profile)。画像可以展示并就如何在 AI 生命周期的各个阶段或特定行业、技术或最终用途应用中管理风险提供洞见。AI RMF 画像帮助组织决定如何最好地管理与自身目标高度一致的 AI 风险,考虑法律/监管要求和最佳实践,并反映风险管理优先事项。
AI RMF时间画像(temporal profiles)是对特定行业、产业、组织或应用情境中特定 AI 风险管理活动当前状态或期望目标状态的描述。AI RMF 当前画像(Current Profile)表明 AI 目前如何被管理,以及就当前结果而言的相关风险。目标画像(Target Profile)表明实现期望或目标 AI 风险管理目标所需的结果。
比较当前画像与目标画像可能会揭示为实现 AI 风险管理目标需要解决的差距。可以制定行动计划以解决这些差距,从而在给定类别或子类别中实现结果。差距缓解的优先级排序由使用者的需求和风险管理流程驱动。这种基于风险的方法还使框架使用者能够将自身方法与其他方法进行比较,并衡量以具有成本效益的、按优先级排序的方式实现 AI 风险管理目标所需的资源(如人员配备、资金)。
AI RMF跨行业画像(cross-sectoral profiles)涵盖可跨用例或行业使用的模型或应用的风险。跨行业画像还可以涵盖如何针对跨行业通用的活动或业务流程(如大型语言模型、基于云的服务或采购的使用)进行治理、映射、度量和管控风险。
本框架不规定画像模板,允许实施中的灵活性。
## 附录 A:
## 图 2 和图 3 中 AI 参与者任务的说明
AI 设计(AI Design)任务在图 2 的 AI 生命周期"应用情境"和"数据与输入"阶段执行。AI 设计参与者创造 AI 系统的概念和目标,并负责 AI 系统的规划、设计、数据收集和处理任务,以确保 AI 系统合法且适合目的。任务包括:阐明并记录系统的概念和目标、基本假设、情境和要求;收集和清理数据;以及记录数据集的元数据和特征。此类别的 AI 参与者包括数据科学家、领域专家、社会文化分析师、多样性、公平、包容和无障碍领域的专家、受影响社区的成员、人因专家(如 UX/UI 设计)、治理专家、数据工程师、数据提供者、系统资助者、产品经理、第三方实体、评估人员以及法律和隐私治理人员。
AI 开发(AI Development)任务在图 2 生命周期的"AI 模型"阶段执行。AI 开发参与者提供 AI 系统的初始基础设施,并负责模型构建和解释任务,涉及模型的创建、选择、校准、训练和/或测试。此类别的 AI 参与者包括机器学习专家、数据科学家、开发者、第三方实体、法律和隐私治理专家,以及与部署环境相关的社会文化和情境因素专家。
AI 部署(AI Deployment)任务在图 2 生命周期的"任务与输出"阶段执行。AI 部署参与者负责与 AI 系统使用方式相关的情境决策,以确保系统部署进入生产环境。相关任务包括试点运行系统、检查与遗留系统的兼容性、确保监管合规、管理组织变革以及评估用户体验。此类别的 AI 参与者包括系统集成商、软件开发者、最终用户、操作人员和从业人员、评估人员,以及在人因、社会文化分析和治理方面具有专长的领域专家。
运行与监测(Operation and Monitoring)任务在图 2 生命周期的"应用情境/运行与监测"阶段执行。这些任务由负责运行 AI 系统并与他人合作定期评估系统输出和影响的 AI 参与者执行。此类别的 AI 参与者包括系统操作人员、领域专家、AI 设计师、解读或采纳 AI 系统输出的用户、产品开发者、评估人员和审计人员、合规专家、组织管理层以及研究社区的成员。
测试、评估、验证和确认(TEVV)任务贯穿 AI 生命周期全程执行。它们由检查 AI 系统或其组成部分、或检测并补救问题的 AI 参与者执行。理想情况下,执行验证和确认任务的 AI 参与者与执行测试和评估行动的人员相互独立。任务可以在最早的设计阶段就纳入某一阶段,此时根据设计要求规划测试。
- 设计、规划和数据的 TEVV 任务可能以系统设计、数据收集和度量相对于预期部署或应用情境的假设的内外部验证为中心。
- 开发(即模型构建)的 TEVV 任务包括模型验证和评估。
- 部署的 TEVV 任务包括生产环境中的系统验证和集成,以及针对系统和流程集成、用户体验以及符合现有法律、监管和伦理规范所进行的测试和重新校准。
- 运行的 TEVV 任务涉及持续监测以进行定期更新、测试和主题专家(SME)对模型的重新校准、所报告事件或错误的跟踪及其管理、涌现特性(emergent properties)及相关影响的检测,以及救济和应对流程。
人因(Human Factors)任务和活动遍布 AI 生命周期的各个维度。它们包括以人为中心的设计实践和方法论,促进最终用户和其他利益相关方及相关 AI 参与者的积极参与,将情境特定的规范和价值观纳入系统设计,评估和调整最终用户体验,以及在 AI 生命周期的所有阶段广泛整合人类和人类动态。人因专业人员提供多学科技能和视角,以理解使用情境、促进跨学科和人口统计学多样性、参与咨询流程、设计和评估用户体验、开展以人为中心的评估和测试,并为影响评估提供信息。
领域专家(Domain Expert)任务涉及多学科从业者或学者的输入,他们提供关于使用 AI 系统的行业部门、经济部门、情境或应用领域的知识或专长。作为领域专家的 AI 参与者可以为 AI 系统设计和开发提供重要指导,并解读输出以支持 TEVV 和 AI 影响评估团队的工作。
AI 影响评估(AI Impact Assessment)任务包括评估和评价 AI 系统问责要求、打击有害偏见、审查 AI 系统影响、产品安全、责任和安全等。影响评估人员和评估人员等 AI 参与者提供技术、人因、社会文化和法律专长。
采购(Procurement)任务由对从第三方开发者、供应商或承包商处采购 AI 模型、产品或服务拥有财务、法律或政策管理权限的 AI 参与者开展。
治理与监管(Governance and Oversight)任务由对设计、开发和/或部署 AI 系统的组织拥有管理、受托和法律权限及责任的 AI 参与者承担。
负责 AI 治理的关键 AI 参与者包括组织管理层、高层领导和董事会。这些参与者是关心组织整体影响和可持续性的各方。
其他 AI 参与者(Additional AI Actors)
第三方实体(Third-party entities)包括为另一组织或该组织的客户提供数据、算法、模型和/或系统及相关服务提供者、开发者、供应商和评估人员。第三方实体负责 AI 设计和开发任务的全部或部分。按定义,它们独立于采购其技术或服务的组织的设计、开发或部署团队。从第三方实体采购的技术可能复杂或不透明,且其风险容忍度可能与部署或运营组织不一致。
AI 系统的最终用户(End users)是为特定目的使用该系统的个人或群体。这些个人或群体在特定情境中与 AI 系统交互。最终用户的能力范围可以从 AI 专家到首次使用技术的最终用户。
受影响的个体/社区(Affected individuals/communities)包括直接或间接受 AI 系统或基于 AI 系统输出所作决策影响的全部个人、群体、社区或组织。这些个体不一定与已部署的系统或应用交互。
其他 AI 参与者(Other AI actors)可以为规定和管理 AI 风险提供正式或准正式的规范或指南。它们可以包括行业协会、标准制定组织、倡导团体、研究人员、环境团体和公民社会组织。
公众(The general public)最可能直接体验 AI 技术的积极和消极影响。他们可能为 AI 参与者采取的行动提供动力。这一群体可以包括与 AI 系统开发或部署情境相关的个人、社区和消费者。
## 附录 B:AI 风险与传统软件风险的区别
与传统软件一样,基于 AI 的技术的风险可能超出单个企业的范围,跨越组织,并导致社会影响。AI 系统还带来一系列当前风险框架和方法未全面应对的风险。AI 系统的某些构成风险的特征也可能是有益的。例如,与其他模型和方法相比,预训练模型和迁移学习可以推进研究并提高准确性和韧性。在 MAP 职能中识别情境因素将帮助 AI 参与者确定风险水平和潜在的管理工作。
与传统软件相比,新的或增大的 AI 特有风险包括以下方面:
- 用于构建 AI 系统的数据可能并非 AI 系统情境或预期用途的真实或恰当表示,且真实基准(ground truth)可能不存在或不可获取。此外,有害偏见和其他数据质量问题可能影响 AI 系统的可信赖性,从而可能导致消极影响。
- AI 系统对训练任务数据的依赖和信赖,加之与此类数据通常相关的数量增加和复杂性提升。
- 训练期间有意或无意的变更可能从根本上改变 AI 系统的性能。
- 用于训练 AI 系统的数据集可能脱离其原始和预期情境,或相对于部署情境变得过时或陈旧。
- 内嵌于更传统软件应用中的 AI 系统的规模和复杂性(许多系统包含数十亿甚至数万亿个决策点)。
- 使用预训练模型可以推进研究并改善性能,但也可能增加统计不确定性水平,并引发偏见管理、科学有效性和可复现性方面的问题。
- 预测大规模预训练模型涌现特性的故障模式难度更高。
- 由于 AI 系统的数据聚合能力增强而带来的隐私风险。
- 由于数据、模型或概念漂移,AI 系统可能需要更频繁的维护和进行纠正性维护的触发条件。
- 不透明性增加以及关于可复现性的担忧。
- 软件测试标准发展不足,且除最简单的情形外,无法按照传统工程化软件所期望的标准记录基于 AI 的实践。
- 难以定期执行基于 AI 的软件测试,或难以确定测试什么,因为 AI 系统不受传统代码开发所适用的相同控制措施的约束。
- 开发 AI 系统的计算成本及其对环境和地球的影响。
- 无法在统计度量之外预测或检测基于 AI 的系统的副作用。
隐私和网络安全风险管理考虑因素和方法适用于 AI 系统的设计、开发、部署、评估和使用。隐私和网络安全风险也被视为更广泛的企业风险管理考虑因素的一部分,后者可能纳入 AI 风险。作为应对"安全且富有韧性"和"隐私增强"等 AI 可信赖特征所做努力的一部分,组织可以考虑利用现有的标准和指南——此类标准和指南为组织减少安全和隐私风险提供广泛指导,包括但不限于 NIST 网络安全框架、NIST 隐私框架、NIST 风险管理框架和安全软件开发框架。这些框架与 AI RMF 有一些共同特征。与大多数风险管理方法一样,它们以结果为导向而非规定性,并且通常围绕一组核心职能、类别和子类别构建。虽然这些框架因所针对的领域不同而存在显著差异——并且因为 AI 风险管理要求应对许多其他类型的风险——上述框架可为 AI RMF 的 MAP、MEASURE 和 MANAGE 职能中的安全和隐私考虑提供参考。
与此同时,本 AI RMF 发布之前可获得的指南并未全面应对许多 AI 系统风险。例如,现有框架和指南无法:
- 充分管理 AI 系统中有害偏见的问题;
- 直面与生成式 AI 相关的棘手风险;
- 全面应对与规避(evasion)、模型提取、成员推断、可用性或其他机器学习攻击相关的安全问题;
- 考虑 AI 系统复杂的攻击面或 AI 系统所促成的其他安全滥用;以及
- 考虑与第三方 AI 技术、迁移学习以及超范围使用(off-label use)相关的风险——在超范围使用中,AI 系统可能被训练用于组织安全控制之外的决策,或在一个领域训练后再为另一领域进行"微调"。
AI 和传统软件技术及系统都面临快速创新。应监测技术进步并加以部署,以利用这些发展成果,迈向既可信赖又负责任的 AI 未来。
## 附录 C:AI 风险管理与人机交互
设计、开发或部署用于运营环境的 AI 系统的组织,可以通过理解人机交互当前的局限性来增强其 AI 风险管理。AI RMF 提供了在使用、交互或管理 AI 系统时清晰定义和区分各种人类角色与职责的机会。
AI 系统所依赖的许多数据驱动方法试图将个人和社会的观察与决策实践转化或表示为可度量的数量。用数学模型表示复杂的人类现象,可能以去除必要情境为代价。这种情境的丧失反过来可能使理解对 AI 风险管理工作至关重要的个人和社会影响变得困难。
值得进一步考虑和研究的问题包括:
1. 人类在决策和监管 AI 系统中的角色与职责需要被明确定义和区分。人机配置的范围可以从完全自主到完全人工。AI 系统可以自主作出决策、将决策权交由人类专家,或被人类决策者用作额外意见。某些 AI 系统可能不需要人工监管,例如用于改善视频压缩的模型。其他系统则可能特别需要人工监管。
2. 进入 AI 系统设计、开发、部署、评估和使用过程的决策反映了系统性和人类认知偏见。AI 参与者将其认知偏见——既有个人层面的也有群体层面的——带入流程。偏见可能源于最终用户的决策任务,并经由人类在设计建模范畴中的假设、期望和决策在 AI 生命周期中被引入。这些偏见(不一定总是有害的)可能因 AI 系统的不透明性以及由此导致的缺乏透明而加剧。组织层面的系统性偏见可以影响团队如何组建,以及谁控制 AI 生命周期中的决策过程。这些偏见还可以影响最终用户、决策者和政策制定者的下游决策,并可能导致消极影响。
3. 人机交互的结果各不相同。在特定条件下——例如在基于感知的判断任务中——人机交互中 AI 一方可能放大人类偏见,导致比 AI 或人类单独作出更具偏见的决策。然而,当在组织人机团队时审慎考虑这些差异,它们可以产生互补性并改善整体绩效。
4. 向人类呈现 AI 系统信息是复杂的。人类以不同方式感知 AI 系统输出和解释并从中获取意义,反映了不同的个人偏好、特质和技能。
GOVERN 职能为组织提供了澄清和定义人机团队配置中人类角色与职责、以及监管 AI 系统性能者角色与职责的机会。GOVERN 职能还为组织建立了使决策过程更加明确的机制,以帮助抵制系统性偏见。
MAP 职能提出了定义和记录操作人员与从业人员关于 AI 系统性能和可信赖性概念的熟练度流程,以及定义相关技术标准和认证的机会。实施 MAP 职能的类别和子类别可以帮助组织提高其内部分析情境、识别流程和系统局限性、探索和审查基于 AI 的系统在现实世界中的影响,以及评估 AI 生命周期中决策过程的能力。
GOVERN 和 MAP 职能描述了跨学科和人口统计学多样化团队的重要性,以及利用可能受影响的个体和社区反馈的重要性。AI RMF 中点名执行人因任务和活动的 AI 参与者,可以通过将设计和开发实践锚定于用户意图、更广泛 AI 社区的代表以及社会价值观来协助技术团队。这些参与者还帮助将情境特定的规范和价值观纳入系统设计,并与 AI 系统相结合评估最终用户体验。
针对人机配置的 AI 风险管理方法将通过持续的研究和评估得到增强。例如,人类在多大程度上被授权并受激励质疑 AI 系统输出,需要进一步研究。收集和分析关于人类在已部署系统中否决 AI 系统输出的频率和理由的数据可能是有用的。
## 附录 D:AI RMF 的属性
NIST 在框架工作启动之初即描述了 AI RMF 的几个关键属性。这些属性保持不变,并用于指导 AI RMF 的开发。此处提供它们作为参考。
AI RMF 力求:
1. 基于风险、资源高效、促进创新且自愿。
2. 以共识为驱动,通过开放、透明的流程开发和定期更新。所有利益相关方都应有机会为 AI RMF 的开发作出贡献。
3. 使用清晰平实的语言,便于广大受众理解,包括高层管理者、政府官员、非政府组织领导层以及非 AI 专业人士——同时保持足够的技术深度以供实践者使用。AI RMF 应允许在组织内部、组织之间、与客户以及与公众之间传达 AI 风险。
4. 提供管理 AI 风险的通用语言和理解。AI RMF 应为 AI 风险提供分类法、术语、定义、度量标准和特征描述。
5. 易于使用,并与其他风险管理方面良好契合。框架的使用应当直观,并易于作为组织更广泛风险管理战略和流程的一部分加以调整。它应与管理 AI 风险的其他方法保持一致或协调。
6. 对广泛的视角、行业和技术领域有用。AI RMF 应普遍适用于任何 AI 技术和情境特定的用例。
7. 以结果为导向且非规定性。框架应提供结果和方法目录,而非规定一刀切的要求。
8. 利用并促进对管理 AI 风险的现有标准、指南、最佳实践、方法论和工具的更多认识——同时阐明对更多、更完善资源的需求。
9. 与法律和法规无关(law- and regulation-agnostic)。框架应支持组织在适用的国内和国际法律或监管体制下运作的能力。
10. 是一份"活"文件。随着技术、理解以及关于 AI 可信赖性和 AI 使用的方法发生变化,并随着利益相关方从总体上实施 AI 风险管理、特别是实施本框架的过程中积累经验,AI RMF 应随时准备更新。
本出版物可从以下网址免费获取:
https://doi.org/10.6028/NIST.AI.100-1
Related skills
| Skill | Stars | Updated | Works with | Status | Install |
|---|---|---|---|---|---|
| receiving-code-reviewobra/superpowersUse when receiving code review feedback, before implementing suggestions, especially if feedback seems unclear or technically questionable - requires technical rigor and verification, not performative agreement or blind implementation | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| requesting-code-reviewobra/superpowersUse when completing tasks, implementing major features, or before merging to verify work meets requirements | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| using-git-worktreesobra/superpowersUse when starting feature work that needs isolation from current workspace or before executing implementation plans - ensures an isolated workspace exists via native tools or git worktree fallback | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |
| verification-before-completionobra/superpowersUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidence before assertions always | Stars: 323k | Updated | Claude CodeCodex | Verified | Install |