AI 治理与风险指标
对 AI 的使用需要与对在线服务的任何变更相同的纪律:知道它在哪里、谁拥有它、它有多大风险、如何测试和变更,以及出错时会发生什么,并配以人们真正能够行使的监督。
概述与动因
AI 通过许多扇门进入一个组织。某个团队采用一款编码助手。供应商为一款已在使用的产品添加一个生成式功能。一位员工把文档粘贴进一款公共工具。某个部门构建一个模型来给请求评分。每一个都是对 AI 的一种使用,各有其收益和风险,而很少有哪个在一个地方可见。治理是使这些使用被知晓、可问责且足够安全的结构、政策和实践的集合。风险指标告诉你治理是否有效。
ITIL 具备这些构件:服务价值系统的治理、风险管理、变更赋能、信息安全管理、供应商管理和持续改进。敏捷和 DevOps 的工作方式提供了小步、受控、可逆的变更习惯,以及流水线中自动检查的习惯。AI 治理不需要一个独立的宇宙。它需要把这些实践应用于行为与传统软件不同的事物。
AI 有何不同?
- 行为是统计性的,可以在没有代码变更的情况下改变。模型可能在供应商更新、输入变化或提示词变化之后行为不同。它在生产环境中看到的数据可能偏离其测试所用的数据,这种现象在机器学习中称为漂移。系统可能悄悄退化。
- 输出并非完全可预测。测试无法涵盖每一个输入,所以评估靠抽样和有针对性的测试,而不是靠证明。系统可能以其构建者未曾预见的方式失败。
- 危害可能是弥散而不均等的。算法偏见是导致某些群体得到不公平结果的系统性误差。它可能来自数据、设计或使用,并且可能不会在整体准确率数字中显现。
- 出现新的攻击面。提示词注入是一种攻击,其中隐藏在输入数据里的指令操纵语言模型作出非预期的行为。模型可能被诱导泄露数据或采取其所有者不希望的行动。
- 对供应商的依赖很深。许多 AI 能力来自外部提供者,对它们如何构建或变更的可见性有限。供应商度量更加重要(见主题 8.4,供应商与合同指标)。
- 规则正在出现,且因地而异。关于 AI 的法律、标准和指南正在快速发展。欧盟的《人工智能法案》采取基于风险的方法,义务分阶段适用,而其他司法辖区走着不同的道路。像关于 AI 管理体系的 ISO/IEC 42001 和 NIST AI 风险管理框架这样的标准提供了结构。本主题中关于具体规则的陈述,其日期截至 2026 年 10 月,应当重新核对,并且应由法律意见指导你的义务。这一更广泛的领域有多种称呼,如负责任的 AI或可信 AI,而法律应如何对待 AI 的问题是人工智能监管的主题。
治理可能以两种相反的方式失败。它可能繁重到团队回避它,使 AI 的使用作为影子 IT转入地下。或者它可能是一场纸面演练,政策和登记册并不反映实践。敏捷的目标指向中间道路:让利益相关方持续参与制定规则,对低风险使用采用小而快的批准,在可能造成危害之处进行更深入的审视,并随着经验增长而持续改进控制。有清晰边界、被信任在边界之内运用判断的积极投入之人,会报告问题。害怕惩罚的人不会。
古德哈特定律的护栏适用于治理度量:当"已登记的 AI 使用百分比"成为目标时,登记册会填满无人阅读的条目,而实际的使用仍不为人所见(见主题 1.2,古德哈特定律与指标心理学)。
本主题建立在第 8 部分关于风险、合规和安全的主题之上,也建立在本部分较早的主题之上。
关键原则
- 知道 AI 在哪里被使用。一份使用登记册,包括嵌入产品中的那些和员工自行采用的那些,是基础。
- 审视与风险相匹配。低风险使用从轻,有后果的使用更深入。
- 把模型和提示词的变更视为变更。它们需要测试、与风险相称的批准,以及回滚的能力。
- 使用之前和使用期间都要评估。在现实案例上测试,并在生产环境中持续测试。
- 保持有意义的人的监督。一个人必须能够理解、质疑和推翻,并有时间和权限这样做。
- 从事件中学习,不归咎于人。AI 的失败是新的,报告是组织学习的方式。
- 使安全的案例批准得快。缓慢的治理把使用逼出视线之外。
指标定义
| 指标 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应 | 频率 |
|---|---|---|---|---|---|---|---|
| AI 使用登记册覆盖率 | 通过独立手段发现的 AI 使用中,在登记册上并附有负责人和风险类别的占比 | 登记册上附有负责人和风险类别的使用数 / 通过独立发现(采购、费用、身份、网络和员工报告)找到的使用数 | 百分比 | 登记册、采购和费用数据、身份日志、调查 | 治理;IT 资产管理;风险管理 | 可见的工作和清晰的所有权 | 每季度 |
| 风险评估时效 | 在要求的周期内有风险评估的中、高风险使用占比 | 周期内已评估的使用数 / 中、高风险使用数 | 百分比 | 风险评估 | 风险管理;信息安全管理 | 对风险的定期反思 | 每季度 |
| 变更控制覆盖率 | 对生产环境中模型、提示词、工具和数据源的变更,经过带有要求的测试的变更控制的占比 | 有变更记录、测试和与风险相称的批准的变更数 / 检测到的变更数 | 百分比 | 与版本历史和供应商发布说明比较的变更记录 | 变更赋能;发布与部署管理 | 小步、受控、可逆的变更 | 每月 |
| 评估时效 | 有当前评估(在相关之处包括准确性、安全性和公平性)且结果在容差之内的生产使用占比 | 周期内有评估且结果可接受的使用数 / 范围内的生产使用数 | 百分比 | 评估记录 | 质量保证;风险管理 | 行为的完成定义 | 每季度 |
| 人的监督证据率 | 有记录在案的、实质性的人工评审的、抽样的有后果的输出或决定占比 | 有可能改变结果的书面评审的抽样项目数 / 抽样的项目数 | 百分比 | 抽样的决定记录 | 风险管理;治理 | 发布前评审 | 每月 |
| AI 事件率与遏制时间 | 涉及 AI 的事件(有害输出、数据暴露、不安全行动)按使用计的数量,以及遏制它们的时间 | 每个生产使用每季度的事件数;从检测到遏制的小时数的中位数和第 85 百分位数 | 事件;小时 | 标记为 AI 的事件记录 | 事件管理;信息安全管理 | 无责的响应与学习 | 每季度 |
| 供应商 AI 尽职调查时效 | 在关键服务中提供 AI 功能的供应商中,其针对 AI 的评估为最新的占比 | 有当前 AI 评估的供应商数 / 有 AI 功能的关键供应商数 | 百分比 | 供应商评估 | 供应商管理;风险管理 | 对依赖项的定期评审 | 每季度 |
在登记册中广义地定义"AI 使用":你构建的模型、你购买的服务、产品内的功能,以及员工使用的工具。风险类别和周期在政策中设定。登记册覆盖率对照独立发现来度量,而不是对照登记册本身。变更控制覆盖率需要检测变更的办法:版本控制、供应商通知、配置监控。人的监督证据要求评审本可改变结果,而不是点击过一个按钮。事件率描述使用和系统,不用来给人评级。
建议
了解并分类
1. 通过寻找并询问来建立登记册。从调查和政策开始,然后对照采购和费用记录、身份和访问日志、网络和云账单数据以及供应商的产品更新来检查。包括你已拥有的工具中嵌入的 AI 功能。预期会有意外:人们使用你没有批准的工具,往往有充分的理由。把它们视为信息(见主题 7.2,软件资产与许可证指标)。
2. 为每项使用指派负责人和风险类别。负责人是对该使用及其结果负责的人。风险类别反映系统失败时的危害:谁受影响、是否涉及关于人的决定、它是否自行行动、它接触什么数据,以及效果的可逆程度。使用少量带有清晰规则的类别。借鉴公认的框架,如 NIST AI 风险管理框架、ISO/IEC 42001 和适用的法律,并使之适应你的背景。
3. 使批准相称。对低风险使用,带几个问题的快速自助登记就够了。对有后果的使用,要求风险评估、评估结果、已定义的人的监督设计和签核。为安全的大多数提供的快速通道让人们留在系统之内,为危险的少数提供的较慢通道则对其给予适当的审视。
测试并控制变更
4. 在使用之前和使用期间,在现实案例上评估。建立一套反映真实输入的测试用例,包括困难的和对抗性的,并依据书面标准给输出评分。在人们可能受影响之处,包括安全性和公平性的检查。按计划,并在模型、提示词或数据变化时,重新运行评估。红队,即故意攻击系统以找出弱点的小组,对风险较高的使用是一种有用的实践。参见辅助工作的抽样实践(见主题 10.2,度量 AI 辅助工作)。
5. 把模型、提示词和工具置于变更控制之下。像代码那样给提示词和配置做版本管理。对变更要求与风险相称的测试和批准,记录它们,并保持回滚的能力。追踪由供应商驱动的模型更新,它们可能在不事先通知的情况下改变行为,并与供应商约定你将如何被告知。把模型升级视为需要控制的变更(见主题 4.3,变更赋能指标)。
6. 在生产环境中监控。留意输入和输出的漂移、上升的错误率和推翻率,以及异常模式。设定触发评审的阈值。对会采取行动的系统,监控行动日志。监控是你发现测试所遗漏的问题的方式。
让人的监督保持真实
7. 设计能起作用的监督。一个评审快速系统每一项输出的人跟不上,一个被要求批准自己无法理解之物的人并不是在提供监督。定义人做什么、他们掌握什么信息、有多少时间,以及推翻的权限。抽样评审以检查它们是否实质。对自动化偏见,即接受机器输出的倾向,保持警觉(见主题 10.1,服务管理中的 AI 度量)。
8. 保留审计轨迹。以支持调查的方式记录输入、输出、版本、决定和行动,受隐私规则和留存限制的约束。审计轨迹让你能回答发生了什么以及为什么。对关于人的有后果的决定,考虑你能给出什么解释,以及存在什么申诉途径(见主题 8.3,合规与审计指标)。
9. 保护数据并抵御操纵。控制 AI 系统能看到和发出的数据。测试提示词注入和数据泄露,尤其是读取外部内容或有权访问工具的系统。应用对会行动的智能体所用的最小权限原则(见主题 10.3,AI 智能体与聊天机器人指标,以及主题 8.1,安全事件与漏洞指标)。在设计时考虑隐私,并让数据保护专家参与。
响应并学习
10. 把 AI 事件当作事件。定义什么算数:有害或有偏见的输出、数据暴露、不安全的行动、到达用户的重大错误。使用你的常规事件流程并附 AI 标签,以无责的方式评审,并把教训反馈到评估和控制中。使员工和用户报告变得容易。遏制时间与对任何事件一样重要(见主题 3.4,重大事件指标)。
11. 管理供应商的 AI。询问供应商他们使用什么 AI 功能、如何测试和变更、如何处理数据,以及如何报告事件。在重要之处向合同添加 AI 专属条款,包括对重大模型变更的通知。按周期重新评估关键供应商(见主题 8.4,供应商与合同指标)。
12. 评审治理本身。每个季度检查度量显示了什么:哪些使用未被登记、哪些批准太慢、哪些控制没有发现问题。调整政策和路径。让员工和用户参与评审。保持规则简短、清晰和最新,并让配不上其成本的控制退役。
操纵途径与护栏
| 指标 | 被操纵的方式 | 配套的护栏指标或实践 |
|---|---|---|
| AI 使用登记册覆盖率 | 登记琐碎的使用以提高百分比;分母仅限于已登记的内容 | 以独立发现作为分母;抽样登记册条目的质量;对未登记使用的特赦 |
| 风险评估时效 | 总是通过的轻描淡写的评估;评估低风险使用 | 评审评估的深度;检查风险类别是否符合标准 |
| 变更控制覆盖率 | 不检测供应商变更;事后记录变更 | 通过版本历史和供应商通知检测;变更记录在发布前加时间戳 |
| 评估时效 | 在容易的案例上评估;看到结果后才选择容差 | 由独立方评审测试集;事先设定阈值 |
| 人的监督证据率 | 没读就点击批准;记录本无法改变结果的评审 | 抽样评审的实质;植入已知错误;评审者负荷 |
| AI 事件率与遏制时间 | 不报告事件;收窄定义 | 容易、无责的报告;与用户投诉和审计发现比较 |
| 供应商 AI 尽职调查时效 | 由营销人员回答的问卷;没有证据的评估 | 对关键供应商的证据要求;独立核实 |
健康的读数是:独立发现所证实的登记册、与风险相符的评估、通过控制的变更、保持最新的评估、能发现真实错误的监督、被及时报告并迅速遏制的事件,以及分享其变更的供应商。
权衡:利弊
| 做法 | 优势 | 劣势 |
|---|---|---|
| 对每项 AI 使用集中批准 | 控制、一致 | 缓慢;把使用逼入地下 |
| 带风险分级的自助登记 | 对安全的大多数很快 | 需要好的标准和抽查 |
| 禁止公共工具 | 减少数据暴露 | 影子使用;失去收益 |
| 带指导的经批准工具 | 使用可见且可管理 | 需要提供和支持 |
| 繁重的文档 | 审计的证据 | 负担;可能不反映实践 |
| 流水线中的自动评估 | 持续、一致 | 需要好的测试集;可能漏掉新的失败 |
| 对一切进行人工评审 | 安全 | 不可扩展;疲劳 |
| 基于风险的抽样 | 实用 | 有些失败会漏过 |
文字化的答案是,为低风险使用提供经批准的工具和快速通道,把审视集中在有后果的使用上,使评估和监控自动化,并把人的监督保持在它真正能起作用之处。
与团队讨论的问题
1. 今天我们在哪里使用 AI,却不在任何清单上? 诚实地询问团队,并提供特赦。查看用于起草、总结、编码和分析的工具,包括产品内部的那些。主持人应不加评判地记录这些使用。约定由谁来登记它们,以及哪些需要更仔细的查看。
2. 如果我们最有后果的 AI 使用犯了有害的错误,我们如何发现?我们会做什么? 走一遍检测、遏制、沟通和学习。记下监控、所有权和关闭它的权限方面的缺口。约定一项改进。
3. 有什么可以在没有人批准的情况下,在我们脚下发生变化? 列出模型、提示词、数据源和供应商更新。对每一项,问我们如何得知它变了,以及如何测试它。约定在哪里增加检测或测试。
4. 在我们的流程中评审 AI 输出的人,现实中能发现严重错误吗? 查看数量、信息、时间和权限。用植入的错误测试。如果评审无法起作用,在增加更多 AI 之前先重新设计流程。
5. 我们的哪些规则,一位忙碌的同事会觉得容易遵守?哪些他们会绕过去? 列出当前的规则,并对照真实的工作流测试它们。讨论规则为什么被绕过。约定使安全的路径成为容易的路径的改变。
6. 我们的供应商告诉了我们什么关于他们的 AI?我们没有问什么? 查看近期的问卷和合同。找出有 AI 功能的关键供应商以及信息缺口。约定下一次评审的问题。
四种视角
产品与交付团队
交付团队构建和采用 AI 功能,并把治理感受为摩擦或帮助。他们应当尽早登记使用,在现实案例上测试,把提示词和模型置于版本控制之下,并设计能起作用的监督。他们受益于对低风险使用的快速批准。
服务与运维团队
运维团队在生产环境中运行 AI,并响应其事件。他们应当监控漂移,保留行动日志,给 AI 事件打标签,并拥有关闭系统的权限和手段。他们自己也使用 AI,应当遵循同样的规则。
领导层与治理
领导者设定风险偏好,并对成果负责。他们应当为登记册、评估和监控出资,接受有些 AI 使用不会通过,要求对使用进行独立发现,并追踪事件和遏制时间。治理机构应当保持规则简短,定期评审,并确保员工和用户有发言权。
客户与用户
用户受 AI 的决定和输出影响,往往不知情。他们应当在涉及自己的事项中知道何时涉及 AI,能够接触到真人,并能质疑决定。投诉和申诉是关于治理在实践中如何运作的关键证据。
实践:一个敏捷 ITIL 示例
一家区域银行的技术与运营部门,在一位员工把客户详情粘贴进一款公共工具之后,采纳了一项 AI 政策。合规团队发布了一份登记册,并期望每项使用都被列出。以下数字是示意数字。
三个月后,登记册列出 38 项 AI 使用。技术风险负责人通过独立手段进行核查:采购和费用数据、显示登录 AI 服务的身份日志、网络数据,以及一次匿名的员工调查。发现找到 94 项使用,所以登记册覆盖率为 40%。其中十七项是该银行已获许可的工具内的功能,十二项是员工使用的公共工具。在 38 项已登记的使用中,只有 14 项有风险类别,而风险最高的三项,即给欺诈告警评分的模型、面向客户的聊天机器人,以及总结投诉的工具,在过去一年里都没有评估。对欺诈模型配置和聊天机器人提示词的变更,是由团队直接作出的,上个季度的变更记录只涵盖版本历史中所发现变更的 21%。对被模型驳回的 60 条欺诈告警的抽样,显示其中 52 条有人工评审的记录,但植入的五个已知漏判只有一位评审者发现了一个,因为评审者每人每天要处理数百条告警。一起事件,即聊天机器人向客户提供了过时的费用金额,是通过一次投诉发现的,遏制它花了六天,因为没有人有权限关闭它。
技术风险负责人与团队一起重新设计治理。一份带五个问题的简短自助登记,使低风险使用在几分钟内进入登记册,一个特赦期鼓励员工列出自己使用的工具。风险类别基于危害、数据和自主性。风险较高的使用需要评估、在现实和对抗性案例上的评估,以及已定义的监督设计。模型、提示词和工具被置于变更控制之下,测试与风险相称,聊天机器人的提示词有版本管理和回滚。欺诈告警流程被重新设计,使评审者处理更少、优先级排得更好的告警,并用植入的错误测试他们的检测能力。每项高风险使用都有一位指名的负责人,拥有关闭它的权限,事件响应也涵盖 AI。该银行的云和 AI 供应商被问及他们使用什么 AI 功能,以及变更如何通知。
两个季度后,按独立发现计算的登记册覆盖率为 88%,所有高风险使用都在周期内得到评估,变更控制覆盖率为 84%,评审者对植入错误的检出升至 5 个中的 4 个,AI 事件的遏制时间中位数为 3 小时。员工在大多数任务中使用经批准的工具。一位高级主管要求设定 100% 登记册覆盖率的目标。技术风险负责人提议追踪相对于独立发现的覆盖率、评估时效和事件处理,并解释说,没有发现的登记册可以达到 100% 却仍然错过风险。该决定被记录下来。
行业视角
初创企业。速度重要,风险主要是数据暴露和不可靠的输出。保留一份带负责人的简短工具和使用清单,就哪些数据可以在哪里使用设定几条清晰的规则,并对提示词做版本管理。随着客户对保证的要求增长而重新审视。
小型企业。员工会使用公共工具。提供一个经批准的选项,就数据写一页规则,并评审工具如何被使用。询问供应商他们的 AI 功能,并记录 AI 在哪里作出关于客户或员工的决定。
大型企业。规模需要一个运营模型:登记册、风险分级、评估标准、变更控制和事件流程,与现有的风险和安全职能集成。使用独立发现,在流水线中自动化评估,并与标准保持一致。给团队一条快速通道。
政府与公共部门。影响公民的决定带来透明、公平和申诉的义务,采购和法律框架塑造被允许的范围。在需要之处保存高影响使用的公共记录,评估对权利的影响,让人真正保持在回路之中,并核对现行的法律和指南(见主题 8.5,受监管与政府报告)。
商业论证:动机、投资回报与总拥有成本
成本包括建立和维护登记册的工作量、发现工具或分析、风险评估、评估集及其运行、提示词和模型的变更控制、监控、培训,以及事件响应容量。治理也为风险较高的使用增加一些延迟。这些成本随使用的数量和风险而扩大,这是保持低风险批准轻量的理由。
回报包括避免的危害和暴露、审计和监管评审中更少的意外、因规则清晰而更快的安全采用,以及来自客户和员工的信任。用你自己的数据建立论证:在登记册之外发现的使用数量及其所接触的数据、事件及其成本、之前和之后在临时批准上花费的时间,以及审计中的发现。避免引用关于 AI 事件或罚款的已发布统计,除非有可追溯的来源并与你的背景相关。计入不治理的代价,其中包括重大法律和声誉损害的可能性(见主题 7.7,投资回报与商业论证)。
反模式与陷阱
- 无人核查的登记册。覆盖率看起来很高,却错过了真实的使用。使用独立发现。
- 一刀切的禁令。它们把使用逼入地下。提供经批准的工具和快速通道。
- 把提示词和模型当作无人拥有的配置。行为在不知不觉中变化。把它们置于变更控制之下。
- 只评估一次。系统会漂移和变化。按计划并在变更时重新运行。
- 名存实亡的监督。评审者无法发现他们看不到的东西。用植入的错误测试并修复负荷。
- 没有关闭的权限。遏制要花数天。指名拥有停止系统之权的负责人。
- 忽视供应商的 AI。你的风险包括他们的风险。询问、签约并重新评估。
- 无人能遵循的规则。它们被绕过。保持简短并使安全的路径容易。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 了解与分类 | 对 AI 使用没有视图 | 政策和一份不完整的清单 | 带负责人和风险类别的登记册;用独立发现衡量覆盖率 | 管理覆盖率、评估时效和批准时间 | 跨业务单元和供应商共享登记册视图;与监管者和用户一起评审类别 |
| 测试与变更 | 临时的 | 对部分使用有一些评估 | 在现实案例上评估;提示词和模型处于变更控制之下 | 持续评估和漂移监控;管理覆盖率 | 流水线中自动化的、基于风险的评估和变更,接受独立审计 |
| 监督与学习 | 依赖信任 | 原则上有评审 | 设计并抽样监督;给 AI 事件打标签并以无责方式评审 | 管理植入错误测试、遏制时间和供应商评估 | 与员工、用户和伙伴共同制定监督、事件学习和政策 |
检查清单
- 登记册列出 AI 使用,附负责人和风险类别,并对照独立发现检查。
- 为低风险使用设有快速通道,为有后果的使用设有更深入的通道。
- 风险较高的使用有当前的风险评估和已定义的监督设计。
- 在现实和对抗性案例上的评估是最新的,并在变更时重新运行。
- 提示词、模型、工具和数据源有版本管理,并处于变更控制之下。
- 生产监控留意漂移、错误、推翻和异常行动。
- 用植入的错误测试监督,并且评审者的负荷是现实的。
- 审计轨迹在隐私和留存规则之内支持调查。
- 给 AI 事件打标签,以无责方式评审,并且负责人可以关闭系统。
- 评估有 AI 功能的供应商,并约束其通知重大变更。
AI 提示词
为 AI 使用起草风险分类。
请为[组织类型]中的 AI 使用提出一个简单的风险分类(三到四级),依据出错时的危害、谁受影响、
是否涉及关于人的决定、行动的自主性、数据敏感度和可逆性。对每一级,说明示例使用、所需的
批准和证据,以及评审周期。不要陈述法律结论。列出你的假设,以及要与法务、风险和安全专家
确认的要点。
设计登记表。
请为新的 AI 使用设计一份简短的自助登记表,不超过八个问题,自动分配初始风险类别,并把
风险较高的使用转去评审。涵盖目的、数据、受影响的用户、自主性、供应商和负责人。解释如何
让低风险案例保持快速。列出你的假设,以及错误分类的风险。
规划评估集。
我们在[流程]中把 AI 用于[任务]。请帮助设计评估集:现实案例的类型、困难和对抗性案例、关于
正确且安全输出的书面标准、在人们受影响之处的公平性检查、多大的集合是实用的、多久重新运行
一次,以及哪些变化应触发重新运行。不要声称某个集合是充分的。列出你的假设和局限。
评审一起 AI 事件。
这是一起与 AI 相关的事件的描述:[粘贴,不含个人数据]。请起草一份无责的评审:时间线、如何
被发现、促成因素(数据、提示词、模型、监督、供应商、流程)、影响、什么遏制了它,以及附
负责人的行动。建议对评估、监控和变更控制的改变。不要归咎于个人。列出你的假设和未决的问题。
AI 技能
- 敏捷 ITIL 指标技能:用于查找与某项 AI 治理或风险指标配对的护栏。
- 敏捷 ITIL 指标维护者技能:用于检查 AI 治理指标条目是否使用独立证据,并带有其操纵途径和护栏。
关键要点
- 通过独立发现建立 AI 登记册,使审视与风险相匹配,并为安全的使用提供快速通道。
- 把模型、提示词、工具和数据源视为需要测试、批准和回滚的变更。
- 使用之前和使用期间,在现实和对抗性案例上评估。
- 设计能起作用的人的监督,并用植入的错误测试它。
- 像对待其他事件那样对待 AI 事件,以无责方式评审,并赋予负责人关闭系统的权力。
- 询问供应商他们的 AI,并保持规则简短、安全的路径容易。
参考文献与延伸阅读
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Algorithmic bias.
- Wikipedia, Prompt injection.
- Wikipedia, Artificial Intelligence Act.
- Wikipedia, Responsible AI.
- Wikipedia, Regulation of artificial intelligence.
- Wikipedia, Shadow IT.
- Wikipedia, Goodhart's law.
- Wikipedia, Audit trail.