ISO/IEC 23894 人工智能风险管理

依据 AI 使用情境识别数据、模型、人员与运营风险，并规划控制措施及重新评估机制。

AI 风险不能只看模型准确率。数据来源、系统权限、使用者的后续判断和错误造成的影响，都会改变同一工具在不同情境中的风险。本页讨论的规划范围，是把风险连接到实际用途、责任和可执行的控制。

适用对象与启动时机

适用于自行开发、提供、部署或采用 AI 的组织，包括采购外部工具后用于内部工作的情况。导入新应用、扩展使用者或处理资料类型、改变模型或工作流程，以及出现错误或投诉时，可重新检查风险与控制。

企业常见挑战

供应商提供的测试结果未必符合组织自己的使用方式；流程中写有“人工复核”，也不代表复核者具备足够时间、资讯和权限阻止错误。应确认谁能暂停或拒绝输出、异常如何升级，以及剩余风险由谁接受。

方法与适用要求

ISO/IEC 23894:2023 提供人工智能风险管理指引，可以按组织和应用情境调整。它不是 ISO/IEC 42001 的认证要求，也不能用一张通用表格取代具体风险分析。应以ISO 官方目录核对版本和范围。

规划与控制重点

界定用途与责任

记录 AI 系统预期用途、输入与输出、使用者、受影响群体、下游行动及各方角色。区分组织能够控制的部分与依赖供应商的部分，并说明系统不得用于哪些目的。

描述风险情境

把资料、模型、系统整合和人工作业中的可能失效，与对个人、群体、组织或社会的影响连接起来。标注已有证据、关键假设和未知条件；供应商的通用测试不能直接代替组织自己的情境评估。

设定控制与核准

依风险决定权限、测试、监控、人工介入、异常处理及上线门槛。指定措施负责人、验证证据及剩余风险的核准人。若人工复核是重要控制，应确认复核人员拥有足够资讯、时间和实际干预权限。

持续监控与重新评估

在开发、部署、使用、监控、变更和退役等生命周期阶段跟踪风险。资料、模型、供应商、功能、使用者、目的或外部环境改变时，重新检查风险及控制；同时检讨事件、申诉和错误趋势。

建议工作阶段

盘点实际应用： 确认各部门正在使用的系统和用途，不只依采购清单判断。
分析具体情境： 以真实工作流程识别失效方式、可能影响和现有证据。
试行控制： 检查权限、复核、测试和异常处理是否实际可执行，并记录无法控制的风险。
建立更新机制： 规定监控指标、事件回报、变更触发条件和定期复核责任。

企业可准备的资料

AI 用途、工作流程、使用者角色及受影响对象。
数据来源、流向、处理目的、供应商合同及资料限制。
测试结果、已知限制、错误案例和使用者反馈。
权限与人工复核安排、版本变更、异常处理及核准记录。

可讨论的交付成果与范围界线

可讨论 AI 应用清单、风险情境登记、控制与责任表、上线或变更审核条件，以及持续检视方式。模型技术测试、资安测试、法律意见和系统修改属于不同工作，应另行确认所需专业、证据和权限。交付内容及实际服务范围须在需求确认后约定。

常见问题

只有自建模型才需要管理吗？

外部 AI 工具在组织流程中的用途、输入资料和输出应用也需要管理，不能完全依赖供应商的说明。

一张通用风险表足够吗？

表格可作为记录工具，但用途、影响、控制和证据须按实际情境分析。

有人复核就没有风险吗？

需要确认复核者有足够能力、资讯、时间和权限，并保留对剩余风险的判断。

ISO/IEC 23894 与 ISO/IEC 42005 有何不同？

23894 聚焦 AI 风险管理；42005 聚焦 AI 对个人、群体和社会的影响评估，两者可互相提供分析资料。

上线后还需要重新评估吗？

使用情境、数据和模型可能改变，应设置持续监控和触发重新评估的条件。