行业洞察 | 人工智能时代的功能安全合规：挑战、标准演进与工程实践
功能安全的核心原则是“确定性”：同样的输入，在相同条件下必须产生完全一致的输出。这是 ISO 26262、DO-178C、IEC 61508 等行业安全标准的绝对基石。
然而，当机器学习与大模型技术被引入自动驾驶、医疗设备、航空软件等安全关键领域时，AI 固有的“非确定性”特征，正对传统合规体系提出前所未有的挑战。当系统行为变得不可预测，我们该如何自证安全？
作为Perforce 中国授权合作伙伴，龙智将持续追踪 AI 与功能安全融合的技术演进。本文基于 Perforce 官方洞察，深度剖析 AI 时代的风险边界与合规应对策略，助力研发团队在拥抱 AI 的同时筑牢安全底线。
一、 核心矛盾：AI 带来的效率与“不确定性”挑战
AI 正迅速融入多个行业的软件开发生命周期，包括安全关键行业。系统集成商将部署更多基于 AI 的组件，为自动驾驶车辆、飞行员辅助应用和医疗设备提供动力。AI 将以前所未有的方式渗透到产品中，简化日常任务并实时做出关键决策。
这正是功能安全领域领导者面临的挑战：AI 的潜力巨大，但在风险缓解和合规方面带来了不确定性。无论架构师指定机器学习算法，还是开发者使用 AI 将自然语言转换为代码（一种称为”氛围编码”的技术），都需要应对新的现实。
功能安全应用最大的变化是什么？AI 消除了确定性——这一使系统行为可预测且可靠的特性。
作为功能安全的核心原则，确定性系统在特定条件下对给定输入始终产生相同的输出。若按照 IEC 61508、ISO 26262 和 IEC 62304 等标准正确实施，此类系统不会留有任何不确定性。当非确定性 AI 引入随机性时——例如能够适应新场景的模型——功能安全风险随之增加。
本指南旨在帮助高管和开发领导者了解新型 AI 驱动能力的优势及其对功能安全的影响，同时展望新兴的 AI 标准，以及如何在组织中嵌入风险缓解策略。
二、 AI 如何深度重塑软件开发流程？
近期一项 GitHub 调查显示，97% 的受访者表示在工作中使用 AI 编码工具，原因显而易见：它们自动化重复且易出错的任务，提升代码质量，并激发解决编程问题的新思路。
AI 在软件开发中的主要用例包括：
- 代码生成：基于比编程语言更高层次的指令编写或自动补全代码。例如，GitHub Copilot 将自然语言指令转换为可编译、可测试的代码。
- 代码重构：通过分析或指令识别改进区域，重构现有代码以提升效率、可读性和可维护性。
- 代码审查：分析源代码，检查质量、安全性、性能和合规问题。
- 文档生成：从源文件中提取和分析信息，生成代码说明文档。
- 漏洞检测：扫描代码以识别潜在的安全漏洞。
鉴于 AI 创新的快速步伐，团队很快将能够以最少输入生成复杂代码功能、实现复杂需求，并从源头预防缺陷。例如，静态情感分析是一种新型的理论测试方法，可学习代码段之间的相似性并识别值得调查的偏差，无需人工干预。
AI 工具不会取代开发者；相反，它们提高生产力并减轻认知负担，让团队专注于创造性、高影响力的任务。关键问题在于如何调整现有工具、流程和思维方式，以应对基于 AI 的软件固有的不可预测性。
三、 风险剖析：AI 何时会打破功能安全底线？
虽然 AI 有助于自动化开发，但将其引入软件开发生命周期的各个阶段必须谨慎权衡，尤其是安全关键应用。AI 本质上是非确定性的，因为无法保证基于 AI 的流程、工具或组件每次都给出相同的答案。在系统中引入 AI，也意味着引入不可预测性。
一旦引入 AI，不仅要检查代码，还必须验证 AI 是否满足功能安全标准的要求。
安全标准提供了避免风险的要求。如果存在意外行为的可能性，系统就无法被证明是功能安全的。
近期一篇 ACM 论文综述了工业和交通领域安全关键系统的 AI 相关文献，指出现有 AI 软件技术在符合当前安全标准方面存在若干普遍局限：
“最突出的问题包括 AI 解决方案的’黑箱’特性导致的可解释性和可分析性局限，以及涉及软件开发生命周期各阶段的合规局限，如规格说明的正确性与完整性、设计、测试、验证与确认。”
——《工业与交通领域安全关键系统的人工智能：综述》，计算机协会
以汽车行业的 ISO 26262 为例，该标准规定了整个开发过程中的功能安全指南，包括需求规格说明、系统设计、实现、集成、验证、确认、运行和退役。如果任何阶段存在安全风险，都必须予以考虑。
系统何时不再具有确定性？这取决于 AI 何时从开发过程中移除。
当 AI 用于开发工具时，开发者可以更轻松地针对明确指定的需求调试、测试和验证代码及系统行为。例如，使用搭载 AI 的测试工具时，系统仍保持确定性。开发者甚至可以使用 AI 完成代码开发，并借助软件物料清单（SBoM）明确指定代码内容，在不进一步更改模型的情况下进行测试——因此结果仍是确定性的，现有方法依然适用。
然而，当使用非确定性 AI 且代码开始演化时，团队往往无法洞察 AI 如何满足明确指定的需求——从而引入风险。只有当系统通过 AI 开始演化时，现有功能安全标准才不再适用，因为长期建立的需求依赖于系统的确定性。
基于 AI 的开发与测试工具：风险评估
| 类别 | 功能 | 功能安全影响 |
|---|---|---|
|
测试用例生成 |
使用自然语言提示创建并执行测试。（如 Perfecto） |
风险极低，因为这些工具不修改代码，也不部署到实际系统。 |
|
静态分析 |
识别编码问题——如误报、漏洞和标准违规——并提出改进建议（如 Perforce QAC、Perforce Klocwork） |
风险极低，因为这些工具不修改代码，也不部署到实际系统。 |
|
基于大语言模型（LLM）的代码生成 |
基于自然语言指令创建代码。（如 ChatGPT） |
如果模型持续训练和演化，风险潜力增加，因为生成的代码可能引入不可预测的行为。 |
如果模型不演化，即使使用 AI 工具，也与开发非 AI 代码几乎相同。只有当 AI 被引入连接安全关键系统的产品时，由于模型持续演化，功能安全才难以管理。
例如，车载 AI 语音助手通过自然对话提供信息和服务。如果这些语音助手不控制油门、转向和制动等安全关键组件，风险极低；但如果它们与这些组件相连，风险将随功能而增加。
自动驾驶车辆控制（如汽车和飞机）引入了更大的非确定性，因为代码可能持续获取数据并根据新信息演化软件，这可能危及功能安全。
四、 标准演进：如何缓解 AI 带来的合规风险？
功能安全是一门针对意外或未定义行为可能对人员或财产造成危害的系统的学科。其目标是确保软件按预期运行，其实践受行业标准约束：
- IEC 61508 是涵盖电气、电子及可编程电子安全相关系统的通用安全标准。
- ISO 26262 涵盖汽车行业的电气和电子系统。
- DO-178C 指导商用和军用飞机的软件开发。
- EN 50716 用于铁路应用的软件开发要求。
- IEC 62304 涵盖医疗器械开发的软件生命周期过程。
- ISO 13849 和 IEC 62061 用于机械行业，涵盖电气、电子及可编程电子控制系统。
- IEC 60880 是核电站使用的安全标准，涵盖执行安全功能的软件
虽然这些标准很好地指导了制造商，但基于 AI 的系统的增长使其局限性显现。这些文档侧重于预防系统故障引起的问题，如转向失控或飞行管理系统故障。而在 AI 场景下，即使没有系统故障也可能发生危险，例如自动驾驶车辆驶入意外的施工区域。
为应对 AI 引入的风险，各行业已开始制定针对非确定性 AI 的标准，可与现有安全标准配合使用。例如，汽车行业制定了预期功能安全（SOTIF）标准，作为 ISO 26262 的补充，为”正确情境感知对安全至关重要且该感知源自复杂传感器和处理算法”的功能提供指导。
AI 专用标准
ISO/IEC TR 5469，人工智能——功能安全与 AI 系统
该标准源自 IEC 61508，描述了与以下内容相关的属性、风险因素、功能安全方法和潜在约束：
- 在安全相关功能内部使用 AI 以实现该功能。
- 使用非 AI 安全相关功能确保 AI 控制设备的安全性。
- 使用 AI 系统设计和开发安全相关功能。
具体而言，TR 5469 按使用等级对 AI 进行分类：
- A – 现场使用
- B – 开发中使用
- C – 不直接处于安全路径
- D – 不直接处于安全路径
以及类别：
- Class I – 可用现有功能安全标准评估
- Class II – 需要适当的需求数据集
- Class III – 目前无已知技术。
ISO/DPAS 8800，道路车辆——安全与人工智能
该文档扩展了 SOTIF 中概述的概念，指导将使用 AI 的安全相关系统集成到车辆中。这包括数据质量和完整性，以及与车辆外部可能影响安全的 AI 组件的交互。它涵盖开发生命周期的所有阶段，但不提供使用 AI 方法的软件工具的具体指导。
例如，ISO/DPAS 8800 涵盖检测系统训练数据不完整的情况（如缺少某类车辆），这可能导致无法检测道路上的物体。这可能揭示需求或验证测试的不足。
除 AI 安全标准外，国际上已认识到监管基于 AI 系统开发的必要性，欧盟《人工智能法案》即为一例。第15条：准确性、鲁棒性和网络安全，规范 AI 系统的开发，包括道路交通和公用事业等关键数字基础设施的安全组件。
五、 安全关键项目的落地最佳实践
开发团队必须采取以下措施以调整流程，满足现有和新兴的功能安全指南：
1. 保持与现有标准的合规
即使有了新的 AI 标准，仍需遵循现有标准的原则和流程。它们并未消失，客户仍然需要足够的信心（包括合规证明）以确保您的软件在实际使用中是安全的。
2. 调整流程和工具以适应新的 AI 标准
与现有标准一样，新的 AI 相关标准涵盖软件开发生命周期的各个方面。因此，每个阶段都必须演进以处理新需求。
必须评估每个工具和流程以了解其演进情况。例如，如果遗留需求管理系统独立于任何 AI 组件运行，可能无需更改。但如果系统升级以包含 AI，则必须评估其对功能安全的影响。
同样，应重新评估静态分析工具的使用，以确定其是否满足新标准的需求。Perforce QAC 和 Perforce Klocwork 等工具专为检测现有和新兴标准的潜在合规问题而设计，可最大程度减少适配工作量。
六、总结：在不确定性中寻找确定性
随着 AI 驱动工具和组件的使用增加，了解其对功能安全的影响是您的责任。如果 AI 可能改变系统行为，系统是否仍能执行预期功能？新的功能安全标准（如 ISO 8800）为缓解部署 AI 的系统中的风险提供指导。
这些标准为开发提供了指导框架，但随着行业理解的演进，它们也将发生变化。因此，因此，主动调整流程、升级工具链，并坚定实施支持功能安全合规的措施，是团队在 AI 时代保持安全底线与竞争力的唯一路径。
联系龙智，筑牢 AI 时代的代码安全防线
在充满不确定性的 AI 时代，使用具备行业认证的确定性代码检查工具至关重要。Perforce 旗下的 Perforce QAC 与 Klocwork 专为检测现有和新兴标准的潜在合规问题而设计，帮助企业以最小的适配工作量满足最严苛的功能安全审查。
作为 Perforce 中国授权合作伙伴，龙智（Dragonsoft）可为企业提供 QAC / Klocwork 静态分析工具的产品授权、技术支持及功能安全合规咨询服务。欢迎联系我们，获取专属评估方案：
官网： www.shdsd.com
电话： 400-666-7732
邮箱： marketing@shdsd.com
最新文章
相关产品
