行业洞察 | 人工智能时代的功能安全合规：挑战、标准演进与工程实践
功能安全的核心原则是“确定性”：同样的输入，在相同条件下必须产生完全一致的输出。这是 ISO 26262、DO-178C、IEC 61508 等行业安全标准的绝对基石。
然而，当机器学习与大模型技术被引入自动驾驶、医疗设备、航空软件等安全关键领域时，AI 固有的“非确定性”特征，正对传统合规体系提出前所未有的挑战。当系统行为变得不可预测，我们该如何自证安全？
作为Perforce 中国授权合作伙伴，龙智将持续追踪 AI 与功能安全融合的技术演进。本文基于 Perforce 官方洞察，深度剖析 AI 时代的风险边界与合规应对策略，助力研发团队在拥抱 AI 的同时筑牢安全底线。
一、 核心矛盾：AI 带来的效率与“不确定性”挑战
AI 正迅速融入多个行业的软件开发生命周期，包括安全关键行业。系统集成商将部署更多基于 AI 的组件，为自动驾驶车辆、飞行员辅助应用和医疗设备提供动力。AI 将以前所未有的方式渗透到产品中，简化日常任务并实时做出关键决策。
这正是功能安全领域领导者面临的挑战：AI 的潜力巨大，但在风险缓解和合规方面带来了不确定性。无论架构师指定机器学习算法，还是开发者使用 AI 将自然语言转换为代码（一种称为”氛围编码”的技术），都需要应对新的现实。
功能安全应用最大的变化是什么？AI 消除了确定性——这一使系统行为可预测且可靠的特性。
作为功能安全的核心原则，确定性系统在特定条件下对给定输入始终产生相同的输出。若按照 IEC 61508、ISO 26262 和 IEC 62304 等标准正确实施，此类系统不会留有任何不确定性。当非确定性 AI 引入随机性时——例如能够适应新场景的模型——功能安全风险随之增加。
本指南旨在帮助高管和开发领导者了解新型 AI 驱动能力的优势及其对功能安全的影响，同时展望新兴的 AI 标准，以及如何在组织中嵌入风险缓解策略。
二、 AI 如何深度重塑软件开发流程？
近期一项 GitHub 调查显示，97% 的受访者表示在工作中使用 AI 编码工具，原因显而易见：它们自动化重复且易出错的任务，提升代码质量，并激发解决编程问题的新思路。
AI 在软件开发中的主要用例包括：
- 代码生成：基于比编程语言更高层次的指令编写或自动补全代码。例如，GitHub Copilot 将自然语言指令转换为可编译、可测试的代码。
- 代码重构：通过分析或指令识别改进区域，重构现有代码以提升效率、可读性和可维护性。
- 代码审查：分析源代码，检查质量、安全性、性能和合规问题。
- 文档生成：从源文件中提取和分析信息，生成代码说明文档。
- 漏洞检测：扫描代码以识别潜在的安全漏洞。
鉴于 AI 创新的快速步伐，团队很快将能够以最少输入生成复杂代码功能、实现复杂需求，并从源头预防缺陷。例如，静态情感分析是一种新型的理论测试方法，可学习代码段之间的相似性并识别值得调查的偏差，无需人工干预。
AI 工具不会取代开发者；相反，它们提高生产力并减轻认知负担，让团队专注于创造性、高影响力的任务。关键问题在于如何调整现有工具、流程和思维方式，以应对基于 AI 的软件固有的不可预测性。
三、 风险剖析：AI 何时会打破功能安全底线？
虽然 AI 有助于自动化开发，但将其引入软件开发生命周期的各个阶段必须谨慎权衡，尤其是安全关键应用。AI 本质上是非确定性的，因为无法保证基于 AI 的流程、工具或组件每次都给出相同的答案。在系统中引入 AI，也意味着引入不可预测性。
一旦引入 AI，不仅要检查代码，还必须验证 AI 是否满足功能安全标准的要求。
安全标准提供了避免风险的要求。如果存在意外行为的可能性，系统就无法被证明是功能安全的。
近期一篇 ACM 论文综述了工业和交通领域安全关键系统的 AI 相关文献，指出现有 AI 软件技术在符合当前安全标准方面存在若干普遍局限：
“最突出的问题包括 AI 解决方案的’黑箱’特性导致的可解释性和可分析性局限，以及涉及软件开发生命周期各阶段的合规局限，如规格说明的正确性与完整性、设计、测试、验证与确认。”
——《工业与交通领域安全关键系统的人工智能：综述》，计算机协会
以汽车行业的 ISO 26262 为例，该标准规定了整个开发过程中的功能安全指南，包括需求规格说明、系统设计、实现、集成、验证、确认、运行和退役。如果任何阶段存在安全风险，都必须予以考虑。
系统何时不再具有确定性？这取决于 AI 何时从开发过程中移除。
由于篇幅限制，本文仅展示部分内容。
点击下方按钮，即可免费获取Perforce的《人工智能时代的功能安全合规》完整中文版电子书，解锁全套风险评估矩阵与合规最佳实践！
最新文章
相关产品
