测试和训练自动驾驶汽车人工智能的最佳方法是通过适当的模拟、系统工程和最终状态场景矩阵。一位高级工程师解释了为什么当前的自动驾驶汽车测试方式必须改变。
在一些关键的开发和驾驶场景中，系统不可能给“影子驾驶员”留下足够的反应时间，以充分了解当前的驾驶环境，重新获得对车辆的有效控制，并确保安全。
在自动驾驶汽车的开发和测试中，开发者通常在公共道路上采用“影子驾驶”模式，即汽车上会有一名人类驾驶员，但这个驾驶员并不控制方向盘，只观察被测试系统的运行情况。然而，这种做法其实有两大前提条件。第一，车辆已经学会了如何正确应对行驶过程中的各种事件；第二汽车模拟驾驶训练软件，人类驾驶员（观察者）的反应足够迅速，可以避免任何不良后果的发生。
由于各种原因，影子驾驶似乎是当前全自动驾驶汽车开发和测试的一个组成部分。
事实上，自动驾驶汽车的测试并不轻松，每家厂商都需要积累约一万亿英里的自动驾驶里程，并覆盖所有可能场景，甚至多次测试。根据作者保守估计，假设配置了 23.4 万辆汽车，以 50 英里的时速每天 24 小时运行，则需要 10 年时间才能积累一万亿英里的自动驾驶里程，成本将高达 3000 多亿美元。
除了成本之外，“影子司机”还存在安全风险。例如，为了训练人工智能和SAE L3级自动驾驶及控制权交接功能，厂商必须让车辆经历一系列真实的事故场景。从小的刮擦、追尾，到其他更危险、更复杂的场景，整个训练过程可能涉及上千种事故场景，这些事故场景都有可能造成不同程度的伤害，甚至人员伤亡。此外，这样的事故场景还必须在公共道路上进行测试，这也会让整个测试过程变得更加危险。无论是一些借助“影子司机”进行开发和测试的系统，还是已经投入使用的SAE L3级公共自动驾驶汽车，这些系统目前都无法让“影子司机”有足够的反应时间充分了解当前的驾驶环境，重新获得对车辆的有效控制，确保安全。
正如近期自动驾驶事故引发轩然大波一样，公共道路上“影子司机”的出现，可能会削弱消费者对自动驾驶汽车的信心和支持，甚至招致铺天盖地的负面媒体报道、更严格的监管、无休止的诉讼、投资者信任的丧失，给自动驾驶汽车的发展带来沉重的后果，最终扼杀这项有可能拯救数十万人的技术。
幸运的是，有一种解决方案可以通过使用“完整模拟”来完成主要验证过程，从而减少行业对“影子驱动程序”的依赖。该解决方案采用“完整系统工程”方法设计，基于客户的用户需求和设计流程，并包括“最终状态场景”。
福特和 Argo AI 正在开发虚拟驾驶系统，以支持该汽车制造商和其他潜在公司开发自动驾驶汽车的努力。
合理的模拟方法
汽车行业使用的仿真系统目前还远未达到航空航天业的水平和复杂度（即FAA D类法规），也没有采用适当的实时架构。现阶段，车辆、轮胎和道路模拟的模型还不够准确，特别是在模拟一些严苛条件时。人工智能似乎已经做好了学习的准备，但事实并非如此。更可怕的是，这样的情况通常很难察觉，直到真实场景发生，而一旦发生，就会给项目进度带来沉重的时间和执行压力，甚至直接叫停项目。
注意，这些问题并不是在某些常规测试场景中暴露出来的，只有当车辆面临一些非常复杂或时间敏感的场景时，这些场景迫使车辆达到甚至超过其性能极限，而问题通常就是从这时开始的。
在没有全动感系统的情况下，一些驾驶员在环 (DiL) 模拟器可能会给开发人员信心，但现实情况并不那么乐观。动感系统设备可以与现实生活中的模拟器一起使用，模拟自动驾驶行程，并允许开发人员评估自动驾驶汽车中乘员的晕动症、舒适度和信任度。除了配备合适的动感系统外，开发人员还可以使用来自“航空航天/国防部/联邦航空管理局”的模拟技术、最佳实践和测试方法来解决汽车行业面临的自动驾驶模拟挑战。这是因为一些防御城市战游戏的游戏场景与许多复杂的驾驶场景高度重叠，有些使用专业模型并提供实时保真效果，这些都可以发挥重要作用。
如图所示，大多数自动驾驶汽车开发商都无法兑现之前的承诺，即在有限的范围内推出具有真正 SAE L4-L5 自动驾驶能力的自动驾驶汽车。（数据来源：Eric Paul Dennis/汽车研究中心）
数据方法至关重要
如果不必提前定义和构建最困难的场景，整个项目最终可能会花费比预期更长的时间来执行所有模拟场景，包括现在和将来无休止地修改这些复杂场景。
如果采用敏捷开发流程，很难估计可能浪费的时间，而且从历史经验来看，一些较复杂的元素往往难以完成，这只能为未来的发展埋下隐患。此外，这些设计缺陷往往很难暴露出来汽车模拟驾驶训练软件，除非遇到一些最复杂、最困难的场景。最后，项目可能不得不“打补丁”、大量返工，而不是一开始就在许多常见场景中正确设置。
如今，“边缘场景”和“角落场景”等术语经常被用来描述事故场景。但实际上，事故场景与其他场景并没有什么不同，只是结果是没有人愿意看到的。一些真正的“边缘场景”或“角落场景”在任何情况下都不应该也不可能发生——例如要求搜索引擎查找猫的图像，但最终得到的是垃圾桶的图像。工程师通常不会涵盖所有可能的事故场景，这些是他们归类为“核心场景”之外的“边缘场景”或“角落场景”。这就是人们有理由进行必要的尽职调查的原因。
模拟的目标应该是为 AI 堆栈提供可用于区分不同对象的数值表示，以相同的输入速率，并具有相同的模糊度，从而发现阻碍 AI 堆栈做出正确决策的问题。这些数据集中最困难的部分通常被称为“边缘”或“角落”场景；然而，这些场景是决定 AI 堆栈是否具有做出成功决策能力的关键案例。为了明确定义这些案例并明确每种案例的预期结果，需要一种组织良好且易于管理的递归数据方法。
最终状态情景矩阵
除了提供上述影响系统工程方法的场景数据外，各方（包括政策制定者、验证者、保险公司和制造商）还需要尽早了解模拟目标，即“项目完成”的定义。场景数据集只有能够支持实时变化（以便及时纠正任何 AI 感知错误）才能真正全面，但相应的工作量几乎与明确定义模拟过程的“集成”和“系统模型”一样大。
为了成功实现这些目标，从地理围栏到 SAE 4 级和 5 级自动驾驶汽车，此测试数据集的创建依赖于众多数据源和领域；需要全球汽车开发界最高级别的尽职调查；必须确保达到并能证明必要的安全水平；并且必须映射到上面提到的模拟系统并与之同步。
在当前的 AV 测试范式发生改变之前，汽车行业永远不会看到能够拯救数千人生命的 SAE 4 级自动驾驶汽车，也不会看到真正的完全自动驾驶汽车。
作者简介：
Michael DeKort 是 Dactle LLC 的所有者兼首席技术官。他曾在洛克希德马丁公司工作，在软件工程、程序/系统管理以及国防部/联邦航空管理局飞行模拟方面拥有丰富的经验。他还曾担任美国国土安全部/美国海岸警卫队首席 C4ISR 系统工程师。此外，DeKort 还是 SAE 国际汽车工程师学会道路车辆自动驾驶 V&V（测试）工作组的成员，并获得了 IEEE Barus 道德奖。
