人工智能(AI)和机器学习已经成为下一代自动驾驶汽车生产的重要工具,特别是因为需要识别并对现实道路上遇到的几乎无穷无尽的场景做出反应。

汽车行业在这一过程中走得越远,就会了解到自己还不明白什么,以及还没有考虑清楚什么,但这并没有阻止汽车制造商、零部件供应商、贸易机构和分析师应对数据驱动的自动驾驶汽车所面临的巨大挑战。

Bryan Reimer,PH。D.是Agelab的一名研究员的MIT运输和物流中心研究员,以及MIT的新英格兰大学交通中心的副主任,表示机器学习和大数据分析将是在自动车辆训练中使用并将其自身融入车辆,因此他们在驾驶时学习。

他说:“很明显,机器学习和大数据在推进自动化车辆的能力方面发挥着重要作用。”“随着自动驾驶汽车技术的发展,人们预计,曾经嵌入生产车辆的算法将更频繁地被不断学习的算法取代。”

他指出,人们也有可能看到各种算法的混合竞争,作为决策过程的一部分,以创造更好的解决方案;这些算法最终可以通过无线(OTA)更新获得额外的功能,就像你现在的智能手机一样。

“汽车制造商将需要找到新的、更快的方法来测试建立在学习模型上的算法,”他说。“这些算法方法提供了很大的希望,但需要经过一定程度的严格测试,比我们今天在市场上看到的一些系统更严格,以确保变化确实导致预期的改进。”

雷默表示,与依赖英伟达(Nvidia)、Mobileye等第三方厂商的汽车制造商相比,像特斯拉这样的自主研发自动驾驶技术的OEM,不会有太多的长期优势。

“我认为该组织仍然没有掌握发展强大的4级或5级符合消费者对移动性需求的5级系统的复杂性,”他说。“行业其余部分的一部分似乎已经开始拥抱更长的时间表。”

雷默指出,随着遥测技术越来越强,机器学习有很大的机会来帮助改善感知、路径规划和其他关键功能,以支持各级自动化机动。

训练大脑

丰田研究所(Toyota Research Institute)自动驾驶技术副总裁沃尔夫拉姆·伯加德(Wolfram Burgard)博士解释说,机器学习技术的开发需要多家公司的合作,包括与英伟达(Nvidia)等芯片制造商的合作。

2019年3月,丰田高级开发研究院(TRI-AD)和英伟达宣布合作开发、培训和验证自动驾驶汽车。

双方的合作包括利用英伟达gpu推进人工智能计算基础设施,以及开发一种可以跨多种车型扩展的架构,在具有挑战性的情况下模拟相当于数十亿英里的驾驶里程。

“由于潜伏期和车辆需要安全运行的快速反应时间,我们的想法是计算实际上将在汽车中并对传感器输入反应,”布里德说。“在这种情况下,我们正试图更新和改善大脑,随着更多的数据和经验。”

由于数据模型通常会增长,这意味着软件和硬件也需要增长,因为布尔加德表示,布尔加德表示,汽车制造商将不得不考虑到他们开发未来的车辆,电脑电源随着时间的推移。

丰田正计划未来的车辆,可以用于汽车中的传感器,可用于学习模型和“培训我们的大脑”,就像Burgard说。

他解释说:“这是我们在丰田ADAS系统未来几年将看到的情况。“我们正在努力不断改进车型,而这正是汽车的性能将依赖于汽车内部大脑的能力的地方。”

Going forward, he explained Toyota’s strategy is to deploy fleets of vehicles that will go out and collect data in real-world scenarios, then send that data back to a central databank where machine-learning algorithms can then add those scenarios to further extend driving and decision-making capabilities.

“目前,许多公司依赖于手工标记数据,但这是一种不能规模化的模式,因为手动标记日益增多的数据的成本将是巨大的,”Burgard说。“我们正在研究包括半监督方法在内的学习方式,算法可以在数据到达时自动学习。”

从那里,TRI可以开发更好的汽车决策过程,并对未来的发展和创新能力进行战略性思考。

“假设你在车里增加了一个额外的传感器——比如激光雷达——我们如何利用这些数据来改善功能呢?””他问道。“最终,你希望车辆做出最优决策,确保技术安全是我们的责任。这是丰田的一个大问题。”

道路更多旅行

还有如何在培训过程中最有效地使用和测试机器学习和大数据的问题,这些产品目前正在努力。

“媒体经常说,你驾驶和存储的里程数越多,自动化系统的安全性就越高,”他说。“因为我们在室内开发驾驶辅助系统,所以我们知道这种说法并不完全正确。它应该被重新定义为:你驾驶和存储的相关里程越多,自动驾驶系统的安全性就越高。”

他解释说,宝马很早就开始定义相关的、具有挑战性的场景,该公司知道这些场景会给汽车的感知和推理系统带来问题。基于场景驱动的数据收集的数据量与仅基于一公里测量的数据收集方法相比要小得多。

“当然,数据集随着相机,雷达和激光雷达分辨率的增加而增加,但由于我们仅关注相关方案,因此金额保持在可管理的范围内,”他指出。

此外,存储的大多数数据由模拟生成:这意味着即使是低级数据,如原始摄像机,雷达或激光雷达,高级数据的量,如提取的对象或车道信息,保持每种情况持续。

为了处理汽车中的数据,宝马与提供高性能电子控制单元(ecu)的公司合作,可以处理越来越多的数据。

ROSKOPF与其他人一样,注意到数据处理的身体挑战,并且车辆中的存储不是那么大,而是它的数据存储和处理的费用。

“我们不会在车上存储那么多数据,”他解释道。“我们已经利用我们的大数据平台的能力,不断处理记录的数据,生成参考数据,通常被称为地面真相和计算kpi。我们进一步利用它的计算能力来模拟我们在现实世界中无法感知的场景。”

根据此,ROSKOPF的团队能够在测试驱动器上测试新的软件发布,该数据集包含具有挑战性的现实世界情况。

他说:“因此,我们可以用更少的驾驶努力更快地获得测试结果。”

比人类更多

对于所有公司,如NVIDIA,目标是创建一个擅长人类的系统。

英伟达汽车部门高级总监丹尼•夏皮罗解释说:“这意味着要收集各种数据并做出决策。”“在自动驾驶汽车中,我们希望取代人类,人类有眼睛和耳朵,这些感官会传递到大脑,大脑会分析这些信息。”

在这种情况下,AI大脑是NVIDIA驱动平台;它需要采取所有这些数据,这真的没有太大的含义 - 最终它只是一堆像素和数字 - 以某种方式使其感到意识到这一切。

“你的大脑被训练成看到红色消防车,根据经验,你知道那是什么,”他说。“我们需要教会人工智能计算机这些信息意味着什么。”

这意味着首先使用深度神经网络(DNN)算法训练它识别事物,这种算法被训练模仿人类大脑的突触,分析像素组并形成边缘、边界、形状和颜色;这些网络算法可以协同工作来识别这些图像。

“数据是编写软件的关键,而不是坐在键盘前的人,”他说。“训练计算机识别停车标志的老方法是让人写很多代码行,包括颜色、八角形、一天的时间和天气。”

为了培训机器学习算法,另一方面,您所要做的是收集大量的停车标志图片,在所有不同类型的日期,并告诉计算机这些都是停止标志。

在数据中心进行的培训是一个非常密集的过程。

夏皮罗解释说:“在自动驾驶汽车中,这是一个非常复杂的问题,因为自动驾驶汽车可以看到很多它需要识别的东西,以及我们需要预测的不可预测行为。”“这是一种神经网络的结合,可以提高系统的安全性,允许交叉引用和实现相同目标的多种方式。”

也要建立一种商业模式

Beyond the challenges behind the sheer number of possibilities that have to be included in the training—a mattress falling off the back of a truck, recognizing a jumping deer versus a slow-moving cow—there’s also the issue of another type of model: the business model.

“我看到的最大拦截器是提供更多深入数据洞察的商业模式是允许分享数据,”英国自动驾驶行业贸易体Zenzic的创新与技术总监“Richard Porter。“当我们看看技术来存储,移动和处理数据 - 它在那里。”

在波特看来,主要的问题是,在汽车市场,公司之间不习惯共享数据,而这种态度是更多数据共享的最大商业挑战。

他说:“他们担心,一旦公布数据,就会在竞争中处于劣势。”“汽车制造商需要团结起来,努力找出激励企业共享数据的商业模式。”

自动驾驶汽车项目首先必须克服许可问题,允许数据不需要通过多个合同就能获得。

“这应该解锁这些算法需要工作的大量数据,”Porter表示。“对我来说,这并不是真的关于这项技术,而是关于解锁这些商业模式。如果那些存在,其他挑战将很快融化。“

Gartner的高级研究总监Mike Ramsey,高级研究主任,汽车和智能流动起初,汽车本身不会做太多学习;必须在舰队级别完成,其中大量数据被传输回中央数据中心并分析。

随着数据量的从多个传感器和多个车辆继续增长,拉姆齐说需要确定多少数据将被转移到云计算,分析,然后传回到车辆或者车辆,视情况而定。

“如果有一些事件需要逃避演动的事件,那剪辑将被上传并带入折叠,标记为新的场景 - 车辆未能正确识别的东西,”Ramsey说。“车辆将被设置为说,有一个不寻常的事件,记录反应减退,例如 - 该数据将被发送到云,然后将改进并分发到舰队。”

他将早期的车型与刚拿到驾照、实际驾驶经验有限的16岁少年进行了比较。

“他们不是伟大的司机 - 但他们学会了。作为自主车辆登录更多里程,他们将产生大量的信息并将其上传到云端。“

然而,Ramsey指出,机器学习和AI进行培训的大问题是没有监督。

“在电脑进入计算机的1000万图像中没有人类监测监测器以教授它;你真的不知道它是如何结论的结论,“他指出。“如果它失败,我们也不知道如何解决它。”

前方的道路

当你在谈论一台两吨重的机器在高速公路上以每小时65英里(或更快)的速度行驶时,它被一群类似的高速机器包围着,它做出迅速而正确的决定的能力是至关重要的。

“如果Facebook建议某人的脸部标签,它不正确,那就没有大不了的事。如果Netflix推荐一部你不喜欢拇指的电影。在一辆车中,它是一秒钟的每一部分的关键决策,所以我们不断微调算法,使得精度高于它,“Shapiro说。

他预测,在接下来的几年里,将有各种各样的部署,从地理围栏区域到高速公路上专门的自治车道,但他也承认了时间表已经转移了。

“计算场景的复杂性和数量被低估了——甚至是我们自己,”夏皮罗说。“传感器变得越来越敏锐——不断收集越来越多的数据。无人驾驶汽车的词汇将继续扩大。软件永远不会完成。”

无论算法的工作方式如何,如何收集数据,处理,存储和共享,该观点将始终为安全。这意味着对边缘案例的连续测试,创造了更复杂的虚拟世界以及数据中心摄取的大量数据,进入算法,并分层更智能,更令人更快的神经网络。

“这个世界上没有十全十美的东西。我们相信自动驾驶汽车将极大地使我们的道路更加安全,所以我们需要将这项技术推向市场,”夏皮罗说。“很难说它们会是100%完美的。但这里的关键是,我们都在努力使它尽可能完美。我们还有很多工作要做。”