福瑞泰克中央计算平台360度感知系统解决NOA量产背后的挑战

NOA凭借着智能辅助驾驶和高精度地图的完美结合，可以使车辆在行驶过程中自动完成变道、超车、躲避大车等操作，无需人为干预，并且还能自动驶入和驶出高速公路匝道或立交桥岔路口。进一步提高了智能驾驶的自动化水平，给用户的智能驾驶带来了全新的体验。

福瑞泰克基于ADC中央计算平台为客户提供不同场景下NOA行泊一体方案，包含ADC20（支持L2.9）、ADC25（支持城区场景）、ADC30（支持L3-L4）三个版本，能够支持高速场景下的上下匝道、自动变道、城市道路的堵车自动跟车、低速场景下的自动泊车等功能。

根植于技术的创新，福瑞泰克ADC中央计算平台通过泊车与行车功能的集成和360度感知技术实现L2+增强感知能力，将整体功能体验和性能提升到一个新高度。福瑞泰克360°感知技术支持客户基于场景重构，针对不同整车企业的诉求，助力其解决在城市道路、高速公路、乡村道路的差异化场景下感知需求的挑战。

# 01 实现360度环视感知

福瑞泰克ADC20域控制器通过独创的高性价比6V5R架构，完美支持NOA功能，域控制器的传感器由6个摄像头和5个毫米波雷达，以及12个超声波雷达组成，实现360°全方位感知，同时辅助于高精度地图，实现超视距的静态道路环境感知。通过多种传感器的感知冗余，在每个方位上至少保证有两个传感器系统的覆盖，更大程度上保证的感知准确性。

福瑞泰克基于360°感知的高阶自动驾驶解决方案，在规模化量产开发过程中不断探索传感器在不同场景下的性能边界，针对场景开发不同的多传感器融合策略，充分发挥各自的优势，扬长避短。融合感知为功能决策提供更可靠的依据，并评估传感器的状态及感知置信度，在困难场景下能及时给驾驶员提醒，从而避免危险的自动驾驶策略。

# 02 数据闭环、工具链

智能驾驶智能化程度越高，对数据的依赖也越大是行业的普遍共识。智能驾驶所面临的数据问题是典型的数据分布长尾问题，即极端case场景少但极其重要难，所以业内提出数据闭环的概念，通过建立一套完整的工具链，自动或半自动完成从数据采集、数据挖掘，到算法训练、验证及车端升级应用的完整闭环。对长尾数据的采集及处理效率决定了算法能力和迭代速度。福瑞泰克基于对客户需求和场景数据的理解，搭建了数据闭环系统，支持产品开发阶段和产品应用阶段的不同应用策略，并在客户项目和产品开发过程中不断优化和升级。

福瑞泰克在车端ADC20域控制器中部署了影子模式和OTA在线升级模块。影子模式基于在量产车上的推理判断，实时识别出特殊功能场景信息，自动记录感兴趣的感知信息和驾驶信息。根据算法需求，在ADC20中设置了多种不同的触发条件，例如驾驶员接管、自动/人工驾驶条件下的紧急制动、自动变道功能开启失效等，当某种触发条件满足时，就会自动记录事件发生前后的相关信息。为了节省数据内部存储空间，对触发事件分级，优先存储重要性更高的数据，适当的时机通过4G/5G无线网络上传数据中心，并在上传之前做数据脱敏处理。

在后端数据中心，对数据进行预处理、挖掘、清洗和标注，之后用于算法模型训练、验证和部署，最终通过OTA升级到车端。从而形成数据闭环，提高产品迭代效率。在后端数据处理的不同阶段，福瑞泰克开发出多种工具链，比如感兴趣数据挖掘工具、自动化数据清洗工具、便捷的数据可视化工具、反馈驾驶环境的性能评价指标统计工具。

在产品及项目开发阶段，福瑞泰克采集百万公里的实际道路数据，用于算法的开发和回灌验证。对于视觉感知算法开发，从海量数据中快速筛选出有效数据对算法快速迭代至关重要， 我们通过对算法性能的客观评价，定义数据挖掘策略，快速筛选到高价值的数据。借助超大网络，配合时序信息，以及后处理跟踪分析完成的离线数据挖掘工具，可有效挖掘corner case场景，提高数据的有效性。

# 03 环视摄像头在行车中的应用

市场上普遍的环视摄像头主要用泊车功能，福瑞泰克则将环视摄像头复用于行车环境感知，在不增加成本的条件下补充其他传感器在超近距离的感知盲区，从而增加行车条件下的感知可靠性。由于环视摄像头的鱼眼成像特性，能够看到超近距离车辆的车轮和行人的脚部，所以在识别目标位置上相对其他摄像头有明显优势，尤其在NOA变道过程中提供相邻目标车辆的位置和姿态。行车环视可同时检测车辆、行人、二轮车以及车道线、道路边界等动态和静态目标。为了实现高精度，低耗时的算法效果，我们采用了多个技术方法。

4路环视的数据量较大，对计算平台的算力有较高的要求。如果对每路图片分别处理则会明显增加计算量和感知延时，为了节省算力，我们将4路图像先合并再计算。对于目标检测网络，直接将原始图像拼接成田字格作为网络输入，对于车道线检测网络则做俯视拼接，并对图像做了适当的降采样。通过这种方式，可明显降低神经网络耗时，提高处理的并行性。

对于目标检测功能，福瑞泰克的检测方案和其它摄像头方案类似，即检测目标框和接地点，然后将图像坐标根据摄像头的内外参投影到车辆坐标系。同时将4路目标做BEV融合，从而得到稳定目标输出。对于车道线检测功能，先根据摄像头内外参将图像拼接成俯视图，然后直接回归车道线3次曲线方程，相对于传统的分割方法，省去了后处理对车道线的拟合过程。

# 04 视觉感知算法应用优化

感知算法是整个自动驾驶系统的基础，需要为功能决策提供丰富的、可靠的信息。车上感知算法表现如何，最直接体现在是否能够快速地、准确地识别出周边障碍物，以及一系列的马路地面信息，如车道线、路沿、地面标志、停止线等。为了得到好的感知效果，往往会采用较大的神经网络模型，但是大的网络模型会消耗更大的计算资源。为了给客户提供高性价比的产品，提高产品竞争力，福瑞泰克选择成本适中的硬件平台，这对算法部署落地提出了更高的要求，因此我们更重视在低算力平台上的算法部署。

为了解决芯片功耗和算力的限制，小规模网络模型是必然选择，但是模型的训练比较困难，福瑞泰克探索了多种训练技巧来提高模型精度。知识蒸馏技术在学术界和工业界都有大量的研究和应用，福瑞泰克同样在这方面做了大量验证工作。我们选择将同结构更大的模型作为教师网络，在训练时在教师网络与现有网络之间建立损失。通过缩小损失来使现有网络拥有与教师网络相近的性能表现。在常规的网络训练中，往往会使用人工标注的标签（即one-hot编码标签）来对网络进行训练。这些标签可以使网络认识图像中的目标内容。不过这种标签的缺点是目标的分类只能是单一的，一个目标是某种类别的概率只能是100%。而真实的世界中可能会有目标重叠或者相似的情况。蒸馏过程中教师网络会输出soft-target标签，它是由教师模型预测出的各个类别的概率，它更符合真实的概率分布情况。以soft-target作为模型标签，可以提高模型捕捉相似性的能力。

模型的训练一般采用浮点精度，而嵌入式平台部署一般都是8bit量化甚至更低，模型从32bit浮点转到8bit量化过程必然带来较大的精度损失，尤其在模型规模很小的时候精度损失更大，不能满足智能驾驶对感知精度的要求。而量化重训练QAT是很好的降低精度损失的方法，我们在分析计算平台的计算过程之后，在训练框架中设计量化规则，在正常的训练过程中加入量化模拟，从而降低在部署时的精度损失。

Transformer最早在NLP领域大放异彩，近几年在视觉感知领域也表现出优越的性能，也成为视觉感知算法的研究热点。但是Transformer的特殊算子对当前主流的计算平台都不友好，计算时间会明显增加，Transformer未能在实际应用中获得明显优势。面对这种情况，福瑞泰克选择简化Transformer的结构，在部分网络结构中轻量化使用Transformer的关键特性，从而在性能和耗时上达到平衡。我们在车道线分割网络中局部使用了这种技术，使得网络在全局感知能力上得到提升，在车道线穿车、远端车道线检测、恶劣环境下的车道线检测性能有所提升。我们也在尝试Transformer的其他用途，例如在蒸馏的教师模型使用该模块，以提高网络精度。