800万像素车载摄像头的技术解析与应用前景

创作时间:

作者:

@小白创作中心

800万像素车载摄像头的技术解析与应用前景

引用

CSDN

https://blog.csdn.net/jzwjzw19900922/article/details/136732494

随着800万像素车载摄像头在2021款理想One上的首次量产应用，这一技术引发了广泛关注。本文将深入探讨800万像素摄像头与算力、算法以及数据之间的关系，并分析其在自动驾驶系统中的应用场景和未来发展趋势。

1. 800万像素摄像头与算力、算法以及数据的关系

1.1 800万像素摄像头与算力

摄像头算力需求跟哪些因素有关？对于车辆配置1个或多个800万像素摄像头，大致需要多大的算力支持，这个是否有计算公式可以评估？摄像头对计算平台算力的需求，不仅跟摄像头自身的性能参数有关，比如摄像头的位数、分辨率、帧率等，同时也与摄像头的应用场景以及采用的算法模型有很大关系。

如果算法固定，识别同样的东西，肯定是摄像头的分辨率越高，需要的算力越大；但是，从总体来讲，摄像头的应用场景和所采用的算法模型和算法策略对算力的影响是更大的。摄像头分辨率越高，需要的数据存储量肯定越大，计算能力需求也会更大。但是多大的分辨率对应多大的算力，是没有直接对应关系的，也是不太好直接用公式去衡量。

比如现在新势力规划的车型，摄像头的配置基本差不多，但是计算平台的算力差别却很大，这是为什么呢？首先，因为他们的算法模型可能本身就不太一样；其次，系统对算力的需求是持续提升的，硬件的算力资源需要提前预留好，他们对算力资源的预留程度层面的考虑也是不同的。同时，跟具体的应用场景也有很大关系，以前视为例，基于同样分辨率的摄像头，如果其应用场景仅限于识别车辆、行人、车道线这三类目标，其对算力的需求相对来说是一个轻量级的。若其应用场景需要系统识别的目标更多、探测的距离更远、识别的精度更高，不但要识别上述三类目标，还要识别红绿灯、限速牌、路标、路杆、多车道车道线等。障碍物的区分不仅包括车辆、行人，还包含了骑自行车人和骑三轮车人，甚至还增加非标准目标进行检测，这样的应用场景对算力的需求肯定是更大量级的。”

1.2. 800万像素摄像头与算法

如果用800万像素摄像头代替之前低分辨率摄像头，原来的算法是否需要重写？大部分专业人士给出的答案是：不需要完全重写，部分可用，部分需要重写。至于需要重写的部分占多大比例，是没有一个明确答案的，因为不同OEM有着不同的开发现状和开发计划。

使用高分辨率摄像头后，其实在算法方面并不需要完全重写，但深度学习的模型需要重新训练，原有的数据积累可以作为预训练使用，不过仍需采集新的高像素数据一起使用。算法模型是不是一定要调整，一方面跟摄像头有关，另外也跟控制器的SoC也有很大的关系。

对于支持100万像素摄像头的控制器，其大概率是比较低等级的，计算能力是偏弱的，应用场景也比较简单，比如车道线检测，或者是用于简单的目标识别加雷达融合做ACC和AEB。这些应用场景的大部分算法可能还是基于计算机视觉的一些模式识别算法，也许都还没有用到神经网络。对于简单的应用场景和传统的算法，通过ARM处理器就可以完成，甚至都不需要通过加速器来做，即使是AEB，随着NCAP标准的升级，摄像头分辨率和角度需要更大才能进一步支持，处理器也就需要更强的性能，算法对应也是需要进一步升级，算法的策略和工程化的积累虽然可以继承，但也不能完全照搬，也需要同步升级。

而现在800万像素摄像头所采用域控制器的SoC算力肯定会更强，多采用基于AI的算法，并且算法模型的复杂度也会更高。对于这种情况，原来的算法大多是不能复用的，能复用的主要是策略方面的算法。也就是说，若是前后两代系统采用的控制器芯片SoC类型相同，并且原来采用的就是当前流行的神经网络模型和深度学习算法，那么摄像头升级到800万后，原来的算法模型大多可以复用，但往往算法的进步也非常快，一代产品的算法有一代产品算法的局限性，通常也要跟着芯片的升级而升级。比如小鹏的Xpilot3.5系统，前视采用三个200万像素摄像头，主控芯片采用英伟达的Xavier来驱动的。下一代控制器SoC要升级到英伟达的Orin X芯片，其提供的算力更高，摄像头也要升级到800万像素，因为两代SoC的类型相同，上一代的算法模型这一代基本上是可以复用，但也一定会升级和更加复杂以提高其综合性能。

1.3. 800万像素摄像头与数据

自动驾驶的算法模块，尤其是感知和预测模块，基本都是数据驱动，可见数据对算法迭代的重要性。那么之前通过低分辨率采集的数据，摄像头升级为800万像素，在算法模型训练的时候是否可用呢？答案是可以的。800万像素摄像头可以通过之前的数据去训练算法模型来继承原来的一些能力，比如检测的准确率和误检率。但是800万像素摄像头探测的距离更远了，需重新采集之所没有的数据，去应对新的场景，去拓宽自己的性能边界。以特斯拉为例，即便这些年通过影子模式已经积累了大量的场景数据，若是换成800万像素摄像头，通过之前的数据能够继承200万像素摄像头的一些基础性能，但仍会有大量场景数据依然还是需要再重新采集的，用于不断地去迭代算法模型，进而无限地逼近800万像素摄像头的最佳性能效果。

2. 关于800万像素摄像头的其它几点思考

2.1. 800万像素摄像头未来的主要应用场景有哪些？

800万像素车载摄像头未来应用场景包括：周视（前视、侧视、后视）、环视、电子后视镜摄像头以及舱内摄像头等；其中前视以及舱内摄像头是在不久的将来最有可能规模化推广应用的主要场景。

对于前视场景，它是对高分辨率摄像头最迫切的一个应用场景，因为前视需要解决的场景最多，目标识别任务最复杂。其应用场景既需要有较高的图像分辨率能够识别更远距离的小目标物体，也需要有一定范围的视场角以便于及时对切入到本车道的目标做出反应。

对于侧视和后视场景，它们的探测距离没有前视探测要求的那么远，摄像头的目标识别任务相对简单。主要探测目标就是侧方车道和本车道的移动目标，不需要识别红绿灯、路标等任务。目前200~500万像素摄像头完全可满足侧/后视的应用需求；综合考虑成本和性能，短期内来看，侧/后视对800万像素摄像头的需求反而并没有那么迫切。

对于舱内视觉应用场景，一些传统OEM为了提升其豪华和科技感，其豪华品牌会在舱内配置高分辨率彩色的摄像头（800万像素摄像头），用于满足舱内的娱乐和办公需求，比如自拍，开视频电话会议等。

对于电子后视镜应用场景，目前主流还是200万像素的，但是未来是需要800万像素摄像头的。电子后视镜对摄像头的帧率是有需求的，至少需要达到90帧。从长期来看，电子后视镜和侧后视的摄像头是有共用趋势的。

对于环视应用场景，摄像头主要是提供图像给人察看，还可用于感知辅助，比如当前车道线的检测，辅助系统完成对车道线的识别和感知。当前应用的鱼眼摄像头分辨率主要分布在100万像素-200万像素之间，其中100万像素左右的鱼眼摄像头已经规模化应用，200万像素的环视才刚刚逐渐开始量产应用。

2.2. 800万像素摄像头相比100~200万像素摄像头，它具备哪些性能优势？摄像头分辨率上的提升是否会对其他性能参数带来影响？

能够具备在更远探测距离的同时，还可以具备较大的视场角。以前视摄像头为例，100~~200万像素摄像头有效探测距离在100~~150m的时候，视场角却只有50°左右，但是800万像素摄像头，却可以在实现200~250m探测距离的同时，还可拥有120°左右的视场角。同时，高分辨率摄像头还具备更高的动态范围（HDR）和更优的LED频闪消除功能（LFM）。

同等条件下，摄像头分辨率越高，其单像素尺寸就会越小，这样的话，在低照度下的光电转换效率就会低一些，从而影响在光照不足时摄像头的表现。高分辨率摄像头好处在于能够看得更远，更清晰，但是其夜间感知效果相对会差一些。因此系统在选择摄像头的时候不能一味地去追求高像素，需要做一个平衡。

2.3. 在800万像素摄像头的应用上，国外传统OEM相比造车新势力处于一个相对比较保守的状态，为什么会出现这样一种现象？

首先，开发流程和方法理念是不太一样的；国内造车新势力，对于新产品和新技术的应用相对来说是比较激进一些的，采用快速迭代的方法，在技术和产品还没有完全成熟之前就开始应用。然而对于国外的传统主机厂，他们对开发流程的要求相对来说是比较高的，导致开发周期就比较长。

其次，国外的传统OEM目前主要还是以与Mobileye合作为主。在算法上，大部分OEM还是依赖Mobileye的算法。如果换成一家和算法解耦的芯片公司，比如像英伟达的大算力平台，或者其他更高算力的计算平台，还需要相应算法能力的支持，但是目前欧洲缺少这样的算法公司去做这些事情。如果OEM要采用高分辨率的做多摄像头方案，若没有高算力的计算平台和与之相匹配的算法能力，单纯的去使用高分辨率摄像头也是没有意义的。