车载摄像头技术详解：工作原理与关键参数
车载摄像头技术详解：工作原理与关键参数
车载摄像头工作原理
车载摄像头的工作流程主要包括以下几个步骤：
- 景物通过镜头(LENS)生成光学图像
- 光学图像投射到图像传感器（CIS）表面上
- 光信号转为电信号，经过AD（模数转换）转换为数字图像信号
- 送到数字信号处理芯片 (DSP)中加工处理
- 通过接口传输到电脑中处理，通过显示器显示图像
具体流程可以概括为：景物→镜头Lens→sensor（光电转换+AD转换）→ISP（输出信号基于MIPI/CSI标准，传输距离短）→串行器 Ser（转换为串行信号，输出信号基于美信GMSL2标准，适合长距离传输）
值得注意的是，部分摄像头会直接将RawData数据传输给主机进行识别，而不进行后段显示处理。
1.1 镜头 LENS
镜头一般由多片光学镜片组成，材质主要有塑料（P）和玻璃（G）。目前车载镜头主要采用玻塑混合镜头和全玻璃镜头两大类型。舱内摄像头多采用玻塑混合摄像头，前视、侧视以及CMS摄像头多采用全玻璃摄像头。
通常情况下，摄像头70%的光学参数由镜头决定。
镜头规格解读：
- 尺寸规格：1/3"，1/4" 指的是三分之一英寸，"指英寸符号，inch。
- 材质分类：主要有玻璃（G）和塑料（P）两种。玻璃镜片面型多为球面，通过玻璃研磨加工；塑胶镜片面型多为非球面，通过注塑加工。
- 镜片组合：例如2G2P、2G3P、6G等，数字代表镜片数量，G代表玻璃材质Glass，P代表塑料材质Plastic。镜片越多，成像效果越好，但成本也越高。
1.2 图像传感器 CIS（CMOS Image Sensor）
图像传感器负责将镜头投射到CIS表面上的光信号转换为电信号，经过AD（模数转换）再转换为数字图像信号。
1.3 图像信号处理器 ISP （Image Signal Processing）
ISP主要处理图像传感器CIS输出的RAW格式数据，包括图像缩放、自动曝光AE、自动白平衡AWB、自动对焦AF、图像去噪等功能，最终转换成RGB、YUV等格式数据。
ISP存在两种形式：内置在CMOS内部或独立的芯片。
1.4 串行器 Ser（Serializer 串行器/Deserializer 解串器）
串行器将并行信号转换为串行信号。经过CMOS或ISP处理后的信号通常基于MIPI/CSI标准，传输距离较短，因此需要转换成适合长距离传输的串行信号。目前常用的串行器标准有美信的GMSL2和TI的FPD-Link。
2 光学参数
2.1 有效焦距 EFL（Effective Focal Length）
有效焦距EFL是指镜头中心到焦点的距离。
注意事项：
- 焦距过短会导致视场角过大，难以控制畸变和主光线出射角，相对照度过低。
- 焦距过长则镜头过长，不利于系统小型化，且视场角过小。
焦距分类：
- 像方焦距：像方主面到像方焦点的距离。
- 物方焦距：物方主面到物方焦点的距离。
- 光学后焦距 BFL：镜片最后一面到像面的距离。
- 光学前焦距 FFL：镜片第一面到物面的距离。
2.2 镜头总长 TTL（Total Track Length）
镜头总长分为光学总长和机构总长。
光学总长：由镜头中镜片的第一面到像面的距离。
机构后焦（又称法兰焦距）FBL/FFL：由镜组的最后一个机构面到像面的距离。
2.3 视场角 FOV（Field Of View）
视场角指镜头能拍摄到的最大视场范围。
分类：
- 对角线视场角 DFOV（最大）
- 水平视场角 HFOV（第二大）
- 垂直视场角 VFOV（最小）
通常所讲的视场角一般是指HFOV，除非客户另有规定。
2.4 光圈（也称焦数，相对孔径）F/NO.（F-Number）
定义：有效焦距 EFL与入射瞳孔径 EPD的比值。
F/#=EFL/EPD (EPD:入射瞳孔径)
作用：用来决定镜头之明暗，描述光学镜头收光能力的强弱。
注释：该数值越小，表示收光能力越强，反之，越弱。
在保证同样通光孔径的前提下，焦距越短相对孔径应越小。
2.5 畸变 Distortion
定义：指像面的变形程度。畸变是轴外相差，而且是轴外细光束的像差。畸变是轴外点与主光线在像面上交点的高度同理想（近轴）像面的高度差。
畸变是视场的函数，与孔径没有关系，初级畸变随视场（像高）的三次方变化，而百分比畸变随像高平方增加，所以视场不同畸变也不同。畸变的变化不是线性的，仅是像的变形，不影响像的清晰度。
畸变的分类：
- TV畸变（TV-Distortion）
- 光学畸变（Optical-Distortion）
两种畸变计算方法的结果相差两倍，务必确认计算方法一致。
注意事项：
- 畸变是用户很容易感觉到的成像质量。
- 畸变是用户要求很严的镜头指标，Optical-Distortion<3% 人眼不容易察觉，Optical-Distortion<2% 摄影物镜的畸变要求。
2.6 相对照度 RI（Relative illumination）
定义：物体或被照面上被光源照射所呈现的光亮程度称为照度。相对照度则是中心照度与外围照度的比值。
注意事项：
- 相对照度过低表现为图像中心较亮，而四周较暗，即渐晕现象，俗称暗角（Shading）。
- 相对照度过低还会导致色彩失真。
- 相对照度是表现整体画面的亮度均匀性的指标。
2.7 暗角 Dark-corner
定义：对着亮度均匀的景物，成像画面的四周出现变暗的现象。
2.8 主光线角度 CRA（ChiefRay Angle）
定义：主光线角度为主光线与平行光线的角度。主光线就是光线由物体的边缘出射，通过孔径光阑的中心最后到达像的边缘。
注意事项：主光线出射角度不合适会暗角严重，对比度下降，偏色。
2.9 光学调制传递函数 MTF（Modulation TransferFunction）
定义：描述镜头的分辨能力。数值上为像的对比度与物的对比度的比值。
（光的最亮度减去光的最暗度）与（光的最亮度加上光的最暗度）的比值,得出来的结果M就是光的对比度。
Modulation(M)=(Imax-Imin)/(Imax+Imin)
I：Intensity 光强度
Imax： 最亮之光强度
Imin：最暗之光强度
2.10 解像力（分辨率）
定义：每1mm可解析的线对（line-pair）。单位为本（lp/mm）
2.11 TV-Line 扫描线
定义：在画面水平影像中可解析多少条线，可由解像力来换算：
TV-Line=lp/mm x 2 x Sensor宽。
2.12 杂散光/鬼影 Flare/Ghost
定义：指在一个光学系统里由于光在像面上随意的散射形成的相反的缩影或雾状像，也就是光学系统中的非成像光束。
镜头表面的散射光、元件中的气泡、镜框及镜筒内壁的散射和反射光以及其它非成像光束入射到像面上的光都成为杂光。
它的直接影响是形成噪音，使图像的信噪比降低，甚至使信号光淹没在噪声中。
杂光的消除：在结构中增加遮光罩、辅助光阑、镜片边缘染黑、镜座发黑或贴消光布，以及镀制减反膜等。
2.13 景深
定义：指镜头对一定距离的物体进行拍摄时，能够清晰成像的所拍摄物体的前后距离范围。
物体成像时，其在焦点平面上形成一个像点，并在前后弥散圆直径范围内均可清晰成像。处于景深范围内的物体由于其成像位置也处于弥散圆直径以内，所以也能清晰成像。
2.14 标准清晰度 SD（Standard Definition）
定义：物理分辨率小于720p的视频规格
2.15 高清晰度 HD（High Definition）
定义：物理分辨率等于或大于720的视频规格
2.16 帧率 Frame Rate
定义：是指单位时间产生完整图像的画面数，即单位时对视频信号空间行的全部扫描数，单位为帧/秒。
2.17 有效像素 Effective pixel
定义：电子影像传感器中上能进行有效光电转换并输出影像信号的像素。
2.18 信噪比 SNR（Signal Noise Ratio）
定义：视频信号的大小与噪声信号（无用信号）大小的比例，以dB为单位。
2.19 灰阶 Gray Scale
定义：灰阶，是将最亮与最暗之间的亮度变化，区分为若干份。色深与灰阶关系为：灰阶=2^色深位数。从下图可以看出，灰阶级数越多，色彩过渡越平滑。换言之，屏幕色深位数越高，显示画面的色彩变化越平滑。当屏幕色深过低，灰阶不足，在某些场景下便会出现颜色断层。
通常用拍摄灰阶测试图卡来测试。
2.20 动态范围 Dynamic Range
定义：摄像设备能够记录的从最黑到最白之间的最大影调范围。
动态范围越大说明拍摄的影像层次越分明。所有超出动态范围之外的曝光值都只能记录为黑或白。它实际上描述了摄像设备记录影像灰阶等级的能力，可用灰阶测试图卡的灰阶级数表达。
2.21 光轴中心精度 OC（Optical Axis Center Precision）
定义：摄像设备的实际成像中心与光学成像理论中心的偏差
2.22 自动增益控制 Automatic Gain Control
定义：放大电路的增益自动地随信号强度而调整的自动控制方法
2.23 白平衡 White Balance
定义：照相摄像设备对于不同光源照明条件下的拍摄物体所得到的影像还原，应具有与人眼在相同照明条件下观察被拍摄物体相符合的色彩再现。
3 pitch、yaw、roll角
pitch、yaw、roll角是描述物体姿态的三个基本角度，分别对应俯仰角、偏航角和翻滚角。这些角度在机器人学和自动驾驶领域中非常重要，用于描述摄像头或其他传感器的安装和校准。
4 术语
- DMS（Driver Monitoring System）：驾驶员监控系统
- OMS（Occupancy Monitoring System）：乘客监控系统
- HUD（Head-Up Display）：抬头显示
- CDC（Cockpit Domain Controller）：座舱域控制器
- FVC（Front View Camera）：前视摄像头
- SVC（Side View Camera）：周视摄像头
- RVC（Rear View Camera）：后视摄像头
- AVM（Around View Monitor）：全景环视系统
- CMS（Camera monitor system）：电子外后视镜
- DVR（Driving Video Record）：行车记录仪
- TOF（Time of Flight）：深度感知模组
- ADAS（Advanced Driving Assistance System）：高级驾驶辅助系统
5 防护等级
防护等级通常用IP代码表示，IP代码由两个数字组成，第一个数字表示防尘等级，第二个数字表示防水等级。例如，IP67表示完全防止灰尘进入，可以在水下1米深持续30分钟而不受损。
6 功能安全
功能安全主要关注系统在出现故障时仍能保持安全运行的能力。在汽车领域，ASIL（Automotive Safety Integrity Level）是衡量功能安全的重要标准，分为ASIL A、B、C、D四个等级，D级要求最高。
7 RGB-IR技术
RGB-IR技术是一种同时捕捉可见光和红外光的成像技术。这种技术在夜间或低光环境下特别有用，因为它可以利用红外光进行成像，同时保留彩色信息。RGB-IR摄像头通常包含一个RGB传感器和一个IR传感器，可以同时捕捉彩色图像和红外图像，然后通过算法融合生成高质量的夜视图像。