海思Hi3516DV500高清智慧视觉SoC用户指南
海思Hi3516DV500高清智慧视觉SoC用户指南
海思Hi3516DV500是一款面向视觉行业推出的高清智能SoC芯片，最高支持2路sensor输入，支持最高5M@30fps的ISP图像处理能力，集成双核A55处理器和高效的神经网络推理引擎，提供稳定、易用的SDK软件开发包，支撑客户产品快速量产。
1. 概述
Hi3516DV500是一款面向视觉行业推出的高清智能SoC。该芯片最高支持2路sensor输入，支持最高5M@30fps的ISP图像处理能力，支持2F WDR、多级降噪、六轴防抖、多光谱融合等多种传统图像增强和处理算法，支持通过AI算法对输入图像进行实时降躁等处理，为用户提供了卓越的图像处理能力。支持热红外、结构光和ToF sensor的接入和处理。
Hi3516DV500内置双核A55，提供高效、丰富和灵活的CPU资源，以满足客户计算和控制需求。
Hi3516DV500集成了高效的神经网络推理引擎，最高2Tops NN算力，支持业界主流的神经网络框架。
Hi3516DV500提供稳定、易用的SDK软件开发包，支撑客户产品快速量产。
2. 应用场景
Hi3516DV500高清智慧视觉SoC方案如图1-1所示。
3. 架构
3.1 逻辑框图
Hi3516DV500芯片逻辑框图如图1-2所示。
3.2 处理器内核
- 双核ARM Cortex A55@850MHz
- 32KB I-Cache，32KB D-Cache，256KB L3 cache
- 支持NEON加速，集成FPU处理单元
- 支持TrustZone
3.3 系统级加速模块
- 集成硬化的标准CRC32/CRC16/CRC8多项式运算单元
- 集成硬化的高速直接数据搬移模块(DMA)
3.4 智能视频分析
支持完整的API和工具链，易于客户开发
- 升级IVE算子，支持特征点检测、周界、光流及多种计算机形态学算子
- 升级DPU算法实现双目深度图加速单元，最大分辨率2048 x 2048，最大视差224，处理性能720p@30fps
3.5 视频编解码
支持H.264 BP/MP/HP Level 5.1
支持H.265 Main Profile Level 5.1
H.264/H.265编解码最大分辨率为6144x 6144
支持I/P帧
H.264/H.265多码流编解码典型性能如下：
2592x1944@30fps(编码)+1920x1080@30fps(编码)+720x480@30fps(编码)
2592x1944@30fps(编码)+720x480@30fps(编码)+1920x1080@30fps(解码)
2592x1944@30fps(解码)
支持8个区域的编码前OSD叠加
支持CBR/VBR/AVBR/FIXQP/QPMAP等多种码率控制模式
输出码率最大值80Mbps
支持8个感兴趣区域（ROI）编码
支持视频前端叠加mosaic编码
支持数字水印
支持PVC感知编码降低码流
支持JPEG Baseline编解码
JPEG编解码最大分辨率16384 x 16384
JPEG最大性能
编码：2592x1944@60fps(YUV420)
解码：2592x1944@30fps(YUV420)
3.6 数字图像处理（ISP）
- 支持多路sensor同时处理
- 支持3A（AE/AWB/AF）功能，3A参数用户可调节
- 支持去固定模式噪声（FPN）
- 支持坏点校正和镜头阴影校正
- 支持两帧WDR及Advanced Local Tone Mapping，支持强光抑制和背光补偿
- 支持多级3D去噪
- 支持图像边缘增强
- 支持去雾
- 支持动态对比度增强
- 支持3D-LUT色彩调节
- 支持新一代镜头畸变校正
- 支持鱼眼等任意形状几何矫正
- 支持6-DoF数字防抖
- 支持陀螺仪防抖和Rolling-Shutter校正
- 支持图像Mirror、Flip、90度/270度旋转
- 支持使用神经网络对图像进行实时DRC、BNR、3DNR或DM处理
- 支持黑白与彩色两路图像双光融合
- 提供PC端ISP调节工具
3.7 视频与图形处理
- 支持图形和图像1/15.5～16x缩放功能
- 支持水平方向全景拼接
输入2路1920x1080@30fps，输出3840x1080@30fps
3.8 视频输入接口
- 支持4-Lane image sensor串行输入，支持MIPI/LVDS/Sub-LVDS/HiSPi等多种接口
- 支持4-Lane或2x2-Lane等多种组合，最高支持2路sensor输入
- 支持8/10/12/14 Bit RGB Bayer DC时序视频输入，时钟频率最高148.5MHz
- 支持BT.601、BT.656、BT.1120视频输入接口
- 支持通过MIPI虚拟通道输入1~4路YUV
- 支持主流CMOS电平热成像传感器接入
- 支持结构光图像模组
- 支持cw ToF图像传感器