基于RK3588的视频转码技术探索

基于RK3588的视频转码技术探索

引用

CSDN

1.

https://blog.csdn.net/jiuaiwo1314/article/details/136502686

传统的视频转码服务基本都是基于X86架构下的CPU、GPU进行转码，这种方式对硬件性能要求高，功耗大，成本也相对较高。从技术角度来说，现有的视频转码技术主要包括以下几种：

视频编码格式转换

1. H.264 => H.265：在保持视频分辨率和清晰度不变的情况下，通过更改视频压缩方式，可以有效降低码率和视频帧率，更适合网络传输。
2. H.265 => H.264：在保持视频分辨率和清晰度不变的情况下，对一些播放条件要求的进行转换，例如WebRTC下无法播放H.265视频流，这时就需要进行视频转码。
3. H.264 => H.264：在保持视频分辨率不变的情况下，一般用来降低码流和帧率的方式进行视频压缩，使之更适合更低速率的网络进行视频传输。
4. H.265 => H.265：在保持视频分辨率不变的情况下，一般用来降低码流和帧率的方式进行视频压缩，使之更适合更低速率的网络进行视频传输。

使用的技术

从市场上现有的产品来看，几乎都在使用FFmpeg来进行视频的编解码和转码。FFmpeg的技术迭代更新比较迅速，技术研发者都比较熟悉其API调用，可以通过少量命令参数、PIPELINE等方式即可进行硬件性能的调用（如CUDA、QSV、Vaapi、vdupa等）。

技术革新

通过技术预研和硬件分析发现，基于瑞芯微RK3588的方案，目前比较适合用来做视频编解码。RK3588的VPU支持最多16路1080P@25fps的编码和解码（同编同解）。编解码侧有rkmpp的SDK，图片缩放有RGA。

同样也可以使用FFmpeg的API接口来进行调用。GitHub上有一位开发者集成了mpp和rga，并将其与FFmpeg进行了整合，使得X86上的程序可以无缝迁移到ARM架构上运行。

解码器/硬件加速

V..... av1_rkmpp            Rockchip MPP (Media Process Platform) AV1 decoder (codec av1)
V..... h263_rkmpp           Rockchip MPP (Media Process Platform) H263 decoder (codec h263)
V..... h264_rkmpp           Rockchip MPP (Media Process Platform) H264 decoder (codec h264)
V..... hevc_rkmpp           Rockchip MPP (Media Process Platform) HEVC decoder (codec hevc)
V..... mpeg1_rkmpp          Rockchip MPP (Media Process Platform) MPEG1VIDEO decoder (codec mpeg1video)
V..... mpeg2_rkmpp          Rockchip MPP (Media Process Platform) MPEG2VIDEO decoder (codec mpeg2video)
V..... mpeg4_rkmpp          Rockchip MPP (Media Process Platform) MPEG4 decoder (codec mpeg4)
V..... vp8_rkmpp            Rockchip MPP (Media Process Platform) VP8 decoder (codec vp8)
V..... vp9_rkmpp            Rockchip MPP (Media Process Platform) VP9 decoder (codec vp9)  

编码器

V..... h264_rkmpp           Rockchip MPP (Media Process Platform) H264 encoder (codec h264)
V..... hevc_rkmpp           Rockchip MPP (Media Process Platform) HEVC encoder (codec hevc)  

过滤器

overlay_rkrga     VV->V      Rockchip RGA (2D Raster Graphic Acceleration) video compositor
scale_rkrga       V->V       Rockchip RGA (2D Raster Graphic Acceleration) video resizer and format converter
vpp_rkrga         V->V       Rockchip RGA (2D Raster Graphic Acceleration) video post-process (scale/crop/transpose)