FFmpeg：开源的跨平台音视频处理框架简介

FFmpeg：开源的跨平台音视频处理框架简介

引用

CSDN

1.

https://blog.csdn.net/lyfwwb/article/details/136602639

FFmpeg是一个开源的跨平台音视频处理框架，可以处理多种音视频格式。它由Fabrice Bellard于2000年创建，最初是一个只包括解码器的项目。后来，很多开发者参与其中，为FFmpeg增加了多种新的功能，例如编码器、过滤器、muxer、demuxer等等，使它成为了一个完整的音视频处理框架。FFmpeg可以在各种操作系统上运行，包括Windows、MacOS、Linux等。

核心库主要目录分类

• libavcodec

  1. libavcodec是FFmpeg中的一个核心库，它是一个开源的视频编解码库，可以进行多种音视频格式的编解码，包括H.264、VP8、VP9、HEVC、AC-3、MP3等。libavcodec是FFmpeg项目中最重要的库之一，它可以在多种平台上运行，包括Windows、macOS、Linux等。
  2. libavcodec的编码器和解码器大多采用基于C语言的函数实现，这些函数可以对输入的音视频数据进行处理和转换，例如数据格式转换、解压、压缩、截取、旋转、变速等等操作，从而生成或输出不同编码的音视频数据。
  3. libavcodec具有丰富的功能和性能，例如支持多种编码器和解码器、可扩展性强、良好的兼容性、高效的性能和低的延迟，是视频处理、媒体播放和媒体转换等领域中非常流行的解决方案之一。
  4. 除了实现基本的音视频格式转换功能，libavcodec还支持各种高级功能，例如多帧并行编码（Multi-frame parallel encoding）、自适应码率（Adaptive bitrate）、动态码率算法、时域音频处理、声场（Surround sound）解码和编码等等。

• libavformat

  1. 实现流协议、容器格式和基本 I/O 访问。可以对多种音视频封装格式进行解封装、转码、流式传输等操作，包括AVI、MP4、FLV、MKV、MPEG、ASF等等。libavformat提供了多种API和工具，使得音视频封装格式的处理更加容易和灵活。
  2. 可以读取多种音视频封装格式的文件并进行解封装，将多路音视频解析成单独的音频和视频数据。通过解封装操作可以获取音视频数据的基本信息，如视频分辨率、帧率、编解码器、音频采样率、声道数等等。
  3. 使用libavformat可以轻松地将不同格式的音视频文件转换成其他格式，例如将AVI格式的文件转换为MP4格式、将FLV格式的文件转换为HLS流等。
  4. 使用libavformat可以实现直播等实时音视频传输的应用，通过将音视频数据打包封装成实时传输协议（如RTMP、UDP、HTTP等）格式的数据包进行传输。

• libavutil
  包括哈希器、解压缩器和其他实用函数。

  1. 内存管理：libavutil提供了内存的动态分配、释放、重分配等基本操作，还支持缓存池技术优化数据读取和处理效率。
  2. 基本类型转换：libavutil支持多种基本类型（如整型、64位浮点型、时间戳等）之间的互相转换，并支持不同端序（如Little Endian、Big Endian等）之间的转换。
  3. 数学计算：libavutil支持多种高质量的数学运算，包括矩阵运算、向量运算、数值运算、随机数和伪随机数生成等。
  4. 字符串处理：libavutil提供了多种针对字符串的处理函数和类，包括字符串拷贝、字符串格式化、字符串比较、字符查找、正则表达式检测等等。

• libavfilter
  提供通过连接的滤波器的有向图更改解码的音频和视频的方法主要功能包括：

  1. 颜色空间转换：libavfilter支持多种颜色空间的转换，包括YUV、RGB、HSV等等。
  2. 图像和视频缩放：libavfilter提供了多种图像和视频缩放滤波器，可以对图像进行缩放、裁剪等处理。
  3. 时间缩放：libavfilter能够对时间进行拉伸或压缩，适合于各种速度调整和时间跳跃应用。
  4. 音频处理：libavfilter支持多种音频滤波器，如音频均衡器、低通滤波器、高通滤波器、混响、变声等等。
  5. 信息增强和降噪：libavfilter能够增强视频的清晰度、对比度、饱和度等信息，并且可以去除图像和视频中的噪点和伪影。
  6. 滤波器集成：libavfilter能够将多种滤波器组合，形成一个完整的多级滤波器图形，实现更复杂的音视频信号处理。

• libavdevice
  提供用于访问捕获和播放设备的抽象功能主要包括：

  1. 各种音视频设备的访问和管理：libavdevice可以对各种音视频输入和输出设备进行识别和管理，并提供相应的访问接口。它可以通过调用系统API或自己封装的一些设备驱动来访问系统中的音视频设备。
  2. 音视频捕获和回放：libavdevice可以实时捕获音视频输入设备的信号，并在回放时使用相关设备进行回放。通过 libavdevice 可以非常方便地实现实时音视频传输和处理，例如建立视频会议或者实现类似于远程桌面的功能。
  3. 音视频录制和转换：在访问了音视频设备的接口后，libavdevice可以对音视频信号进行录制和转换，实现音视频转换、格式转换等功能。同时，它还支持直接使用GPU进行视频编解码，提高了运算效率和转换质量。

• libswresample
  实现音频混音和重采样例程主要功能包括：

  1. 支持多种音频采样率和数据格式：libswresample支持多种音频采样率和数据格式，可以高效转换PCM、脉冲编码调制（PCM）、非线性量化调制（ADPCM）、微软自适应差分编码（MS-ADPCM）、两线性差分编码（IMA-ADPCM）、无损编码等多种音频数据格式。
  2. 支持多通道音频：libswresample支持通道数从1个到最多16个的多通道音频压缩格式，并支持单通道到多通道或多通道到单通道的转换操作。
  3. 高效的重采样算法：libswresample基于广泛的视听数据，实现了多种不同的重采样算法，包括插值、突跳、插帧、转移和滤波等，可以高精度、高效地完成重采样操作。

• libswscale
  实现颜色转换和缩放例程主要功能包括：

• 1. 视频缩放和裁剪：libswscale可以对输入的视频流进行大小调整、裁剪等操作，以达到所需分辨率的效果。
• 2. 颜色空间转换：libswscale支持多种色彩空间之间的转换，例如RGB、YUV、HSV等主流色彩空间间的转换，从而可以实现不同格式之间的互相转换。
• 3. 色彩平衡调整：libswscale可以调整视频的亮度、对比度、饱和度等相关参数，从而改变视频的视觉效果，达到更好的观感体验。
• 4. 高质量的视频转换：libswscale通过采用多种转换算法和效果优化，提升了视频转换的效果和质量，可以实现高质量、高效率的视频转换。

相关工具

• ffmpeg：是一个命令行工具箱，用于操作、转换和流式传输多媒体内容。
• FFPLAY：是一款简约的多媒体播放器。
• FFProbe：是一种简单的检测分析工具，用于分析多媒体内容。
• 其他小工具，如aviocat、ismindex、qt-faststart等。

FFmpeg项目的代码托管在GitHub上，地址为 https://github.com/FFmpeg/FFmpeg。在该页面中，您可以找到FFmpeg的最新版本、历史版本和分支，以及源代码的详细文档和示例。该页面还包含了贡献者名单和相关社区信息，可以帮助用户加入开发社区并参与贡献。

除了GitHub，FFmpeg的官网也提供了下载和源代码的文档和示例。官网地址为：https://ffmpeg.org/。在官网中，您可以找到FFmpeg最新版本的下载文件和相关文档、示例和库文件。