FFmpeg音视频解复用+解码

音视频的解复用（Demultiplexing）是一个将单个输入媒体文件分离成不同音频、视频和其他数据流（如果有的话）的过程。这些单独的流之后可以被独立地读取、解码或处理。

FFmpeg解复用的基本流程

1. 初始化:
   • 引入所有编解码器和格式器。
   • 注册需要用到的设备。
   • 初始化网络，如果需要处理网络流。
2. 打开输入文件:
   • 使用avformat_open_input函数来打开输入媒体文件。
   • 如果需要的话，分析输入流的信息，可能会用到avformat_find_stream_info函数。
3. 查找流信息:
   • 通过分析得到的信息来确定有哪些音/视频流。
   • 找到后，可以根据需求来选择特定的流进行处理。
4. 打开解码器:
   • 为每一个想要处理的流找到对应的解码器。
   • 使用avcodec_find_decoder来查找解码器。
   • 使用avcodec_open2来打开解码器。
5. 读取数据包:
   • 通过av_read_frame来读取数据包。
   • 该函数会帮你得到一个数据包，包含了解复用后的数据（可以是音频、视频或其他类型的数据）。
6. 解码数据包:
   • 使用合适的解码器，调用avcodec_send_packet和avcodec_receive_frame来解码数据包。
   • 这样可以得到原始的音频样本或视频帧。
7. 处理音视频数据:
   • 一旦数据被解码，就可以进行各种处理，比如编码到另一种格式、保存到文件、传输等。
8. 清理:
   • 关闭解码器和输入文件。
   • 释放所有分配的资源。

音频解码流程

音频解码是指将压缩的音频数据转换为可以再生的PCM（脉冲编码调制）数据的过程。使用FFmpeg来进行音频解码的基本步骤如下：

1. 初始化FFmpeg解码器:
   • 包含FFmpeg头文件。
   • 调用av_register_all()初始化编解码器（这是在FFmpeg 4.0之前需要的，在新版本中可能不再需要）。
   • 调用avcodec_register_all()注册所有编解码器（同样，这一步在新版本中可能不再需要）。
2. 打开输入的音频流:
   • 使用avformat_open_input()函数来读取和打开音频文件。
   • 使用avformat_find_stream_info()函数获取流信息。
3. 查找音频流:
   • 检索音频流的索引。
   • 找到第一个音频流并记下它的index。
4. 打开对应的解码器:
   • 查找音频流对应的解解码器avcodec_find_decoder()。
   • 使用avcodec_open2()函数来打开解码器。
5. 读取音频包解码:
   • 遍历音频数据，读取音频包（AVPacket）。
   • 使用av_read_frame()来读取。
   • 检查包是否属于所需的音频流。
6. 将音频包送入解码器:
   • 使用avcodec_send_packet()将包送入解码器准备解码。
7. 从解码器读取解码后的音频帧:
   • 使用avcodec_receive_frame()获取解码后的帧（AVFrame）。
   • 继续从解码器获取所有解码后的帧直到返回EAGAIN或错误。
8. 转换音频格式 (可选):
   • 如果需要，将音频数据转换成不同的格式或采样率，可以使用’libswresample’或者’libavresample’。
9. 后处理 (根据需要):
   • 对解码的音频进行必要的后处理，比如音量调整、混音等。
10. 清理和资源释放:
    • 关闭解码器。
    • 关闭音频文件。
    • 释放所有使用过的AVFrame和AVPacket。
    • 释放编解码上下文等。

视频解码流程

FFmpeg进行视频解码的流程与音频解码流程类似，目的是将压缩的视频数据流转换成解码后的原始视频帧（通常是YUV或RGB格式）。以下是使用FFmpeg进行视频解码的基本步骤：

1. 初始化FFmpeg:
   • 调用av_register_all()来注册组件，这在新版本的FFmpeg中可能不再需要。
   • 初始化网络库avformat_network_init()（如果需要处理网络视频流）。
2. 打开输入文件（或流）:
   • 使用avformat_open_input()去打开输入的视频文件或流，并创建一个AVFormatContext。
   • 使用avformat_find_stream_info()分析获取流信息，方便后面选择流。
3. 查找视频流:
   • 遍历AVFormatContext中的streams数组，找到视频流的索引。
   • 可以通过检查流的codecpar->codec_type来确认是不是视频流。
4. 找到并打开视频解码器:
   • 使用avcodec_find_decoder()来找到对应的解码器。
   • 然后创建一个AVCodecContext并使用avcodec_open2()与找到的解码器关联。
5. 读取视频数据包:
   • 通过av_read_frame()从媒体文件中读取视频数据（AVPacket）。
   • 考虑只处理我们之前记下的视频流索引对应的包。
6. 发送数据包到解码器:
   • 用avcodec_send_packet()函数发送数据包到解码器。
7. 从解码器中获取解码的视频帧:
   • 使用avcodec_receive_frame()从解码器中获取解码后的视频帧（AVFrame）。
   • 需要循环重复此过程以获取所有解码后的帧。
8. 视频帧处理 (如有需要):
   • 将解码的视频帧转换成需要的格式或进行处理，可以使用libswscale来进行格式转换或调整尺寸。
9. 帧率控制 (如有需要):
   • 根据视频的PTS（Presentation Time Stamp）来处理帧率，确保视频按正确的速率播放。
10. 清理工作:
    • 释放已分配的AVCodecContext和AVFormatContext。
    • 释放使用过的AVFrame和AVPacket。
    • 关闭视频流和网络库（如果初始化了）。