FFmpeg 音视频倍速控制

网上关于FFmpeg音视频倍速控制的资料不多,大部分都是讲通过FFmpeg命令去做音视频文件的倍速处理,通过FFmpeg api去 处理倍速的资料少之又少。本文除了会讲到通过命令行处理倍速,还会讲到通过FFmpeg api的方式去处理音频倍速和视频倍速,进而合并成支持倍速的音视频发布成rtmp或者存成flv文件。

介绍FFmpeg的filter工具

音视频的倍速处理少不了filter这个工具,filter可以翻译成过滤器和滤波器,按照处理数据的类型还可分为音频filter、视频filter、字幕filter,FFmpeg可以通过filter将音视频实现出非常多不同的filter效果,视频可以实现缩放、合并、裁剪、旋转、水印添加、倍速等效果,音频可以实现回声、延迟、去噪、混音、音量调节、变速等效果。我们可以通过filter不同方式的组合去定制出我们想要的音视频特效。

介绍FFmpeg命令行倍速

1、视频的倍速主要是通过控制filter中的setpts来实现,setpts是视频滤波器通过改变每一个pts时间戳来实现倍速的效果,如下只要把PTS缩小一半就可以实现2倍速,相反的是PTS增加一倍就达到2倍慢放的效果。

ffmpeg -i in.mp4 -filter:v "setpts=0.5*PTS" out.mp4
ffmpeg -i in.mp4 -filter:v "setpts=2.0*PTS" out.mp4

2、音频的倍速则是通过控制filter的atempo来实现,atempo的配置区间在0.5和2.0之间,如果需要更高倍速,则需要多个atempo串一起,下面是2、4倍速的实现命令。

ffmpeg -i in.mp4 -filter:"atempo=2.0" -vn out.mp4
ffmpeg -i in.mp4 -filter:"atempo=2.0,atempo=2.0" -vn out.mp4

3、同时对音视频进行2倍速。

ffmpeg -i in.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" out.mp4

视频倍速

视频倍速可以通过filter的setpts来更改视频的倍速,但是filter只对未编码的原始视频数据进行倍速处理,我这边对于视频的处理是将H264进行格式封装,如果使用filter的话,我还需要先对H264解码,再做倍速转换,再重新编码成H264,这样将会消耗相当多的资源,我这边对视频倍速就没必要用filter进行处理。其实视频倍速只需要改变封装格式时设置的时间戳就可以,所以我这边只要改变video_tempo这个参数的值即可,1000是正常倍速、2000是2倍速,依次叠加。

if (tempo != video_tempo && (tempo >= 1000 && tempo <= 16000)) {
    video_tempo = tempo;
    Logger::Info("video_tempo = %d", video_tempo);
}
AVRational time_base = { 1, video_tempo};
pkt.pts = av_rescale_q((ptsInc++) * 2, time_base, ost->st->time_base);
pkt.dts = av_rescale_q_rnd(pkt.dts, ost->st->time_base, ost->st->time_base, (AVRounding)(AV_ROUND_NEAR_INF | AV_ROUND_PASS_MINMAX));
pkt.duration = av_rescale_q(pkt.duration, ost->st->time_base, ost->st->time_base);

音频倍速

音频倍速就需要用到filter进行处理了,我这边对音频的处理是,先解码音频,然后用filter进行倍速处理,对处理后的音频数据进行重采样再编码成AAC的音频格式。如果只是对音频做处理,不做音视频封装,可以直接把filter处理后的数据存成PCM,即可验证音频的倍速。
1、初始化filter的abuffer,aformat,abuffersink滤波器,abuffer用于接收输入frame,形成待处理的数据缓存,abuffersink用于传出输出Frame,aformat过滤器约束最终的输出格式(采样率,声道数,存储位数等),而中间的其他过滤器可以串联多个filter,如volume(音量调节),atempo(变速)等。

int init_atempo_filter(AVFilterGraph **pGraph, AVFilterContext **src, AVFilterContext **out, char *value)
{
	//初始化AVFilterGraph
	AVFilterGraph *graph = avfilter_graph_alloc();
	//获取abuffer用于接收输入端
	const AVFilter *abuffer = avfilter_get_by_name("abuffer");
	AVFilterContext *abuffer_ctx = avfilter_graph_alloc_filter(graph, abuffer, "src");
	//设置参数,这里需要匹配原始音频采样率8000、数据格式(位数:16)、单声道
	if (avfilter_init_str(abuffer_ctx, "sample_rate=8000:sample_fmt=s16:channel_layout=mono") < 0) {
		Logger::Error("error init abuffer filter");
		return -1;
	}
	//初始化atempo filter
	const AVFilter *atempo = avfilter_get_by_name("atempo");
	AVFilterContext *atempo_ctx = avfilter_graph_alloc_filter(graph, atempo, "atempo");
	//这里采用av_dict_set设置参数
	AVDictionary *args = NULL;
	av_dict_set(&args, "tempo", value, 0);//这里传入外部参数,可以动态修改
	if (avfilter_init_dict(atempo_ctx, &args) < 0) {
		Logger::Error("error init atempo filter");
		return -1;
	}

	const AVFilter *aformat = avfilter_get_by_name("aformat");
	AVFilterContext *aformat_ctx = avfilter_graph_alloc_filter(graph, aformat, "aformat");
	if (avfilter_init_str(aformat_ctx, "sample_rates=8000:sample_fmts=s16:channel_layouts=mono") < 0) {
		Logger::Error("error init aformat filter");
		return -1;
	}
	//初始化sink用于输出
	const AVFilter *sink = avfilter_get_by_name("abuffersink");
	AVFilterContext *sink_ctx = avfilter_graph_alloc_filter(graph, sink, "sink");
	if (avfilter_init_str(sink_ctx, NULL) < 0) {//无需参数
		Logger::Error("error init sink filter");
		return -1;
	}
	//链接各个filter上下文
	if (avfilter_link(abuffer_ctx, 0, atempo_ctx, 0) != 0) {
		Logger::Error("error link to atempo filter");
		return -1;
	}
	if (avfilter_link(atempo_ctx, 0, aformat_ctx, 0) != 0) {
		Logger::Error("error link to aformat filter");
		return -1;
	}
	if (avfilter_link(aformat_ctx, 0, sink_ctx, 0) != 0) {
		Logger::Error("error link to sink filter");
		return -1;
	}
	if (avfilter_graph_config(graph, NULL) < 0) {
		Logger::Error("error config filter graph");
		return -1;
	}
	*pGraph = graph;
	*src = abuffer_ctx;
	*out = sink_ctx;
	Logger::Info("init filter success...");
	return 0;
}

2、注册所有过滤器

avfilter_register_all();
if (init_atempo_filter(&s_graph, &in_ctx, &out_ctx, "1.0") != 0) {
    Logger::Error("Codec not init audio filter");
    return -1;
}

3、使用过滤器
将解码后的AVFrame通过av_buffersrc_add_frame(in_ctx, pFrameAudio)加入到输入过滤器上下文in_ctx中,通过av_buffersink_get_frame(out_ctx, pFrameAudio)获取处理完成的pFrameAudio。pFrameAudio就可以直接存成PCM或者再编码封装音视频格式。

//将pFrameAudio放入输入filter上下文
if (av_buffersrc_add_frame(in_ctx, pFrameAudio) < 0) {
    Logger::Error("error add frame");
}
//从输出filter上下文中获取pFrameAudio
while (av_buffersink_get_frame(out_ctx, pFrameAudio) >= 0) {
    break;
}

音视频倍速的封装发布rtmp或者flv

音视频倍速的格式封装可以参考我的另一篇博文《FFmpeg 内存H264+PCM发布RTMP》,只需要再此基础上,加入音频的filter倍速处理,还有上面说的视频的时间戳的修改即可。再开始进行rtmp推流之前先设置好倍速的相关参数,因为此方法不支持转码过程中进行动态更改倍速。
动态修改倍速说明

本文由于封装音视频倍速的时候,视频倍速处理是没有通过filter去做的,只是改变视频帧封装的时间戳达到倍速效果,如果最开始是以正常速度的倍速推流,过程中再去修改倍速参数,就会导致要写进的视频时间戳大于之前的时间戳,进而出错。所以本文讲的ffmpeg的API控制音视频倍速是没办法通过动态调整倍速的。必须一开始就设置好倍速,后续就不能再改动。如果单独对音频进行动态修改倍速,则是没问题的。
————————————————
作者:RzzZ
原文链接:https://blog.csdn.net/qq_22633333/article/details/104967304

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论