Android音视频开发:MediaCodec API详解

MediaCodec 可以用来获得安卓底层的多媒体编码,可以用来编码和解码,它是安卓 low-level 多媒体基础框架的重要组成部分。那为什么不选择FFmpeg来做视频编解码,由于在处理的过程中速率太慢,且需要在解码后快速展示,所以选择MediaCodec。通常和 MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack 一起使用。

Android音视频开发:MediaCodec API详解

MediaCodec大致来说处理输入数据以生成输出数据。 它异步处理数据,并使用一组输入和输出缓冲区。 生成一个空的输入缓冲区,将其填充数据并将其发送到编解码器进行处理。 编解码器用完了数据并将其转换为空的输出缓冲区之一。 将已填充的输出缓冲区给用户,最后将其释放回编解码器。

一、数据类型

编解码器支持的数据类型: 压缩的音视频据、原始音频数据和原始视频数据。

  • 数据通过ByteBuffers类来表示。
  • 可以设置Surface来获取/呈现原始的视频数据,Surface使用本地的视频buffer,不需要进行ByteBuffers拷贝。可以让编解码器的效率更高。
  • 通常在使用Surface的时候,无法访问原始的视频数据,但是可以使用ImageReader访问解码后的原始视频帧。在使用ByteBuffer的模式下,可以使用Image类和getInput/OutputImage(int)获取原始视频帧。

压缩数据:

  • MediaFormat#KEY_MIME格式类型。
  • 对于视频类型,通常是一个单独的压缩视频帧。
  • 对于音频数据,通常是一个单独的访问单元(一个编码的音频段通常包含由格式类型决定的几毫秒的音频),但是这个要求稍微宽松一些,因为一个buffer可能包含多个编码的音频访问单元。
  • 在这两种情况下,buffer都不会在任意字节边界上开始或结束,而是在帧/访问单元边界上开始或结束,除非它们被BUFFER_FLAG_PARTIAL_FRAME标记。

原始音频buffers

原始音频buffer包含PCM音频数据的整个帧,这是每个通道按通道顺序的一个样本。每个样本都是一个 AudioFormat#ENCODING_PCM_16BIT。

原始视频buffers

在ByteBuffer模式下,视频buffer根据它们的MediaFormat#KEY_COLOR_FORMAT进行布局。可以从getCodecInfo().
MediaCodecInfo.getCapabilitiesForType.CodecCapability.colorFormats获取支持的颜色格式。视频编解码器可以支持三种颜色格式:

  • native raw video format: CodecCapabilities.COLOR_FormatSurface,可以与输入/输出的Surface一起使用。
  • flexible YUV buffers 例如CodecCapabilities.COLOR_FormatYUV420Flexible, 可以使用getInput/OutputImage(int)与输入/输出Surface一起使用,也可以在ByteBuffer模式下使用。
  • other, specific formats: 通常只支持ByteBuffer模式。有些颜色格式是厂商特有的,其他定义在CodecCapabilities。对于等价于flexible格式的颜色格式,可以使用getInput/OutputImage(int)。


Build.VERSION_CODES.LOLLIPOP_MR1.开始,所有视频编解码器都支持flexible的YUV 4:2:0 buffer。

二、MediaCodec API简介

MediaCodec 主要的API做一个介绍:

  • MediaCodec创建:
    • createDecoderByType/createEncoderByType:根据特定MIME类型(如”video/avc”)创建codec。
    • createByCodecName:知道组件的确切名称(如OMX.google.mp3.decoder)的时候,根据组件名创建codec。使用MediaCodecList可以获取组件的名称。
  • configure:配置解码器或者编码器。
  • start:成功配置组件后调用start。
  • buffer处理的接口:
    • dequeueInputBuffer:从输入流队列中取数据进行编码操作。
    • queueInputBuffer:输入流入队列。
    • dequeueOutputBuffer:从输出队列中取出编码操作之后的数据。
    • releaseOutputBuffer:处理完成,释放ByteBuffer数据。
    • getInputBuffers:获取需要编码数据的输入流队列,返回的是一个ByteBuffer数组。
    • getOutputBuffers:获取编解码之后的数据输出流队列,返回的是一个ByteBuffer数组。
  • flush:清空的输入和输出端口。
  • stop:终止decode/encode会话
  • release:释放编解码器实例使用的资源。

三、使用流程

  1. MediaCodec创建
  2. configure传入配置数据
  3. MediaCodec.start()启动转码
  4. dequeueInputBuffer填充数据
  5. getOutputBuffer获取ByteBuffer数据
  6. releaseOutputBuffer释放数据

MediaCodec创建

  1. 可以使用MediaCodecList为特定的媒体格式创建一个MediaCodec。
  • 可以从MediaExtractor#getTrackFormat获得track的格式。
  • 使用MediaFormat#setFeatureEnabled注入想要添加的任何特性。
  • 然后调用MediaCodecList#findDecoderForFormat来获取能够处理该特定媒体格式的编解码器的名称。
  • 最后,使用createByCodecName(字符串)创建编解码器。
  1. 还可以使用createDecoder/EncoderByType(java.lang.String)为特定MIME类型创建首选的编解码器。但是,这不能用于注入特性,并且可能会创建一个不能处理特定媒体格式的编解码器。

configure传入配置数据

在创建好 MediaCodec 之后,需要对其进行设置,这样 MediaCodec 的状态就可以由 uninitialized 变成 configured

public void configure(
            @Nullable MediaFormat format,
            @Nullable Surface surface, @Nullable MediaCrypto crypto,
            @ConfigureFlag int flags) {
        configure(format, surface, crypto, null, flags);
}
public void configure(
            @Nullable MediaFormat format, @Nullable Surface surface,
            @ConfigureFlag int flags, @Nullable MediaDescrambler descrambler) {
        configure(format, surface, null,
                descrambler != null ? descrambler.getBinder() : null, flags);
}

MediaFormat format:输入数据的格式(解码器)或输出数据的所需格式(编码器)。传null等同于传递MediaFormat#MediaFormat作为空的MediaFormat。

Surface surface:指定Surface,用于解码器输出的渲染。如果编解码器不生成原始视频输出(例如,不是视频解码器)和/或想配置解码器输出ByteBuffer,则传null。

MediaCrypto crypto:指定一个crypto对象,用于对媒体数据进行安全解密。对于非安全的编解码器,传null。

int flags:当组件是编码器时,flags指定为常量CONFIGURE_FLAG_ENCODE。

MediaFormat, 如果某些参数没有设置的话,会导致 MediaCodec 抛出 IllegalStateException.

Video 所必须的 Format Setting

Android音视频开发:MediaCodec API详解

Audio 所必须的 Format Setting

Android音视频开发:MediaCodec API详解
 //视频格式
        // 类型(avc高级编码 h264) 编码出的宽、高
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, mWidth, mHeight);
        //参数配置
        // 1500kbs码率
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 1500_000);
        //帧率
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 20);
        //关键帧间隔
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 20);
        //颜色格式(RGBYUV)
        //从surface当中回去
        mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
        //编码器
        mMediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //将参数配置给编码器
        mMediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

MediaCodec.start

mMediaCodec.start();

dequeueInputBuffer

//结合MediaMuxer去使用
//在初始化的时候调用
//封装器 复用器
// 一个 mp4 的封装器 将h.264 通过它写出到文件就可以了
mMediaMuxer = new MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);

//输出缓冲区
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
//等待10 ms
int status = mMediaCodec.dequeueOutputBuffer(bufferInfo, 10_000);
//让我们重试  1、需要更多数据  2、可能还没编码为完(需要更多时间)
            if (status == MediaCodec.INFO_TRY_AGAIN_LATER) {
            } else if (status == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
                //开始编码 就会调用一次
                MediaFormat outputFormat = mMediaCodec.getOutputFormat();
                //配置封装器
                // 增加一路指定格式的媒体流 视频
                index = mMediaMuxer.addTrack(outputFormat);
                mMediaMuxer.start();
            } else if (status == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
                //忽略
            } else {
              //成功 取出一个有效的输出
                ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);
                //如果获取的ByteBuffer 是配置信息 ,不需要写出到mp4
                if ((bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
                    bufferInfo.size = 0;
                }

                if (bufferInfo.size != 0) {
                    //mSpeed是一个倍数默认是1
                    bufferInfo.presentationTimeUs = (long) (bufferInfo.presentationTimeUs / mSpeed);
                    //写到mp4
                    //根据偏移定位
                    outputBuffer.position(bufferInfo.offset);
                    //ByteBuffer 可读写总长度
                    outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
                    //写出
                    mMediaMuxer.writeSampleData(index, outputBuffer, bufferInfo);
                }
            }

Android音视频开发:MediaCodec API详解

getOutputBuffer

//成功 取出一个有效的输出
ByteBuffer outputBuffer = mMediaCodec.getOutputBuffer(status);

使用此方法将输出buffer返回给codec或将其渲染在输出surface。

releaseOutputBuffer

public void releaseOutputBuffer (int index, 
                boolean render)
  • boolean render:如果在配置codec时指定了一个有效的surface,则传递true会将此输出buffer在surface上渲染。一旦不再使用buffer,该surface将把buffer释放回codec。

总结

学完了MediaCodec和MediaMuxer我们可以结合使用,做一个视频录制的小功能,也可以加上OpenGL一起,主要是利用
MediaCodec.createInputSurface();获得一个Surface,就会自动编码 inputSurface 中的图像,交给虚拟屏幕 通过opengl 将预览的纹理 绘制到这一个虚拟屏幕中。

版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。

(0)

相关推荐

发表回复

登录后才能评论