近日,摩尔线程实现对主流视频编解码接口体系和开发方式的兼容,完成FFmpeg、PyNvVideoCodec、TorchCodec三个开源项目的MUSA平台原生支持。相关能力覆盖视频编码、视频解码、硬件加速和转码处理等核心环节,为多媒体处理、Python视频开发和PyTorch视频AI数据处理三大场景提供国产全功能GPU硬件编解码加速能力。
视频编解码接口体系连接底层硬件算力与上层软件生态,是构建高效视频处理流程的核心基石。此次生态兼容为既有应用平滑迁移至摩尔线程全功能GPU提供坚实的底层技术支撑。基于广泛的接口兼容与生态工具,开发者可沿用熟悉的视频处理接口和开发方式,在摩尔线程全功能GPU平台上继续使用原有的多媒体与AI应用,降低应用迁移成本,进一步拓展国产GPU在视频全产业链中的实际应用场景。
接入FFmpeg,拓展多媒体处理路径
FFmpeg是广泛应用于视频转码、格式转换和流媒体处理的开源多媒体框架。FFmpeg的MUSA后端支持H.264、HEVC、AV1等格式的硬件编码,以及H.264、HEVC、VP9、AV1等格式的硬件解码,并支持基于MUSA的硬件上下文(hardware context)和硬件帧处理。开发者可以使用熟悉的FFmpeg工具组织视频处理流程,实现视频数据在解码、处理和编码环节之间的衔接。
除编解码功能外,FFmpeg的MUSA后端还支持图像缩放、画面叠加、填充、色彩空间转换、缩略图生成和去隔行等视频滤镜操作,可广泛用于视频转码、帧抽取、视频分析和视觉AI预处理等场景,为多媒体应用提供编解码与帧处理工具。
面向Python,丰富视频处理方式
PyNvVideoCodec是一个为Python开发者提供视频编解码能力的库。摩尔线程为PyNvVideoCodec实现了MUSA后端,使Python应用能够调用摩尔线程全功能GPU的硬件视频处理能力,完成解码、编码和转码流程。
在视频读取与解码方面,支持视频文件和内存缓冲区解码、顺序读取、随机访问、按索引或时间采样,以及多线程解码;在数据交互方面,支持基于DLPack的视频帧数据交换,可与Python数据处理及深度学习流程衔接。上述视频读取、解码与数据交互能力可用于视频分析、数据集处理、内容审核和模型推理预处理等场景,便于开发者将视频处理环节接入现有Python应用流程。
衔接PyTorch,完善视频AI数据流程
TorchCodec是一个面向PyTorch生态的Python库,提供音视频解码、视频访问与采样能力,可将视频帧以张量(Tensor)形式接入PyTorch计算流程。MUSA设备后端就绪后,开发者可以通过熟悉的调用方式使用摩尔线程全功能GPU进行视频编解码处理,并以张量形式获取视频帧。
开发者可通过视频帧访问与采样完成模型输入准备,将视频数据用于视频分类、动作识别、视频检索和多模态理解等AI任务,并接入模型训练的数据加载流程。
开放共建,完善国产GPU多媒体软件生态
目前,FFmpeg、PyNvVideoCodec、TorchCodec的MUSA后端项目已在GitHub开源,开发者可访问下方项目地址,获取项目代码、说明文档和示例,并结合实际应用开展验证、适配和交流。
摩尔线程面向主流多媒体工具与框架提供MUSA后端支持,不仅为现有视频应用向国产GPU平台迁移提供了坚实保障,也为视频云服务、直播转码、智能媒体分析、内容生产和视频AI等场景提供了更多硬件平台选择。这标志着MUSA统一系统架构全面兼容主流视频编解码生态。

未来,摩尔线程将持续完善MUSA平台的视频处理能力,加强与多媒体工具、AI框架及开发者工具链的协同演进,携手开发者、合作伙伴和开源社区,共同推进国产全功能GPU多媒体软件生态的繁荣发展。
了解摩尔线程MUSA视频编解码生态的更多信息,请访问以下链接:
- FFmpeg
https://github.com/MooreThreads/FFmpeg
- PyNvVideoCodec
https://github.com/MooreThreads/PyNvVideoCodec_musa
- TorchCodec
https://github.com/MooreThreads/torchcodec
版权声明:本文内容转自互联网,本文观点仅代表作者本人。本站仅提供信息存储空间服务,所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1393616908@qq.com 举报,一经查实,本站将立刻删除。