作者：txp
来源：飞一样的成长
原文：https://mp.weixin.qq.com/s/PJev3k3VloDIuqfnRdZqAQ
之前有人说不清楚嵌入式音视频学习路线，今天我结合招聘网站上的招聘要求，汇总了一些技术栈方向，希望对大家学习有一定的帮助。
方向内容主要分为：
- 视频和流媒体方向：
- 音频方向
视频和流媒体方向技术栈：
掌握弱网对抗相应的技术(如ARQ,FEC,ABC,GCC) 。熟悉WebRTC native源码：音视频处理流程、码率自适应、jitterbuffer、NetEQ，能定制、低延时优化、性能优化、内存优化经验者优先。 优化P2P穿透、提高穿透率，不低于业界指标。优化P2P和RELAY传输，迭代优化QoS指标。优化流媒体产品用户体验，如延迟、流畅、画质；优化音视频传输丢包、网络抖动。
做嵌入式音视频上层开发工作内容：嵌入式音视频功能应用模块开发，包括音视频的编码、解码、存储、传输、osd显示、优化、测试； AI移植和优化经验优先。播放器、wifi直播、UVC 摄像头视频流的拉流解码以及编码推流。
嵌入式音视频底层工作内容：Sensor 、USB(usb camera) ==> V4L2/ALSA/UVC/UAC/Linux Gadget子 pipeline
音视频开源框架：
- ffmpeg
- gsteamer
- openmax
- webrtc
- live555 。
渲染：OpenGL/Metal/Vulkan
流媒体协议： RTMP、HTTP、UDP和QUIC hls onvif rtsp/rtp/rtcp ndi http/https(一般可能在做私有协议会用到，比如和网页端通信交互) sip gb28181
嵌入式音视频学习soc: -rk -hi
编解码标准(视频和音频) YUV，RGB图像 视频编解码标准：
- h264
- h265
- h.266
音频编解码标准：
- aac
- mp3
- g7xx
- opus
音视频封装容器要掌握的： -mp4 -ts -flv -mov -avi
音频技术栈：
1、熟悉Linux下BT、ALSA等音频处理框架优先
2、了解场景的音频信号处理算法(音频3A，音频效果器算法等)
掌握音频信号处理（编解码、降噪、回声消除等）及常见音频接口协议（I2S、TDM、PDM）
熟悉常见音频编解码格式（如 MP3、AAC、WAV 等）及其编解码算法
编解码器（AAC/SBC/LDAC/LHDC/LC3）、自适应降噪（ANC）、通话降噪（ENC）、低功耗设计等。
音频前后处理算法如噪声抑制(NS)、增益控制(AGC)、人声增强、回音消除(AEC），麦克风阵列拾音算法等经验者优先。
端到端音频系统构建，搭建低延迟音频处理管线，集成编解码（Opus/AAC）、传输（WebRTC）与硬件驱动（ALSA/I2S），支持多设备协同（如耳机+手机+云端）。
3、了解音频处理基础（采样率、位深、编解码格式如PCM/MP3/AAC），熟悉常用音频算法（FFT、FIR/IIR滤波、动态范围控制）
4、有音频协议开发经验（如蓝牙A2DP/APT-X、DLNA、AirPlay）
5、熟悉无线音频技术（如LE Audio、True Wireless Stereo）
6、了解AI语音交互框架（如Wake-on-Voice、语音识别集成）
7、熟悉 WebRTC、Speex、OPUS、librosa、BeamformIt 等开源音频处理工具和库者优先
8、熟悉音频接口技术：I2S、PCM、TDM、SPDIF TX/RX
9、有RK / 麦克风阵列 产品线完整开发项目优先
10、对语音AI技术 (如语音唤醒、ASR, NLU,情感TTS) 有深入理解，有实际集成云端AI服务或端侧AI模型部署经验者优先。
11、实现过音频处理，如滤波器，动态增益控制，低音增强等算法实现。清楚算法原理及其参数设计。熟悉这些芯片的软件开发调试环境；
12、探索AI生成式音频（如语音克隆、背景音合成）与空间音频（3D声场渲染）的落地场景。
扎实的DSP基础（FFT、滤波器设计、自适应算法），有AI音频算法落地经验者优先 13、熟悉HIFI4/HIFI5 DSP框架并有项目开发经验
14、了解Linux ALSA 音频处理框架，ADI Sigma Studio，NPU处理框架并有小模型落地经验优先
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
