Python 中的 RTSP 流媒体入门：构建实时视频流的初学者指南

什么是 RTSP？

想象一下，您正在观看手机上的实时监控摄像头画面。视频是通过互联网实时传输给您的。在幕后，一种特殊的 “语言 ”帮助您的设备请求视频、播放、暂停，甚至是回放（如果支持）。这种语言就是 RTSP（Real Time Streaming Protocol），即实时流传输协议。

RTSP 就像视频流的遥控器。它可以告诉摄像机或媒体服务器：

“现在开始直播”
“暂停直播”
‘只发送音频’（或只发送视频）
“停止发送数据”

它本身并不传输视频（通常由另一种名为 RTP 的协议完成），但它管理客户端（如手机或电脑）和服务器（如监控摄像头或流媒体服务器）之间的对话。

RTSP 如何工作

RTSP 是一种网络控制协议，旨在管理媒体流会话，实现音频和视频的低延迟传输。可将其视为流媒体的 “遥控器”，允许客户端（如视频播放器）与服务器（如 IP 摄像机或媒体服务器）通信，以启动、暂停或停止流媒体。与基于 HTTP 的流媒体（例如 HLS）下载视频块不同，RTSP 能够实现实时、连续的流媒体传输，使其成为监控、直播或视频会议等应用的理想选择。

以下是 RTSP 运作方式的逐步分解：

1. 客户端-服务器通信：

RTSP 采用客户端-服务器模型。客户端（例如 Python 应用程序或 VLC 播放器）向服务器（例如 IP 摄像头或类似 Live555 的媒体服务器）发送命令。
通信通过 TCP（通常为端口 554）进行，确保控制消息可靠。

2. 关键 RTSP 命令：

RTSP 使用类似于 HTTP 的基于文本的命令来控制流：

DESCRIBE：检索媒体详细信息（例如视频格式、编解码器）。
SETUP：初始化流会话，指定传输（通常通过 UDP 或 TCP 的 RTP）。
PLAY：从特定时间开始媒体流。
PAUSE：暂时停止流。
TEARDOWN：结束会话，释放资源。

示例：客户端发送 PLAY rtsp://server/video 开始流式传输。

3. 使用RTP/RTCP进行媒体传输：

RTSP 不传输实际的视频或音频数据；它控制会话。媒体使用 RTP 通过 UDP 单独发送，以降低延迟；或使用 TCP 发送，以保证可靠性。
RTCP（RTP 控制协议）与 RTP 一起运行，以监控流质量、处理同步和报告数据包丢失。

示例：执行 SETUP 命令后，服务器通过 RTP 将视频数据包流式传输到客户端的指定端口。

4. 会话管理：

RTSP 维护会话状态，跟踪客户端的连接和流状态。
客户端和服务器交换会话 ID，以确保命令适用于正确的流。

5. 典型工作流程：

客户端连接到 RTSP URL（例如，rtsp://192.168.1.100:554/stream）。
客户端发送 DESCRIBE 来了解流，然后发送 SETUP 来配置 RTP 传送。
客户端发出 PLAY 开始接收 RTP 数据包，这些数据包被解码并显示（例如，在使用 OpenCV 的 Python 应用程序中）。
完成后，客户端发送 TEARDOWN 来关闭会话。

使用 Python 连接

import vlc
import tkinter as tk
from tkinter import messagebox
import time

class RTSPPlayer:
    def __init__(self, root, rtsp_url):
        self.root = root
        self.rtsp_url = rtsp_url
        self.instance = vlc.Instance()
        self.player = self.instance.media_player_new()
        self.media = None

        # 创建 GUI
        self.root.title("RTSP Video Player")
        self.video_frame = tk.Frame(self.root)
        self.video_frame.pack(fill=tk.BOTH, expand=True)

        # 视频显示区域（VLC 将在此处附加）
        self.canvas = tk.Canvas(self.video_frame, bg="black")
        self.canvas.pack(fill=tk.BOTH, expand=True)

        # 控制按钮
        self.button_frame = tk.Frame(self.root)
        self.button_frame.pack(fill=tk.X)
        tk.Button(self.button_frame, text="Play", command=self.play_video).pack(side=tk.LEFT, padx=5)
        tk.Button(self.button_frame, text="Pause", command=self.pause_video).pack(side=tk.LEFT, padx=5)
        tk.Button(self.button_frame, text="Rewind 10s", command=self.rewind_video).pack(side=tk.LEFT, padx=5)
        tk.Button(self.button_frame, text="Stop", command=self.stop_video).pack(side=tk.LEFT, padx=5)

        # 将画布绑定到 VLC 
        # self.player.set_hwnd(self.canvas.winfo_id())  # Windows
        self.player.set_xwindow(self.canvas.winfo_id())

    def play_video(self):
        if not self.media:
            self.media = self.instance.media_new(self.rtsp_url)
            self.player.set_media(self.media)
        self.player.play()
        self.root.title("RTSP Video Player - Playing")

    def pause_video(self):
        self.player.pause()
        self.root.title("RTSP Video Player - Paused")

    def rewind_video(self):
        # 回退 10 秒（如果流支持）
        current_time = self.player.get_time()  # 以毫秒为单位
        new_time = max(0, current_time - 10000)  # 回退 10 秒，确保非负
        self.player.set_time(new_time)
        if not self.player.is_playing():
            self.player.play()

    def stop_video(self):
        self.player.stop()
        self.media = None
        self.root.title("RTSP Video Player - Stopped")

    def on_closing(self):
        self.stop_video()
        self.root.destroy()

if __name__ == "__main__":
    # 用自己的实时摄像头替换
    rtsp_url = "rtsp://admin:password@camera-ip:554/stream1"
    
    root = tk.Tk()
    app = RTSPPlayer(root, rtsp_url)
    root.protocol("WM_DELETE_WINDOW", app.on_closing)
    root.mainloop()