OpenHarmony_1.0.1实现RTSPServer

概述

OpenHarmony中实现RTSPServer播放视频主要分为如下5部分。其中视频采集与视频编码平台芯片3518EV300与3516DV300已支持，将编码后的视频数据(H.265)存放至环形缓冲区，最后通过RTSPServer发送，RTSPClient由VLC播放器实现。

代码路径：3516DV300

代码路径：3518EV300

RTSPServer实现

RTSP流媒体播放实现主要涉及两个线程：1、将编码后的视频数据存储在环形缓冲区内。2、创建RTSPServer发送环形缓冲区数据。

环形缓冲区

环形缓冲区主要目的是为了将视频编码（H.265）产生的数据通过RTSPServer实时地发送到RTSPClient端。

H.265数据原理

H.265=若干序列集。

序列集=1IDR帧+1VPS帧+1SPS帧+1PPS帧+1SEI帧+若干P帧组成。

每帧通过00 00 00 01分割以后的下一个字节就是NALU（网络抽象层单元）类型，

• 1： 00 00 00 01 40 01 .... ，（0x40 & 0x7E）>> 1 值为 32， 语义为视频参数集 VPS
• 2： 00 00 00 01 42 01 .... ，（0x42 & 0x7E）>> 1 值为 33， 语义为序列参数集 SPS
• 3： 00 00 00 01 44 01 .... ，（0x44 & 0x7E）>> 1 值为 34， 语义为图像参数集 PPS
• 4： 00 00 00 01 4E 01 ....，（0x4E & 0x7E）>> 1 值为 39， 语义为补充加强信息 SEI
• 5： 00 00 00 01 26 01 .... ，（0x26 & 0x7E）>> 1 值为 19， 语义为可能有RADL图像的IDR图像的SS编码数据 IDR
• 6： 00 00 00 01 02 01 .... ，（0x02 & 0x7E）>> 1 值为 1， 语义为被参考的后置图像P帧

如下图，左边是h265原始数据，右边是通过RTP发送去掉头数据。

在进行RTP分包发送时会将IDR、VPS、SPS、PPS、SEI拼凑为一起作为主要帧发送，因此头一帧数据 非常重要。

为了解决视频编码与RTSP线程线程同步的问题，缓冲区设计如下：

文件路径：recorder_impl.cpp	
实现函数：void VideoSourceProcess(const SourceManager *videoSourceManager, const RecorderSink *recorderSink)

缓冲区为16*256K长度的数组buff。put为编码线程存放缓冲区偏移值，get为RTSPServer线程获取缓冲区的偏移值。

初始情况下put与get的位置均在开头。

当视频编码有数据时填充buff并put向前移。

RTSP通过get将视频编码数据发送，然后释放buff，get向前移。

当put与get偏移超过16时重新置1，其中设置get数据的时间get与put的间隔不会超过3个buff。

RTSPServer

RTSP（Real Time Streaming Protocol）实时流协议作为一个应用层协议，RTSP提供了一个可供扩展的框架，它的意义在于使得实时流媒体数据的受控和点播变得可能。总的说来，RTSP是一个流媒体表示协议，通过RTSP传输控制命令与RTP传输视频流达到控制具有实时特性的数据发送。RTSP可以对流媒体提供诸如播放、暂停、快进等操作，它负责定义具体的控制消息、操作方法、状态码等，此外还描述了与RTP间的交互操作。

RTSP C（Client）与 S（Server）交互流程图解

RTSP 中的 C（Client）与 S（Server）交互流程图解

RTSP 关键字段说明

关键字：OPTIONS

得到服务器提供的可用方法（OPTION、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、SCALE、GET_PARAMETER、SET_PARAMETER）。

关键字：DESCRIBE

请求流的 SDP 信息。

注解：此处需要了解 H265 Law Data 如何生成 SPS PPS 信息。

关键字：SETUP

客户端提醒服务器建立会话，并建立传输模式。

注解：此处确定了 RTP 传输交互式采用 TCP（面向连接）还是 UDP（无连接）模式。

关键字：PLAY

客户端发送播放请求。

注解：此处引入 RTP 协议。

关键字：PAUSE

播放暂停请求。

注解：此关键字经常用在录像回放当中，实时视频流几乎用不到。

关键字:TEARDOWN

客户端发送关闭请求

RTP分包

其中RtpHeader（Rtp头）加payload(负载数据)。

RtpHeader数据

csrcLen  CSC计数，在没有RTP混频器的情况下通常为0
extension 扩展名，必须为0
padding 填充位，不得使用填充，默认为0
version  版本号

payloadType 数据帧类型（h265）。
marker 将一帧分片时区分头片
	
seq 序列号为了以每片为单位
    
timestamp 时间戳 以每帧为单位
    
ssrc  数据信源号

payload数据

RTP包最大为1400个字节，因此打包分为两种。

1. 一种是一个nal单元打包到一个rtp包中。
2. 一种是nal单元比较大，分片打包在多个rtp中。

单个nal直接发送即可

nal单元比较大，分片打包在多个rtp中,分片格式如下：

其中PayloadHdr固定为49。FUheader数据为：

S置1表示起始片，E置1表示最后片，FuType就是实际的Nal type类型。

实现代码函数

文件：rtp.cpp
实现函数：int Rtp::UdpSendFrame(uint8_t *pNalBuf, int s32NalBufSize)