P12 音视频复合流——TS流讲解
前言
从本章开始我们将要学习嵌入式音视频的学习了 ，使用的瑞芯微的开发板
🎬 个人主页：@ChenPi
🐻推荐专栏1: 《C++_@ChenPi的博客-CSDN博客》✨✨✨
🔥 推荐专栏2: 《Linux C应用编程（概念类）_@ChenPi的博客-CSDN博客》✨✨✨
🛸推荐专栏3：《嵌入式音视频_@ChenPi的博客-CSDN博客》
🌺本篇简介 ：本章讲解音视频中的复合流——ts流
01 什么是复合流
复合流是指在一条音视频数据流中同时包含视频ES和音频ES数据。
常见的复合流一般为TS流，MP4流，FLV流
02 TS流的介绍
TS流：英文全称为Transport Stream（传输流）。它由MPEG公司推出的全新MPEG2的压缩标准，TS流的出现是为了让音视频的实时交互更加方便，并且随着数字电视的发展，TS流数据在电视领域，网络音视频领域也有很大作用。
03 TS流的格式
TS流的格式大概分为三层，它分别为Transport Stream层，Packet Element Stream层，Element Stream层。
- es层就是音视频数据
- pes层是在音视频数据上加了时间戳等对数据帧的说明信息
- ts层就是在pes层加入数据流的识别和传输必须的信息
04 Transport Stream层讲解
Transport Stream层主要有三个部分组成，TS Header ，ADaption Field，TS Payload
- TS Header：TS Header为头部
- ADaptation Field：可能存在也可能不存在，主要作用是给不足188字节的数据做填充
- TS payload：pes数据
TS Header头部信息（四字节）
就是4个Bit
ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。
解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。
PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。
PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过ts流只要有PAT和PMT就可以播放了。
PAT表：他主要的作用就是指明了PMT表的PID值。
PMT表：他主要的作用就是指明了音视频流的PID值。
音频流/视频流：承载音视频内容。
ADaption Field
四BIT后就是自适应区
DTS、PTS 的概念如下所述：
- DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
- PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。
Adaptional Field Length指的是自适应长度，它主要包含传输错误标识符的字节。
PCR是节目时钟参考表，PCR的PTS和DTS都是对同一个系统时间进行采样，PCR的值是逐渐递增的。在对TS流打包的时候，PAT表和PMT表是没有Adaptional Field，若长度不够则使用0xff.
4.1 PAT表(定义了当前TS流中的所有节目、要查询节目必须从PAT表开始)
4.2 PMT表格(查询当前节目中所有的PID信息，比方说包含多少个VIDEO、AUDIO)：
05 PES (Packet Element Stream)
PES层的结构是包含在TS层PAYLOAD里面的，PES层的主要功能是在每一帧音视频数据帧添加时间戳内容。比方说在用FFPLAY或者VLC播放TS文件的时候，会出现关于PTS、DTS的数据，这就是PES层的作用。
以下是比较常用的 PES包信息
pts是显示时间戳、dts是解码时间戳，视频数据两种时间戳都需要，音频数据的pts和dts相同，所以只需要pts。有pts和dts两种时间戳是B帧引起的，I帧和P帧的pts等于dts。如果一个视频没有B帧，则pts永远和dts相同。从文件中顺序读取视频帧，取出的帧顺序和dts顺序相同。dts算法比较简单，初始值 + 增量即可，pts计算比较复杂，需要在dts的基础上加偏移量。
音频的pes中只有pts（同dts），视频的I、P帧两种时间戳都要有，视频B帧只要pts（同dts）。
打包pts和dts就需要知道视频帧类型，但是通过容器格式我们是无法判断帧类型的，必须解析h.264内容才可以获取帧类型。
06 ES层结构：
ES数据流就是我们常说的裸流数据，这其中就包括视频裸流数据(H264/HEVC)、音频裸流数据(AAC)。可以看主页前几章得文章