【音视频】 FFmpeg 解码H265
一、概述
实现了使用FFmpeg读取对应H265文件，并且保存为对应的yuv文件
二、实现流程
读取文件
- 将H265/H264文件放在
build路径下，然后指定输出为yuv格式
- 在
main函数中读取外部参数
if (argc <= 2){fprintf(stderr, "Usage: %s <input file> <output file>\n", argv[0]);exit(0);}filename = argv[1];outfilename = argv[2];- 打开对应的输入、输出文件
- 读取文件到缓冲区，为解码做准备
// 打开输入文件
infile = fopen(filename, "rb");
if (!infile) {fprintf(stderr, "Could not open %s\n", filename);exit(1);
}
// 打开输出文件
outfile = fopen(outfilename, "wb");
if (!outfile) {av_free(codec_ctx);exit(1);
}// 读取文件进行解码
data = inbuf;
data_size = fread(inbuf, 1, VIDEO_INBUF_SIZE, infile);
- 根据文件的后缀我们来判断该使用什么解码器ID
enum AVCodecID video_codec_id = AV_CODEC_ID_H265;
if(strstr(filename, "264") != NULL)
{video_codec_id = AV_CODEC_ID_H264;
}
else
{printf("default codec id:%d\n", video_codec_id);
}
- 因为这里的文件是H264/H265，没有使用容器封装，需要使用裸流解析器
一、裸流与封装格式的区别
-
裸流（Bare Stream）
- 指未经过容器封装（如 MP4、AVI、FLV）的原始编码数据，直接由编码后的 NALU 或字节流组成（如
.h264、.h265文件）。 - 特点：数据无容器头部，仅包含编码后的视频（或音频）数据，需手动识别编码单元边界。
- 指未经过容器封装（如 MP4、AVI、FLV）的原始编码数据，直接由编码后的 NALU 或字节流组成（如
-
封装格式（Container Format）
- 如 MP4、FLV 等，将编码数据（如 H.264 NALU）封装在容器中，包含文件头、索引、时间戳等元数据。
- 特点：解复用器（Demuxer）可直接从容器中提取完整的 NALU 或帧数据，无需额外解析边界。
二、为什么裸流需要解析器？
裸流中编码数据是 连续存储 的，没有容器层提供的结构化信息（如 NALU 边界、帧起始位置）。例如：
- H.264 裸流由多个 NALU 连续组成，仅通过起始码（如
00 00 01）分隔。 - H.265 裸流类似，但起始码可能为
00 00 00 01或00 00 01。
解析器的作用 就是扫描裸流数据，识别这些起始码，将连续的比特流分割为独立的 NALU，确保解码器能逐个处理完整的编码单元。
- 初始化裸流分配器
AVCodecParserContext *parser = NULL// 获取裸流的解析器 AVCodecParserContext(数据) + AVCodecParser(方法)
parser = av_parser_init(codec->id);
- 查找解码器
// 查找解码器
codec = avcodec_find_decoder(video_codec_id); // AV_CODEC_ID_H264
- 分配解码器上下文
// 分配codec上下文
codec_ctx = avcodec_alloc_context3(codec);
if (!codec_ctx) {fprintf(stderr, "Could not allocate audio codec context\n");exit(1);
}
- 打开解码器，把解码器上下文的内容与解码器关联
// 将解码器和解码器上下文进行关联
if (avcodec_open2(codec_ctx, codec, NULL) < 0) {fprintf(stderr, "Could not open codec\n");exit(1);
}
解码h264/h265
- 循环读取文件，每次从裸流解析器读取一帧数据，也就是两个startcode之间的数据
if (!decoded_frame)
{if (!(decoded_frame = av_frame_alloc())){fprintf(stderr, "Could not allocate audio frame\n");exit(1);}
}ret = av_parser_parse2(parser, codec_ctx, &pkt->data, &pkt->size,data, data_size,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
if (ret < 0)
{fprintf(stderr, "Error while parsing\n");exit(1);
}
data += ret; // 跳过已经解析的数据
data_size -= ret; // 对应的缓存大小也做相应减小
- 根据解码器的类型的进行不同的解析，这里主要是为了打印不同的NALU信息
- 因为H264和H265的NAL头部不一样，因此要分开解析
对应的H264 NALU头部：
- H264解码
if(video_codec_id == AV_CODEC_ID_H264) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], pkt->data[4]&0x1f,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], pkt->data[3]&0x1f,pkt->size);print_h264_nal_unit_type(pkt->data, pkt->size);
}
H265头部
| 字段 | 位数 | 描述 |
|---|---|---|
| forbidden_zero_bit | 1 | 禁止位，默认 0，错误时置 1。 |
| nal_unit_type | 6 | NALU 类型（如 VPS=32，SPS=33，PPS=34，I 帧 = 16-21 等）。 |
| nuh_layer_id | 6 | 层 ID，预留扩展位，默认 0。 |
| nuh_temporal_id_plus1 | 3 | 时域 ID，值为实际 ID+1。 |
- H265解码
if(video_codec_id == AV_CODEC_ID_H265) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], (pkt->data[4]&0x7e)>>1,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], (pkt->data[3]&0x7e)>>1,pkt->size);print_h265_nal_unit_type(pkt->data, pkt->size);
}
- 裸流解析器将H264/H265的数据帧，打包为对应的packet
ret = av_parser_parse2(parser, codec_ctx, &pkt->data, &pkt->size,data, data_size,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
- 最后需要将对应的
AVPacket送入解码器，解码出对应的AVFrame AVFrame这里面的数据就是对应的yuv数据了
if (pkt->size)decode(codec_ctx, pkt, decoded_frame, outfile);
对应的解码函数decode如下
- 注意内存对齐问题，需要使用
linesize每行的大小，手动计算边界 - uv分量上下都减半取样，因此取数据的时候都对应的宽高需要减半
static void decode(AVCodecContext *dec_ctx, AVPacket *pkt, AVFrame *frame,FILE *outfile)
{int ret;/* send the packet with the compressed data to the decoder */ret = avcodec_send_packet(dec_ctx, pkt);if(ret == AVERROR(EAGAIN)){fprintf(stderr, "Receive_frame and send_packet both returned EAGAIN, which is an API violation.\n");}else if (ret < 0){fprintf(stderr, "Error submitting the packet to the decoder, err:%s, pkt_size:%d\n",av_get_err(ret), pkt->size);return;}/* read all the output frames (infile general there may be any number of them */while (ret >= 0){// 对于frame, avcodec_receive_frame内部每次都先调用ret = avcodec_receive_frame(dec_ctx, frame);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)return;else if (ret < 0){fprintf(stderr, "Error during decoding\n");exit(1);}static int s_print_format = 0;if(s_print_format == 0){s_print_format = 1;print_video_format(frame);}// 一般H264默认为 AV_PIX_FMT_YUV420P, 具体怎么强制转为 AV_PIX_FMT_YUV420P 在音视频合成输出的时候讲解// frame->linesize[1] 对齐的问题// 正确写法 linesize[]代表每行的字节数量，所以每行的偏移是linesize[]for(int j=0; j<frame->height; j++)fwrite(frame->data[0] + j * frame->linesize[0], 1, frame->width, outfile);for(int j=0; j<frame->height/2; j++)fwrite(frame->data[1] + j * frame->linesize[1], 1, frame->width/2, outfile);for(int j=0; j<frame->height/2; j++)fwrite(frame->data[2] + j * frame->linesize[2], 1, frame->width/2, outfile);// 错误写法 用source.200kbps.766x322_10s.h264/h265测试时可以看出该种方法是错误的// 写入y分量
// fwrite(frame->data[0], 1, frame->width * frame->height, outfile);//Y
// // 写入u分量
// fwrite(frame->data[1], 1, (frame->width) *(frame->height)/4,outfile);//U:宽高均是Y的一半
// // 写入v分量
// fwrite(frame->data[2], 1, (frame->width) *(frame->height)/4,outfile);//V：宽高均是Y的一半}
}
- 打印H264/H265的NALU信息
- 我们来看具体的打印函数
print_h264_nal_unit_type和print_h265_nal_unit_type
H264 NALU解析
- 先找到startcode，0x00 0x00 0x00 0x01 或 0x00 0x00 0x01
- 然后根据H264的NALU 头部解析就好了
- 这里主要是打印出NALU的类型，比如SPS/PPS、IDR等等
void print_h264_nal_unit_type(uint8_t *data, size_t size)
{int i = 0;while (i+3 < size ) {if(data[i] == 0 && data[i+1]==0 && data[i+2] == 0 && data[i+3] == 1 ) {i += 4;printf("%02x nal_type:%d, pos:%d\n", data[i], data[i]&0x1f, i);continue;}if(data[i] == 0 && data[i+1]==0 && data[i+2] == 1) {i += 3;printf("%02x nal_type:%d, pos:%d\n", data[i], data[i]&0x1f, i);continue;}i++;}
}
H264 NALU解析结果
-
H264 的NALU需要先传输SPS和PPS，对应type为7，8，这里还有6-SEI（图像增强信息），随后跟着一个IDR帧，表示是一个GOP的开始
-
后面的type = 1，可能是B帧，也可能是P帧，属于非I帧的NALU类型，还需要使用
slice_type来判断
H265 NALU解析
- 这里的原理和H264一致，也是找到startcode，然后根据NALU头部解析
- H265的NALU头部与H264不太一样，所以要调整
void print_h265_nal_unit_type(uint8_t *data, size_t size)
{int i = 0;while (i+3 < size ) {if(data[i] == 0 && data[i+1]==0 && data[i+2] == 0 && data[i+3] == 1 ) {i += 4;printf("%02x nal_type:%d, pos:%d\n", data[i],(data[i]&0x7e)>>1, i);continue;}if(data[i] == 0 && data[i+1]==0 && data[i+2] == 1) {i += 3;printf("%02x nal_type:%d, pos:%d\n",data[i], (data[i]&0x7e)>>1, i);continue;}i++;}
}
H265 NALU解析结果
- 解码器的 id :173,这里H265的解码器
- 然后输出startcode是00 00 00 01
- 起始的NALU类型分别是：32-VPS、33-SPS、34-PPS，39-SEI、20-IDR，前四个都是整个视频的配置信息，通常用于初始化和图像配置，不包含视频数据，后面的IDR是一个GOP的开始，这里开始才有视频数据
- 后续可以看到都是 0 ，1 类型的，对应B帧和P帧的类型，通常在type = 0、1的NALU传输
整体读取的过程
while (data_size > 0){if (!decoded_frame){if (!(decoded_frame = av_frame_alloc())){fprintf(stderr, "Could not allocate audio frame\n");exit(1);}}ret = av_parser_parse2(parser, codec_ctx, &pkt->data, &pkt->size,data, data_size,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);if (ret < 0){fprintf(stderr, "Error while parsing\n");exit(1);}data += ret; // 跳过已经解析的数据data_size -= ret; // 对应的缓存大小也做相应减小if(video_codec_id == AV_CODEC_ID_H264) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], pkt->data[4]&0x1f,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], pkt->data[3]&0x1f,pkt->size);print_h264_nal_unit_type(pkt->data, pkt->size);}if(video_codec_id == AV_CODEC_ID_H265) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], (pkt->data[4]&0x7e)>>1,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], (pkt->data[3]&0x7e)>>1,pkt->size);print_h265_nal_unit_type(pkt->data, pkt->size);}if (pkt->size)decode(codec_ctx, pkt, decoded_frame, outfile);if (data_size < VIDEO_REFILL_THRESH) // 如果数据少了则再次读取{memmove(inbuf, data, data_size); // 把之前剩的数据拷贝到buffer的起始位置data = inbuf;// 读取数据 长度: VIDEO_INBUF_SIZE - data_sizelen = fread(data + data_size, 1, VIDEO_INBUF_SIZE - data_size, infile);if (len > 0)data_size += len;}
最后可以发现，yuv数据一样的情况，H265的压缩率比H264高的多
冲刷解码器
- 最后需要传入NULL，将解码器中剩余的数据写入文件
/* 冲刷解码器 */
pkt->data = NULL; // 让其进入drain mode
pkt->size = 0;
decode(codec_ctx, pkt, decoded_frame, outfile);
- 关闭文件，释放对应内存
fclose(outfile);
fclose(infile);avcodec_free_context(&codec_ctx);
av_parser_close(parser);
av_frame_free(&decoded_frame);
av_packet_free(&pkt);free(inbuf);
整体代码
/**
* @projectName 07-05-decode_audio
* @brief 解码音频，主要的测试格式aac和mp3
* @author Liao Qingfu
* @date 2020-01-16
*/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>#include <libavutil/frame.h>
#include <libavutil/mem.h>#include <libavcodec/avcodec.h>#define VIDEO_INBUF_SIZE (1024*1024)
#define VIDEO_REFILL_THRESH 4096static char err_buf[128] = {0};
static char* av_get_err(int errnum)
{av_strerror(errnum, err_buf, 128);return err_buf;
}static void print_video_format(const AVFrame *frame)
{printf("width: %u\n", frame->width);printf("height: %u\n", frame->height);printf("format: %u\n", frame->format);// 格式需要注意
}void print_h264_nal_unit_type(uint8_t *data, size_t size)
{int i = 0;while (i+3 < size ) {if(data[i] == 0 && data[i+1]==0 && data[i+2] == 0 && data[i+3] == 1 ) {i += 4;printf("%02x nal_type:%d, pos:%d\n", data[i], data[i]&0x1f, i);continue;}if(data[i] == 0 && data[i+1]==0 && data[i+2] == 1) {i += 3;printf("%02x nal_type:%d, pos:%d\n", data[i], data[i]&0x1f, i);continue;}i++;}
}void print_h265_nal_unit_type(uint8_t *data, size_t size)
{int i = 0;while (i+3 < size ) {if(data[i] == 0 && data[i+1]==0 && data[i+2] == 0 && data[i+3] == 1 ) {i += 4;printf("%02x nal_type:%d, pos:%d\n", data[i],(data[i]&0x7e)>>1, i);continue;}if(data[i] == 0 && data[i+1]==0 && data[i+2] == 1) {i += 3;printf("%02x nal_type:%d, pos:%d\n",data[i], (data[i]&0x7e)>>1, i);continue;}i++;}
}static void decode(AVCodecContext *dec_ctx, AVPacket *pkt, AVFrame *frame,FILE *outfile)
{int ret;/* send the packet with the compressed data to the decoder */ret = avcodec_send_packet(dec_ctx, pkt);if(ret == AVERROR(EAGAIN)){fprintf(stderr, "Receive_frame and send_packet both returned EAGAIN, which is an API violation.\n");}else if (ret < 0){fprintf(stderr, "Error submitting the packet to the decoder, err:%s, pkt_size:%d\n",av_get_err(ret), pkt->size);return;}/* read all the output frames (infile general there may be any number of them */while (ret >= 0){// 对于frame, avcodec_receive_frame内部每次都先调用ret = avcodec_receive_frame(dec_ctx, frame);if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)return;else if (ret < 0){fprintf(stderr, "Error during decoding\n");exit(1);}static int s_print_format = 0;if(s_print_format == 0){s_print_format = 1;print_video_format(frame);}// 一般H264默认为 AV_PIX_FMT_YUV420P, 具体怎么强制转为 AV_PIX_FMT_YUV420P 在音视频合成输出的时候讲解// frame->linesize[1] 对齐的问题// 正确写法 linesize[]代表每行的字节数量，所以每行的偏移是linesize[]for(int j=0; j<frame->height; j++)fwrite(frame->data[0] + j * frame->linesize[0], 1, frame->width, outfile);for(int j=0; j<frame->height/2; j++)fwrite(frame->data[1] + j * frame->linesize[1], 1, frame->width/2, outfile);for(int j=0; j<frame->height/2; j++)fwrite(frame->data[2] + j * frame->linesize[2], 1, frame->width/2, outfile);// 错误写法 用source.200kbps.766x322_10s.h264/h265测试时可以看出该种方法是错误的// 写入y分量
// fwrite(frame->data[0], 1, frame->width * frame->height, outfile);//Y
// // 写入u分量
// fwrite(frame->data[1], 1, (frame->width) *(frame->height)/4,outfile);//U:宽高均是Y的一半
// // 写入v分量
// fwrite(frame->data[2], 1, (frame->width) *(frame->height)/4,outfile);//V：宽高均是Y的一半}
}
// 注册测试的时候不同分辨率的问题
// 提取H264: ffmpeg -i source.200kbps.768x320_10s.flv -vcodec libx264 -an -f h264 source.200kbps.768x320_10s.h264
// 提取MPEG2: ffmpeg -i source.200kbps.768x320_10s.flv -vcodec mpeg2video -an -f mpeg2video source.200kbps.768x320_10s.mpeg2
// 播放：ffplay -pixel_format yuv420p -video_size 768x320 -framerate 25 source.200kbps.768x320_10s.yuv
int main(int argc, char **argv)
{const char *outfilename;const char *filename;const AVCodec *codec;AVCodecContext *codec_ctx= NULL;AVCodecParserContext *parser = NULL;int len = 0;int ret = 0;FILE *infile = NULL;FILE *outfile = NULL;// AV_INPUT_BUFFER_PADDING_SIZE 在输入比特流结尾的要求附加分配字节的数量上进行解码uint8_t *inbuf = malloc(VIDEO_INBUF_SIZE + AV_INPUT_BUFFER_PADDING_SIZE);uint8_t *data = NULL;size_t data_size = 0;AVPacket *pkt = NULL;AVFrame *decoded_frame = NULL;if (argc <= 2){fprintf(stderr, "Usage: %s <input file> <output file>\n", argv[0]);exit(0);}filename = argv[1];outfilename = argv[2];pkt = av_packet_alloc();enum AVCodecID video_codec_id = AV_CODEC_ID_H265;if(strstr(filename, "264") != NULL){video_codec_id = AV_CODEC_ID_H264;}else if(strstr(filename, "mpeg2") != NULL){video_codec_id = AV_CODEC_ID_MPEG2VIDEO;}else{printf("default codec id:%d\n", video_codec_id);}// 查找解码器codec = avcodec_find_decoder(video_codec_id); // AV_CODEC_ID_H264if (!codec) {fprintf(stderr, "Codec not found\n");exit(1);}// 获取裸流的解析器 AVCodecParserContext(数据) + AVCodecParser(方法)parser = av_parser_init(codec->id);if (!parser) {fprintf(stderr, "Parser not found\n");exit(1);}// 分配codec上下文codec_ctx = avcodec_alloc_context3(codec);if (!codec_ctx) {fprintf(stderr, "Could not allocate audio codec context\n");exit(1);}// 将解码器和解码器上下文进行关联if (avcodec_open2(codec_ctx, codec, NULL) < 0) {fprintf(stderr, "Could not open codec\n");exit(1);}// 打开输入文件infile = fopen(filename, "rb");if (!infile) {fprintf(stderr, "Could not open %s\n", filename);exit(1);}// 打开输出文件outfile = fopen(outfilename, "wb");if (!outfile) {av_free(codec_ctx);exit(1);}// 读取文件进行解码data = inbuf;data_size = fread(inbuf, 1, VIDEO_INBUF_SIZE, infile);while (data_size > 0){if (!decoded_frame){if (!(decoded_frame = av_frame_alloc())){fprintf(stderr, "Could not allocate audio frame\n");exit(1);}}ret = av_parser_parse2(parser, codec_ctx, &pkt->data, &pkt->size,data, data_size,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);if (ret < 0){fprintf(stderr, "Error while parsing\n");exit(1);}data += ret; // 跳过已经解析的数据data_size -= ret; // 对应的缓存大小也做相应减小if(video_codec_id == AV_CODEC_ID_H264) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], pkt->data[4]&0x1f,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], pkt->data[3]&0x1f,pkt->size);print_h264_nal_unit_type(pkt->data, pkt->size);}if(video_codec_id == AV_CODEC_ID_H265) {if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 0 && pkt->data[3] == 1 )printf("\nstart_code:%02x %02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2],pkt->data[3], (pkt->data[4]&0x7e)>>1,pkt->size);if(pkt->data[0] == 0 && pkt->data[1]==0 && pkt->data[2] == 1 )printf("\nstart_code:%02x %02x %02x, nal_type:%d, size:%d\n", pkt->data[0],pkt->data[1],pkt->data[2], (pkt->data[3]&0x7e)>>1,pkt->size);print_h265_nal_unit_type(pkt->data, pkt->size);}if (pkt->size)decode(codec_ctx, pkt, decoded_frame, outfile);if (data_size < VIDEO_REFILL_THRESH) // 如果数据少了则再次读取{memmove(inbuf, data, data_size); // 把之前剩的数据拷贝到buffer的起始位置data = inbuf;// 读取数据 长度: VIDEO_INBUF_SIZE - data_sizelen = fread(data + data_size, 1, VIDEO_INBUF_SIZE - data_size, infile);if (len > 0)data_size += len;}}/* 冲刷解码器 */pkt->data = NULL; // 让其进入drain modepkt->size = 0;decode(codec_ctx, pkt, decoded_frame, outfile);fclose(outfile);fclose(infile);avcodec_free_context(&codec_ctx);av_parser_close(parser);av_frame_free(&decoded_frame);av_packet_free(&pkt);free(inbuf);printf("main finish, please enter Enter and exit\n");return 0;
}更多资料：https://github.com/0voice