首页 > 代码库 > FFmpeg的tutorial 学习

FFmpeg的tutorial 学习

2024-10-22 18:12:02   208人阅读

一、前言:

这是一个学习 FFmpeg 的 tutorial 系列。
这个是一个对初学者比较友好的FFmpeg学习教程，作者一步步引导我们实现了一个音视频同步的播放器。
参考链接：

  • 原文地址：
    http://dranger.com/ffmpeg/
  • 比较新的代码Github地址：
    https://github.com/mpenkov/ffmpeg-tutorial
  • 中文博客参考地址：
    http://blog.csdn.net/liujiakunit/article/details/46899229

建议可以打开代码+中文学习博客学习，我看了01~04篇的代码，然后就直接跳到了07的代码，结合中文博客+代码可以看懂。

#

二、源码分析

tutorial01.c 代码分析

这个代码很简单，就是解码一个视频文件，然后把前五帧视频保存为五个后缀格式 .ppm 图片视频

tutorial02.c 代码分析

这个代码是把读取视频文件，然后每解码一帧，马上就用SDL显示出来。

tutorial03.c 代码分析

跟02代码相比，这个添加了播放音频的部分。
FFmpeg负责把音频的从AVPacket解码为AVFrame得到原始数据，
然后SDL通过回调函数，有节奏的取出原始音频数据播放（这个是在一个独立的音频播放线程应该）

tutorial04.c 代码分析

tutorial07.c 代码分析

2.1 整体流程分析：

逻辑还是蛮复杂的 可以这样分析:
总共就两条主线音视频：

  • 音频：SDL 通过这个audio_callback(void userdata, Uint8 stream, int len)不断回调获取音频数据，我们就从这里获取音频的AVPacket 并decode到一个audio buffer中，然后SDL中这个audio buffer取出数据播放

decode_thread ：
死循环，不断读取AVPacket ，
并保存到 音频AVPacket队列， 视频AVPacket队列

  • 视频：和音频不同，需要一个独立的video_thread 线程， ->在主线程 有一个死循环不断从VideoPicture 数据里面取出数据，然后通过SDL显示死循环不断的从视频的AVPacket取出数据 decode 获取AVFrame ，然后把AVFrame 保存到 一个 全局的 VideoPicture 数组里面

2.2 音视频同步细节详解

音视频同步方式有三种：

  • 以音频播放为时钟轴，视频播放参考音频当前播放时间，调整下一帧的播放快慢实现视频同步到音频
    参考tutorial05.c
    关键点三个：
    a.如何正确获取音频已播放时间
    音频以一个恒定的速率不断的播放，获取准确的已播放音频播放时间

音频时间轴：0-》1-》2-》3-》4-》5-》6-》7-》8-》9

  1. int audio_decode_frame(VideoState *is, double *pts_ptr) {
  3.       //省略代码
  4.      //方法1：通过每一次decode获得的音频数据的字节数除以每一秒音频数据的字节数获得这一次decode的音频时长
  5.      //累加这个时长，得出decode的音频最新时间
  6.       is->audio_clock += (double)data_size /
  7.     (double)(n * is->audio_st->codec->sample_rate);
  9.     //方法2：如果AVPacket的pts有值，则可以通过pts计算 is->audio_clock
  10.     if(pkt->pts != AV_NOPTS_VALUE) {
  11.       is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;
  13. }
  15. void audio_callback(void *userdata, Uint8 *stream, int len) {
  17.   VideoState *is = (VideoState *)userdata;
  18.   int len1, audio_size;
  19.   double pts;
  21.   while(len > 0) {
  22.     if(is->audio_buf_index >= is->audio_buf_size) {
  23.       /* We have already sent all our data; get more */
  24.       audio_size = audio_decode_frame(is, &pts);
  25.       if(audio_size < 0) {
  26.     /* If error, output silence */
  27.     is->audio_buf_size = 1024;
  28.     memset(is->audio_buf, 0, is->audio_buf_size);
  29.       } else {
  30.     is->audio_buf_size = audio_size;
  31.       }
  32.       is->audio_buf_index = 0;
  33.     }
  34.     len1 = is->audio_buf_size - is->audio_buf_index;
  35.     if(len1 > len)
  36.       len1 = len;
  37.     memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1);
  38.     len -= len1;
  39.     stream += len1;
  40.     is->audio_buf_index += len1;
  41.   }
  42. }
  43. double get_audio_clock(VideoState *is) { 
  44.  double pts;
  45.  int hw_buf_size, bytes_per_sec, n;
  46.   //关键语句 is->audio_clock 代表已经解码的音频的数据最新时间
  47.   pts = is->audio_clock; /* maintained in the audio thread */
  48.   hw_buf_size = is->audio_buf_size - is->audio_buf_index;
  49.   bytes_per_sec = 0;
  50.   n = is->audio_st->codec->channels * 2;
  51.   if(is->audio_st) {
  52.     bytes_per_sec = is->audio_st->codec->sample_rate * n;
  53.   }
  54.   if(bytes_per_sec) {
  55.     //关键语句，音频是解码到了一个buffer里面，其中一部分被SDL取走播放，还有一部分在缓冲区
  56.     //已经解码的音频的数据最新时间 不能代表音频已经播放的时间，因为还有一部分解码的音频数据没有被播放
  57.     //所以需要减去没有播放的音频的时间，得出准确的音频已经播放时间
  58.     pts -= (double)hw_buf_size / bytes_per_sec;
  59.   }
  60.   return pts;
  61. }

b.如何正确设置每一帧视频的解码时间pts

c.如何调整视频播放速度快慢实现和音频的播放速度同步

  • 以视频播放为时钟，音频播放参考视频播放时钟，调整下一帧的播放快慢实现视频同步到音频

  • 以系统时间为时钟，音频视频同步到系统时钟

2.2.1

（未完待续~）



null


FFmpeg的tutorial 学习


联系
我们