FFmpeg开发笔记（八）：ffmpeg解码音频并使用SDL同步音频播放
若该文为原创文章，未经容许不得转载
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客导航：http://www.noobyard.com/article/p-gebpnuxb-mo.html
本文章博客地址：http://www.noobyard.com/article/p-mhpzrsja-mo.html
各位读者，知识无穷而人力有穷，要么改需求，要么找专业人士，要么本身研究web
红胖子(红模仿)的博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等）持续更新中…（点击传送门）缓存
FFmpeg和SDL开发专栏（点击传送门）
上一篇：《FFmpeg开发笔记（七）：ffmpeg解码音频保存为PCM并使用软件播放》
下一篇：敬请期待ide
前言
ffmpeg解码音频以后进行播放，本篇使用SDL播放ffmpeg解码音频流转码后的pcm。svg
FFmpeg解码音频
FFmpeg解码音频的基本流程请参照：《FFmpeg开发笔记（七）：ffmpeg解码音频保存为PCM并使用软件播放》函数
SDL播放音频
SDL播放音频的基本流程请参照：《SDL开发笔记（二）：音频基础介绍、使用SDL播放音频》布局
ffmpeg音频同步
ffmpeg同步包含音频、视频、字幕等等，此处描述的同步是音频的同步。ui
基本流程
同步关键点
不改变播放速度的前提下，音频的播放相对容易，本文章暂时未涉及到音视频双轨或多轨同步。
解码音频后，时间间隔仍是计算一下，主要是控制解码的间隔，避免解码过快致使缓存区溢出致使异常。
解码音频进行重采样以后能够获得指定采样率、声道、数据类型的固定参数，使用SDL用固定参数打开音频，将解码的数据扔向缓存区便可。由于解码的时候其数据量与采样率是对应的，播放的时候也是扔入对应的数据量，因此再不改变音频采样率的前提下，咱们是能够偷懒不作音频同步的。
压入数据缓存区，能够根据播放的回调函数以后数据缓存区的大小进行同步解码压入音频，可是音频与视频不一样，音频卡顿的话对音频播放的效果将会大打折扣，致使音频根本没法被顺利的播放，很是影响用户体验，实测须要保留一倍以上的预加载的音频缓冲区，不然等须要的是再加载就已经晚了。
音频更为复杂的操做涉及到倍速播放、音调改变等等，后续文章会有相应的文章说明。编码
ffmpeg音频同步相关结构体详解
AVCodecContext
该结构体是编码上下文信息，对文件流进行探测后，就能获得文件流的具体相关信息了，关于编解码的相关信息就在此文件结构中。
与同步视频显示相关的变量在此详解一下，其余的能够自行去看ffmpeg源码上对于结构体AVCodecContext的定义。.net
struct AVCodecContext {
AVMediaType codec_type; // 编码器的类型，如视频、音频、字幕等等
AVCodec *codec； // 使用的编码器
enum AVSampleFormat sample_fmt; // 音频采样点的数据格式
int sample_rate; // 每秒的采样率
int channels; // 音频通道数据量
uint64_t channel_layout; // 通道布局
} AVCodecContext;
SwrContext
重采样的结构体，最关键的是几个参数，输入的采样频率、通道布局、数据格式，输出的采样频率、通道布局、数据格式。
此结构是不透明的。这意味着若是要设置选项，必须使用API，没法直接将属性看成结构体变量进行设置。code
- 属性“out_ch_layout”：输入的通道布局，须要经过通道转换函数转换成通道布局枚举，其通道数与通道布局枚举的值是不一样的，
- 属性“out_sample_fmt”：输入的采样点数据格式，解码流的数据格式便可。
- 属性“out_sample_rate”：输入的采样频率，解码流的采样频率。
- 属性“in_ch_layout”：输出的通道布局。
- 属性“in_sample_fmt”：输出的采样点数据格式。
- 属性“in_sample_rate”：输出的采样频率。
Demo源码
void FFmpegManager::testDecodeAudioPlay()
{
QString fileName = "E:/testFile2/1.mp3"; // 输入解码的文件
QFile file("D:/1.pcm");
AVFormatContext *pAVFormatContext = 0; // ffmpeg的全局上下文，全部ffmpeg操做都须要
AVStream *pAVStream = 0; // ffmpeg流信息
AVCodecContext *pAVCodecContext = 0; // ffmpeg编码上下文
AVCodec *pAVCodec = 0; // ffmpeg编码器
AVPacket *pAVPacket = 0; // ffmpag单帧数据包
AVFrame *pAVFrame = 0; // ffmpeg单帧缓存
SwrContext *pSwrContext = 0; // ffmpeg音频转码
SDL_AudioSpec sdlAudioSpec; // sdk音频结构体，用于打开音频播放器
int ret = 0; // 函数执行结果
int audioIndex = -1; // 音频流所在的序号
int numBytes = 0; // 音频采样点字节数
uint8_t * outData[8] = {0}; // 音频缓存区（不带P的）
int dstNbSamples = 0; // 解码目标的采样率
int outChannel = 0; // 重采样后输出的通道
AVSampleFormat outFormat = AV_SAMPLE_FMT_NONE; // 重采样后输出的格式
int outSampleRate = 0; // 重采样后输出的采样率
pAVFormatContext = avformat_alloc_context(); // 分配
pAVPacket = av_packet_alloc(); // 分配
pAVFrame = av_frame_alloc(); // 分配
if(!pAVFormatContext || !pAVPacket || !pAVFrame)
{
LOG << "Failed to alloc";
goto END;
}
// 步骤一：注册全部容器和编解码器（也能够只注册一类，如注册容器、注册编码器等）
av_register_all();
// 步骤二：打开文件(ffmpeg成功则返回0)
LOG << "文件:" << fileName << "，是否存在：" << QFile::exists(fileName);
ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), 0, 0);
if(ret)
{
LOG << "Failed";
goto END;
}
// 步骤三：探测流媒体信息
ret = avformat_find_stream_info(pAVFormatContext, 0);
if(ret < 0)
{
LOG << "Failed to avformat_find_stream_info(pAVCodecContext, 0)";
goto END;
}
// 步骤四：提取流信息,提取视频信息
for(int index = 0; index < pAVFormatContext->nb_streams; index++)
{
pAVCodecContext = pAVFormatContext->streams[index]->codec;
pAVStream = pAVFormatContext->streams[index];
switch (pAVCodecContext->codec_type)
{
case AVMEDIA_TYPE_UNKNOWN:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_UNKNOWN";
break;
case AVMEDIA_TYPE_VIDEO:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_VIDEO";
break;
case AVMEDIA_TYPE_AUDIO:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_AUDIO";
audioIndex = index;
break;
case AVMEDIA_TYPE_DATA:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_DATA";
break;
case AVMEDIA_TYPE_SUBTITLE:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_SUBTITLE";
break;
case AVMEDIA_TYPE_ATTACHMENT:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_ATTACHMENT";
break;
case AVMEDIA_TYPE_NB:
LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_NB";
break;
default:
break;
}
// 已经找打视频品流
if(audioIndex != -1)
{
break;
}
}
if(audioIndex == -1 || !pAVCodecContext)
{
LOG << "Failed to find video stream";
goto END;
}
// 步骤五：对找到的音频流寻解码器
pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);
if(!pAVCodec)
{
LOG << "Fialed to avcodec_find_decoder(pAVCodecContext->codec_id):"
<< pAVCodecContext->codec_id;
goto END;
}
// 步骤六：打开解码器
ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);
if(ret)
{
LOG << "Failed to avcodec_open2(pAVCodecContext, pAVCodec, pAVDictionary)";
goto END;
}
// 打印
LOG << "解码器名称：" <<pAVCodec->name << endl
<< "通道数：" << pAVCodecContext->channels << endl
<< "通道布局：" << av_get_default_channel_layout(pAVCodecContext->channels) << endl
<< "采样率：" << pAVCodecContext->sample_rate << endl
<< "采样格式：" << pAVCodecContext->sample_fmt;
outChannel = 2;
outSampleRate = 44100;
outFormat = AV_SAMPLE_FMT_S16;
// 步骤七：获取音频转码器并设置采样参数初始化
pSwrContext = swr_alloc_set_opts(0, // 输入为空，则会分配
av_get_default_channel_layout(outChannel),
outFormat, // 输出的采样频率
outSampleRate, // 输出的格式
av_get_default_channel_layout(pAVCodecContext->channels),
pAVCodecContext->sample_fmt, // 输入的格式
pAVCodecContext->sample_rate, // 输入的采样率
0,
0);
ret = swr_init(pSwrContext);
if(ret < 0)
{
LOG << "Failed to swr_init(pSwrContext);";
goto END;
}
// 最大缓存区，1152个采样样本,16字节,支持最长8个通道
outData[0] = (uint8_t *)av_malloc(1152 * 2 * 8);
ret = SDL_Init(SDL_INIT_AUDIO);
// SDL步骤一：初始化音频子系统
ret = SDL_Init(SDL_INIT_AUDIO);
if(ret)
{
LOG << "Failed";
return;
}
// SDL步骤二：打开音频设备
sdlAudioSpec.freq = outSampleRate;
sdlAudioSpec.format = AUDIO_S16LSB;
sdlAudioSpec.channels = outChannel;
sdlAudioSpec.silence = 0;
sdlAudioSpec.samples = 1024;
sdlAudioSpec.callback = callBack_fillAudioData;
sdlAudioSpec.userdata = 0;
ret = SDL_OpenAudio(&sdlAudioSpec, 0);
if(ret)
{
LOG << "Failed";
return;
}
SDL_PauseAudio(0);
_audioBuffer = (uint8_t *)malloc(102400);
file.open(QIODevice::WriteOnly | QIODevice::Truncate);
// 步骤八：读取一帧数据的数据包
while(av_read_frame(pAVFormatContext, pAVPacket) >= 0)
{
if(pAVPacket->stream_index == audioIndex)
{
// 步骤九：将封装包发往解码器
ret = avcodec_send_packet(pAVCodecContext, pAVPacket);
if(ret)
{
LOG << "Failed to avcodec_send_packet(pAVCodecContext, pAVPacket) ,ret =" << ret;
break;
}
// 步骤十：从解码器循环拿取数据帧
while(!avcodec_receive_frame(pAVCodecContext, pAVFrame))
{
// nb_samples并非每一个包都相同，碰见过第一个包为47，第二个包开始为1152的
// LOG << pAVFrame->nb_samples;
// 步骤十一：获取每一个采样点的字节大小
numBytes = av_get_bytes_per_sample(outFormat);
// 步骤十二：修改采样率参数后，须要从新获取采样点的样本个数
dstNbSamples = av_rescale_rnd(pAVFrame->nb_samples,
outSampleRate,
pAVCodecContext->sample_rate,
AV_ROUND_ZERO);
// 步骤十三：重采样
swr_convert(pSwrContext,
outData,
dstNbSamples,
(const uint8_t **)pAVFrame->data,
pAVFrame->nb_samples);
// 第一次显示
static bool show = true;
if(show)
{
LOG << numBytes << pAVFrame->nb_samples << "to" << dstNbSamples;
show = false;
}
// 缓存区大小，小于一次回调获取的4097就得提早添加，不然声音会开盾
while(_audioLen > 4096 * 1)
// while(_audioLen > 4096 * 0)
{
SDL_Delay(1);
}
_mutex.lock();
memcpy(_audioBuffer + _audioLen, outData[0], numBytes * dstNbSamples * outChannel);
file.write((const char *)outData[0], numBytes * dstNbSamples * outChannel);
_audioLen += numBytes * dstNbSamples * outChannel;
_mutex.unlock();
}
av_free_packet(pAVPacket);
}
}
END:
file.close();
LOG << "释放回收资源";
SDL_CloseAudio();
SDL_Quit();
if(outData[0])
{
av_free(outData[0]);
outData[0] = 0;
LOG << "av_free(outData)";
}
if(pSwrContext)
{
swr_free(&pSwrContext);
pSwrContext = 0;
}
if(pAVFrame)
{
av_frame_free(&pAVFrame);
pAVFrame = 0;
LOG << "av_frame_free(pAVFrame)";
}
if(pAVPacket)
{
av_free_packet(pAVPacket);
pAVPacket = 0;
LOG << "av_free_packet(pAVPacket)";
}
if(pAVCodecContext)
{
avcodec_close(pAVCodecContext);
pAVCodecContext = 0;
LOG << "avcodec_close(pAVCodecContext);";
}
if(pAVFormatContext)
{
avformat_close_input(&pAVFormatContext);
avformat_free_context(pAVFormatContext);
pAVFormatContext = 0;
LOG << "avformat_free_context(pAVFormatContext)";
}
}
void FFmpegManager::callBack_fillAudioData(void *userdata, uint8_t *stream, int len)
{
SDL_memset(stream, 0, len);
_mutex.lock();
if(_audioLen == 0)
{
_mutex.unlock();
return;
}
LOG << _audioLen << len;
len = (len > _audioLen ? _audioLen : len);
SDL_MixAudio(stream, _audioBuffer, len, SDL_MIX_MAXVOLUME);
_audioLen -= len;
memmove(_audioBuffer, _audioBuffer + len, _audioLen);
_mutex.unlock();
// 每次加载4096
// LOG << _audioLen << len;
}
工程模板v1.4.0
对应工程模板v1.4.0：增长解码音频转码使用SDL播放
上一篇：《FFmpeg开发笔记（七）：ffmpeg解码音频保存为PCM并使用软件播放》
下一篇：敬请期待
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客导航：http://www.noobyard.com/article/p-gebpnuxb-mo.html
本文章博客地址：http://www.noobyard.com/article/p-mhpzrsja-mo.html