本文简要说明最新版WebRtc AudioMixer混音流程。
本程序使用4个16KHz 单声道时长均大于10秒的Wav文件作为混音源，只合成前10秒的音频，输出也是16KHz单声道音频。
输入和输出的采样率都是16000，每10ms音频长度采样点数为160，每个采样点为16bit，两字节大小。
使用的WebRTC代码日期为2019-05-08。
代码如下：
#include "stdafx.h"
#include <string>
#include <iostream>
#include <memory>
#include <thread>
#include <chrono>
#include "webrtc\modules\audio_mixer\audio_mixer_impl.h"
#include "webrtc\api\audio\audio_frame.h"
#include "webrtc\modules\audio_mixer\output_rate_calculator.h" using namespace std::literals::chrono_literals; #define WAV_HEADER_SIZE 44
#define SAMPLE_RATE 16000 int16_t s_buf[] = { }; class AudioSrc : public webrtc::AudioMixer::Source
{
public:
AudioSrc(int ssrc, int sample, const std::string& file)
: mSsrc(ssrc)
, mSample(sample)
, mFile(nullptr)
{
fopen_s(&mFile, file.c_str(), "rb"); if (mFile)
{
fseek(mFile, , SEEK_SET);
}
} virtual ~AudioSrc()
{
if (mFile)
{
fclose(mFile);
mFile = nullptr;
}
} virtual AudioFrameInfo GetAudioFrameWithInfo(int sample_rate_hz,
webrtc::AudioFrame* audio_frame)
{
if (mFile)
{
fread(s_buf, * , , mFile);//16KHz, 10ms buf
} std::thread::id tid = std::this_thread::get_id();
std::cout << "thread id ";
tid._To_text(std::cout); //copy s_buf to audio_frame inner buf
audio_frame->UpdateFrame(, s_buf, , SAMPLE_RATE, webrtc::AudioFrame::SpeechType::kNormalSpeech, webrtc::AudioFrame::VADActivity::kVadUnknown, );
printf(",ssrc %d get audio frame, muted: %d, n %d, s %d\n", mSsrc, int(audio_frame->muted()), audio_frame->num_channels_, audio_frame->sample_rate_hz_); return AudioFrameInfo::kNormal;
} // A way for a mixer implementation to distinguish participants.
virtual int Ssrc() const
{
return mSsrc;
} // A way for this source to say that GetAudioFrameWithInfo called
// with this sample rate or higher will not cause quality loss.
virtual int PreferredSampleRate() const
{
return mSample;
} private:
int mSsrc;
int mSample;
FILE* mFile;
}; class AudioOutput : public webrtc::OutputRateCalculator
{
virtual int CalculateOutputRate(
const std::vector<int>& preferred_sample_rates)
{
return SAMPLE_RATE;
} }; int MixText()
{
auto mixptr = webrtc::AudioMixerImpl::Create(std::make_unique<AudioOutput>(), true);
AudioSrc src1(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_1.wav");
AudioSrc src2(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_2.wav");
AudioSrc src3(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_3.wav");
AudioSrc src4(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_4.wav"); mixptr->AddSource(&src1);
mixptr->AddSource(&src2);
mixptr->AddSource(&src3);
mixptr->AddSource(&src4); std::thread::id tid = std::this_thread::get_id();
std::cout << "main thread id: ";
tid._To_text(std::cout);
std::cout << std::endl; webrtc::AudioFrame frame; FILE* fOut = nullptr;
fopen_s(&fOut, "f:/download/outmix.pcm", "wb"); for (int i = ; i < *; ++i) // only mix first 10 seconds audio
{
mixptr->Mix(, &frame);
if (fOut)
{
fwrite(frame.data(), * , , fOut);
}
std::this_thread::sleep_for(10ms);
} fclose(fOut);
fOut = nullptr; mixptr->RemoveSource(&src1);
mixptr->RemoveSource(&src2);
mixptr->RemoveSource(&src3);
mixptr->RemoveSource(&src4); tid = std::this_thread::get_id();
std::cout << "exit main thread id: ";
tid._To_text(std::cout);
std::cout << std::endl; return ;
} int main(int argc, char* argv[])
{
MixText(); return ;
}
代码大体介绍：
class AudioSrc : public webrtc::AudioMixer::Source 定义了混音音频源的类，
AudioSrc必须实现基类的三个virtual函数，
virtual int Ssrc() const; 返回混音源的ID, AudioMixer调用此函数用于区分每个音频源，每个音频源的Ssrc必须返回不同的值。
virtual int PreferredSampleRate() const; 返回混音源的音频采样率，这里都是16000，AudioMixer调用此函数得到每个音频源的音频采样率。
virtual AudioFrameInfo GetAudioFrameWithInfo(int sample_rate_hz, webrtc::AudioFrame* audio_frame) 获取混音源的10ms长度音频，混音时AudioMixer依次对混音源调用此函数，
AudioSrc先从wav文件读取10ms音频到s_buf中，用AudioFrame的UpdateFrame函数把刚获取的s_buf中内容更新到AudioFrame中，AudioMixer内部完成混音。
class AudioOutput : public webrtc::OutputRateCalculator 是用于计算混音输出音频采样率的类，必须实现虚函数CalculateOutputRate，
参数const std::vector<int>& preferred_sample_rates中元素为每个混音源的音频采样率，返回值为输出音频采样率，这里输出和输入的采样率一样，返回16000。
函数MixText是调用的代码
auto mixptr = webrtc::AudioMixerImpl::Create(std::make_unique<AudioOutput>(), true);
创建了一个AudioMixer智能指针对象mixptr ，
AudioSrc src1(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_1.wav");
AudioSrc src2(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_2.wav");
AudioSrc src3(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_3.wav");
AudioSrc src4(, SAMPLE_RATE, "e:\\Media\\Audio\\16k_4.wav");
创建了4个混音源。
mixptr->AddSource(&src1);
mixptr->AddSource(&src2);
mixptr->AddSource(&src3);
mixptr->AddSource(&src4);
把4个混音源添加到AudioMixer中，
webrtc::AudioFrame frame;
创建一个AudioFrame 对象，用于接收混音输出。
FILE* fOut = nullptr;
fopen_s(&fOut, "f:/download/outmix.pcm", "wb");
打开一个文件，用于写入混音输出。
for (int i = ; i < *; ++i) // only mix first 10 seconds audio
{
mixptr->Mix(, &frame);
if (fOut)
{
fwrite(frame.data(), * , , fOut);
}
std::this_thread::sleep_for(10ms);
}
此循环调用1000次，每次混音10毫秒长度音频，总共混音10秒钟长度的音频，
mixptr->Mix(, &frame);
Mix是实际执行混音的函数，
它内部再依次调用AudioSrc::GetAudioFrameWithInfo再完成混音，把混音输出到frame中。
然后用fwrite再把frame.data()中的混音输出写入到输出文件。
std::this_thread::sleep_for(10ms);
sleep等待10毫秒。
混音完成再调用
mixptr->RemoveSource(&src1);
mixptr->RemoveSource(&src2);
mixptr->RemoveSource(&src3);
mixptr->RemoveSource(&src4);
移除混音源。
以上就是混音流程。
注意：由于混音输出写的是PCM文件，没有文件头，一般播放器不能播放，必须用 CoolEdit 或 Audacity 打开PCM播放。