graph

graph

关注
发信
关注(28)粉丝(399)

Windows 视频Directshow开发介绍

在Windows平台上实现一个文件播放器有什么好的开发库和方案呢？方案有很多，比如基于FFmpeg，VLC的插件，mplayer，Directshow。用FFmpeg来实现文件格式解析、分离视频音频流、解码是很方便的，但是要实现一个播放器，还要实现视音频的显示和回放、视音频同步的处理，要做很多额外的开发工作，比较麻烦。而用VLC的插件不方便调试，扩充功能要改VLC的源代码，不灵活。而用Directshow来做播放器在Windows平台上是比较成熟和简单的方案，所以特别给大家介绍一下。

微软的Directshow是一个实现多媒体播放，视音频处理等功能的多媒体库，并且提供了Filter的机制使得多媒体任务的各个处理单元（读取数据、分离、解码、编码、回放）达到模块化，提高了复用性。开发者可以用别人提供的Filter，也可以实现自己的Filter来处理特定的任务。每个Filter至少有一个Pin，Pin分输入Pin和输出Pin，按照Filter的类型输入Pin和输出Pin的数目不等。每个Pin都有自己接受的媒体格式，比如视频渲染器Filter的输入Pin只接受RGB或YUV的格式。两个Filter的Pin连接前需要对Pin进行媒体类型协商（确定两方的Pin的媒体类型是否一致），如果协商成功，两个Pin就可以连接起来。一连串的Filter通过这种机制连接形成一个Graph，从而完成复杂的多媒体任务，比如播放文件，录制麦克风的音频，采集摄像头图像。下面演示了一个播放AVI文件的Graph的Filter连接图：
Windows 视频Directshow开发介绍-LMLPHP

在上面的Graph图中，包括几种Filter：Source Filter，Splitter，Video Decoder，Audio Decoder，Video Renderer，Audio Renderer。而这些Filter大部分系统已经提供了，还有少数功能需要第三方的Filter来完成。因为多媒体文件的格式众多，所以播放文件的Graph需要加入支持不同格式的Filter，其中最主要的Filter是：分离器，解码器。解码器Filter目前有很多了，免费的而又出名的解码器Filter有FFDshow。FFDshow底层用到了FFmpeg，基于Directshow框架来实现，解码效率很高，但是比较庞大和臃肿，现在已基本不维护了。并且FFDshow只提供了编码器和解码器，还没有实现分离器。以前微软平台上的Directshow开发员会了支持尽量多的媒体格式，想尽办法从各处收集到各种分离器Filter，结果程序打包之后体积很大，并且兼容各种格式要插入不同的的Filter使程序变得复杂。很多第三方Filter不开源，加上测试不够，稳定性不好，容易产生很多问题。幸好，现在有个老外开发了一套Directshow插件，叫LAV Filters。不错，是一套，包括分离器，视频解码器和音频解码器。只要安装这套插件，播放大多数的多媒体格式基本上没问题了，省了开发员很多功夫。还有，这个LAV Filters套件还是开源的，作者对工程的更新速度很快，已经修复了很多Bug，现在变得很稳定了，连大名鼎鼎的开源播放器MPC也使用了LAV Filters，将它列为优先选用的插件。

说了那么多，大家一定很想使用LAV Filters来做开发吧？不用急，我下面就介绍如何在Directshow Graph中使用它。
首先，我们要知道这几个Filter的CLSID，下面是这几个Filter的CLSID定义：
  DEFINE_GUID(CLSID_LAVSplitter,

0x171252A0, 0x8820, 0x4AFE, 0x9D, 0xF8, 0x5C, 0x92, 0xB2, 0xD6, 0x6B, 0x04);

DEFINE_GUID(CLSID_LAVVideoDecoder, 
                0xEE30215D, 0x164F, 0x4A92, 0xA4, 0xEB, 0x9D, 0x4C, 0x13, 0x39, 0x0F, 0x9F);

DEFINE_GUID(CLSID_LAVAudioDecoder,

0xE8E73B6B, 0x4CB3, 0x44A4, 0xBE, 0x99, 0x4F, 0x7B, 0xCB, 0x96, 0xE4, 0x91);

另外还有一个LAV Source Filter，CLSID是：

DEFINE_GUID(CLSID_LAVSource,

0xB98D13E7, 0x55DB, 0x4385, 0xA3, 0x3D, 0x09, 0xFD, 0x1B, 0xA2, 0x63, 0x38);

这个LAV Source Filter的功能跟LAVSplitter差不多，都是分离器，不同的是它没有输入Pin，它集成了了Async Source Filter + LAVSplitter的功能。
下面我们就准备在Directshow的Graph中加入这些Filter。首先，我们需要实现一个类来封装播放文件的所有接口，下面是类的声明：

class CDXGraph

{

private:

	IGraphBuilder *     mGraph;

	IMediaControl *	    mMediaControl;

	IMediaEventEx *	    mEvent;

	IBasicVideo *	    mBasicVideo;

	IBasicAudio *	    mBasicAudio;

	IVideoWindow  *	    mVideoWindow;

	IMediaSeeking *	    mSeeking;

	IBaseFilter *       m_pSourceFilter;

	IBaseFilter *       m_pDumpFilter;

	DWORD		    mObjectTableEntry;

	UINT                m_GraphMsg;

public:

	bool           m_bEnableSound;

	int            m_nJPEGQuality;

	SIZE           m_PictureSize;

	UINT           m_nFramerate;

public:

	CDXGraph();

	virtual ~CDXGraph();

public:

	virtual bool Create(void);

	virtual void Release(void);

	virtual bool Attach(IGraphBuilder * inGraphBuilder);

	IGraphBuilder * GetGraph(void); // Not outstanding reference count

	IMediaEventEx * GetEventHandle(void);

        UINT   GetGraphState();

	bool   SetClipSourceRect(RECT rcSource);

	bool   SetDisplayWindow(HWND inWindow, LPRECT  rcTarget);

	bool   SetNotifyWindow(HWND inWindow, long lMsg);

	bool   ResizeVideoWindow(long inLeft, long inTop, long inWidth, long inHeight);

	void   HandleEvent(LONG * eventCode);

	bool   Run(void);        // Control filter graph

	bool   Stop(void);

	bool   Pause(void);

	bool   IsRunning(void);  // Filter graph status

	bool   IsStopped(void);

	bool   IsPaused(void);

	//bool SetFullScreen(BOOL inEnabled);

	//bool GetFullScreen(void);

	// IMediaSeeking

	bool    GetCurrentPosition(LONGLONG * outPosition); //获得当前播放时间(单位为100纳秒, 等于10^(-4) ms )

	bool    GetStopPosition(LONGLONG * outPosition);

	bool    SetCurrentPosition(LONGLONG inPosition); //设置当前播放时间(单位为100纳秒, 等于10^(-4) ms )

	bool    SetStartStopPosition(LONGLONG inStart, LONGLONG inStop);

	bool    GetDuration(LONGLONG * outDuration); //获得文件时间长度(单位为100纳秒, 等于10^(-4) ms )

	bool    SetPlaybackRate(double inRate); //设置播放速度

	bool    GetPlaybackRate(double * outRate);

	// Attention: range from -10000 to 0, and 0 is FULL_VOLUME.

	bool    SetAudioVolume(long inVolume);//调节音量

	long    GetAudioVolume(void);

	// Attention: range from -10000(left) to 10000(right), and 0 is both.

	bool    SetAudioBalance(long inBalance);

	long    GetAudioBalance(void);

	bool    RenderFile(const TCHAR * inFile, DWORD & dwError);

	bool    SnapshotBitmap(const TCHAR * outFile);

	bool    GetTotalFrames(LONGLONG * outNum);

private:

	void    AddToObjectTable(void) ;

	void    RemoveFromObjectTable(void);

	bool    QueryInterfaces(void);

	HRESULT ConnectFilters(IPin * inOutputPin, IPin * inInputPin, const AM_MEDIA_TYPE * inMediaType = 0);

	void    DisconnectFilters(IPin * inOutputPin);

	HRESULT  RenderFilter(IBaseFilter * pFilter);

	HRESULT  GetVideoProps(IPin * pVideoOutputPin);

};

　　

　接着列出最核心的一个函数CDXGraph::RenderFile，它负责创建FilterGraph，将各个Filter添加到Graph和连接起来。下面是函数的实现：

bool CDXGraph::RenderFile(const TCHAR * inFile, DWORD & dwError)

{

	if (mGraph == NULL)

	{

	   dwError = ERROR_INVALID_POINTER;

           return false;

	}

	dwError = 0;

	HRESULT hr;

	bool bVideoPinConnected = false;

	bool bAudioPinConnected = false;

	bool bPrivateStreamPinConnected = false;

#ifndef UNICODE

	WCHAR   wszFilePath[MAX_PATH] = {0};

	MultiByteToWideChar(CP_ACP, 0, inFile, -1, wszFilePath, MAX_PATH);

#else

	TCHAR   wszFilePath[MAX_PATH] = {0};

    lstrcpy(wszFilePath, inFile);

#endif

	CComPtr<IFileSourceFilter> pFileSource;

	CComPtr<IBaseFilter> pSplitter;

	CComPtr<IBaseFilter> pVideoDecoder;

	CComPtr<IBaseFilter> pVideoRenderer;

#if 0

	hr = AddFilterByCLSID(mGraph, CLSID_MpegSourceFilter, L"Mpeg Splitter ", &pSplitter );

	if(FAILED(hr))

	{

		OutputDebugString("Add Mpeg Splitter Filter Failed \n");

		return FALSE;

	}

#else

	hr = AddFilterByCLSID(mGraph, CLSID_LAVSource, L"LAV Source Splitter ", &pSplitter );

	if(FAILED(hr))

	{

		OutputDebugString("Add LAV Splitter Filter Failed \n");

		return FALSE;

	}

#endif

	hr  = pSplitter->QueryInterface(IID_IFileSourceFilter, (void**)&pFileSource);

	if(FAILED(hr))

	{

		dwError = ERROR_GET_INTERFACE_FAIL;

		return false;

	}

	hr = pFileSource->Load(wszFilePath, NULL);

	if(FAILED(hr))

	{

		dwError = ERROR_LOADFILE_FAIL;

		return false;

	}

	hr = AddFilterByCLSID(mGraph, CLSID_LAVVideoDecoder, L"LAV Video Decoder", &pVideoDecoder);

	if(FAILED(hr))

	{

		OutputDebugString("Add LAV Video Filter Failed \n");

		//return FALSE;

	}

	hr = AddFilterByCLSID(mGraph, CLSID_VideoMixingRenderer9, L"VMR9 Renderer ", &pVideoRenderer);

	if(FAILED(hr))

	{

		OutputDebugString("Add VMR9 Renderer Filter Failed \n");

		return FALSE;

	}

	hr = RenderFilter(pSplitter);

	if(SUCCEEDED(hr))

		bVideoPinConnected = true;

	else

		bVideoPinConnected = false;

	if(!bAudioPinConnected && !bVideoPinConnected)

	{

	    OutputDebugString("RenderFilter Failed!\n");

	    OutputDebugString("第二次尝试用RenderFile自动连接\n");

		if (FAILED(mGraph->RenderFile(wszFilePath, NULL)))

		{

			OutputDebugString("RenderFile Failed!\n\n");

			dwError = ERROR_AUTO_RENDERFILE_FAIL;

			return false;

		}

		IBaseFilter * pVideoRenderer = NULL;

		hr = FindVideoRenderer(mGraph, &pVideoRenderer);

		if(SUCCEEDED(hr))

		{

		  CComPtr<IPin> pVideoPin = GetInPin(pVideoRenderer, 0);

		  GetVideoProps(pVideoPin);

		}

	}

	if(!m_bEnableSound)

	{

	   SetAudioVolume(-10000);

	}

	OutputDebugString("RenderFile Succeeded!\n");

   return true;

}

CDXGraph::RenderFile函数显示加入了这几个Filter：LAV Source，LAV Video Decoder，VMR9。其中，VMR9是视频渲染器，负责渲染图像和根据时间戳控制视频帧何时显示；LAVSource负责读取文件和从文件容器里分离出视频流和音频流，当我们调用AddFilterByCLSID函数（实际上调用了COM接口CoCreateInstance函数）创建这个Filter实例时，它是没有加载文件的，我们必须查询它的IFileSourceFilter接口指针，通过这个接口指针设置文件路径，把文件加载进去，如果文件加载成功，LAV Source会根据文件容器里媒体流的数目生成对应的OutputPin。接着，加入LAV Video Decoder，然后调用RenderFilter函数把LAV Source的每个OutputPin自动与下游的Filter进行连接，因为连接Filter的时候Graph Manager会优先选用已经添加到Graph中的Filter，那么LAV Source的Video Output Pin就会尝试与Video Decoder进行连接，而Audio Output Pin也一样，但是由于我们没有显示加入任何的Audio Decoder，Graph Manager会从系统安装的Filter中找到一个合适的解码器Filter插入进去，然后自动连接两个Filter的OutputPin与InputPin。如果所有Filter连接成功，那么播放文件Graph的Filter链路图就像下面这样子：

Windows 视频Directshow开发介绍-LMLPHP

上面所讲的内容是Directshow开发很基本的操作，相信熟悉Directshow的读者看了觉得很熟悉和简单。

Mitov组件商使用的就是Directshow和Windows Api模式。

05-11 22:06
Powered by LMLPHP ©2024 graph 0.088335