OpenCores框架 | zhaixishan

媒体播放引擎v 在opencore中由PVPlayerEngine负责媒体播放功能的实现；v 在PVPlayerEngine中负责创建各个节点来完成媒体文件格式解析（SourceNode）、媒体数据编解码(DecodeNode/EncNode)以及媒体数据的输出(MediaOutputNode)；v 由PlayerDriver负责opencore与android媒体框架的适配；v 由AndroidAudioOutput负责音频数据输出到android-audioflinger服务输出，由AndroidSurfaceOutput来负责将视频数据输出到android-surfaceflinger服务输出；500)this.width=700;" border="0"> 媒体播放引擎-驱动层v 驱动层包括：PVPlayer和PlayerDriver组成；v PVPlayer负责将上层应用的命令转换成PlayerDriver可以内部命令加入到其命令队列中，由PlayerDriver负责执行，并负责将命令执行的结果回送给上层媒体框架以及JAVA程序；v 在PlayerDriver中有一个消息循环负责处理PVPlayer发送过来的命令，调用PVPlayerEngine相应的接口来完成媒体控制；v 在创建PlayerDriver对象时会生成opencore主线程，并调用OsclExecScheduler.StartScheduler来开始opencore主线程循环；v 源码文件：v android/playerdriver.cppv android/playerdriver.h媒体播放引擎-文件格式识别v 在opencore中由PVPlayerRecognizerRegistry负责文件格式识别，并将结果返回给PVPlayerEngine；v PVPlayerEngine根据类型来创建对应的文件解析节点ParseNode；v opencore中对文件格式的识别时通过读取文件头的方式进行的，而不是根据文件扩展名；v opencore中通过向系统中注册文件识别插件的方式来提供文件格式识别的功能，系统通过循环调用每个注册插件的Recognize()函数来进行格式识别；v 在创建媒体播放引擎的时候会通过PVPlayerRegistryPopulator::Populate()函数来注册所有的文件识别插件到系统中500)this.width=700;" border="0"> v 源码文件：v pvmi/recognizer/src/pvmf_recognizer_registry.cppv pvmi/recognizer/src/pvmf_recognizer_registry_impl.cppv pvmi/recognizer/plugins/目录下所有的子目录中存放着文件识别插件的代码；媒体播放引擎-文件格式解析节点v 在opencore中通过文件解析节点（ParseNode）来完成音视频文件格式的解析，并将文件中的音频、视频数据送到对应的解码节点进行解码；v PVPlayerEngine通过PVMFNodeInterface接口来完成对ParseNode的操作；ParseNode通过提供扩展接口来实现通用Node接口不能实现的功能；v 常用的扩展接口如：PvmiCapabilityAndConfig；v opencore中通过注册的方式向系统中注册文件格式解析节点500)this.width=700;" border="0"> 媒体播放引擎-节点注册v 1、每个节点都有一个对应的PVMFXXXXFactrory来负责创建；v 2、系统中通过PVPlayerRegistryPopulator. RegisterAllNodes()来注册所有支持的节点；v 3、opencore首先调用PVPlayerNodeRegistry-> QueryRegistry()函数查询对于指定的输入&输出格式的Node的UUID，然后通过PVPlayerNodeRegistry-> CreateNode ()创建指定的Node。v 4、PVPlayerEngine就是通过文件格式识别插件返回的媒体类型来创建对应的文件解析节点的void PVMFMP4FFParserNode::Run(){ //Process commands. if (!iInputCommands.empty()) { ProcessCommand(); } while (!iPortActivityQueue.empty() && (iInterfaceState ==EPVMFNodeStarted || FlushPending())) { ProcessPortActivity(); } if (iInterfaceState == EPVMFNodeStarted && !FlushPending()) { HandleTrackState(); } //Check for completion of a flush command... if (FlushPending() && iPortActivityQueue.empty()) { //Flush is complete. CommandComplete(iCurrentCommand,iCurrentCommand.front(), PVMFSuccess); }} voidPVMFMP4FFParserNode::HandleTrackState(){ for (uint32 i = 0; i { switch (iNodeTrackPortList[i].iState) { casePVMP4FFNodeTrackPortInfo::TRACKSTATE_UNINITIALIZED: …… case PVMP4FFNodeTrackPortInfo::TRACKSTATE_TRANSMITTING_GETDATA: …… if(!RetrieveTrackData(iNodeTrackPortList[i])) { …… } …… case PVMP4FFNodeTrackPortInfo::TRACKSTATE_TRANSMITTING_SENDDATA: if(SendTrackData(iNodeTrackPortList[i])) { …… } break; …… } }}媒体播放引擎-解码节点v opencore中由DecNode节点负责媒体数据的解码工作；v DecNode通过调用底层的opencoreMAX通用接口实现媒体数据的解码；v 对于一个普通的视频文件，存在2个解码节点：音频解码节点和视频解码节点； 500)this.width=700;" border="0">boolPVMFOMXBaseDecNode::SendInputBufferToOMXComponent(){ …… OMX_EmptyThisBuffer(iOMXDecoder, input_buf->pBufHdr); ……}PVMFOMXBaseDecNode::SendOutputBufferToOMXComponent(){ …… OMX_FillThisBuffer(iOMXDecoder, output_buf->pBufHdr); ……}OMX_ERRORTYPE PVMFOMXBaseDecNode::EmptyBufferDoneProcessing(OMX_OUTOMX_HANDLETYPE aComponent, OMX_OUT OMX_PTR aAppData, OMX_OUT OMX_BUFFERHEADERTYPE* aBuffer){ ……}OMX_ERRORTYPEPVMFOMXBaseDecNode::FillBufferDoneProcessing(OMX_OUT OMX_HANDLETYPE aComponent, OMX_OUT OMX_PTR aAppData, OMX_OUT OMX_BUFFERHEADERTYPE* aBuffer){ ……}v 源码文件：v nodes/pvomxbasedecnode/v nodes/pvomxvideodecnode/v codecs_v2/omx/媒体播放引擎-媒体输出节点v MediaOutputNode负责接收DecNode的解码后数据，并将数据输出到MIO；同时在输出前作视频的同步；v MIO负责将数据输出到surfaceFlinger和AudioFlinger；v 视频数据在输出前需要做颜色空间的转换（YUV->RGB）和缩放，这部分的工作也在MIO中完成；v 节点源码：v nodes/pvmediaoutputnode/v MIO源码：v android/android_surface_output.cppv android/android_audio_output.cppv android/android_audio_mio.cppv http://zhaixishan.cublog.cn附录：具体的代码阅读：目录结构 OpenCore的代码在以下目录中：external/opencore/。这个目录是OpenCore的根目录，其中包含的子目录如下所示： * android：这里面是一个上层的库，它基于PVPlayer和PVAuthor的SDK实现了一个为Android使用的Player和Author。 * baselibs：包含数据结构和线程安全等内容的底层库 * codecs_v2：这是一个内容较多的库，主要包含编解码的实现，以及一个OpenMAX的实现 * engines：包含PVPlayer和PVAuthor引擎的实现 * extern_libs_v2：包含了khronos的OpenMAX的头文件 * fileformats：文件格式的据具体解析（parser）类 * nodes：编解码和文件解析的各个node类。 * oscl：操作系统兼容库 * pvmi：输入输出控制的抽象接口 * protocols：主要是与网络相关的RTSP、RTP、HTTP等协议的相关内容 * pvcommon：pvcommon库文件的Android.mk文件，没有源文件。 * pvplayer：pvplayer库文件的Android.mk文件，没有源文件。 * pvauthor：pvauthor库文件的Android.mk文件，没有源文件。 * tools_v2：编译工具以及一些可注册的模块。 Splitter的定义与初始化以wav的splitter为例，在fileformats目录下有解析wav文件格式的pvwavfileparser.cpp文件，在nodes目录下有pvmf_wavffparser_factory.cpp，pvmf_wavffparser_node.h，pvmf_wavffparser_port.h等文件。我们由底往上看，vwavfileparser.cpp中的PV_Wav_Parser类有InitWavParser()，GetPCMData()，RetrieveFileInfo()等解析wav格式的成员函数，此类应该就是最终的解析类。我们搜索PV_Wav_Parser类被用到的地方可知，在PVMFWAVFFParserNode类中有PV_Wav_Parser的一个指针成员变量。再搜索可知，PVMFWAVFFParserNode类是通过PVMFWAVFFParserNodeFactory的CreatePVMFWAVFFParserNode()成员函数生成的。而CreatePVMFWAVFFParserNode()函数是在PVPlayerNodeRegistry::PVPlayerNodeRegistry()类构造函数中通过PVPlayerNodeInfo类被注册到Oscl_Vector 的vector中，在这个构造函数中，AMR，mp3等node也是同样被注册的。由上可知，Opencore中对splitter的管理也是与ffmpeg等类似，都是在框架的初始化时注册的，只不过Opencore注册的是每个splitter的factory函数。综述一下splitter的定义与初始化过程：每个splitter都在fileformats目录下有个对应的子目录，其下有各自的解析类。每个splitter都在nodes目录下有关对应的子目录，其下有各自的统一接口的node类和node factory类。播放引擎PVPlayerEngine类中有PVPlayerNodeRegistry iPlayerNodeRegistry成员变量。在PVPlayerNodeRegistry的构造函数中，将 AMR, AAC, MP3等splitter的输入与输出类型标示和node factory类中的create node与release delete接口通过PVPlayerNodeInfo类push到Oscl_Vector iType成员变量中。当前Splitter的匹配过程PVMFStatusPVPlayerNodeRegistry::QueryRegistry(PVMFFormatType& aInputType,PVMFFormatType& aOutputType, Oscl_Vector& aUuids)函数的功能是根据输入类型和输出类型，在已注册的node vector中寻找是否有匹配的node，有的话传回其唯一识别标识PVUuid。从QueryRegistry这个函数至底向上搜索可得到，在android中splitter的匹配过程如下：android_media_MediaPlayer.cpp之中定义了一个JNINativeMethod（JAVA本地调用方法）类型的数组gMethods，供java代码中调用MultiPlayer类的setDataSource成员函数时找到对应的c++函数 {"setDataSource", "(Ljava/lang/String;)V", (void *)android_media_MediaPlayer_setDataSource},static void android_media_MediaPlayer_setDataSource(JNIEnv *env, jobject thiz, jstring path) 此函数中先得到当前的MediaPlayer实例，然后调用其setDataSource函数，传入路径status_t MediaPlayer::setDataSource(const char *url) 此函数通过调getMediaPlayerService（）先得到当前的MediaPlayerService， const sp& service(getMediaPlayerService()); 然后新建一个IMediaPlayer变量， sp player(service->create(getpid(), this, fd, offset, length)); 在sp MediaPlayerService::create(pid_t pid, const sp& client, const char* url)中调status_t MediaPlayerService::Client::setDataSource(const char *url)函数，Client是MediaPlayerService的一个内部类。在MediaPlayerService::Client::setDataSource中，调sp MediaPlayerService::Client::createPlayer(player_type playerType) 生成一个继承自MediaPlayerBase的PVPlayer实例， PVPlayer的继承关系如下: PVPlayer-->MediaPlayerInterface-->MediaPlayerBase 最后调PVPlayer的setDataSource()函数status_t PVPlayer::setDataSource(const char *url) status_t PVPlayer::prepare() 此函数开头执行ret = mPlayerDriver->enqueueCommand(new PlayerSetDataSource(mDataSourcePath,0,0)); 将PlayerSetDataSource 的command类加入到PlayerDriver的command处理队列中，在void PlayerDriver::Run()函数中处理此command，调用下面的handleSetDataSource函数。void PlayerDriver::handleSetDataSource(PlayerSetDataSource* ec)PVCommandId PVPlayerEngine::AddDataSource(PVPlayerDataSource& aDataSource, const OsclAny* aContextData) This function allows a player data source to be specified for playback. This function must be calledPVMFStatus PVPlayerEngine::DoAddDataSource(PVPlayerEngineCommand& aCmd)PVMFStatus PVPlayerEngine::DoSetupSourceNode(PVCommandId aCmdId, OsclAny* aCmdContext)