我正在开发一个屏幕流程序,到目前为止,我可以捕获屏幕并将其完美地编码为视频。
但是,每当我尝试通过LAN对其进行流传输并使用Mplayer进行播放时,它都可以在简单的桌面(文本文档等)中运行,但是当我尝试播放视频时,显示框架已损坏,直到退出视频为止(此视频导致最坏的帧https://www.youtube.com/watch?v=1La4QzGeaaQ&t=230s)
我不确定为什么在流式传输时,YouTube视频会损坏帧,但是将其保存到文件中(将URL从udp://192.168.1.xxx:YYYY更改为文件名C:\ Test.ts)根本没有损坏的框架。
我的Mplayer日志:
`V: 0.0 1563/1563 51% 43% 0.0% 0 0
[h264 @ 0000000001d04940]Invalid NAL unit 0, skipping.
[h264 @ 0000000001d04940]error while decoding MB 23 51, bytestream -64
[h264 @ 0000000001d04940]concealing 2066 DC, 2066 AC, 2066 MV errors in I frame
V: 0.0 1564/1564 51% 43% 0.0% 0 0
[h264 @ 0000000001d04940]concealing 7598 DC, 7598 AC, 7598 MV errors in P frame
V: 0.0 1652/1652 50% 43% 0.0% 0 0
[h264 @ 0000000001d04940]Invalid NAL unit 0, skipping.
[h264 @ 0000000001d04940]error while decoding MB 26 49, bytestream -55
[h264 @ 0000000001d04940]concealing 2303 DC, 2303 AC, 2303 MV errors in I frame
V: 0.0 1653/1653 50% 43% 0.0% 0 0
[h264 @ 0000000001d04940]concealing 7727 DC, 7727 AC, 7727 MV errors in P frame
V: 0.0 1741/1741 49% 43% 0.0% 0 0
[h264 @ 0000000001d04940]Invalid NAL unit 0, skipping.
[h264 @ 0000000001d04940]error while decoding MB 65 62, bytestream -57
[h264 @ 0000000001d04940]concealing 704 DC, 704 AC, 704 MV errors in I frame
V: 0.0 1742/1742 49% 43% 0.0% 0 0`
流初始化代码
static void Stream_ini(const char *Url, AVFormatContext *&ofmt_ctx, AVCodec *codec, AVCodecContext *c, AVStream *&out_stream)
{
int ret;
avformat_alloc_output_context2(&ofmt_ctx, NULL, "mpegts", Url);
out_stream = avformat_new_stream(ofmt_ctx, codec)
out_stream->codec = c;
av_dump_format(ofmt_ctx, 0, Url, 1);
if (ofmt_ctx->oformat->flags & AVFMT_GLOBALHEADER)
out_stream->codec->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
if (!(ofmt_ctx->flags & AVFMT_NOFILE))
{
ret = avio_open(&ofmt_ctx->pb, Url, AVIO_FLAG_WRITE);
if (ret < 0)
{
printf("Could not open output URL '%s'", Url);
return;
}
}
ret = avformat_write_header(ofmt_ctx, NULL);
if (ret < 0)
{
printf("Error occurred when opening output URL\n");
return;
}
}
此代码将获取捕获的屏幕,并将其发送到编码器:
ScreenCap.load_screen_data(inFrame,timmer) // this will capture screen and return the time and AVFrame for encoding
sws_scale(ctx, inFrame->data, inFrame->linesize, 0,c->height, frame->data, frame->linesize);
frame->pts = (timmer - first_frame_time) / fps;
EncodeToPkT(c, frame, pkt, ofmt_ctx,out_stream);
av_frame_free(&inFrame);
然后,将使用avcodec_send_frame()将AVFrame发送到编码器以获取Packet数据,并使用av_interleaved_write_frame()通过LAN将其流化。
为简化起见,删除了所有错误检查
另外,这是我对编码器的AVCodecContex设置:
c->bit_rate = 15000000;
c->width = 1920;
c->height = 1080;
c->time_base = AVRational{ 1, 90 };
c->framerate = AVRational{ 90, 1 };
c->gop_size = 90;
c->max_b_frames = 0;
c->pix_fmt = AV_PIX_FMT_RGB0;
我还注意到,仅当我增加编码器比特率(15 MBIT)时才会发生,而当降低编码器比特率(10 MBIT)时它发生的次数就更少。当降低到2 MBIT时,损坏的帧不再发生,但是质量确实很差。
我使用以下方法测试LAN中的流:PC->电缆->笔记本电脑,PC->无线->笔记本电脑,PC->虚拟PC,仅PC(在程序和Mplayer中都输入PC IP地址),所有结果均相同。
我还通过使其输出原始图像来测试DXGICap.load_screen_data函数,而根本没有损坏的图像
有谁知道为什么。
谢谢南
最佳答案
这不仅是使用UDP的一种情况。您会收到乱序的数据包,然后解码会失败/抱怨?尝试使用TCP,看看会发生什么。
关于c++ - 在UDP(MPEGTS)中传输时FFMPEG损坏的帧,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/49715753/