我打算编写一些Java测试实用程序,以在应用程序的内存中生成一些图像,并将它们作为源推送到gstreamer管道,从而生成mjpeg流。 AppSrc的gstreamer-java用法的唯一示例是http://code.google.com/p/gstreamer-java/source/browse/trunk/gstreamer-java/src/org/gstreamer/example/AppSrcTest.java?r=480,它太简单了-放入缓冲区的值只是递增的颜色值。如果我们要推送真实的jpeg图像该怎么办。

当我尝试推送一些jpeg时,将其作为BufferedImage然后转换为byte [],我在输出流方面遇到了麻烦-显示了一些数字噪声,而不是我将其作为缓冲的图像。我注意到的第一件事是,尽管与AppSrcTest示例中的缓冲区具有相同的640x480图像大小,但BufferedImage之后占用的字节数组大小较小。看来我需要一种方法来使其与缓冲区接受的大小完全相同。所以问题是我应该将哪种数据推送到缓冲区,以及如何在Java中获得这种格式。

UPD。由于代码是开始解释我的错误的好地方,所以这里是:

pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>

   <groupId>gstreamer</groupId>
   <artifactId>gstreamer</artifactId>
   <version>1.0-SNAPSHOT</version>
        <dependencies>
            <dependency>
                <groupId>com.googlecode.gstreamer-java</groupId>
                <artifactId>gstreamer-java</artifactId>
                <version>1.5</version>
            </dependency>
        </dependencies>
 </project>


Run.java:

import org.gstreamer.Gst;
import java.awt.BorderLayout;
import java.awt.Dimension;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.util.Arrays;
import javax.imageio.ImageIO;
import javax.swing.JFrame;
import javax.swing.SwingUtilities;
import org.gstreamer.Buffer;
import org.gstreamer.Caps;
import org.gstreamer.Element;
import org.gstreamer.ElementFactory;
import org.gstreamer.Gst;
import org.gstreamer.Pipeline;
import org.gstreamer.State;
import org.gstreamer.TagList;
import org.gstreamer.elements.AppSrc;
import org.gstreamer.swing.VideoComponent;

public class Run {
    private static Pipeline pipeline;
    static TagList tags;

 public static void main(String[] args) {

    args = Gst.init("AppSrcTest", args);
    final int width = 640, height = 480;
    /* setup pipeline */
    pipeline = new Pipeline("pipeline");
    final AppSrc appsrc = (AppSrc) ElementFactory.make("appsrc", "source");
    final Element srcfilter = ElementFactory.make("capsfilter", "srcfilter");
    Caps fltcaps = new Caps("video/x-raw-rgb, framerate=2/1"
            + ", width=" + width + ", height=" + height
            + ", bpp=16, depth=16");
    srcfilter.setCaps(fltcaps);
    final Element videorate = ElementFactory.make("videorate", "videorate");
    final Element ratefilter = ElementFactory.make("capsfilter", "RateFilter");
    final Element autovideosink = ElementFactory.make("autovideosink", "autovideosink");
    ratefilter.setCaps(Caps.fromString("video/x-raw-rgb, framerate=2/1"));
    SwingUtilities.invokeLater(new Runnable() {
        int widthF;
        int heightF;


        public void run() {

            JFrame frame = new JFrame("FakeSrcTest");
            VideoComponent panel = new VideoComponent();
            panel.setPreferredSize(new Dimension(width, height));
            frame.add(panel, BorderLayout.CENTER);
            Element videosink = panel.getElement();
            pipeline.addMany(appsrc, srcfilter, videorate, ratefilter, videosink);
            Element.linkMany(appsrc, srcfilter, videorate, ratefilter, videosink);

            //pipeline.addMany(appsrc, autovideosink);
            //Element.linkMany(appsrc, autovideosink);
            appsrc.set("emit-signals", true);
            appsrc.connect(new AppSrc.NEED_DATA() {
                byte color = 0;
                byte[] data = new byte[width * height * 2];


                public void needData(AppSrc elem, int size) {
                    System.out.println("NEED_DATA: Element=" + elem.getNativeAddress()
                            + " size=" + size);
                    Arrays.fill(data, color++);

                    byte[] imageInByte=data;
                    ///File img = new File("file.jpg");


                    BufferedImage originalImage = null;
                    try {
                        originalImage = ImageIO.read(new File("file.jpg"));
                        heightF=originalImage.getHeight();
                        widthF=originalImage.getWidth();
                        System.out.println(heightF+"x"+widthF);
                        ByteArrayOutputStream baos = new ByteArrayOutputStream();
                        ImageIO.write( originalImage, "jpg", baos );
                        baos.flush();
                        //Arrays.fill(imageInByte,color);

                        for (int i=0;i<baos.toByteArray().length;i++)
                        {
                        imageInByte[i] = baos.toByteArray()[i];
                        }

                        //imageInByte = baos.toByteArray();
                        baos.close();
                    } catch (IOException e) {

                    }


                    //Buffer buffer = new Buffer(data.length);
                    //buffer.getByteBuffer().put(data);
                    //System.out.println(data.length);

                    //Buffer buffer = new Buffer(imageInByte.length);
                    Buffer buffer = new Buffer(614400);
                    System.out.println(imageInByte.length);
                    buffer.getByteBuffer().put(imageInByte);
                    appsrc.pushBuffer(buffer);
                }
            });
            appsrc.connect(new AppSrc.ENOUGH_DATA() {
                public void enoughData(AppSrc elem) {
                    System.out.println("NEED_DATA: Element=" + elem.getNativeAddress());
                }
            });
            //frame.setSize(640, 480);


            frame.setSize(widthF, heightF);
            frame.pack();
            frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
            frame.setVisible(true);

            pipeline.setState(State.PLAYING);
        }
    });

}
}


请不要指出我的代码不好(我知道:)),但是请告诉我哪里错了。我认为应该推送的Jpeg-> BuffredImage-> byte []似乎是错误的。从屏幕截图可以看出,进入videosink元素的数据是错误的。我应该在那放什么?

UPD 2:
如果将videosink替换为filesink,则可以记录一些看起来依赖于某些缓冲图像的文件。但是,它的模拟结果是错误的-vlc将其作为10秒钟的单帧播放(显示来自Java代码的唯一BuffredImage;如果我在代码中替换图像,则第一个缓冲的图像仍显示为唯一帧),其他播放器则不会一点都不认识。但是,似乎咬伤存储在视频文件中-我看到缓冲区刷新工作增加了文件大小。

我以为问题是我忽略了多路复用,而是将avimux添加到了管道中,但是,在添加了avimux NeedData(AppSrc elem,int size)之后,不再被调用并且没有任何内容写入文件中。

最佳答案

推送字节以获取编码的JPEG文件,但是使用srcfilter告诉gstreamer将JPEG流解释为原始视频帧:

src (jpegs) -> srcfilter(call it raw rgb) -> videorate -> ratefilter -> videosink (expects raw video)


在将其发送到仅对原始视频进行操作的元素之前,应先执行以下操作:将JPEG解码为原始视频:

src (jpegs) -> jpegdec (decodes jpeg files) -> ffmpegcolorspace -> videorate -> ratefilter -> videosink


要创建mjpeg,请将解码后的视频运行到mjpeg编码器中:

src (jpegs) -> jpegdec -> ffmpegcolorspace -> videorate -> ratefilter -> ffenc_mjpeg


在尝试在代码中实现之前,通常最容易使用gst-launch测试管道结构,尤其是在使用Java的情况下。请参见multifilesrc元素。

由于您使用的是GStreamer,因此实际上没有理由在将其推入管道之前将其编码为JPEG。获取缓冲图像的原始字节,并将其作为原始视频推送。然后,您可以将capsfilter设置为反映图像格式,并跳过jpegdec元素。

10-07 19:31
查看更多