我打算编写一些Java测试实用程序,以在应用程序的内存中生成一些图像,并将它们作为源推送到gstreamer管道,从而生成mjpeg流。 AppSrc的gstreamer-java用法的唯一示例是http://code.google.com/p/gstreamer-java/source/browse/trunk/gstreamer-java/src/org/gstreamer/example/AppSrcTest.java?r=480,它太简单了-放入缓冲区的值只是递增的颜色值。如果我们要推送真实的jpeg图像该怎么办。
当我尝试推送一些jpeg时,将其作为BufferedImage然后转换为byte [],我在输出流方面遇到了麻烦-显示了一些数字噪声,而不是我将其作为缓冲的图像。我注意到的第一件事是,尽管与AppSrcTest示例中的缓冲区具有相同的640x480图像大小,但BufferedImage之后占用的字节数组大小较小。看来我需要一种方法来使其与缓冲区接受的大小完全相同。所以问题是我应该将哪种数据推送到缓冲区,以及如何在Java中获得这种格式。
UPD。由于代码是开始解释我的错误的好地方,所以这里是:
pom.xml:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>gstreamer</groupId>
<artifactId>gstreamer</artifactId>
<version>1.0-SNAPSHOT</version>
<dependencies>
<dependency>
<groupId>com.googlecode.gstreamer-java</groupId>
<artifactId>gstreamer-java</artifactId>
<version>1.5</version>
</dependency>
</dependencies>
</project>
Run.java:
import org.gstreamer.Gst;
import java.awt.BorderLayout;
import java.awt.Dimension;
import java.awt.image.BufferedImage;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.IOException;
import java.util.Arrays;
import javax.imageio.ImageIO;
import javax.swing.JFrame;
import javax.swing.SwingUtilities;
import org.gstreamer.Buffer;
import org.gstreamer.Caps;
import org.gstreamer.Element;
import org.gstreamer.ElementFactory;
import org.gstreamer.Gst;
import org.gstreamer.Pipeline;
import org.gstreamer.State;
import org.gstreamer.TagList;
import org.gstreamer.elements.AppSrc;
import org.gstreamer.swing.VideoComponent;
public class Run {
private static Pipeline pipeline;
static TagList tags;
public static void main(String[] args) {
args = Gst.init("AppSrcTest", args);
final int width = 640, height = 480;
/* setup pipeline */
pipeline = new Pipeline("pipeline");
final AppSrc appsrc = (AppSrc) ElementFactory.make("appsrc", "source");
final Element srcfilter = ElementFactory.make("capsfilter", "srcfilter");
Caps fltcaps = new Caps("video/x-raw-rgb, framerate=2/1"
+ ", width=" + width + ", height=" + height
+ ", bpp=16, depth=16");
srcfilter.setCaps(fltcaps);
final Element videorate = ElementFactory.make("videorate", "videorate");
final Element ratefilter = ElementFactory.make("capsfilter", "RateFilter");
final Element autovideosink = ElementFactory.make("autovideosink", "autovideosink");
ratefilter.setCaps(Caps.fromString("video/x-raw-rgb, framerate=2/1"));
SwingUtilities.invokeLater(new Runnable() {
int widthF;
int heightF;
public void run() {
JFrame frame = new JFrame("FakeSrcTest");
VideoComponent panel = new VideoComponent();
panel.setPreferredSize(new Dimension(width, height));
frame.add(panel, BorderLayout.CENTER);
Element videosink = panel.getElement();
pipeline.addMany(appsrc, srcfilter, videorate, ratefilter, videosink);
Element.linkMany(appsrc, srcfilter, videorate, ratefilter, videosink);
//pipeline.addMany(appsrc, autovideosink);
//Element.linkMany(appsrc, autovideosink);
appsrc.set("emit-signals", true);
appsrc.connect(new AppSrc.NEED_DATA() {
byte color = 0;
byte[] data = new byte[width * height * 2];
public void needData(AppSrc elem, int size) {
System.out.println("NEED_DATA: Element=" + elem.getNativeAddress()
+ " size=" + size);
Arrays.fill(data, color++);
byte[] imageInByte=data;
///File img = new File("file.jpg");
BufferedImage originalImage = null;
try {
originalImage = ImageIO.read(new File("file.jpg"));
heightF=originalImage.getHeight();
widthF=originalImage.getWidth();
System.out.println(heightF+"x"+widthF);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
ImageIO.write( originalImage, "jpg", baos );
baos.flush();
//Arrays.fill(imageInByte,color);
for (int i=0;i<baos.toByteArray().length;i++)
{
imageInByte[i] = baos.toByteArray()[i];
}
//imageInByte = baos.toByteArray();
baos.close();
} catch (IOException e) {
}
//Buffer buffer = new Buffer(data.length);
//buffer.getByteBuffer().put(data);
//System.out.println(data.length);
//Buffer buffer = new Buffer(imageInByte.length);
Buffer buffer = new Buffer(614400);
System.out.println(imageInByte.length);
buffer.getByteBuffer().put(imageInByte);
appsrc.pushBuffer(buffer);
}
});
appsrc.connect(new AppSrc.ENOUGH_DATA() {
public void enoughData(AppSrc elem) {
System.out.println("NEED_DATA: Element=" + elem.getNativeAddress());
}
});
//frame.setSize(640, 480);
frame.setSize(widthF, heightF);
frame.pack();
frame.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
frame.setVisible(true);
pipeline.setState(State.PLAYING);
}
});
}
}
请不要指出我的代码不好(我知道:)),但是请告诉我哪里错了。我认为应该推送的Jpeg-> BuffredImage-> byte []似乎是错误的。从屏幕截图可以看出,进入videosink元素的数据是错误的。我应该在那放什么?
UPD 2:
如果将videosink替换为filesink,则可以记录一些看起来依赖于某些缓冲图像的文件。但是,它的模拟结果是错误的-vlc将其作为10秒钟的单帧播放(显示来自Java代码的唯一BuffredImage;如果我在代码中替换图像,则第一个缓冲的图像仍显示为唯一帧),其他播放器则不会一点都不认识。但是,似乎咬伤存储在视频文件中-我看到缓冲区刷新工作增加了文件大小。
我以为问题是我忽略了多路复用,而是将avimux添加到了管道中,但是,在添加了avimux NeedData(AppSrc elem,int size)之后,不再被调用并且没有任何内容写入文件中。
最佳答案
推送字节以获取编码的JPEG文件,但是使用srcfilter告诉gstreamer将JPEG流解释为原始视频帧:
src (jpegs) -> srcfilter(call it raw rgb) -> videorate -> ratefilter -> videosink (expects raw video)
在将其发送到仅对原始视频进行操作的元素之前,应先执行以下操作:将JPEG解码为原始视频:
src (jpegs) -> jpegdec (decodes jpeg files) -> ffmpegcolorspace -> videorate -> ratefilter -> videosink
要创建mjpeg,请将解码后的视频运行到mjpeg编码器中:
src (jpegs) -> jpegdec -> ffmpegcolorspace -> videorate -> ratefilter -> ffenc_mjpeg
在尝试在代码中实现之前,通常最容易使用gst-launch测试管道结构,尤其是在使用Java的情况下。请参见multifilesrc元素。
由于您使用的是GStreamer,因此实际上没有理由在将其推入管道之前将其编码为JPEG。获取缓冲图像的原始字节,并将其作为原始视频推送。然后,您可以将capsfilter设置为反映图像格式,并跳过jpegdec元素。