java - 在当前帧之前存储视频帧？

我目前有一段显示视频的代码，我正在尝试对其进行扩展，以使其显示当前帧与上一帧之间的差异，以便检测运动。我知道我将不得不使用absdiff()函数显示两个图像之间的对比度，但是我不确定如何将上一帧存储为Mat。有人可以看看下面的代码，告诉我应该在哪里添加“上一帧”代码以及应该写什么。我以为它不会花很长时间，我只是在网上找不到任何教程...

import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Size;
import org.opencv.highgui.VideoCapture;
import org.opencv.highgui.Highgui;
import org.opencv.imgproc.Imgproc;

// ********************************************************

public class CaptureVideo {

public static void main(String[] args) throws InterruptedException {

    // load the Core OpenCV library by name

    System.loadLibrary(Core.NATIVE_LIBRARY_NAME);

    // create video capture device object

    VideoCapture cap = new VideoCapture();

    // try to use the hardware device if present

    int CAM_TO_USE = 0;

    // create a new image object

    Mat matFrame = new Mat();

    // try to open first capture device (0)

    try {
        cap.open(CAM_TO_USE);
    } catch (Exception e1) {
        System.out.println("No webcam attached");

        // otherwise try opening a video file

        try{
            cap.open("files/video.mp4");
        } catch (Exception e2) {
            System.out.println("No video file found");
        }
    }

    // if the a video capture source is now open

    if (cap.isOpened())
    {

        // create a new window object

        Imshow ims = new Imshow("From video source ... ");

        boolean keepProcessing = true;

        while (keepProcessing)
        {
            // grab the next frame from video source

            cap.grab();

            // decode and return the grabbed video frame

            cap.retrieve(matFrame);

            // if the frame is valid (not end of video for example)

            if (!(matFrame.empty()))
            {
                // *** to any processing here***

                // display image with a delay of 40ms (i.e. 1000 ms / 25 = 25 fps)

                ims.showImage(matFrame);
                Thread.sleep(40);
            } else {
                keepProcessing = false;
            }
        }

    } else {
        System.out.println("error cannot open any capture source - exiting");

    }

    // close down the camera correctly

    cap.release();

  }
}

我尝试在else语句中的任何一个之后添加以下代码，但是产生的全部是黑屏(我认为这是因为'previousFrame'只是'matFrame'的副本):

            previousFrame = matFrame;

            Core.absdiff(matFrame, previousFrame, diffFrame);

            ims.showImage(diffFrame);

谁能指出我要去哪里了？

最佳答案

进行previousFrame = matFrame;会使previousFrame 将指向matFrame。您不是将复制到矩阵上-previousFrame和matFrame都引用同一对象。因此，您实际上是在将矩阵与其本身相减，这就是为什么您得到黑框的原因。

您需要做一个正确的副本，因此需要使用 Mat.clone() 克隆矩阵。但是，如果要查找两个框架之间的差异，请记住，我们至少需要读取两个框架才能实现此目的。当我们仅读取视频的第一帧时，我们真的找不到差异帧，因此我们应该检查一下这是否是第一帧。如果是第一帧，则只显示相应的普通帧。在那之后，我们可以通过确保在复制下一帧之前先复制前一帧来显示差异帧。

因此，请为您的循环执行此操作:

   // ****** Change - add a flag to check to see if the first frame has been read
   boolean firstFrame = true;

   // ****** Change - declare previous frame here
   Mat previousFrame;
   while (keepProcessing)
    {
        // ****** Change - Save previous frame before getting next one
        // Only do this if the first frame has passed
        if (!firstFrame)
            previousFrame = matFrame.clone();

        // grab the next frame from video source
        cap.grab();

        // decode and return the grabbed video frame
        cap.retrieve(matFrame);

        // if the frame is valid (not end of video for example)
        if (!(matFrame.empty()))
        {
            // **** Change - If we are on the first frame, only show that and
            // set the flag to false
            if (firstFrame) {
                ims.showImage(matFrame);
                firstFrame = false;
            }
            // ***** Change - now show absolute difference after first frame
            else {
                Core.absdiff(matFrame, previousFrame, diffFrame);
                ims.showImage(diffFrame);
            }

            // display image with a delay of 40ms (i.e. 1000 ms / 25 = 25 fps)
            Thread.sleep(40);
        } else {
            keepProcessing = false;
        }
    }