C++/OpenCV - 用于视频稳定的卡尔曼滤波器

我尝试使用卡尔曼滤波器稳定视频以进行平滑。但我有一些问题

每次，我都有两帧:一个是当前帧，另一个是当前帧。
这是我的工作流程:

计算 goodFeaturesToTrack()

使用 calcOpticalFlowPyrLK() 计算光流

只保留优点

估计刚性变换

使用卡尔曼滤波器进行平滑

图片变形。

但我认为卡尔曼有问题，因为最后我的视频仍然不稳定，一点也不流畅，甚至比原来的还要糟糕……

这是我的卡尔曼代码

void StabilizationTestSimple2::init_kalman(double x, double y)
{

    KF.statePre.at<float>(0) = x;
    KF.statePre.at<float>(1) = y;
    KF.statePre.at<float>(2) = 0;
    KF.statePre.at<float>(3) = 0;

    KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
    KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                           0,0,0,0.3);
    setIdentity(KF.measurementMatrix);
    setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
    setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
    setIdentity(KF.errorCovPost, Scalar::all(.1));
}

以及我如何使用它。我只放了有趣的部分。所有这些代码都在一个 flor 循环中。
cornerPrev2 和 cornerCurr2 包含之前检测到的所有特征点(使用 calcOpticalFlowPyrLK())

    /// Transformation
    Mat transformMatrix = estimateRigidTransform(cornersPrev2,cornersCurr2 ,false);

    // in rare cases no transform is found. We'll just use the last known good transform.
    if(transformMatrix.data == NULL) {
        last_transformationmatrix.copyTo(transformMatrix);
    }

    transformMatrix.copyTo(last_transformationmatrix);

    // decompose T
    double dx = transformMatrix.at<double>(0,2);
    double dy = transformMatrix.at<double>(1,2);
    double da = atan2(transformMatrix.at<double>(1,0), transformMatrix.at<double>(0,0));

    // Accumulated frame to frame transform
    x += dx;
    y += dy;
    a += da;
    std::cout << "accumulated x,y: (" << x << "," << y << ")" << endl;

    if (compteur==0){
        init_kalman(x,y);
    }
    else {


          vector<Point2f> smooth_feature_point;
          Point2f smooth_feature=kalman_predict_correct(x,y);
          smooth_feature_point.push_back(smooth_feature);
          std::cout << "smooth x,y: (" << smooth_feature.x << "," << smooth_feature.y << ")" << endl;

          // target - current
          double diff_x = smooth_feature.x - x;//
          double diff_y = smooth_feature.y - y;

          dx = dx + diff_x;
          dy = dy + diff_y;

          transformMatrix.at<double>(0,0) = cos(da);
          transformMatrix.at<double>(0,1) = -sin(da);
          transformMatrix.at<double>(1,0) = sin(da);
          transformMatrix.at<double>(1,1) = cos(da);
          transformMatrix.at<double>(0,2) = dx;
          transformMatrix.at<double>(1,2) = dy;

          warpAffine(currFrame,outImg,transformMatrix,prevFrame.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);

          namedWindow("stabilized");
          imshow("stabilized",outImg);
          namedWindow("Original");
          imshow("Original",originalFrame);


    }

有人可以知道为什么它不起作用吗？

感谢

最佳答案

KF.transitionMatrix = *(Mat_<float>(4,4) << 1,0,1,0,    0,1,0,1,     0,0,1,0,   0,0,0,1);
KF.processNoiseCov = *(Mat_<float>(4,4) << 0.2,0,0.2,0,  0,0.2,0,0.2,  0,0,0.3,0,
                       0,0,0,0.3);
setIdentity(KF.measurementMatrix);
setIdentity(KF.processNoiseCov,Scalar::all(1e-6));
setIdentity(KF.measurementNoiseCov,Scalar::all(1e-1));
setIdentity(KF.errorCovPost, Scalar::all(.1));

您的 processNoiseCov 不对称，我怀疑您是否有正确的非对角线项。在你更好地理解 KF 之前，我会坚持使用对角矩阵。

另一方面，您似乎立即用带有微小值的 setIdentity 覆盖它，这可能是一个错误。也许您在遇到上面的无效矩阵问题后补充说？

如果您描述了帧速率和状态单位(米？像素？)，我们可以讨论如何为 processNoiseCov 和 measurementNoiseCov 选择合适的值。

编辑:

好的，鉴于您的状态是 [ x_pixels, y_pixels, dx_pixels, dy_pixels ]，这里有一些提示:

你的测量矩阵是 I 所以你是说你测量的东西与你所在的州完全相同(这有点不常见:通常你只会测量你的状态的一些子集，例如你没有速度的估计在您的测量中)。

假设你的测量矩阵是I，那么processNoiseCov和measurementNoiseCov的含义很相似，所以我将它们放在一起讨论。您的 processNoiseCov 应该是一个对角矩阵，其中每个项是这些值在帧之间可能如何变化的方差(标准差的平方)。例如，如果像素偏移在每帧 100 像素以内的可能性为 68%(请参阅正态分布)，则位置的对角线条目应为 100 * 100 = 10000(请记住，方差是 stddev 的平方)。您需要对速度如何变化进行类似的估计。 (高级:应该有共同变化的(非对角线)项，因为速度的变化与位置的变化有关，但你可以不用这个，直到对你有意义为止。我已经在其他答案中解释过)。

每帧都会添加 processNoiseCov 中的附加协方差，因此请记住所表示的更改超过 1/25 秒。

您的 measurementNoiseCov 具有相同类型的单位(同样，测量矩阵是单位)，但应该反射(reflect)您的测量与不可知的实际真实值相比的准确程度。

通常，您可以测量过程和测量值的实际值并计算它们的实际协方差(在 excel 或 python 或 Matlab 或其他中)。

您的 errorCovPost 是您的初始不确定性，就像您的每帧附加协方差一样表达，但它描述了您对初始状态正确性的确定程度。

在使用 KF 时，正确处理这些协方差矩阵是最重要的事情。在设计 KF 时，您总是会花更多的时间来做正确的事情。

关于C++/OpenCV - 用于视频稳定的卡尔曼滤波器，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/27296749/