algorithm - 两组点之间的转换

我对模型图像有异议。我想计算模型图像上的对象和目标图像上的对象之间的转换（位移、比例、旋转）。我想假设对象可以被视为二维的，所以只需要计算二维变换。
首先我想用人工辅助的方式。用户在模型图像上选择基点，然后在目标图像上选择目标点。点数由用户定义（但不少于2-3点）。当点给出不同的信息时，变换应该取平均值，例如从中可以计算匹配的质量。
所以问题在于计算两组点的转换，但我想在图像上做这件事，所以添加了图像处理标签。
特别受欢迎的是一些代码或伪代码的参考和建议。
两点法是一个很容易解决的问题，只需要测线的旋转、缩放和位移，而如何用更多的点，求平均值，计算一些质量因子。
目前的解决方案是：

void transformFnc(std::vector<PointF> basePoints, std::vector<PointF> targetPoints,
                  PointF& offset, double rotation, double scale)
{
    std::vector<Line> basePointsLines;
    std::vector<Line> targetPointsLines;
    assert(basePoints.size() == targetPoints.size());
    int pointsNumber = basePoints.size();

    for(int i = 0; i < pointsNumber; i++)
    {
         for(int j = i + 1; j < pointsNumber; j++)
         {
             basePointsLines.push_back(Line(basePoints[i], basePoints[j]));
             targetPointsLines.push_back(Line(targetPoints[i], targetPoints[j]));
         }
    }
    std::vector<double> scalesVector;
    std::vector<double> rotationsVector;
    double baseCenterX = 0, baseCenterY = 0, targetCenterX = 0, targetCenterY = 0;
    for(std::vector<Line>::iterator it = basePointsLines.begin(), i = targetPointsLines.begin();
        it != basePointsLines.end(), i != targetPointsLines.end(); it++, i++)
    {
        scalesVector.push_back((*i).length()/(*it).length());
        baseCenterX += (*it).pointAt(0.5).x();
        baseCenterY += (*it).pointAt(0.5).y();
        targetCenterX += (*i).pointAt(0.5).x();
        targetCenterY += (*i).pointAt(0.5).y();
        double rotation;
        rotation = (*i).angleTo((*it));
        rotationsVector.push_back(rotation);
    }
    baseCenterX = baseCenterX / pointsNumber;
    baseCenterY = baseCenterY / pointsNumber;
    targetCenterX = targetCenterX / pointsNumber;
    targetCenterY = targetCenterY / pointsNumber;

    offset = PointF(targetCenterX - baseCenterX, targetCenterY - baseCenterY);
    scale = sum(scalesVector) / scalesVector.size();
    rotation = sum(rotationsVector) / rotationsVector.size();
}

在这段代码中，我能找到的唯一优化是从scales和rotations中消除那些与其他值相差太大的值。
我在寻找解命题的码或伪码。它也可以作为一些代码的参考。
从答案来看，我知道：
可以使用ransac算法
我需要寻找一些最小平方意义上的仿射变换计算算法

最佳答案

首先用一个3x3仿射变换矩阵推广了一个简单的仿射变换问题：即。

[M11 M12 M13]
[M21 M22 M23]
[M31 M32 M33]

因为我们已经知道第三行永远是[0 0 1]，所以我们可以忽略它。
现在我们可以用下面的矩阵方程来描述这个问题

[xp0]     [x0 y0 1  0  0  0 ]
[yp0]     [0  0  0  x0 y0 1 ]     [M11]
[xp1]     [x1 y1 1  0  0  0 ]     [M12]
[yp1]  =  [0  0  0  x1 y1 1 ]  *  [M13]
[xp2]     [x2 y2 1  0  0  0 ]     [M21]
[yp2]     [0  0  0  x2 y2 1 ]     [M22]
[xp3]     [x3 y3 1  0  0  0 ]     [M23]
[yp3]     [0  0  0  x3 y3 1 ]

其中xp和yp是投影坐标，x和y是原始坐标。
我们把这个叫做

proj = M * trans

然后我们可以通过

trans = pinv(M) * proj

其中pinv是伪逆。
这给了我们一个仿射变换，它最适合在最小二乘意义上给出的点。
很明显，这也会产生剪切，坐标翻转以及非均匀缩放，这是你不想要的，所以我们需要以某种方式限制仿射变换以避免剪切。这很简单，我们可以用一个向量来描述旋转（向量的方向）和缩放（向量的大小），另一个向量与之正交。这就减少了两个自由度。

M21 = -M12
M22 = M11

所以减少到

[xp0]     [x0  y0 1 0]
[yp0]     [y0 -x0 0 1]
[xp1]     [x1  y1 1 0]     [M11]
[yp1]  =  [y1 -x1 0 1]  *  [M12]
[xp2]     [x2  y2 1 0]     [M13]
[yp2]     [y2 -x2 0 1]     [M23]
[xp3]     [x3  y3 1 0]
[yp3]     [y3 -x3 0 1]

求出上述矩阵方程后，由m12和m11计算m21和m22。