python - 如何去除数独方块中的凸度缺陷？

我正在做一个有趣的项目:使用 OpenCV(如 Google 护目镜等)从输入图像中求解数独。我已经完成了任务，但最后我发现了一个小问题，我来到这里。

我使用 OpenCV 2.3.1 的 Python API 进行了编程。

以下是我所做的:

读取图像

找到轮廓

选择面积最大的那个，(也有点等价于正方形)。

找到角点。

例如下面给出:



( 请注意，这里的绿线与数独的真实边界正确重合，因此数独可以正确扭曲 。检查下一张图片)

将图像扭曲成完美的正方形

例如图像:

执行 OCR(为此我使用了我在 Simple Digit Recognition OCR in OpenCV-Python 中给出的方法)

而且这个方法效果很好。

问题:

checkout this image.

对这张图片执行第 4 步会得到以下结果:



绘制的红线是原始轮廓，是数独边界的真实轮廓。

绘制的绿线是近似轮廓，它将是扭曲图像的轮廓。

当然，数独顶部边缘的绿线和红线是有区别的。所以在翘曲时，我没有得到数独的原始边界。

我的问题:

如何在数独的正确边界(即红线)上扭曲图像或如何消除红线和绿线之间的差异？在 OpenCV 中是否有任何方法？

最佳答案

我有一个有效的解决方案，但您必须自己将其转换为 OpenCV。它是用 Mathematica 编写的。

第一步是通过将每个像素与关闭操作的结果相除来调整图像中的亮度:

src = ColorConvert[Import["http://davemark.com/images/sudoku.jpg"], "Grayscale"];
white = Closing[src, DiskMatrix[5]];
srcAdjusted = Image[ImageData[src]/ImageData[white]]

下一步是找到数独区域，这样我就可以忽略(屏蔽)背景。为此，我使用连通分量分析，并选择具有最大凸区域的分量:

components =
  ComponentMeasurements[
    ColorNegate@Binarize[srcAdjusted], {"ConvexArea", "Mask"}][[All,
    2]];
largestComponent = Image[SortBy[components, First][[-1, 2]]]

通过填充此图像，我获得了数独网格的蒙版:

mask = FillingTransform[largestComponent]

现在，我可以使用二阶导数滤波器在两个单独的图像中找到垂直线和水平线:

lY = ImageMultiply[MorphologicalBinarize[GaussianFilter[srcAdjusted, 3, {2, 0}], {0.02, 0.05}], mask];
lX = ImageMultiply[MorphologicalBinarize[GaussianFilter[srcAdjusted, 3, {0, 2}], {0.02, 0.05}], mask];

我再次使用连通分量分析从这些图像中提取网格线。网格线比数字长得多，因此我可以使用卡尺长度仅选择网格线连接的组件。按位置对它们进行排序，我得到图像中每条垂直/水平网格线的 2x10 蒙版图像:

verticalGridLineMasks =
  SortBy[ComponentMeasurements[
      lX, {"CaliperLength", "Centroid", "Mask"}, # > 100 &][[All,
      2]], #[[2, 1]] &][[All, 3]];
horizontalGridLineMasks =
  SortBy[ComponentMeasurements[
      lY, {"CaliperLength", "Centroid", "Mask"}, # > 100 &][[All,
      2]], #[[2, 2]] &][[All, 3]];

接下来我取每对垂直/水平网格线，扩大它们，计算逐个像素的交点，并计算结果的中心。这些点是网格线的交点:

centerOfGravity[l_] :=
 ComponentMeasurements[Image[l], "Centroid"][[1, 2]]
gridCenters =
  Table[centerOfGravity[
    ImageData[Dilation[Image[h], DiskMatrix[2]]]*
     ImageData[Dilation[Image[v], DiskMatrix[2]]]], {h,
    horizontalGridLineMasks}, {v, verticalGridLineMasks}];

最后一步是通过这些点为 X/Y 映射定义两个插值函数，并使用这些函数变换图像:

fnX = ListInterpolation[gridCenters[[All, All, 1]]];
fnY = ListInterpolation[gridCenters[[All, All, 2]]];
transformed =
 ImageTransformation[
  srcAdjusted, {fnX @@ Reverse[#], fnY @@ Reverse[#]} &, {9*50, 9*50},
   PlotRange -> {{1, 10}, {1, 10}}, DataRange -> Full]

所有的操作都是基本的图像处理功能，所以这在 OpenCV 中也应该是可能的。基于样条的图像变换可能更难，但我认为您并不真正需要它。可能使用您现在在每个单独的单元格上使用的透视变换会产生足够好的结果。

关于python - 如何去除数独方块中的凸度缺陷？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/10196198/