【OpenCV】手写字符分割

目录

1 工作原理

1.1 图像预处理

1.2 字符检测

1.3 字符提取

2 程序设计

---

1 工作原理

        手写字符分割的主要目标是将连续的手写文本图像进行分割，得到单字符的图像。这里考虑字符按照水平方向书写的情况，使用 OpenCV 实现手写字符分割，主要包括以下几个步骤：

        1）图像预处理：将图像转化为二值图，并进行图像去噪，使字符更容易被识别；

        2）字符检测：使用轮廓检测函数，识别可能包含字符的区域；

        3）字符提取：找到所有字符区域之后，从每个字符区域中提取字符。

1.1 图像预处理

        在手写字符分割中，图像预处理过程包括：灰度图转换、二值化和中值滤波。其中，灰度图转换和二值化处理，使字符与背景区域之间的对比度更大，便于寻找可能的字符区域；中值滤波用于去除图像中的噪点。

        使用 cv2.cvtColor() 和 cv2.threshold() 函数实现图像灰度图转换与二值化。

# 灰度图转换
gray = cv2.cvtColor(src_img, cv2.COLOR_BGR2GRAY)

# 二值化
_, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)

        使用 cv2.medianBlur() 函数实现中值滤波。

# 中值滤波
filter_size = 3
binary_f = cv2.medianBlur(binary, filter_size)

1.2 字符检测

        图像预处理完成后，就可以使用 cv2.findContours() 函数检测图像的轮廓信息，进一步寻找字符区域。

# 查找字符区域
contours, _ = cv2.findContours(binary_f, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

        cv2.findContours() 函数会返回多个轮廓信息，考虑到一些特殊字符（例如 %，÷），这些字符存在多个不连接的部分，因此需要合并位置接近的轮廓，得到字符整体区域。

        首先遍历所有的轮廓区域，获取最大宽度。然后计算每个区域的中点位置，若两个区域的中点位置距离小于最大宽度的一半，则拼接这两个区域。

# 遍历所有区域，寻找最大宽度
w_max = 0
for cnt in contours:
   _, _, w, _ = cv2.boundingRect(cnt)
   if w > w_max:
      w_max = w

# 遍历所有区域，拼接x坐标接近的区域
char_dict = {}
for cnt in contours:
   x, y, w, h = cv2.boundingRect(cnt)
   x_mid = x + w//2 # 计算中点位置

   if not char_dict.keys() or all(np.abs(z - x_mid) > w_max//2 for z in char_dict.keys()):
      char_dict[x_mid] = cnt
   else:
      for z in char_dict.keys():
         if np.abs(z - x_mid) <= w_max//2:
            char_dict[z] = np.concatenate((char_dict[z], cnt), axis=0) # 拼接两个区域

1.3 字符提取

        字符区域查找完成之后，遍历所有字符区域，使用 cv2.boundingRect() 函数获取端点位置和宽高信息，就可以提取字符了。

# 遍历所有区域，提取字符
dst_img = []
for _, cnt in char_dict.items():
   x, y, w, h = cv2.boundingRect(cnt)
   roi = binary[y:y+h, x:x+w]
   dst_img.append(roi)

2 程序设计

        使用 Gradio 实现交互式界面，中值滤波大小可选 3 × 3， 5 × 5 或 7 × 7。以下是 Python 实现代码：

#-*- Coding: utf-8 -*-

import cv2
import numpy as np
import gradio as gr

def charSeperate(src_img, filter_size):
   """函数功能：字符分割
      @param src_img
      @param filter_size
      @return dst_img"""
   
   # 灰度图
   gray = cv2.cvtColor(src_img, cv2.COLOR_BGR2GRAY)
   
   # 二值化
   _, binary = cv2.threshold(gray, 127, 255, cv2.THRESH_BINARY)
   binary_inv = cv2.bitwise_not(binary)

   # 中值滤波
   filter_size = int(filter_size[0][0]) if filter_size else 3
   binary_f = cv2.medianBlur(binary_inv, filter_size)

   # 查找字符区域
   contours, _ = cv2.findContours(binary_f, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

   # 遍历所有区域，寻找最大宽度
   w_max = 0
   for cnt in contours:
      _, _, w, _ = cv2.boundingRect(cnt)
      if w > w_max:
         w_max = w

   # 遍历所有区域，拼接x坐标接近的区域
   char_dict = {}
   for cnt in contours:
      x, y, w, h = cv2.boundingRect(cnt)
      x_mid = x + w//2 # 计算中点位置

      if not char_dict.keys() or all(np.abs(z - x_mid) > w_max//2 for z in char_dict.keys()):
         char_dict[x_mid] = cnt
      else:
         for z in char_dict.keys():
            if np.abs(z - x_mid) <= w_max//2:
               char_dict[z] = np.concatenate((char_dict[z], cnt), axis=0) # 拼接两个区域

   # 按照中点坐标，对字符进行排序
   char_dict = dict(sorted(char_dict.items(), key=lambda item: item[0]))

   # 遍历所有区域，提取字符
   dst_img = []
   for _, cnt in char_dict.items():
      x, y, w, h = cv2.boundingRect(cnt)
      roi = binary[y:y+h, x:x+w]
      dst_img.append(roi)

   return dst_img

if __name__ == "__main__":
   demo = gr.Interface(
      fn=charSeperate,
      inputs=[
         gr.Image(label="input image"), 
         gr.Radio(['3x3', '5x5', '7x7'], value='3x3')
      ],
      outputs=[
         gr.Gallery(label="charset", columns=[3], object_fit="contain", height="auto")
      ],
      live=True
   )

   demo.launch()

以下是代码运行效果：