模型实战（25）之 基于LoFTR深度学习匹配算法实现图像拼接

模型实战（25）之 基于LoFTR深度学习匹配算法实现图像拼接

• 图像拼接在全景图、大图或者多目场景下经常会被使用，常用的方法有传统图像处理算法和深度学习直接获取对应点的算法
• 传统图像处理算法过程繁琐，阈值少且整体算法结果对调参比较敏感，其主要通过形状、特征点等描述子对图像的特征进行总结，然后找出待拼接图中的公共特征在不同图像中对应的位置信息，比如可以通过模板匹配、特征点匹配计算相邻图像之间的位置偏移量进行图像拼接过程，也有的通过将图像从空域变到频域，通过FFT计算出在相位上的一个共性响应的最大值来确定最佳的对齐信息，但这些方法如果遇到重叠区域特征较少时表现结果很差
• ‘基于深度学习的方法通过卷积提取图像中特征信息，模型结构中的网络层数及合理搭配可以达到一个较好的针对多场景图像并可以准确计算匹配特征点的目标
• 本文总结如何通过LoFTR 进行图像拼接，算法整体流程： 输入图像 -> LoFTR图像匹配 -> 聚类精细特征点 -> 图像拼接与融合

LoFTR 实现图像拼接

• 一般而言，进行图像拼接都是采用数字图像处理方法，在进行图像特征提取和匹配这一阶段时，通常采用SIFT、ORB、Harris等传统算法已经能起到还算让人满意的效果，但这些数字图像