差生_G

差生_G

关注
发信
关注(28)粉丝(399)

图像识别sift+bow+svm

本文概述

利用SIFT特征进行简单的花朵识别

SIFT算法的特点有：

  1. SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
  2. SIFT算法提取的图像特征点数不是固定值，维度是统一的128维。
  3. 独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
  4. 多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；
  5. 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；
  6. 可扩展性，可以很方便的与其他形式的特征向量进行联合。

KMeans聚类获得视觉单词，构建视觉单词词典

现在得到的是所有图像的128维特征，每个图像的特征点数目还不一定相同（大多有差异）。现在要做的是构建一个描述图像的特征向量，也就是将每一张图像的特征点转换为特征向量。这儿用到了词袋模型，词袋模型源自文本处理，在这儿用在图像上，本质上是一样的。词袋的本质就是用一个袋子将所有维度的特征装起来，在这儿，词袋模型的维度需要我们手动指定，这个维度也就确定了视觉单词的聚类中心数。

将图像特征点映射到视觉单词上，得到图像的特征向量：

熟悉聚类算法的同学已经明白了，上面讲的簇就是通过聚类算法得到的，聚类算法将类别相近，属性相似的样本框起来，是一种无监督学习算法。在本文中，我使用了Kmeans算法来聚类得到视觉单词，通过聚类得到了聚类中心，通过聚类得到了表征词袋的特征点。

我们得到k个聚类中心（一个聚类中心表征了一个维度特征，k由自己手动设置）和先前SIFT得到的所有图片的特征点，现在就是要通过这两项来构造每一张图像的特征向量。
在本文中，构造的思路跟简单，就是比对特征点与所有聚类中心的距离，将特征点分配到距离最近的特征项，比如经计算某特征点距离leg这个聚类中心最近，那么这个图像中leg这个特征项+1。以此类推，每一张图像特征向量也就构造完毕。

pickle读取文件

pickle可以存储什么类型的数据呢？

  1. 所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
  2. 由任何原生类型组成的列表，元组，字典和集合。
  3. 函数，类，类的实例

  4. pickle模块中常用的方法有：

     1.pickle.dump(obj, file, protocol=None,)

    必填参数obj表示将要封装的对象

    必填参数file表示obj要写入的文件对象，file必须以二进制可写模式打开，即“wb”

    可选参数protocol表示告知pickler使用的协议，支持的协议有0,1,2,3，默认的协议是添加在Python 3中的协议3

     2.pickle.load(file,*,fix_imports=True,encoding="ASCII", errors="strict")

    必填参数file必须以二进制可读模式打开，即“rb”，其他都为可选参数

    支持向量机

图像识别sift+bow+svm-LMLPHP

支持向量机的两个参数（调参增大准确率）

SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差

gamma是选择RBF函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。

此外大家注意RBF公式里面的sigma和gamma的关系如下：
图像识别sift+bow+svm-LMLPHP

这里面大家需要注意的就是gamma的物理意义，大家提到很多的RBF的幅宽，它会影响每个支持向量对应的高斯的作用范围，从而影响泛化性能。我的理解：如果gamma设的太大，会很小，很小的高斯分布长得又高又瘦， 会造成只会作用于支持向量样本附近，对于未知样本分类效果很差，存在训练准确率可以很高，(如果让无穷小，则理论上，高斯核的SVM可以拟合任何非线性数据，但容易过拟合)而测试准确率不高的可能，就是通常说的过训练；而如果设的过小，则会造成平滑效应太大，无法在训练集上得到特别高的准确率，也会影响测试集的准确率。

算法流程：

  1. SIFT提取每幅图像的特征点：

     import csv
 import os
 from sklearn.cluster import KMeans
 import cv2
 import numpy as np


 def knn_detect(file_list,cluster_nums, randomState = None):
     content = []
     input_x = []
     labels=[]
     features = []
     count = 0
     csv_file = csv.reader(open(file_list,'r'))
     #读取csv文件
     for line in csv_file:
         if(line[2] !='label'):
             subroot = 'F:\\train\\g' + str(line[2])
             #路径拼接成绝对路径
             filename =os.path.join(subroot, line[1])
             sift = cv2.xfeatures2d.SIFT_create(200)
             img = cv2.imdecode(np.fromfile(filename,dtype=np.uint8),-1)
             #用np读图像，避免了opencv读取图像失败的问题
             if img is not None:

                 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
                 kpG, desG = sift.detectAndCompute(gray, None)
                 #关键点描述符

                 if desG is None:
                     #关键点不存在就结束循环
                     continue
                 print(count)
                 count+=1
                 ll = np.array(line[2]).flatten()
                 labels.append(ll)
                 #得到标签
                 features.append(desG)
                 #得到图像的特征矩阵
                 input_x.extend(desG)
     print(len(input_x))
     return features,labels,input_x


 #训练集图片处理
 des_list = []
 labelG = []
 input_x1 = []
 des_list,labelG,input_x1 = knn_detect('E:\\py\\train.csv',50)
 #测试机图片处理
 festures_test = []
 labels_test  = []
 input_x2 = []
 features_test,labels_test,input_x2 = knn_detect('E:\\py\\test.csv',50)

结果截图：
图像识别sift+bow+svm-LMLPHP

  1. 保存中间变量：

     #利用pickle保存中间变量
 import numpy as np
 import matplotlib.pyplot as plt
 import pandas as pd
 import pickle

 output = open('input_x2.pkl', 'wb')
 pickle.dump(input_x2, output)
 output.close()

 output = open('features_test.pkl', 'wb')
 pickle.dump(features_test, output)
 output.close()

 output = open('labels_test.pkl', 'wb')
 pickle.dump(labels_test, output)
 output.close()

 output = open('input_x22.pkl', 'wb')
 pickle.dump(input_x2, output,protocol=2)
 output.close()

  2. 将图像特征点映射到视觉单词上，得到图像特征：

     df=open('input_x2.pkl','rb')#注意此处是rb
 #此处使用的是load(目标文件)
 input_x1=pickle.load(df)
 df.close()
 kmeans = KMeans(n_clusters = 50, n_jobs =4,random_state = None).fit(input_x1)
 #开四个线程加快计算
 centers = kmeans.cluster_centers_

  3. 将图像特征点映射到视觉单词上，得到图像的特征向量：

     def des2feature(des,num_words,centures):
 '''
 des:单幅图像的SIFT特征描述
 num_words:视觉单词数/聚类中心数
 centures:聚类中心坐标
 计算特征矩阵中特征点离聚类中心最近的加1
 return: feature vector 1*num_words
 '''
 img_feature_vec=np.zeros([num_words])
 for fi in des:
     diffMat = np.tile(fi, (50, 1)) - centers
     sqSum = (diffMat**2).sum(axis=1)
     dist = sqSum**0.5
     sortedIndices = dist.argsort()
     idx = sortedIndices[0] # index of the nearest center
     #排序得到距离最近的聚类中心坐标的索引
     img_feature_vec[idx] += 1
 return img_feature_vec

 def get_all_features(des_list,num_words):
 # 获取所有图片的特征向量
 allvec=np.zeros((len(des_list),num_words),'float32')
 for i in range(len(des_list)):
     if des_list[i].any()!=None:
         allvec[i]=des2feature(centures=centers,des=des_list[i],num_words=num_words)
 return allvec

 df=open('des_list.pkl','rb')#注意此处是rb
 #此处使用的是load(目标文件)
 des_list=pickle.load(df)
 df.close()
 a =get_all_features(des_list,50)
 print(len(a))
 output = open('特征向量.pkl', 'wb')
 pickle.dump(a, output)
 output.close()

  4. svm训练，查看准确率：

     import numpy as np
 import matplotlib.pyplot as plt
 import pandas as pd
 import pickle
 from sklearn.preprocessing import StandardScaler
 df=open('label_train.pkl','rb')#注意此处是rb
 #此处使用的是load(目标文件)
 label_train=pickle.load(df)
 df.close()
 df=open('label_test.pkl','rb')#注意此处是rb
 #此处使用的是load(目标文件)
 label_test =pickle.load(df)
 df.close()
 sc = StandardScaler()
 X_train = sc.fit_transform(a)
 X_test = sc.fit_transform(b)

 from sklearn.svm import SVC
 classifier = SVC(C=15)
 #适当调整参数，不是一个固定值
 classifier.fit(X_train,label_train)

 y_pred = classifier.predict(X_test)

 print(classifier.score(X_train,label_train))
 from sklearn.metrics import classification_report
 print(classification_report(label_test,y_pred))

    结果截图：
    图像识别sift+bow+svm-LMLPHP

07-23 03:23
Powered by LMLPHP ©2024 差生_G 0.057535