常见模板匹配法学习（SIFT，SURF，ORB）

0.前言

昨天看了关于SLAM的综述文章一篇，对于其中提到的SIFT，SURF，ORB三种特征提取匹配的方法，非常想要实践学习其Python的编写方法。同时我爸让我帮他写一个树莓派（raspberry pi）检测黑点的程序，黑点有什么好检测的(╯•̀ὤ•́)╯，考虑到神经网络识别计算复杂度过高，我决定用模板匹配法去做。  

1.程序汇总

链接: https://pan.baidu.com/s/1dXqLmXQBNA9tshokU4nSgA 提取码: fws5  

2.预备工作

  首先我们应该明确，怎么开发这个程序最快。肯定是用opencv，所以读了《OpenCV3计算机视觉Python语言实现》，获得了相关程序与图片。然后于Linux下安装opencv。  

3.学习特征提取与匹配方法

3.1SIFT特征提取

  先学习的是SIFT。使用书中的程序；  

import cv2
import sys
import numpy as np
imgpath = sys.argv[1]
img = cv2.imread(imgpath)
 
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
 
sift = cv2.xfeatures2d.SIFT_create()
keypoints, descriptor = sift.detectAndCompute(gray,None)
 
img = cv2.drawKeypoints(image=img, outImage=img, keypoints = keypoints, flags = 4, color = (51, 163, 236))
 
cv2.imshow('sift_keypoints', img)
while (True):
  if cv2.waitKey(1000/12) & 0xff == ord("q"):
    break
cv2.destroyAllWindows()

  有两个问题： 其一，Anaconda使用run file按钮无法添加输入内容，也就是argv[1]。所以直接从右下窗口输入：  

runfile('/home/emin/Temp/Tensorflow/pycv-master/chapter6/sift.py',args='/home/emin/Temp/Tensorflow/pycv-master/images/varese.jpg', wdir='/home/emin/Temp/Tensorflow/pycv-master/chapter6')

  也就是带输入的运行文件。 其二，产生如下问题：  

if cv2.waitKey(1000 / 12) & 0xff == ord("q"):
 
TypeError: integer argument expected, got float

  这个百度后明白了原程序的意思应该是等待键位按下，出现问题是1000/12产生了浮点，改为：  

if cv2.waitKey(1) & 0xff == ord("q"):

  问题解决，生成了SIFT特征提取图像。  
 

3.2SIRF特征提取

  同理3.1，修改程序后，通过Ipython consolo命令输入arg运行。  

import cv2
import sys
import numpy as np
 
imgpath = sys.argv[1]
img = cv2.imread(imgpath)
alg = sys.argv[2]
 
def fd(algorithm):
  algorithms = {
    "SIFT": cv2.xfeatures2d.SIFT_create(),
    "SURF": cv2.xfeatures2d.SURF_create(float(sys.argv[3]) if len(sys.argv) == 4 else 4000),
  }
  return algorithms[algorithm]
 
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
 
fd_alg = fd(alg)
keypoints, descriptor = fd_alg.detectAndCompute(gray,None)
 
img = cv2.drawKeypoints(image=img, outImage=img, keypoints = keypoints, flags = 4, color = (51, 163, 236))
 
cv2.imshow('keypoints', img)
while (True):
  if cv2.waitKey(1) & 0xff == ord("q"):
    break
cv2.destroyAllWindows()

  由于需要输入双参数，进行模式的选择，所以使用命令：  

runfile('/home/emin/Temp/Tensorflow/pycv-master/chapter6/surf+sift.py',args='/home/emin/Temp/Tensorflow/pycv-master/images/varese.jpg SURF', wdir='/home/emin/Temp/Tensorflow/pycv-master/chapter6')

  两个arg之间使用了空格。  

3.3ORB特征提取与匹配

  这里使用的是自己的图片，所以拍摄的尺寸较大，要进行压缩，程序结果如下。    

import numpy as np
import cv2
from matplotlib import pyplot as plt
 
# query and test images
img1 = cv2.imread('/home/emin/Temp/3.jpg',0)
img2 = cv2.imread('/home/emin/Temp/4.jpg',0)
 
# create the ORB detector
orb = cv2.ORB_create()
kp1, des1 = orb.detectAndCompute(img1,None)
kp2, des2 = orb.detectAndCompute(img2,None)
 
# brute force matching
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
matches = bf.match(des1,des2)
 
# Sort by distance.
matches = sorted(matches, key = lambda x:x.distance)
img3 = cv2.drawMatches(img1,kp1,img2,kp2, matches[:25], img2,flags=2)
img3 = cv2.resize(img3, (1000,800), interpolation=cv2.INTER_AREA)
cv2.imshow('orb_result', img3)
while (True):
  if cv2.waitKey(1) & 0xff == ord("q"):
    break
cv2.destroyAllWindows()
#plt.imshow(img3),plt.show()

 
  将匹配对应的点数量增加。