主题
本章我们要学习的是目标物体检测,这里我们需要使用到SIFT特征提取,BOW词袋建立以及SVM支持向量机的知识(这些讲起来有点费劲(所以还是咕咕咕吧)),使用的数据集为UIUC数据集,可以去百度云盘免费下载,提取码为:wdzr。 这里我们要进行的是车辆的检测:检测图像中是否存在车辆,具体实现的我们可以将程序分为以下几步: 第1步:生成sift检测和提取器(注意:由于SIFT和SURF在3.4.3版本的时候注册了专利,所以在3.4.3及之后的版本中都无法再使用SIFT和SURF类了,所以需要将OpenCV的版本调整到3.4.2.16或者更早的版本)
import cv2
import numpy as np
#生成sift检测和提取器
detect=cv2.xfeatures2d.SIFT_create()
extract=cv2.xfeatures2d.SIFT_create()
第2步:生成flann特征匹配器
#生成flann匹配器
flann_params=dict(algorithm=1,trees=5)
flann=cv2.FlannBasedMatcher(flann_params,{})
第3步:生成bow_kmeans_trainer,BOW训练器
#生成bow_kmeans_trainer,BOW训练器,设置40个簇
bow_kmeans_trainer=cv2.BOWKMeansTrainer(40)
第4步:使用SIFT或者SURF提取图片描述符,并加入到BOW训练器中。(这里只选用了正、负匹配各40张,如果匹配不准确的话可以提高训练的数量)
#使用SIFT或者SURF提取图片描述符,并加入到BOW训练器中
for i in range(40):
#正匹配需要的图片的路径
pos_pic='%s%s%d.pgm'%('carData/TrainImages/','pos-',i)
#加载图片
pos_img=cv2.imread(pos_pic,0)
#计算这个正匹配图像的图像描述符
pos_des=extract.compute(pos_img,detect.detect(pos_img))[1]
#将图像描述符放入BOW训练器
bow_kmeans_trainer.add(pos_des)
# 负匹配需要的图片的路径
neg_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'neg-', i)
# 加载图片
neg_img = cv2.imread(neg_pic, 0)
# 计算这个负匹配图像的图像描述符
neg_des = extract.compute(neg_img, detect.detect(neg_img))[1]
# 将图像描述符放入BOW训练器
bow_kmeans_trainer.add(neg_des)
第5步:使用SIFT特征提取和flann生成bow特征提取器,extract_bow
#使用SIFT特征提取和flann生成bow特征提取器,extract_bow
extract_bow=cv2.BOWImgDescriptorExtractor(extract,flann)
第6步:将BOW训练器中的图像描述符进行k-means聚类,得到词汇,对BOW特征提取器进行词汇的设置
#将BOW训练器中的图像描述符进行k-means聚类,得到词汇,对BOW特征提取器进行词汇的设置
voc=bow_kmeans_trainer.cluster()
extract_bow.setVocabulary(voc)
第7步:用BOW特征提取器提取对应图像的数据加入到traindata中,对应标号1与-1加入到trainlabels中
#用BOW特征提取器提取对应图像的数据加入到traindata中,对应标号1与-1加入到trainlabels中
traindata=[]
trainlabels=[]
for i in range(20):
# 正匹配需要的图片的路径
pos_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'pos-', i)
# 加载图片
pos_img = cv2.imread(pos_pic, 0)
# 计算这个正匹配图像的BOW特征描述符
pos_des = extract_bow.compute(pos_img, detect.detect(pos_img))
# 将BOW特征描述符放入训练数据中
traindata.extend(pos_des)
#将正标签加入trainlabels中
trainlabels.append(1)
# 负匹配需要的图片的路径
neg_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'neg-', i)
# 加载图片
neg_img = cv2.imread(neg_pic, 0)
# 计算这个正匹配图像的BOW特征描述符
neg_des = extract_bow.compute(neg_img, detect.detect(neg_img))
# 将BOW特征描述符放入训练数据中
traindata.extend(neg_des)
# 将负标签加入trainlabels中
trainlabels.append(-1)
第8步:生成SVM
#生成SVM
svm=cv2.ml.SVM_create()
第9步:用traindata和trainlabels对SVM进行训练
#用traindata和trainlabels对SVM进行训练
svm.train(np.array(traindata),cv2.ml.ROW_SAMPLE,np.array(trainlabels))
第10步:对指定图像进行BOW特征提取后,使用SVM进行评分预判。这里我们使用下面两张图分别对应有车和没车的情况来做图像判断:
本块代码如下所示:
#对指定图像进行BOW特征提取后,使用SVM进行评分预判
#有车
car=cv2.imread('1.jpg')
car_gray=cv2.cvtColor(car,0)
#没车
no_car=cv2.imread('2.jpg')
no_car_gray=cv2.cvtColor(no_car,0)
#预判
car_bow_des=extract_bow.compute(car_gray,detect.detect(car_gray))
no_car_bow_des=extract_bow.compute(no_car_gray,detect.detect(no_car_gray))
car_predict=svm.predict(car_bow_des)
no_car_predict=svm.predict(no_car_bow_des)
#图像显示
if car_predict[1][0][0]==1.0:
cv2.putText(car,'Car Detected',(10,30),cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2,cv2.LINE_AA)
if no_car_predict[1][0][0]==-1.0:
cv2.putText(no_car,'Nocar Detected',(10,30),cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2,cv2.LINE_AA)
cv2.imshow('car',car)
cv2.imshow('nocar',no_car)
cv2.waitKey(0)
cv2.destroyAllWindows()
将上面十步完成后,运行代码,可以得到如下画面:
全部代码如下所示:
import cv2
import numpy as np
#生成sift检测和提取器
detect=cv2.xfeatures2d.SIFT_create()
extract=cv2.xfeatures2d.SIFT_create()
#生成flann匹配器
flann_params=dict(algorithm=1,trees=5)
flann=cv2.FlannBasedMatcher(flann_params,{})
#生成bow_kmeans_trainer,BOW训练器,设置40个簇
bow_kmeans_trainer=cv2.BOWKMeansTrainer(40)
#使用SIFT或者SURF提取图片描述符,并加入到BOW训练器中
for i in range(40):
#正匹配需要的图片的路径
pos_pic='%s%s%d.pgm'%('carData/TrainImages/','pos-',i)
#加载图片
pos_img=cv2.imread(pos_pic,0)
#计算这个正匹配图像的图像描述符
pos_des=extract.compute(pos_img,detect.detect(pos_img))[1]
#将图像描述符放入BOW训练器
bow_kmeans_trainer.add(pos_des)
# 负匹配需要的图片的路径
neg_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'neg-', i)
# 加载图片
neg_img = cv2.imread(neg_pic, 0)
# 计算这个负匹配图像的图像描述符
neg_des = extract.compute(neg_img, detect.detect(neg_img))[1]
# 将图像描述符放入BOW训练器
bow_kmeans_trainer.add(neg_des)
#使用SIFT特征提取和flann生成bow特征提取器,extract_bow
extract_bow=cv2.BOWImgDescriptorExtractor(extract,flann)
#将BOW训练器中的图像描述符进行k-means聚类,得到词汇,对BOW特征提取器进行词汇的设置
voc=bow_kmeans_trainer.cluster()
extract_bow.setVocabulary(voc)
#用BOW特征提取器提取对应图像的数据加入到traindata中,对应标号1与-1加入到trainlabels中
traindata=[]
trainlabels=[]
for i in range(20):
# 正匹配需要的图片的路径
pos_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'pos-', i)
# 加载图片
pos_img = cv2.imread(pos_pic, 0)
# 计算这个正匹配图像的BOW特征描述符
pos_des = extract_bow.compute(pos_img, detect.detect(pos_img))
# 将BOW特征描述符放入训练数据中
traindata.extend(pos_des)
#将正标签加入trainlabels中
trainlabels.append(1)
# 负匹配需要的图片的路径
neg_pic = '%s%s%d.pgm' % ('carData/TrainImages/', 'neg-', i)
# 加载图片
neg_img = cv2.imread(neg_pic, 0)
# 计算这个正匹配图像的BOW特征描述符
neg_des = extract_bow.compute(neg_img, detect.detect(neg_img))
# 将BOW特征描述符放入训练数据中
traindata.extend(neg_des)
# 将负标签加入trainlabels中
trainlabels.append(-1)
#生成SVM
svm=cv2.ml.SVM_create()
#用traindata和trainlabels对SVM进行训练
svm.train(np.array(traindata),cv2.ml.ROW_SAMPLE,np.array(trainlabels))
#对指定图像进行BOW特征提取后,使用SVM进行评分预判
#有车
car=cv2.imread('1.jpg')
car_gray=cv2.cvtColor(car,0)
#没车
no_car=cv2.imread('2.jpg')
no_car_gray=cv2.cvtColor(no_car,0)
#预判
car_bow_des=extract_bow.compute(car_gray,detect.detect(car_gray))
no_car_bow_des=extract_bow.compute(no_car_gray,detect.detect(no_car_gray))
car_predict=svm.predict(car_bow_des)
no_car_predict=svm.predict(no_car_bow_des)
#图像显示
if car_predict[1][0][0]==1.0:
cv2.putText(car,'Car Detected',(10,30),cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2,cv2.LINE_AA)
if no_car_predict[1][0][0]==-1.0:
cv2.putText(no_car,'Nocar Detected',(10,30),cv2.FONT_HERSHEY_SIMPLEX,1,(0,0,255),2,cv2.LINE_AA)
cv2.imshow('car',car)
cv2.imshow('nocar',no_car)
cv2.waitKey(0)
cv2.destroyAllWindows()
总结
(前一段日子在赶着写书,被催稿(吐)导致的本系列咕咕咕了,之后可能还会咕,但是还是会尽量快的更新,谢谢大家支持啦!)