时间来到了引航计划Day10。今天的主要任务是智慧城市与三维重建概论以及曙光环境运行RMVSNet文件。
目录
智慧城市与三维重建概论
多目三维重建的原理就是关键点匹配。下面来运行一个小程序:
import cv2
import numpy as np
import matplotlib.pyplot as plt
# 2) 以灰度图的形式读入图片
psd_img_1 = cv2.imread('0.jpg', cv2.IMREAD_GRAYSCALE)
psd_img_2 = cv2.imread('1.jpg', cv2.IMREAD_GRAYSCALE)
# 3) SIFT特征计算
sift = cv2.xfeatures2d.SIFT_create()
psd_kp1, psd_des1 = sift.detectAndCompute(psd_img_1, None)
psd_kp2, psd_des2 = sift.detectAndCompute(psd_img_2, None)
# 4) Flann特征匹配
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5)
search_params = dict(checks=100)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(psd_des1, psd_des2, k=2)
goodMatch = []
for m, n in matches:
# goodMatch是经过筛选的优质配对,如果2个配对中第一匹配的距离小于第二匹配的距离的1/2,基本可以说明这个第一配对是两幅图像中独特的,不重复的特征点,可以保留。
if m.distance < 0.50*n.distance:
goodMatch.append(m)
# 增加一个维度
goodMatch = np.expand_dims(goodMatch, 1)
print(goodMatch[:20])
img_out = cv2.drawMatchesKnn(psd_img_1, psd_kp1, psd_img_2, psd_kp2, goodMatch[:500], None, flags=2)
plt.imshow(img_out[:, :, [2,1,0]])
plt.show()
输出结果如下:
可以看到两张照片的关键点匹配图。
COLMAP软件使用
下面以青岛风景信号山为例演示COLMAP软件的使用。
打开COLMAP软件,在automatic reconstruction中填入输入输出文件夹,运行:
输出结果如下:
曙光环境运行RMVSNet文件
申请GPU资源,进入RMVSNet文件夹,运行文件:
在images文件夹得到顺序排序的46张照片:
接着修改my_eval.py文件路径位置后运行:
运行结束,发现depth_est_0文件夹中生成了新的pfm文件