光流法特征点追踪：基于亮度恒定的运动估计

创作时间:

2025-01-21 23:42:05

作者:

@小白创作中心

光流法特征点追踪：基于亮度恒定的运动估计

特征点匹配之-光流法（LK）

一、理论

LK是特征点匹配其实并不确切，更多的应该叫特征点追踪。为什么这么说呢？是因为前面我们提到的ORB,SIFT,SURF(点击查看)都是要计算特征点的描述子的，通过描述子之间的距离来判断特征点是否匹配，而光流法并不需要计算描述子。

LK光流法基于以下三条假设：

（1）亮度恒定：一个像素点随着时间的变化，其亮度值（像素灰度值）是恒定不变的。这是光流法的基本设定。所有光流法都必须满足。

（2）小运动：时间的变化不会引起位置的剧烈变化。这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数。所有光流法必须满足。

（3）空间一致：即前一帧中相邻像素点在后一帧中也是相邻的。这是LK光流法独有的假定。因为为了求取x,y方向的速度，需要建立多个方程联立求解。而空间一致假设就可以利用邻域n个像素点来建立n个方程。

二、使用

opencv中calcOpticalFlowPyrLK实现了光流法：

import numpy as np
import cv2
'''
LK for video
'''
cap = cv2.VideoCapture('../asset/video/2.mp4')
# 角点检测所需参数 最大检测数量 角点的检测最低下hi两小于0.3不被计入 最小的欧氏距离
feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
# lucas kanade参数
# winSize 选择多少个点进行u，v的求解  图像金字塔的层数
lk_params = dict(winSize=(30, 30), maxLevel=6)
# 随机颜色条
color = np.random.randint(0, 255, (100, 3))
# 拿到第一帧图像
ret, oldframe = cap.read()
old_gray = cv2.cvtColor(oldframe, cv2.COLOR_BGR2GRAY)
# 返回所有检测特征点，需要输入图像，角点最大数量（效率），品质因子（特征值越大的越好，来筛选）
# 距离相当于这区间有比这个角点强的，就不要这个弱的了  Shi-Tomasi算子的运用 ，用于检测角点
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# 创建一个mask
mask = np.zeros_like(oldframe)
while True:
    ret, frame = cap.read()
    framegray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 需要传入前一帧和当前图像以及前一帧检测到的角点
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, framegray, p0, None, **lk_params)
    # st=1表示
    good_new = p1[st == 1]
    good_old = p0[st == 1]
    # 绘制轨迹
    for i, (new, old) in enumerate(zip(good_new, good_old)):
        a, b = new.ravel()
        c, d = old.ravel()
        mask = cv2.line(mask, (a, b), (c, d), color[i].tolist(), 2)
        frame = cv2.circle(frame, (a, b), 5, color[i].tolist(), -1)
    img = cv2.add(frame, mask)
    cv2.imshow('frame', img)
    k = cv2.waitKey(150) & 0xff
    if k == 27:
        break
    # 更新
    old_gray = framegray.copy()
    p0 = good_new.reshape(-1, 1, 2)
cv2.destroyAllWindows()
cap.release()

结果（截图）：

若是要匹配两张图中的特征点：

import numpy as np
import cv2
"""
LK for image
"""
img_old = cv2.imread('../asset/image/1.bmp')
img_new = cv2.imread('../asset/image/2.bmp')
old_frame = cv2.cvtColor(img_old, cv2.COLOR_BGR2GRAY)
new_frame = cv2.cvtColor(img_new, cv2.COLOR_BGR2GRAY)
feature_params = dict(maxCorners=100, qualityLevel=0.3, minDistance=7)
lk_params = dict(winSize=(30, 30), maxLevel=6)
p0 = cv2.goodFeaturesToTrack(old_frame, mask=None, **feature_params)
p1, st, err = cv2.calcOpticalFlowPyrLK(old_frame, new_frame, p0, None, )
p11 = p1[st == 1]
p00 = p0[st == 1]
for i, (new, old) in enumerate(zip(p11, p00)):
    image_old = cv2.circle(img_old, (old[0], old[1]), 5, (0, 0, 255), -1)
    image_new = cv2.circle(img_new, (new[0], new[1]), 5, (0, 0, 255), -1)
cv2.imshow('new', image_new)
cv2.imshow('old', image_old)

另：

goodFeaturesToTrack是一种角点检测算法，默认使用shi-tomasi角点。

void cv::goodFeaturesToTrack( InputArray _image, OutputArray _corners,
                              int maxCorners, double qualityLevel, double minDistance,
                              InputArray _mask, int blockSize,
                              bool useHarrisDetector, double harrisK )