YOLOV5单目相机获取目标的深度信息（实现单目测距）

YOLOV5单目相机获取目标的深度信息（实现单目测距）

引用

CSDN

1.

https://m.blog.csdn.net/m0_74115845/article/details/143692744

一、测距原理

单目测距原理相较于双目十分简单，无需进行立体匹配，仅需利用下边公式线性转换即可：

D = (F*W)/P

其中D是目标到摄像机的距离, Ｆ是摄像机焦距（焦距需要自己进行标定获取）, W是目标的宽度或者高度（苹果检测一般以苹果的高度为基准）, P是指目标在图像中所占据的像素。

二、 相机标定

1、采用张正友标定方法。

张正友相机标定法是张正友教授1998年提出的单平面棋盘格的相机标定方法。传统标定法的标定板是需要三维的，需要非常精确，这很难制作，而张正友教授提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

2、直接使用代码获得焦距。

该方法需要提前拍摄一个矩形物体，拍摄时候相机固定，距离被拍摄物体自行设定，并一直保持此距离，背景最好为纯色，不要出现杂物；最后将拍摄的视频用以下代码检测：

import cv2

win_width = 1920
win_height = 1080
mid_width = int(win_width / 2)
mid_height = int(win_height / 2)
foc = 1990.0       # 根据教程调试相机焦距
real_wid = 9.05   # A4纸横着的时候的宽度，视频拍摄A4纸要横拍，镜头横，A4纸也横
font = cv2.FONT_HERSHEY_SIMPLEX
w_ok = 1
capture = cv2.VideoCapture('yolo_book.mp4')
capture.set(3, win_width)
capture.set(4, win_height)
while (True):
    ret, frame = capture.read()
    # frame = cv2.flip(frame, 1)
    if ret == False:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    gray = cv2.GaussianBlur(gray, (5, 5), 0)
    ret, binary = cv2.threshold(gray, 140, 200, 60)    # 扫描不到纸张轮廓时，要更改阈值，直到方框紧密框住纸张
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
    binary = cv2.dilate(binary, kernel, iterations=2)
    contours, hierarchy = cv2.findContours(binary, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
    # cv2.drawContours(frame, contours, -1, (0, 255, 0), 2)    # 查看所检测到的轮框
    for c in contours:
        if cv2.contourArea(c) < 1000:  # 对于矩形区域，只显示大于给定阈值的轮廓，所以一些微小的变化不会显示。对于光照不变和噪声低的摄像头可不设定轮廓最小尺寸的阈值
            continue
        x, y, w, h = cv2.boundingRect(c)  # 该函数计算矩形的边界框
        if x > mid_width or y > mid_height:
            continue
        if (x + w) < mid_width or (y + h) < mid_height:
            continue
        if h > w:
            continue
        if x == 0 or y == 0:
            continue
        if x == win_width or y == win_height:
            continue
        w_ok = w
        cv2.rectangle(frame, (x + 1, y + 1), (x + w_ok - 1, y + h - 1), (0, 255, 0), 2)
    dis_inch = (real_wid * foc) / (w_ok - 2)
    dis_cm = dis_inch * 2.54
    # os.system("cls")
    # print("Distance : ", dis_cm, "cm")
    frame = cv2.putText(frame, "%.2fcm" % (dis_cm), (5, 25), font, 0.8, (0, 255, 0), 2)
    frame = cv2.putText(frame, "+", (mid_width, mid_height), font, 1.0, (0, 255, 0), 2)
    cv2.namedWindow('res', 0)
    cv2.namedWindow('gray', 0)
    cv2.resizeWindow('res', win_width, win_height)
    cv2.resizeWindow('gray', win_width, win_height)
    cv2.imshow('res', frame)
    cv2.imshow('gray', binary)
    c = cv2.waitKey(40)
    if c == 27:    # 按退出键esc关闭窗口
        break
cv2.destroyAllWindows()

反复调节 ret, binary = cv2.threshold(gray, 140, 200, 60) 这一行里边的三个参数，直到线条紧紧包裹住你所拍摄视频的物体，然后调整相机焦距直到左上角距离和你拍摄视频时相机到物体的距离接近为止。

我这里使用了张正友标定法，利用Matlab中的Camera Calibrator模块工具进行标定，先附上一张需打印的棋盘格照片(需打印到A4纸上，a=25mm)，具体步骤会在后续的博客中详细介绍。

通过Matlab中单目相机的标定工具我们可以得到单目相机的焦距，然后将相机焦距写进测距代码distance.py文件里，这里pi用高度表示，根据公式 D = (F*W)/P，知道相机焦距F、苹果的高度（单位英寸→10cm/2.54）、像素点距离 h，即可求出相机到物体距离D。 这里用到h-2是因为框的上下边界像素点不接触物体。

测距的实现：

首先提取边框的像素点坐标，然后计算边框像素点高度，在根据 公式 D = (F*W)/P 计算目标距离。

识别效果展示

在此基础，我又加上了串口通信的代码，将获取到苹果的三维坐标通过串口发送出去。

获取三维坐标并打印的效果：

打开串口并发送数据的具体代码如下：

import serial 
import serial.tools.list_ports  #导入模块
![](https://wy-static.wenxiaobai.com/chat-rag-image/17435372131382360789)

# 自动找到并打开串口
def find_ch340_port():    # 自动识别 CH340
    ports = list(serial.tools.list_ports.comports())
    ch340_port = None
    for p in ports:
        if 'CH340' in p.description:
            ch340_port = p.device
            print('CH340所在端口号：',ch340_port)
            break
    return ch340_port
ch340_port = find_ch340_port()  # 获取CH340所在端口号
ser = serial.Serial(port=ch340_port, baudrate=9600, timeout=3)
# 打开CH340 设置 RS-485 相关参数
ser.rts = True  # 设置 RTS 为高电平，发送数据
ser.dtr = False  # 设置 DTR 为低电平，接收数据  

# 定义数据并延时发送
data =str('FF' +' '+ x4 +' ' +y4 +' '+ d4 +' '+'FE' +' '+ 'FE' +' ')
if(send_Number<20):
    time.sleep(0.001)# 最低延时在两毫米左右
    send_Number=send_Number+1
else:
    bytes_written = ser.write(data.encode())
    send_Number=0
# 验证是否成功发送数据
if bytes_written == len(data):
    print("数据发送成功！")
else:
    print("数据发送失败！")
print(data)   

以上就是利用单目相机获取苹果坐标的内容大概，后续会逐步完善。