龙门式起重机的吊具自动控制方法以及吊具自动控制系统与流程

龙门式起重机的吊具自动控制方法以及吊具自动控制系统与流程

随着港口自动化水平的提升，越来越多的港口开始布局全自动作业。为了保证安全，港口对于第一层集装箱的堆放位置以及后续相邻两层集装箱之间的间距都有各自的要求。目前市面上的龙门式起重机，通常设置多套监测系统，分别监测并控制第一层集装箱的堆放以及后续集装箱的叠放过程，不仅成本较高，而且控制逻辑复杂。本文介绍了一种新型的龙门式起重机吊具自动控制方法，通过在吊具四个角安装深度相机，实现低成本、简单逻辑的自动控制方案。

技术实现思路

本发明提供了一种龙门式起重机的吊具自动控制方法，吊具包括与集装箱对应的两条长边和两条短边，吊具自动控制方法包括：

1. 在吊具的两条长边的两端分别设置一个深度相机，各深度相机朝向吊具的下方，并采集吊具下方的RGB图像和深度图像；
2. 设置一个控制器，控制器能够控制吊具在三个相互垂直的方向移动；
3. 在控制器控制吊具移动到待抓取的集装箱上方的预设高度后，各深度相机采集吊具下方的深度图像，控制器根据深度图像获取待抓取的集装箱的锁孔位置，并根据锁孔位置控制吊具抓取集装箱；
4. 在控制器控制吊具和已抓取的集装箱移动到地面上方的预设高度后，各深度相机采集吊具下方的RGB图像和深度图像，控制器根据RGB图像和深度图像获取已抓取的集装箱与地面标记的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到地面；
5. 在控制器控制吊具和已抓取的集装箱移动到堆叠的集装箱上方的预设高度后，各深度相机采集吊具下方的深度图像，控制器根据深度图像获取已抓取的集装箱与堆叠的集装箱的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到堆叠的集装箱。

本发明提供的龙门式起重机的吊具自动控制方法，在吊具的四个角各设置一个向下拍摄的深度相机，以采集吊具下方的RGB图像和深度图像，在抓取和堆叠集装箱时，借助深度图像计算吊具的位置，进而精确地控制吊具完成动作。在放置第一个集装箱到地面时，借助RGB图像识别地面标记计算吊具的位置，进而精确地控制吊具完成动作。本发明提供的吊具自动控制方法，只需一套系统即可实现吊具的自动控制，成本低，控制逻辑简单。

具体实施方式

集装箱抓取控制

在控制器控制吊具移动到待抓取的集装箱上方的预设高度后，各深度相机采集吊具下方的深度图像。控制器接收深度图像并转化为点云数据，然后计算待抓取的集装箱的锁孔位置。具体步骤包括：

1. 从点云数据中筛选属于待抓取的集装箱的三个面的点云数据，待抓取的集装箱的三个面包括待抓取的集装箱的两个侧面和一个顶面；
2. 计算待抓取的集装箱的三个面的点云数据的法向量；
3. 根据法向量分离待抓取的集装箱的三个面的点云数据；
4. 根据待抓取的集装箱的顶面的点云数据判断锁孔是否出现；
5. 若判断结果为是，则根据待抓取的集装箱的顶面的点云数据计算锁孔位置；
6. 若判断结果为否，则根据分离后的待抓取的集装箱的三个面的点云数据计算待抓取的集装箱的三个面的交点坐标，并结合待抓取的集装箱的尺寸信息计算待抓取的集装箱的锁孔位置。

集装箱放置控制

在控制器控制吊具和已抓取的集装箱移动到地面上方的预设高度后，各深度相机采集吊具下方的RGB图像和深度图像。控制器根据RGB图像和深度图像获取已抓取的集装箱与地面标记的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到地面。具体步骤包括：

1. 从RGB图像中识别地面标记的图像信息；
2. 根据识别的地面标记的图像信息和预存的参考图像对比，计算已抓取的集装箱与地面标记的偏差距离，参考图像为已抓取的集装箱与地面标记的偏差距离为0时深度相机采集的吊具下方的RGB图像；
3. 根据已抓取的集装箱与地面标记的偏差距离控制吊具将已抓取的集装箱放置到地面。

在控制器控制吊具和已抓取的集装箱移动到堆叠的集装箱上方的预设高度后，各深度相机采集吊具下方的深度图像。控制器根据深度图像获取已抓取的集装箱与堆叠的集装箱的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到堆叠的集装箱。具体步骤包括：

1. 从点云数据中筛选属于已抓取的集装箱的侧面和堆叠的集装箱的顶面的点云数据；
2. 计算已抓取的集装箱的侧面和堆叠的集装箱的顶面的点云数据的法向量；
3. 根据法向量分离已抓取的集装箱的侧面和堆叠的集装箱的顶面的点云数据；
4. 根据已抓取的集装箱的侧面的点云数据计算已抓取的集装箱的侧面在世界坐标系中的坐标；
5. 根据堆叠的集装箱的顶面的点云数据计算堆叠的集装箱的顶面的边缘在世界坐标系中的坐标；
6. 根据已抓取的集装箱的侧面和堆叠的集装箱的顶面的边缘在世界坐标系中的坐标计算已抓取的集装箱与堆叠的集装箱的偏差距离。

吊具自动控制系统

本发明还提供了一种龙门式起重机的吊具自动控制系统，包括一个吊具、四个深度相机以及一个控制器。吊具包括与集装箱对应的两条长边和两条短边。四个深度相机分别设置于吊具的两条长边的两端，各深度相机朝向吊具的下方，并采集吊具下方的RGB图像和深度图像。控制器能够控制吊具在三个相互垂直的方向移动，控制器被配置为在控制吊具移动到待抓取的集装箱上方的预设高度后，接收深度相机采集的吊具下方的RGB图像和深度图像，控制器根据RGB图像和深度图像获取待抓取的集装箱的锁孔位置，并根据锁孔位置控制吊具抓取集装箱。控制器还被配置为在控制吊具和已抓取的集装箱移动到地面上方的预设高度后，接收深度相机采集的吊具下方的RGB图像，控制器根据RGB图像获取已抓取的集装箱与地面标记的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到地面。控制器还被配置为在控制吊具和已抓取的集装箱移动到堆叠的集装箱上方的预设高度后，接收深度相机采集的吊具下方的深度图像，控制器根据深度图像获取已抓取的集装箱与堆叠的集装箱的偏差距离，并根据偏差距离控制吊具将已抓取的集装箱放置到堆叠的集装箱。

本发明提供的龙门式起重机的吊具自动控制系统，在吊具的四个角各设置一个向下拍摄的深度相机，以采集吊具下方的RGB图像和深度图像。在抓取和堆叠集装箱时，控制器根据深度图像计算吊具和集装箱的位置，进而精确地控制吊具完成动作。在放置第一个集装箱到地面时，控制器根据RGB图像识别地面标记计算吊具和地面标记的位置，进而精确地控制吊具完成动作。本发明提供的吊具自动控制方法，只需一套系统即可实现吊具的自动控制，成本低且控制逻辑简单。