机器视觉：九点标定
机器视觉：九点标定
机器视觉标定，也就是通常说的“手眼标定”，是将相机的像素坐标系与机器人空间坐标系进行转换的重要过程。九点标定法是工业上广泛使用的一种二维手眼标定方法，通过在相机视野中设置九个标定点，计算出像素坐标系到机械手坐标系的仿射变换矩阵。本文将详细介绍九点标定的原理、过程以及实际应用中的注意事项。
一、前言
机器视觉标定，也就是通常说的“手眼标定”，相机拍照的图像是基于像素坐标，而机器人用的是空间坐标系，所以手眼标定就是得到像素坐标系和机器人空间坐标系两者之间的坐标转换关系。
手眼标定的作用是，建立相机坐标系和机器人坐标系之间的变换关系，即给机器人装上眼睛，让它去哪就去哪。
为了确定像素坐标系和空间机械手坐标系的转换关系，我们介绍一种工业上广泛使用的二维手眼标定方法——九点标定法。在实际运动中，相机检测到目标在图像中的像素位置后，通过标定好的坐标转换矩阵，将相机的像素坐标，变换到机械手的空间坐标系中，然后根据机械手坐标系，计算出各个电机该如何运动，从而控制机械手到达指定位置。
二、九点标定原理
九点标定就是通过九个点计算出像素坐标系到机械手坐标系下的一个仿射变换，（实际上空间中的二维平面的仿射变换只需要3个点就足够了）。在实际应用过程中，需要获取像素下特征点的坐标和对应机械手的坐标。联立方程组求解即可得到对应仿射变换的矩阵，实际应用场景主要分为眼在手上和眼在手外。
九点标定是常用的标定方法，在区域中均匀设定9个标定点，让机器人的工具末端去走这9个点得到在机器人坐标系中的坐标，同时用相机识别9个点得到像素坐标。这样就得到了9组对应的坐标，把数据代入到上述的公式中就能反推出转换系数，解得转换矩阵。
九点标定法的本质： 无需进行相机内参标定，只能识别x，y坐标，属于2D平面标定，在标定过程中z是未知的。
小结
在实际操作中，并不需要我们来直接计算公式，直接用视觉软件工具就能搞定。
1.在相机视野中贴上九个Mark圆点(成九宫格排列），并且拍下这张图片保存；
2.将机械手tool的中心依次移动到对准这九个Mark的中心，并记下tool对准每个Mark点中心时的机械手坐标；
3.通过图像处理计算出每个Mark圆点的圆心像素坐标； 运用相关图像处理工具，计算出像素坐标和机械手坐标的转换矩阵。
通过九点标定，可以建立相机坐标系和机械手坐标系之间的关系，从而实现视觉引导和机器人控制等应用
三、九点标定过程
根据相机的装载位置分为：
眼在手外(eye-to-hand)：相机固定在一个地方，机械手的运动不会带着相机一起移动。
眼在手上(eye-in-hand)：相机安装在机械手上，随着机械手一起移动。较为常用。
下面具体介绍使用过程：
（1）眼在手外
使用场景如图所示，该场景是一个上相机，9点标定经常是四轴机械臂或者是通过舵机搭建的X,Y两方向的运行机构与相机相互配合使用。无论是眼在手上还是眼在手外，目的都是获取对应像素点的坐标和机械手的坐标，然后通过数学计算，得到转换矩阵。
眼在手外获取机械手坐标的方式主要有两种：
第一种：
1.准备一张A4纸，或者标定板也行
，获取图像中9个圆的圆心的像素位置，存储起来，点的存储顺序是Z字形。
2.在机械手上加装针尖，用针尖按Z字形顺序依次去戳每个圆的圆心，并以此记录每个机械手的坐标。
该种方法标定效果误差较大，因为针尖去戳圆心的过程是肉眼观察得到的，结果并不是很准确的。
第二种：
1,机械手吸取物料固定。
在相机视野中能观察提取到Mark（特征）点，对于Mark点是物料上稳定的特征，容易获取，类似交点，圆心等等。
2.机械手带动物料按照右图方式依次运动，获取9个点的机械手坐标和像素坐标。
该标定方法效果准确，但是需要注意的两点，一个是标定视野范围一定大于机械手的工作范围，
其中红色为视野中标定的范围，黑色为机械手的在视野中的工作范围，否在超过标定范围的误差较大，而且难预测。
另外，在标定过程中，实际的工作面高度和标定高度尽量一致，因为除了圆心镜头，我们使用的工业相机会随着高度变化，X,Y的坐标也会有误差。
（2）眼在手上
该种标定方式是机械手和相机不发生相对变化，让物料固定不动，相机依次去拍物料，获取Mark点的特征和对应机械手的坐标，存储起来。过程和眼在手外的第一种方法一样。
五点旋转中心标定过程
1.算法原理
在标定旋转中心之前应该理解为什么要标定旋转中心，通过上文可以对9点标定有个大概的理解，9点标定其实就是点与点的映射关系。当我们的旋转中心，吸嘴，特征点在一致的时候，我们可以想象成各点都是绕着特征点旋转，此时则无需标定旋转中心如下图所示：
但实际应用中，吸嘴和旋转中心并不一致，伴随着旋转中心转动，特征点也会移动，此时机械手的坐标并未发生并未发生变换，如果仍使用点点映射求出对应机械手坐标是错误，正确的方法是先绕旋转中心回正，在计算特征点对应的坐标。
标定旋转中心的方法：
机械手固定物料，在相机下依次转动5个角度，获取5个位置特征点的像素坐标，通过拟合圆心，求出圆心对应的像素坐标，在通过映射关系得到圆心对应机械手的坐标。
部分内容来自：
https://blog.csdn.net/hao1183716597/article/details/136401554
https://blog.csdn.net/qiangpi6057/article/details/137741924
https://blog.csdn.net/sinat_31608641/article/details/106491860