悦普达自动化工业机器人厂家致力为广大用户提供优惠的工业机器人价格、短暂的交货周期、专业的顾问式服务。欢迎您来电现货咨询【工业机器人】!

1891328842218913288422

工业机器人技术:工业机器人抓取的定位方式

发布日期:2020-08-18 11:15:47 浏览次数:199 来源:机器人在线 作者:李工
本文有2311个文字,大小约为10KB,预计阅读时间6分钟
信息摘要:
工业机器人技术 : 工业机器人是如何识别物体进行抓取任务的呢 ? 从机器视觉的角度,由简入繁从相机标定,平面物体检测、有纹理物体、无纹理物体、深度学习、与任务/运动规划结合等...

原文标题:工业机器人技术:工业机器人抓取的定位方式

工业机器人技术工业机器人是如何识别物体进行抓取任务的呢

 

从机器视觉的角度,由简入繁从相机标定,平面物体检测、有纹理物体、无纹理物体、深度学习、与任务/运动规划结合等6个方面深度解析文章的标题。

 

首先,我们要了解,机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同:机器视觉的目的是给机器人提供操作物体的信息。所以,机器视觉的研究大概有这几块:

 

1. 物体识别:在图像中检测到物体类型等,这跟 CV 的研究有很大一部分交叉;

2. 位姿估计:计算出物体在摄像机坐标系下的位置和姿态,对于机器人而言,需要抓取东西,不仅要知道这是什么,也需要知道它具体在哪里;

3. 相机标定:因为上面做的只是计算了物体在相机坐标系下的坐标,我们还需要确定相机跟机器人的相对位置和姿态,这样才可以将物体位姿转换到机器人位姿。

 

当然,我这里主要是在物体抓取领域的机器视觉;SLAM 等其他领域的就先不讲了,由于视觉是机器人感知的一块很重要内容,所以研究也非常多了,我就我了解的一些,按照由简入繁的顺序介绍吧:

 

一. 相机标定

 

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿,但是,机器人操作物体需要知道物体在机器人坐标系下的位姿。所以,我们先需要对相机的位姿进行标定,内参标定就不说了,参照张正友的论文,或者各种标定工具箱;外参标定的话,根据相机安装位置,有两种方式:

机器人相机标定

Eye to Hand:相机与机器人极坐标系固连,不随机械臂运动而运动

Eye in Hand:相机固连在机械手臂上,随机械臂运动而运动

 

两种方式的求解思路都类似,首先是眼在手外(Eye to Hand)

机器人机械手臂

只需在机械臂末端固定一个棋盘格,在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿A_i 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化E_i 、而末端爪手与棋盘格的位姿相对固定不变。

 

这样,我们就可以得到一个坐标系环 CX=XD

 

这种结构的求解有很多方法,我这边给出一个参考文献:

 

Shiu, Yiu Cheung, and Shaheen Ahmad. "Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX= XB."ieee Transactions on Robotics and Automation 5.1 (1989): 16-29.

 

而对于眼在手上(Eye in Hand)的情况,也类似,在地上随便放一个棋盘格(与机器人基座固连),然后让机械臂带着相机走几个位姿,然后也可以形成一个AX=XB 的坐标环。

二. 平面物体检测

 

这是目前工业流水线上最常见的场景。目前来看,这一领域对机器人视觉的要求是:快速、精确、稳定。所以,一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法;而且,为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段,减少系统变量。

机器人平面物体检测

目前,很多智能相机(如 cognex)都直接内嵌了这些功能;而且,物体一般都是放置在一个平面上,相机只需计算物体的(x,y,θ)T 三自由度位姿即可,另外,这种应用场景一般都是用于处理一种特定工件,相当于只有位姿估计,而没有物体识别,当然,工业上追求稳定性无可厚非,但是随着生产自动化的要求越来越高,以及服务类机器人的兴起。对更复杂物体的完整位姿(x,y,z,rx,ry,rz)T 估计也就成了机器视觉的研究热点。

机器视觉

三.有纹理的物体

 

机器人视觉领域是最早开始研究有纹理的物体的,如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。

 

当然,这些物体也还是可以用类似边缘提取+模板匹配的方法。但是,实际机器人操作过程中,环境会更加复杂:光照条件不确定(光照)、物体距离相机距离不确定(尺度)、相机看物体的角度不确定(旋转、仿射)、甚至是被其他物体遮挡(遮挡)。

幸好有一位叫做 Lowe 的大神,提出了一个叫做 SIFT (Scale-invariant feature transform)的超强局部特征点:

 

Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.

 

具体原理可以看上面这篇被引用 4万+ 的论文或各种博客,简单地说,这个方法提取的特征点只跟物体表面的某部分纹理有关,与光照变化、尺度变化、仿射变换、整个物体无关,因此,利用 SIFT 特征点,可以直接在相机图像中寻找到与数据库中相同的特征点,这样,就可以确定相机中的物体是什么东西(物体识别)。

对于不会变形的物体,特征点在物体坐标系下的位置是固定的。所以,我们在获取若干点对之后,就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵,如果我们用深度相机(如Kinect)或者双目视觉方法,确定出每个特征点的 3D 位置。那么,直接求解这个 PnP 问题,就可以计算出物体在当前相机坐标系下的位姿。

↑ 这里就放一个实验室之前毕业师兄的成果

 

当然,实际操作过程中还是有很多细节工作才可以让它真正可用的,如:先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体(有时候 SIFT 也会变化)、利用贝叶斯方法加速匹配等,而且,除了 SIFT 之外,后来又出了一大堆类似的特征点,如 SURF、ORB 等。

 

四. 无纹理的物体

 

好了,有问题的物体容易解决,那么生活中或者工业里还有很多物体是没有纹理的:

我们最容易想到的就是:是否有一种特征点,可以描述物体形状,同时具有跟 SIFT 相似的不变性?

 

不幸的是,据我了解,目前没有这种特征点,所以,之前一大类方法还是采用基于模板匹配的办法,但是,对匹配的特征进行了专门选择(不只是边缘等简单特征),这里,我介绍一个我们实验室之前使用和重现过的算法 LineMod:Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

简单而言,这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征,与数据库中的模板进行匹配,由于数据库中的模板是从一个物体的多个视角拍摄后生成的,所以这样匹配得到的物体位姿只能算是初步估计,并不精确,但是,只要有了这个初步估计的物体位姿,我们就可以直接采用 ICP 算法(Iterative closest point)匹配物体模型与 3D 点云,从而得到物体在相机坐标系下的精确位姿。

当然,这个算法在具体实施过程中还是有很多细节的:如何建立模板、颜色梯度的表示等。另外,这种方法无法应对物体被遮挡的情况。(当然,通过降低匹配阈值,可以应对部分遮挡,但是会造成误识别),针对部分遮挡的情况,我们实验室的张博士去年对 LineMod 进行了改进,但由于论文尚未发表,所以就先不过多涉及了。

 

五.深度学习

 

由于深度学习在计算机视觉领域得到了非常好的效果,我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中,首先,对于物体识别,这个就可以照搬 DL 的研究成果了,各种 CNN 拿过来用就好了。在 2016 年的『亚马逊抓取大赛』中,很多队伍都采用了 DL 作为物体识别算法。

然而, 在这个比赛中,虽然很多人采用 DL 进行物体识别,但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。如 @周博磊 所说,一般是采用 semantic segmentation network 在彩色图像上进行物体分割,之后,将分割出的部分点云与物体 3D 模型进行 ICP 匹配。

 

当然,直接用神经网络做位姿估计的工作也是有的,如这篇:Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

它的方法大概是这样:对于一个物体,取很多小块 RGB-D 数据(只关心一个patch,用局部特征可以应对遮挡);每小块有一个坐标(相对于物体坐标系);然后,首先用一个自编码器对数据进行降维;之后,用将降维后的特征用于训练Hough Forest。

 

六. 与任务/运动规划结合

 

      这部分也是比较有意思的研究内容,由于机器视觉的目的是给机器人操作物体提供信息,所以,并不限于相机中的物体识别与定位,往往需要跟机器人的其他模块相结合,我们让机器人从冰箱中拿一瓶『雪碧』,但是这个 『雪碧』 被『美年达』挡住了,我们人类的做法是这样的:先把 『美年达』 移开,再去取 『雪碧』 。
     所以,对于机器人来说,它需要先通过视觉确定雪碧在『美年达』后面,同时,还需要确定『美年达』这个东西是可以移开的,而不是冰箱门之类固定不可拿开的物体,当然,将视觉跟机器人结合后,会引出其他很多好玩的新东西。由于不是我自己的研究方向,所以也就不再班门弄斧了。


本文:工业机器人技术:工业机器人抓取的定位方式由工业机器人厂家、滑台模组厂家悦普达自动化整理发布,如需转载请注明来源及出处。工业机器人:https://www.ypd-robot.cn/jsgh/jiqirenjishu_598.html

与工业机器人技术:工业机器人抓取的定位方式相关资讯

原创声明:本文系作者依照专业知识撰写,未经许可,谢绝转载。

本文参考资料来源: 中国知网 万方数据 中国机器人网 OFweek机器人网 机器人在线

猜你想了解的工业机器人产品
自动上下料机器人RS020N

6轴上下料机器人:20公斤RS020N

RS020N上下料机器人负载20kg,最大臂展1725mm.重复定位精度±0.04m...
机床自动上下料机器人RS015X

6轴上下料机器人:15公斤RS015X

RS015X上下料机器人负载15kg最大臂展3150 mm.重复定位精度±0.06mm,...
6自由度上下料机器人RS010N

6轴上下料机器人:10公斤RS010N

RS010N上下料机器人负载10kg最大臂展1450mm.重复定位精度±0.03mm,...

客户对我们悦普达自动化销售的工业机器人评价


来自南通购买我们川崎工业机器人的客户

真是一个好卖家,质量不错很满意 发货很快

来自苏州吴中购买过 安川工业机器人的客户

对比了很多家 就这家服务让我满意

来自安徽亳州购买过发那科工业机器人的用户反馈

收到三天了车间已经开始使用,省了很多人工,后续领导批准再来购买,必须好评。

来自南通购买过ABB工业机器人的客户

物流很快,包装得很严实!机器人很好操控,物美价廉。培训也很到位!!!

来自常州购买过fanuc工业机器人的客户

机器人今天拆开试运行了,达到理想的效果,这次好好学会了,下次再买。业务员服务也不错,在电话里面耐心解答,很用心,很专业。

来自石家庄购买过kuka工业机器人的客户

高性价比的机器人,速度,外观,不输国外四大家族。一直关注,今天终于如愿以偿。下次还会来。

来自青岛购买过日本工业机器人机器人的客户

跟老板合作从来没有失望过,每次都是一个电话搞定,付款完验货就走

来自杭州购买过库卡工业机器人的客户

不错,调试也简单,技术也比较负责,合作愉快

来自上海购买过那智不二工业机器人的客户

中间出了点小插曲,好在他们比较负责,沟通后给出了较满意的处理方法,后面可以长期合作

来自襄阳购买过国产工业机器人的客户

回购过好几次了认准他家,老板和业务服务都很好, 机器人质量不错很满意

热门资讯
工业机器人主要应用在哪些行业?(工业

工业机器人主要应用在哪些行业?(工业

工业机器人本体属于机械行业,所应用的行业就很广泛,面向工业领域的多关节机械手或多友衫自由度的机器装置,它能自动执行工作,是靠自身动力和控...
2020-11-26 16:54:00
自动喷涂机械手:自动喷涂机器人有哪些

自动喷涂机械手:自动喷涂机器人有哪些

涂装设备包括:涂装机器人、油漆输送泵、油漆管路、计量控制器、气动喷枪、混气喷枪、静电喷枪等。高效率的涂装机器人主要包括机器人手臂、移动滑...
2021-03-25 13:23:56
喷涂工业机器人多少钱一台?(喷涂机器人

喷涂工业机器人多少钱一台?(喷涂机器人

随着喷涂机器人的广泛应用,特别是在汽车制造业中,喷涂机器人的应用价值高,价格也不会太低,同一品牌的机器人也有多种规格、性能,从而导致机器...
2020-11-24 15:54:29
[国内工业机器人品牌]2020中国工业机器人

[国内工业机器人品牌]2020中国工业机器人

目前 国内机器人品牌 具有代表性的企业有新松、埃斯顿、埃夫特、广州数控、新时达、拓斯达、巨星科技、华昌达等。这些公司已在机器人产业链中游和...
2020-11-02 15:48:28
[2020ABB机器人多少钱]abb工业机器人价格多

[2020ABB机器人多少钱]abb工业机器人价格多

大家都知道机器人的 价格是根据机器人的应用范围,型号、轴数、负载量、重复精度,及防护级别、耗能量而定 , 对于四大品牌的ABB工业机器人来说,价...
2020-11-24 16:01:35
abb工业机器人价格和川崎工业机器人相比

abb工业机器人价格和川崎工业机器人相比

我们悦普达自动化卖了这么多年的工业机器人,遇到的客户选择也是参差不齐,我们的销售人员在推荐川崎机器人时,总是免不了跟四大品牌相比,有的可...
2021-03-23 17:18:46
工业机器人的典型应用有哪些(工业机器

工业机器人的典型应用有哪些(工业机器

工业机器人应用案例 视频 在短短50多年的时间中,机器人技术得到了迅速的发展,在众多制造业领域中,工业机器人应用最广泛的领域是汽车及汽车零部件...
2020-10-30 12:02:34
工业机器人技术的应用都有哪些(工业机

工业机器人技术的应用都有哪些(工业机

随着智能时代的发展,机器人技术领域越来越受到重视。过去机器人应用最主要领域为汽车行业,随着自动化需求的提升,工业机器人应用有了全新的突破...
2020-10-30 14:20:59
工业机器人技术应用(工业机器人系统应

工业机器人技术应用(工业机器人系统应

工业机器人技术应用解决方案 机器人上下料、搬运 机器人码跺、包装 机器人研磨、抛光 机器人组装、测试 机器人点胶、涂胶 机器人打螺丝 机器人测量、...
2020-10-30 14:37:42
工业机器人系统组成思维导图(工业机器

工业机器人系统组成思维导图(工业机器

工业机器人由机械部分、传感部分、控制部分三大部分组成,这三大部分又可分为驱动系统、机械结构系统、感受系统、机器人-环境交互系统、人机交互系...
2020-10-30 14:38:41

悦普达自动化工业机器人厂家提供高精度、高速度、操作方便的川崎工业机器人、码垛工业机器人、众为兴SCARA工业机器人...深受广大制造厂家钟爱【强有力的售后保障】【省心省力的顾问式服务】!

专业代理销售码垛机器人_搬运机器人_焊接机器人,直线滑台,线性模组,伺服电动缸,SCARA机器人等全系列产品.【价格优惠】【信誉可靠】欢迎您来电询价.

悦普达自动化机器人一级代理商 版权所有 备案号:苏ICP备16019572号-1

友情链接:昆山代办公司注册 昆山代理记账