通常情况下，零件是交给机器人在固定的位置拾取的——例如，送料碗的擒管，或者热成型托盘的口袋。为了节省空间，并减少托盘和给料机的成本，制造商希望机器人能从垃圾箱、盒子或手提袋中随机挑选部件。
但是，这比做了更容易。人类长期以来一直是灵巧的大师，一种通过触摸，视觉和手眼协调可以实现的技能。
人们可以不假思索地从装满相似或不同物品的垃圾桶里随便拿一个部件。然而，对于机器人来说，这样的任务要困难得多。
几十年来，控制环境中的机器人可以在装配线中一遍又一遍地拾取相同的对象。最近，计算机视觉和运动控制软件中的突破使机器人能够在对象之间进行基本区别。
但是，机器人仍然努力了解物体的形状。如果零件清晰，灵活，反光，闪亮或金属，机器人根本无法与人类竞争。堆叠，互锁或纠结的组件也存在问题。
部分取向
在结构的箱拾取中，通常可以预测部分取向，以便在甚至计算拾取之前可以推断近似数据。然而，在随机垃圾箱采摘应用中，部件可以坐在多个方向上，可以以多种配置堆叠。
CapSen Robotics公司的首席执行官Jared Glover博士说:“像捡垃圾这样看似简单的任务，在今天仍然主要由人类工人来完成。”CapSen Robotics是一家初创公司，最近开发了一种用于机器人捡垃圾应用的3D视觉系统和运动规划软件。“这是因为零件是随机堆放的，这使得计算机视觉找到零件位置的工作很有挑战性。
“[该]也意味着机器人必须每次到达垃圾箱时计划和执行不同的拣选运动，决定如何掌握对象，同时避免与方式与其他对象的碰撞，”揭示了手机。“在装配线上，通常必须采摘零件以精确的方式进入另一台机器或组装，需要额外的实时几何规划和执行。
“随机垃圾桶采摘是一项挑战，主要原因是两个主要原因，”格洛弗指出。“首先，难以拥有一般的计算机视觉算法，可以告诉您物体所在的位置，无论它们是什么样的。其他挑战是如何弄清楚如何采取以不同方式呈现的零件，避免与事物碰撞。特别是可变形的物体仍然挑战机器人。“
“即使有了新的机器人和摄像头技术，视觉系统的挑战依然存在，”TM Robotics (Americas)公司执行副总裁Ryan Guthrie补充道。然后拿起可以在不同位置和方向上相互堆叠的物品。
“相机必须能够快速扫描，处理和传达数据以协调机器人的动作，”Guthrie警告。“并且，捕获的图像必须清除足以显示超过垃圾箱中项目的概述。对于机器人夹具来有效地接近目标物品，还必须识别可能混乱或重叠的物品的位置和取向。“
根据Guthrie的说法，使随机垃圾桶采摘这么困难是工程师必须找到机器人的方法，使一系列完整的图片更多地是垃圾箱或手提包的东西。工程师必须考虑以下事项：有没有障碍物？工具如何选择零件？盒子的边缘或箱子会妨碍工具吗？一部分被检测到，指关节（六轴机器人上的第五个接头）是否会与盒几何碰撞？
“所有这些事情都需要计算，并以毫秒计算，以便将一个项目可行，”Guthrie指出。“你不再只是识别零件。您还需要识别框和工具，并了解机器人本身占用的物理空间。“
传统上，Bin采摘是一个巨大的系统集成挑战，需要多种技术共同努力。除了机器人和手指或吸力夹具之外，工程师还需要以下内容：
- 一种创建部分的3D模型的方法（扫描或CAD转换）。
- 一个3D传感器来扫描环境。
- 图像分析软件定位零件并检测障碍物或障碍物，例如相邻部件或异物。
- 运动控制软件使机器人和末端执行器能够挑选并放置部分而不与环境障碍碰撞。
“所有这些都需要在照明和部件变化很多的工业环境中工作，”能源技术公司UR产品业务开发总监Eric Truebenbach说，“这是一个复杂的系统集成问题，很少有公司能够解决。
Truebenbach指出:“然而，用户或集成商无法应用通用算法来保证从无限可能的部件位置到该位置的无碰撞路径。”“因此，程序员(通常)要花费数周时间来创建所有的排列。但是，最终，异常仍然会导致错误和冲突。
Truebenbach补充道:“让垃圾桶选择可靠的唯一方法是使用实时路径规划软件，该软件可以考虑部件的姿态、周围部件、末端执行器、机器人、垃圾桶、放置目标和环境。”
新工具和技术
今天的垃圾拣货技术与几年前的可用的速度不同。价格已减少，软件已简化，加工速度增加。
加拿大blue手腕公司的市场经理Jason Niu说:“随着传感器的精度、分辨率和性能的提高，bin pick技术已经取得了显著的进步。”blue手腕公司是一家专注于使用3D视觉摄像机的智能自动化系统的公司。“这大大有助于更好地识别零件，而零件识别对计算最佳拾取坐标至关重要。
“计算能力增加，如多核CPU和GPU，使得3D点云的加工加工，使3D Vision Bin采摘在生产环境中可行，其中短暂循环时间是强制性的，”NIU指出。“今天的垃圾拣选系统更容易设置和配置，它们更灵活地适应不断变化的要求。例如，[当存在部分或组件更改时，可以在软件级别重新配置系统。“
TM机器人公司的格思里说:“10年前需要超级计算机处理能力的东西，现在在今天的商用个人电脑上只需几毫秒就能处理。”“这使得价格点在标准集成商的预算之内。额外的处理能力还允许使用更智能的工具，使非视觉专家更容易理解用户界面。
“越来越多的制造商现在开始定制他们的系统，以匹配特定型号的机器人手臂，”Guthrie说。“这有助于建立物理空间和虚拟空间之间的关系。用户界面也变得更容易设置。
Guthrie指出:“这条曲线与机器视觉非常相似。“20年前，你需要一个博士学位，不仅要理解，而且要编程一个视觉系统。现在，我们有集成商，不仅对视觉，而且对一般的机器人来说，都是新的，成功地解决了垃圾箱选择的应用。
“垃圾采摘的下一个重大步骤是消除了Proteach的需要，”格雅里说。“圣杯是具有智能的机器人和视觉系统，可以在没有任何培训的情况下从任何箱子中选择任何部分。”
虽然这仍然是几年后，工程师已经可以选择各种新产品，以提供机器人垃圾桶采摘应用所需的高速，准确性和一致性。
例如，TM Robotics和Toshiba Machine最近推出了TSVision3D系统。它包含了两个集成的高速立体摄像机，能够每秒30帧连续的实时3D图像。摄像机管理图像捕捉、处理和视差操作，以识别物品的位置，视觉软件增加了简单的模型配准，而不需要复杂的CAD数据。
为了进一步增强相机的准确性，投影机将随机光图案闪耀到盒中，突出显示内部的物品的表面，并为相机额外位置和方向数据提供更准确的识别。
Guthrie说:“[过去]三维视觉技术需要广泛的专业知识，而且很难使用。“(我们的系统)是为了让任何人，即使只受过最低限度的培训，都能理解和执行它。
“若要采摘物品的循环时间可以根据情况而变化，典型的循环时间为3秒，在加工速度和精度之间提供优化的平衡，”主张Guthrie。“如果每张图像或每个纸盘存在一个工件，则循环时间可以快至0.7秒，而装有工件的图像仍然可以在短至5秒内处理。”
TM机器人公司首席执行官奈杰尔·史密斯补充道:“这种3D视觉的新方法结合了最新的视觉系统技术和软件，克服了此前2D视觉系统遇到的障碍。”“TSVision3D使自动拣箱成为现实，即使在体积较小和高度可变的应用程序。
“2D视觉传感器长期以来一直是机器人自动化系统的标准，”史密斯解释道。“但是，因为这些传感器只能识别二维位置和姿势，通常需要设计和实现单独的预处理机构以去除物体的重叠并对齐部件以便正确执行位置检测和拾取。
“这些额外的流程与所需的过程自动化和劳动力减少工作，”史密斯笔记。“TSVision3D系统从重复，镗孔和快节奏的过程中释放一个或两个手动操作员，可以通过自动化更准确且始终如一地执行。”
机器人不可知系统
几家初创公司正在提供机器人不可知的拣箱系统。它们将与许多类型的机器和商业可用的3D摄像机一起工作。
CapSen机器人最近开发了一种传感和规划单元(SPU)开发工具包，称为CapSen SDK。它既是一个设计工具也是一个运行时库。
“它的目的是允许工程师快速设计和部署特定机器人能力的应用程序，特别是对于装配，包装和机器趋势等工厂的更复杂任务，”格洛弗说。“这些任务不仅需要最先进的3D计算机视觉和运动计划算法，而且在这些算法之间也是紧密的耦合。
“Capsen SDK旨在为许多这样的机器人应用提供这种空间推理和执行，”索赔格洛弗。“图书馆包含软件模块：
- 扫描获取和测量3D对象模型。
- 杂乱中的检测找到对象。
- 规划机器人动作和高级任务。
Glover补充道:“它是建立在我们高度优化的专有软件基础设施之上，具有基于云的数据存储、高度定制的深度学习库和名为MultiMatrix的gpu加速矩阵数学模块。”“使用CapSen SDK构建的应用程序能够进行更彻底的搜索，以解决最具挑战性的几何优化问题。”
该公司的第一个SPU产品，CAPSEN PIC（杂乱挑选），自动化垃圾拣货的物理要求和重复的任务。它使机器人能够从未组织的垃圾箱中挑选物体并将它们放在预设的模式中。Capsen Pic提供集成视觉和运动规划，并且能够处理任何形状的物体。
CapSen Robotics的技术仍处于试点阶段，正在一家小型弹簧制造商使用六轴协作机器人进行beta测试。试点应用包括使用手指钳组装挂钩和弹簧机构。然而，该系统将于2019年6月上市。
垃圾桶中的另一名新手是Photoneo。斯洛伐克公司开发了一个适用于许多不同的机器人品牌的系统，包括ABB，Fanuc，Kawasaki，Kuka，欧姆龙，斯蒂布利，通用机器人和yaskawa。
Photoneo公司的3D视觉系统可以在大扫描量下快速识别随机放置的零件，具有高分辨率和高精度。它的新PhoXi 3D相机采用碳纤维机身，可以获得1068 × 800点云，加上纹理，在主动环境光抑制的情况下，最高每秒60帧。
“Phoxi 3D是世界上最准确和最快的3D相机，”Photoneo的销售和营销副总裁Branislav Pulis。“它基于我们专利的并联结构光技术和自定义CMOS图像传感器。你有更精确的扫描，你可以做的更精确的选择。“
相机配合Photoneo的易于使用的Bin pickstudio软件工作。
“目标是将垃圾箱的集成从编程转换为使用CAD模型，使用类似消费者的控制，”Pulis说。“用户无需深入了解机器人运动学，数学和编程技能来使用该软件。如果您能够编程机器人，您将能够自己设置垃圾拣货系统。“
Photoneo还提供了Phoxi 3D扫描仪，可以一次扫描整个托盘或盒子。有五种型号可用，可以覆盖各种扫描卷，用于从小型PCB到汽车生产中使用的大盒子的应用。因为设备对环境光免疫，所以它不需要被阴影。
另一家公司开发硬件不可知的宾馆采摘系统是蓝色错误。Flexipick使机器人能够拾取随机放置在箱中的零件并将其呈现给装配线。
牛玉强说:“传统的垃圾桶拾取需要一个零件CAD模型，这样软件就可以‘学习’不同的角度方向，并构建一个字典来生成最佳拾取坐标。”“在挑选过程中，箱子里的零件与字典匹配。这可能很耗时。而且，CAD模型与实际零件之间的差异可能会造成问题。(我们的)无cad系统不需要字典，系统能够仅基于点云图像识别最佳拾取坐标。”
此外，Niu表示，2D相机在一些bin-pick应用中并不可靠，“因为它们的准确性受到环境光线变化的影响，而且它们在检测低对比度或反射性物体方面存在问题。”当容器变为空的时候，2D视觉系统很难保持可靠性和准确性，这可能会导致容器碰撞。3D视觉系统克服了这些限制。
Niu解释说:“我们的解决方案与硬件无关，这意味着客户不会被锁定在一个专有的生态系统中。”“市场上有许多不同类型的3D视觉摄像机和机器人手臂，每一种都有不同的优点和缺点。
“我们可以帮助客户为工作选择最佳相机，”NIU索赔。“在未来，如果生产要求发生变化，客户只需切换照相机或机器人手臂，就不需要完整的修改。
Niu指出:“FlexiPick系统由我们的comXtream工业通信软件提供动力，因为一个完整的拣箱解决方案需要不同硬件的无缝集成和通信。”“comXtream确保了垃圾箱挑选系统中不同设备之间的更好兼容性。”
