Hacia la recogida de residuos domésticos en exteriores: enfoque visual-táctil

Abstract

Este artículo presenta un sistema de manipulación robótica para la recogida de ciertos tipos de basura doméstica en exteriores. El sistema está compuesto de un robot con pinza dotada de sensores táctiles, de varias cámaras RGBD y de un LiDAR. El sistema implementa tres módulos de software. Dos de ellos basados en percepción visual y un tercero en táctil. Uno para la tarea de encontrar y localizar posible basura y el otro, destinado a reconocer el objeto como basura, catalogarlo y estimar su agarre. El módulo táctil se emplea para controlar el agarre a partir de información de contacto. Los módulos de percepción se han probado en ambientes exteriores, obteniendo un error medio en la localización del 6 % de la distancia del objeto, un mAP75 en detección y reconocimiento del 98 % y una precisión táctil del 91%. Todo ello con tiempos totales medios de ejecución inferiores a 350 ms.

In this work, we present a robotic handling system for the collection of certain types of household waste in outdoor. The system is made up of a robot with a gripper equipped with touch sensors, several RGBD cameras and a LiDAR. The system consists in three software modules. Two of them are based on visual perception and the third on tactile perception. The visual module is implemented to localize candidate objects to be considered waste and then to recognize them and estimate the grip for each one of them. The tactile module is used to control the grip using touch data. All perception modules of the robotic system are being tested in outdoor environments, obtaining an average location error less than the 6% of the object distances, a mAP75 in detection and recognition of 98% and a tactile accuracy of 91%. The sum of runtimes of the three modules is less than 350 ms.