Control de un brazo robótico mediante cámara on-board

Abstract

El presente Trabajo de Fin de Grado (TFG) tiene como finalidad la localización y recogida de un objeto por un brazo robótico en tiempo real. Este proyecto se plantea también como una forma de ampliar los conocimientos que adquieren los alumnos en las sesiones de prácticas, debido a que amplía las posibilidades de control en manipulador. Este TFG tiene como base dos pilares fundamentales: la localización del centro y de la orientación de un objeto, a partir de una imagen digital y la utilización de dichos datos en un sistema de control con realimentación de la información visual. Para resolver estas dos premisas, primero se deberá construir una estructura que aloje el sistema de visión, compuesto por una cámara y un sensor de distancia, alrededor de la pinza. Para la detección de objetos se utilizará un algoritmo capaz de discriminar objetos por color de forma que se pueda obtener información manipulable (centro y orientación) de las imágenes. Una vez detectado el objeto, dicha información se traducirá en coordenadas respecto de la base del robot y se transmitirán a este por medio de una conexión serial. Todos los procesos que se van a ejecutar en este proyecto se realizarán en el lenguaje de programación C++, utilizando clases ya establecidas o creando clases propias que ayudarán a facilitar la tarea. También se utilizará el lenguaje de programación Arduino para obtener las medidas de distancia que emita el sensor.

The purpose of this Final Degree Project (FDP) is to define the location of an object and pick it up with a robotic arm in real time. This project is also proposed as a way to expand the knowledge acquired by students in the practice sessions, due to the new possibilities of control of the robotic arm. This FDP is based on two fundamental pillars: the location of the center and the orientation of an objet from a digital image and the use of such data in a control system with feedback of visual information. In order to solve these two premises, first a structure composed of a vision system (formed by a camera and a distance sensor) around the gripper must be built. For the detection of the objects, an algorithm capable of discriminating objects by color will be used to obtain manipulable information (center and orientation) of the images. Once the object is detected, this information will be translated into coordinates respect to the base of the robot and will be transmitted to the robot controller through a serial connection. All the processes that will be executed in this project will be done in the C++ programming language, using already established classes or creating own classes that will help the task. The Arduino programming language will also be used to obtain the measurements of the distance sensor.