Estudio y aplicación de un LLM multimodal en tareas de localización y reconocimiento de objetos

Abstract

En este proyecto, se explora la aplicación de Modelos de Lenguaje Grande Multimodales (MLLMs) en el campo de la robótica, específicamente en tareas de localización y reconocimiento de objetos. La motivación principal radica en la capacidad de estos modelos para interpretar y razonar sobre datos visuales y textuales, superando las limitaciones de los métodos tradicionales de visión artificial. A lo largo del proyecto, se estudiará una arquitectura basada en LLM que aplica un proceso de búsqueda de objetos basado en una heurística, y se diseñará un prototipo de aplicación para tratar de explotar las capacidades del modelo.