Aplicaciones para Nevera Inteligente basadas en Deep Learning

Abstract

Este Trabajo Final de Grado consiste en realizar una aplicación que sea capaz de otorgar a los usuarios que la utilicen posibles recetas para cocinar basadas en los alimentos que hay en el interior de su nevera. Para ello, se ha separado la aplicación en tres grandes bloques: reconocimiento de alimentos en el interior de una nevera mediante Deep Learning, empleo de la API de ChatGPT para obtener las mencionadas recetas, el propio desarrollo de la aplicación web. El lenguaje de programación empleado mayoritariamente ha sido Python y en menor medida Java y Javascript. El reconocimiento de alimentos en el interior del frigorífico se ha realizado mediante YOLOv5, el cual es un modelo de detección de objetos que emplea una arquitectura de red neuronal convolucional profunda para identificar objetos en imágenes y vídeos en tiempo real. Para poder entrenar dicha red neuronal, se han empleado diferentes conjuntos de datos (datasets), con los cuales se han realizado numerosas pruebas y experimentos. El resultado ha sido la unión de cuatro datasets similares unificando las clases y las etiquetas de cada uno. La obtención de las recetas se ha empleado la API de ChatGPT, concretamente con gpt-3.5-turbo. La aplicación web se ha desarrollado con Flask, un framework web ligero y flexible, dando como resultado una aplicación responsive, intuitiva y fácil de utilizar. La aplicación consta de tres pasos muy marcados: 1. El apartado de “Subir imagen”, donde el usuario podrá realizar una fotografía de su frigorífico abierto desde su teléfono móvil o subir una imagen desde un ordenador. 2. Al subir la imagen, el sistema la procesa y devuelve una lista con los alimentos detectados. Aquí el usuario podrá elegir entre 5, 10 o 20 recetas. 3. Una vez que el usuario ha elegido el número de recetas podrá observar la misma lista de alimentos seguida de otra lista con las recetas solicitadas. Si el usuario desea 10 recetas diferentes podrá solicitarlas pulsando un botón. El resultado final en su conjunto ha sido el deseado y se han cumplido todos los objetivos iniciales. No obstante, hay algunos aspectos que se podrían mejorar como la detección de alimentos, probando con otros modelos y algoritmos de Deep Learning, buscar otra forma de extraer las recetas mediante algún dataset de recetas, o incluso mejorar a nivel visual y funcional la aplicación web.