Optimización y Procesamiento Inteligente de Grandes Volúmenes de Datos Categóricos

Abstract

El algoritmo de clasificación kNN (k-nearest neighbors) es uno de los métodos de clasificación no paramétrico más utilizados, sin embargo, está limitado debido al consumo de memoria relacionado con el tamaño del conjunto de datos, lo que hace poco práctica su aplicación a grandes volúmenes de datos. La investigación descrita en esta tesis fue motivada por la necesidad de una representación óptima de datos categóricos que puedan ser fácilmente incorporados en los algoritmos de aprendizaje automático que permiten un análisis y explotación inteligente de grandes volúmenes de datos. En esta tesis se propone el uso de un esquema de compresión a nivel de bits para comprimir el conjunto de datos de entrenamiento (training dataset) antes de entrenar un modelo de aprendizaje automático. Para utilizar el conjunto de datos, se propuso una descompresión en tiempo real que permite el uso del conjunto de datos sin necesidad de una descompresión completa. Para facilitar la incorporación del método de compresión propuesto en los frameworks de aprendizaje automático existentes, el método propuesto está alineado con el estándar Basic Linear Algebra Subprograms - BLAS de nivel 1 que define los bloques de construcción básicos en forma de funciones algebraicas. En particular, en esta tesis se propone el uso del algoritmo kNN para trabajar con datos categóricos comprimidos. El método propuesto permite mantener los datos comprimidos en memoria, con lo que se reduce drásticamente el consumo de memoria.