Medidas internas y externas en el agrupamiento de resúmenes científicos de dominios reducidos

Abstract

Los algoritmos de agrupamiento suelen evaluarse o utilizan en su funcionamiento distintas medidas internas (u objetivas) como el índice de Davies-Boulding o el índice de Dunn, que intentan reflejar propiedades estructurales del resultado del agrupamiento. Sin embargo, la presencia de estas propiedades estructurales no garantiza la usabilidad de los resultados para el usuario, una propiedad subjetiva reflejada por medidas externas como la medida F y que determinan hasta que punto los grupos obtenidos se asemejan a los que se hubieran logrado con una categorización manual real. En trabajos previos, se ha observado una correlación interesante entre la medida de densidad esperada (interna) y la tradicional medida F (externa) en tareas de agrupamiento con documentos del corpus standard RCV1. En este trabajo, analizamos si esta relación también se verifica en tareas de agrupamiento de resúmenes en dominios muy restringidos. Este tipo de tarea ha demostrado tener un alto grado de complejidad y por ello, un análisis de este estilo, puede ser útil para determinar cuales son las propiedades estructurales fundamentales a tener en cuenta a la hora de diseñar algoritmos de agrupamiento para este tipo de dominios.

Clustering algorithms are usually based (and evaluated) taking into account internal (or objective) measures such as the Davies-Boulding index or the Dunn index which attempt to evaluate particular structural properties of the clustering result. However, the presence of such structural properties does not guarantee the interestingness or usability of the results for the user, a subjective property usually captured by external measures like the F-measure that determine up to what extent the resulting groups resemble a real human classification. In previous works, an interesting correspondence have been observed between the (internal) expected density measure and the (external) F-measure in clustering tasks with documents from the standard corpus RCV1. In this work, we investigate if that correspondence also is verified in clustering on narrow-domain abstracts tasks. This is a challenging problem and we think that this kind of study can be useful for detecting which are the most relevant structural properties which should be considered when designing clustering algorithms for these domains.