Evaluación de sistemas de recuperación de información web sobre dominios restringidos

Abstract

Tradicionalmente, en tareas de recuperación de información, se han utilizado los métodos de evaluación definidos en foros internacionales como el TREC o el CLEF. Dichos métodos se basan, principalmente, en la cobertura y precisión a partir de los juicios de relevancia de las primeras n respuestas de cada sistema para un conjunto de consultas iniciales. En la práctica, cuando un buscador se aplica a la Web, los usuarios no quieren una alta cobertura sino una alta precisión para obtener páginas muy relevantes en las primeras posiciones. Es por ello que hemos adaptado los métodos de evaluación de estos foros valorando más la precisión que la cobertura. Finalmente, se ha puesto en práctica éste nuevo método de evaluación comparando dos buscadores web sobre un dominio restringido: oportunidades de negocio y exportación de productos.

Traditionally, information retrieval systems are assessed using the same evaluation methods as proposed in the international forums, like TREC or CLEF. Such methods mainly focus on the recall and precision obtained from the relevance judgements of the first n answers each system provides for a set of initial queries. In practice, when applying a search engine to the Web, users do not want a high recall but a high precision in order to obtain really relevant pages at the first places. Therefore, in this paper we have adapted the evaluation methods of these forums so that precision is given more importance than recall. To test this new evaluation method, two web search engines are compared within the following restricted domains: business oportunities and product exports.