¿Por qué no evaluamos la evaluación? Un esbozo para un sistema de evaluación entre iguales

Abstract

Existen múltiples maneras de evaluar y distintos objetivos de la evaluación. Y el resultado de la evaluación es el que califica la calidad del trabajo realizado. Por tanto cualquier reflexión sobre la propia evaluación permitirá obtener mejores resultados, al juzgar los trabajos de la forma más justa posible. La evaluación entre iguales es una estrategia evaluativa cada vez más utilizada en el entorno universitario. Actualmente se está empleando en el ámbito de la docencia, pero cuenta con una amplia trayectoria en el campo de la investigación. Con este método, un autor revisa, generalmente de forma anónima, el trabajo de sus colegas que, a su vez, pueden convertirse en revisores de la obra de ese autor. Este sistema de evaluación entre iguales enriquece la propia evaluación, incluso puede llegar a ser una de las pocas maneras de evaluar al no existir una autoridad jerárquica en el tema. En esta investigación consideramos el proceso de evaluación entre iguales como un proceso de clasificación, en el que disponemos de varios clasificadores (los revisores) que, ante una entrada (el trabajo a revisar), deben asignar una determinada clase (calificación del trabajo). En este análisis se propone una métrica para valorar el grado de bondad de los revisores, con el objetivo de contribuir a mejorar la calidad de los procesos de evaluación entre iguales proporcionando una valoración más objetiva de la labor de los revisores.

There are many different ways to assess and different objectives of this assessment. The result of the evaluation process allows the grading of the work quality. Therefore any reflection on the evaluation itself allow for better outcomes, judging the work in the fairest possible way. Peer review is an evaluation strategy increasingly used in the university environment. It has now a central role in the field of teaching, but there is an extensive experience in the field of research. This evaluation method implies an author reviewing, usually anonymously, the work of his or her colleagues who, in turn, can become reviewers of the author’s work. This peer evaluation system enriches the evaluation itself, and it can even become one of the few ways to assess the works in absence of a hierarchical authority on the subject. In this research we consider the process of peer review as a classification process, in which we have several classifiers (reviewers) that, before an input (work to revise) should assign a particular class (work grading). In this analysis a metric is proposed to assess the degree of goodness of the reviewers, in order to help improve the quality of peer review processes providing a more objective assessment of the reviewers task.