Objetivando el proceso de revisión de JENUI

Abstract

La revisión por pares es el principal método de selección de artículos en congresos y revistas. Aunque es un proceso ampliamente aceptado diversos autores han detectado posibles problemas de validez y fiabilidad. Estos problemas se pueden atenuar tratando de objetivar las revisiones. En esta investigación se plantea el proceso de revisión por pares como un problema de clasificación, en el que se dispone de varios clasificadores (los revisores) que, ante una entrada (el trabajo a revisar), deben asignarle una determinada clase (aceptación o rechazo). Se proponen dos métricas: la tasa de aciertos y el grado de acuerdo, que se corresponden con los conceptos de validez y fiabilidad, pero adaptados a cada revisor por separado. Como caso práctico se analizan las revisiones de las últimas cinco JENUI. Por último, se plantean una serie de pautas para tratar de objetivar y mejorar el proceso de selección resultado de la revisión por pares.

Peer review is the main method of selecting articles in conferences and journals. Although it is a widely accepted process, some authors have detected potential problems of validity and reliability. These problems can be mitigated by trying to objectify the reviews. In this research, the peer review process is considered as a classification problem, in which several classifiers (reviewers), before an input (the work to be reviewed), must assign a given class(accept or reject). Two metrics are proposed: the success rate and the agreement degree, which correspond to the concepts of validity and reliability, but adapted to each reviewer separately. As a practical case the reviews of the last five JENUI are analysed. Finally, some guidelines are proposed to try to objectify and improve the selection process resulting from the peer review.