Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve
Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/10045/11714
Título: | Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve |
---|---|
Título alternativo: | Evaluation of a rule-based machine translation system or why BLEU is only useful for what it is meant to be used |
Autor/es: | Mayor Martínez, Aingeru | Alegría Loinaz, Iñaki | Díaz de Ilarraza Sánchez, Arantza | Labaka Intxauspe, Gorka | Lersundi Ayestaran, Mikel | Sarasola Gabiola, Kepa |
Palabras clave: | Traducción automática basada en reglas | Evaluación | HTER | BLEU | Rule-based machine translation | Evaluation |
Área/s de conocimiento: | Lenguajes y Sistemas Informáticos |
Fecha de publicación: | sep-2009 |
Editor: | Sociedad Española para el Procesamiento del Lenguaje Natural |
Cita bibliográfica: | MAYOR MARTÍNEZ, Aingeru, et al. “Evaluación de un sistema de traducción automática basado en reglas o por qué BLEU sólo sirve para lo que sirve”. Procesamiento del lenguaje natural. N. 43 (sept. 2009). ISSN 1135-5948, pp. 197-205 |
Resumen: | Matxin es un sistema de traducción automática basado en reglas que traduce a euskera. Para su evaluación hemos usado la métrica HTER que calcula el coste de postedición, concluyendo que un editor necesitaría cambiar 4 de cada 10 palabras para corregir la salida del sistema. La calidad de las traducciones del sistema Matxin ha podido ser comparada con las de un sistema basado en corpus, obteniendo el segundo unos resultados significativamente peores. Debido al uso generalizado de BLEU, hemos querido estudiar los resultados BLEU conseguidos por ambos sistemas, constatando que esta métrica no es efectiva ni para medir la calidad absoluta de un sistema, ni para comparar sistemas que usan estrategias diferentes. | Matxin is a rule-based machine translation system which translates to Basque. For its evaluation we have used the HTER metric which calculates the post-editing cost, concluding that 4 of each 10 words would have to be modified to correct the output generated by the system. We have compared the quality of Matxin translations with that of a corpus based system, and the results show that Matxin performs significantly better. Given the widespread use of BLEU, we have examined the BLEU scores for both systems, and we conclude that this metric is neither effective to measure the absolute quality of a system, nor suitable to compare systems based on different strategies. |
Patrocinador/es: | Esta investigación ha recibido ayuda del Ministerio de Educación y Ciencia a través de los proyectos OpenMT: Open Source Machine Translation using hybrid methods (TIN2006-15307-C03-01) y Ricoterm-3 (HUM2007-65966-CO2-02). |
URI: | http://hdl.handle.net/10045/11714 |
ISSN: | 1135-5948 |
Idioma: | spa |
Tipo: | info:eu-repo/semantics/article |
Revisión científica: | si |
Aparece en las colecciones: | Procesamiento del Lenguaje Natural - Nº 43 (septiembre 2009) |
Archivos en este ítem:
Archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
PLN_43_22.pdf | 117,35 kB | Adobe PDF | Abrir Vista previa | |
Todos los documentos en RUA están protegidos por derechos de autor. Algunos derechos reservados.