WMT 2017

Campaña

Nombre de la campaña

WMT 2017: Second Conference on Statistical Machine Translation@ EMNLP

Nombre de la tarea

Biomedical Translation Task

Tipo de tarea

Traducción.

Descripción de la tarea

Esta tarea tiene como objetivo evaluar los sistemas de traducción de publicaciones científicas para el dominio biomédico y de salud. Los documentos fueron recuperados de la base de datos Scielo de publicaciones científicas.

la tarea

Traducción Automática

Fecha evento / edición

2017 - http://www.statmt.org/wmt17/biomedical-translation-task.html

Organizadores
  • Ondrej Bojar, Charles University in Prague, República Checa
  • Antonio Jimeno Yepes, IBM Research, Australia
  • Aurélie Névéol, LIMSI, CNRS, Francia
  • Mariana Neves, Federal Institute for Risk Assessment / Hasso Plattner Institute, Alemania
  • Pavel Pecina, Charles University in Prague, República Checa
  • Karin Verspoor, University of Melbourne, Australia
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria.

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 31/01/2017: Publicación de los datos de entrenamiento
  • 02/05/2017: Publicación de datos de test
  • 12/05/2017: Fecha límite de envío de resultados
  • 05/06/2016: Notificación de aceptación.
  • 22/06/2016: Fecha límite para el envío de la versión final de los  artículos
Número de participantes

3

Número de participantes de España

-

Dominio

Salud (biomédicina)

Idiomas Español, inglés y otros idiomas

Datos

Datos de entrenamiento

Distribuido como CSV

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

http://www.statmt.org/wmt17/biomedical-translation-task.html

Resultados

Métrica de evaluación

BLEU

Rendimiento

Scielo dataset:

  • EN-ES: 36,23
  • ES-EN: 37,49

Cochrane dataset: EN-ES:  48.99

NHS dataset: EN-ES: 41,22

http://www.statmt.org/wmt17/wmt-2017-biomedical.pdf

Disponibilidad del código

Evaluación
Participantes: no

Tipo de ejecución

Local

Número total de resultados enviados

82

Resultados con los rankings

Antonio Jimeno Yepes, Aurelie Neveol, Mariana Neves, Karin Verspoor, Ondrej Bojar, Arthur Boyer, Cristian Grozea, Barry Haddow, Madeleine Kittner, Yvonne Lichtblau, Pavel Pecina, Roland Roller, Rudolf Rosa, Amy Siu, Philippe Thomas, Saskia Trescher. Findings of the WMT 2017 Biomedical Translation Shared Task., Proceedings of the Conference on Machine Translation (WMT), Volume 2: Shared Task Papers, pp. 234–247, Co-located with EMNLP, Copenhagen, Denmark, September 711, 2017.

http://www.statmt.org/wmt17/pdf/WMT19.pdf 

Volumen de publicación

Proceedings of the Conference on Statistical Machine Translation. Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email