COLING 2018

Campaña

Nombre de la campaña

LAW-MWE-CxG-2018: Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions @ COLING

Nombre de la tarea

Automatic identification of verbal multiword expressions 

Tipo de tarea

Clasificación

Tarea

Identificación de expresiones verbales en múltiples palabras en textos 

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2018

Organizadores
  • Silvio Ricardo Cordeiro, Aix Marseille University, Francia
  • Carlos Ramisch, Aix Marseille University, Francia
  • Agata Savary, University of Tours, Francia
  • Veronika Vincze, University of Szeged, Hungaria
Grupos destinatarios

Abierto a quien quiera participar: grupos de investigación académicos y de la industria (Adobe).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). 

Calendario
  • 21/03/2018: Datos de trail y script de evaluación disponibles.
  • 04/04/2018: Datos de entrenamiento y desarrollo disponibles
  • 30/04/2018: Datos de test
  • 4-8/05/2018: Envío resultados
  • 11/05/2018: Anuncio de resultados finales
  • 25/05/2018: Descripción del sistema
  • 20/06/2018: Notificación aceptación
  • 30/06/2018: Taller LAW-MWE-CxG-2018
Número de participantes

12

Número de participantes de España

0

Dominio

Web

Idiomas

Español, vasco + otros idiomas

Datos

Datos de entrenamiento

Distribuido como XML

Derecho de redistribución de datos

Sólo para investigación.

Enlace a datasets

https://gitlab.com/parseme/sharedtask-data/tree/master/1.1

Resultados

Métrica de evaluación

F1 score

Rendimiento

Español: 33,98

Vasco: 75,80

Disponibilidad del código

Tipo de ejecución

Local

Número total de resultados enviados

35

Resultados con los rankings

Carlos Ramisch, Silvio Ricardo Cordeiro, Agata Savary, Veronika Vincze, Verginica Barbu Mititelu, Archna Bhatia, Maja Buljan, Marie Candito, Polona Gantar, Voula Giouli, Tunga Güngör, Abdelati Hawwari, Uxoa Iñurrieta, Jolanta Kovalevskaite, Vytautas Magnus, Simon Krek, Timm Lichte, Chaya Liebeskind, Johanna Monti, Carla Parra Escartín, Behrang Qasemi Zadeh, Renata Ramisch, Nathan Schneider, Ivelina Stoyanova, Ashwini Vaidya. Edition 1.1 of the PARSEME Shared Task on Automatic Identification of Verbal Multiword Expressions. Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018), pp. 222–240, Co-located with EMNLP 2018, Santa Fe, New Mexico, USA, August 25-26, 2018

http://aclweb.org/anthology/W18-4925  

Volumen de publicación

Proceedings of the Joint Workshop on Linguistic Annotation, Multiword Expressions and Constructions (LAW-MWE-CxG-2018). Association for Computational Linguistics.

Gestión web de usuarios

Atención a participantes

Email