PAN 2014 - Identificación de autores

Campaña

Nombre de la campaña

PAN 2014 @ CLEF

Nombre de la tarea

Author Identification

Tipo de tarea

Evaluación de sistemas de clasificación automática de autores

Descripción de la tarea

Dado un pequeño número de documentos (hasta 5) de un autor y un documento por clasificar, la tarea consiste en determinar si dicho documento ha sido escrito por el mismo autor (authorship verification).

Categoría de la tarea

Procesamiento del lenguaje natural

Fecha evento / edición

2014 - https://pan.webis.de/clef14/pan14-web/author-identification.html

Organizadores
  • Efstathios Stamatatos - University of the Aegean, Grecia
  • Walter Daelemans, Ben Verhoeven - University of Antwerp, Bélgica
  • Martin Potthast, Benno Stein - Bauhaus-Universität Weimar, Alemania
  • Patrick Juola - Duquesne University, EE.UU.
  • Miguel A. Sanchez-Perez, Instituto Politécnico Nacional, México
  • Alberto Barrón-Cedeño - Universitat Politècnica de Catalunya, Spain
Grupos destinatarios

Abierto a quien quiera participar: han participado grupos de investigación académicos, de institutos de investigación (también forenses), GmbH (pressrelations).

Elegibilidad

Cualquiera puede participar (grupos de investigación académicos, de la industria o investigadores individuales). Hay un control de calidad en los working notes presentados (peer review) 

Calendario
  • 01/03/2014: Early birds
  • 01/05/2014: Envío de softwares
  • 01/05/2014: Notificación de resultados (evaluación con TIRA)
  • 14/06/2014: Envío de artículos
  • 26/07/2014: Registro a la conferencia
  • 15-18/09/2014: Conferencia
Número de participantes

13 equipos (~40 personas)

Número de participantes de España

0

Dominio

El corpus en español está compuesto por artículos de periódico (El País)

Idiomas
  • lnglés
  • Griego
  • Holandés
  • Español

Datos

Datos de entrenamiento
  • 5 textos por problema en el corpus en español (longitud promedia: 1.000 palabras)
  • Distribuido como XML
Derecho de redistribución de datos

Sólo para investigación

Enlace a datasets

https://pan.webis.de/clef14/pan14-web/author-identification.html

Resultados

Métrica de evaluación

Combinación de Area under the ROC curve (AUC) y c@1

Rendimiento
  • Inglés: 0,51
  • Griego: 0,72
  • Holandés:0,82
  • Español: 0,70
Disponibilidad del código

-

Tipo de ejecución

Remoto - A los participantes se les facilita el acceso a una máquina virtual para la evaluación del entorno TIRA

Número total de resultados enviados

13

Resultados con los rankings

Efstathios Stamatatos, Walter Daelemans, Ben Verhoeven, Martin Potthast, Benno Stein, Patrick Juola, Miguel A. Sanchez-Perez, and Alberto Barrón-Cedeño. Overview of the Author Identification Task at PAN 2014. In Linda Cappellato, Nicola Ferro, Martin Halvey, and Wessel Kraaij, editors, CLEF 2014 Evaluation Labs and Workshop – Working Notes Papers, 15-18 September, Sheffield, UK, pp. 877-89, September 2014. CEUR-WS.org

http://ceur-ws.org/Vol-1180/CLEF2014wn-Pan-StamatosEt2014.pdf [PDF ]

Volumen de publicación

Volumen de publicación vol. 1180, CEUR-WS.org (101 citas a 15/10/2018)

Gestión web de usuarios

Atención a participantes

Email: pan@webis.de

Google Groups