Évaluation de la cohérence des résumés automatiques par l'étude de la rupture des chaînes de coréférence.
Valentin Nyzam  1@  , Arno Watiez  2@  
1 : Laboratoire dÍnformatique Fondamentale et Appliquée de Tours
Université de Tours : EA6300, Institut National des Sciences Appliquées - Centre Val de Loire, Institut National des Sciences Appliquées, Centre National de la Recherche Scientifique
2 : Université de Paris
Laboratoire d'Informatique Fondamentale et Appliquée de Tours (LIFAT)

Dès la fin des années 1950, est apparue la volonté de résumer automatiquement des document. L'écriture d'un résumé court et compréhensif nécessite des capacités de réorganisation, de modification et de fusion des informations issues des différentes phrases des documents sources. La compréhension complète suivie du résumé des documents en entrée n'est pas toujours simple pour une majorité de personnes et n'est pas encore à la portée des systèmes “état de l'art” dans le résumé automatique. Traditionnellement, l'évaluation du résumé implique un jugement humain sur différentes mesures de qualité, telles que la cohérence, la concision, la grammaticalité, la lisibilité et le contenu. Cependant, une simple évaluation manuelle des résumés à grande échelle sur la qualité linguistique et la couverture de contenu comme dans la campagne d'évaluation DUC (Document Understanding Conference) nécessite plus de 3 000 heures d'efforts humains. Par conséquent, les méthodes d'évaluationde résumés automatique et semi-automatique ont attiré beaucoup d'attention au cours des dernières années chez les chercheurs.

Depuis très récemment, les chercheurs ont commencé à étudier l'évaluation de la consistance au sein des résumés automatiques. Néanmoins, aucune étude, à notre connaissance, ne s'est focalisée sur l'évaluation de la cohérence au sein d'un résumé. Or, les techniques de résumé automatique utilisées aujourd'hui peuvent entraîner des problèmes importants de cohérence, notamment avec l'utilisation de pronoms sans références.

Afin d'analyser cette problématique, nous présentons ici nos travaux préliminaire sur l'identification automatique des ruptures de chaînes de coréférence au sein des résumés automatiques. Nos résultats sont très encourageant et devraient nous permettre d'aller jusqu'à la résolution des ruptures des chaînes de coréférence à posteriori.


Personnes connectées : 1 Vie privée
Chargement...