ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Traitement Automatique des Langues

1248-9433
Changement d'éditeur au 1er janvier 2007
 

 ARTICLE VOL 43/2 - 2002  - pp.155-184
TITRE
Méthodologies d'évaluation des systèmes de dialogue parlé : réflexions et expériences autour de la compréhension

RÉSUMÉ
L'évaluation des systèmes de dialogue oral homme-machine est un problème qui suscite une activité scientifique importante dont témoignent les projets EAGLES, DISC, AUPELF ARCB2, COMMUNICATOR. Actuellement, on cherche des solutions automatiques pour réduire les coûts de développementet pour comparerles approchesau moyen d'indicateurs fiables avec des techniques d'évaluation génériques, indépendantes du système et de la tâche. Jusqu'à présent, la plupart des évaluations ont été effectuées, soit en considérant le système de dialogue dans sa globalité, soit sur des mesures locales indépendantes du contexte dialogique. Après un tour d'horizon des méthodes existantes, nous relatons nos expériences notamment d'application du paradigme PARADISE et proposons une méthodologie de l'évaluation des capacités de compréhension en contexte des systèmes de dialogue : PEACE.


ABSTRACT
Spoken language dialog systems evaluation is a problem at the center of an important scientific activity, as proof consider the projects EAGLES, DISC, AUPELF ARCB2, COMMUNICATOR. Automatic solutions are nowadays sought both to reduce development costs and to make possible the comparison between different approaches by mean of reliable indicators with generic evaluation methodologies, independant from both the dialog system and the task performed. Up to now, most of the evaluations performed have either considered the system in its globallity, or based the measurements on dialog-context-free information. After a rapid look at the existing methods, we present our experiments, in particular the one in which we have applied the PARADISE methodology and then we propose a new methodology for evaluating the context-sensitive understanding power of any spoken language dialog system: PEACE.


AUTEUR(S)
Laurence DEVILLERS, Hélène MAYNARD, Patrick PAROUBEK

MOTS-CLÉS
évaluation, système de dialogue oral homme-machine, compréhensionen contexte.

KEYWORDS
evaluation, spoken language dialog system, context-sensitive understanding.

LANGUE DE L'ARTICLE
Français

 PRIX
• Abonné (hors accès direct) : 34.95 €
• Non abonné : 34.95 €
|
|
--> Tous les articles sont dans un format PDF protégé par tatouage 
   
ACCÉDER A L'ARTICLE COMPLET  (233 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
made by WAW Lavoisier