Qu'est-ce que le décodage glouton et quels sont ses problèmes?

Le décodage glouton (greedy decoding) est une méthode simple de génération de séquences dans les tâches de NLP et d'apprentissage automatique, où à chaque étape, le token le plus probable est choisi sans tenir compte des options futures. Autrement dit, le modèle choisit l'option localement optimale à chaque étape.

Problèmes du décodage glouton :

• Optimum local : Le choix du token le plus probable à chaque étape ne garantit pas une séquence globalement optimale.
• Manque de diversité : La génération devient souvent prévisible et monotone.
• Mauvaise qualité dans les tâches complexes : Dans les tâches avec de longues dépendances ou des ambiguïtés, l'approche gloutonne peut conduire à des résultats de mauvaise qualité.

Exemple : lors de la génération de texte, le décodage glouton peut choisir des mots fréquemment rencontrés, en ignorant des mots plus appropriés au contexte, qui nécessitent de sacrifier la probabilité locale pour un meilleur résultat global.