Qu'est-ce que la recherche contrastive en décodage?
sobes.tech IA
Réponse de l'IA
La recherche contrastive est une méthode de décodage dans les modèles de langage génératifs, visant à améliorer la qualité du texte généré en équilibrant la probabilité des tokens et la diversité de la sortie. Contrairement à la recherche gloutonne ou à l’échantillonnage, la recherche contrastive tente de minimiser les répétitions et d’éviter des options trop prévisibles ou trop aléatoires.
L’idée est de choisir le prochain token non seulement en fonction de sa probabilité maximale, mais aussi en tenant compte du contraste entre les candidats, ce qui aide le modèle à éviter des réponses bloquées ou trop prévisibles. Cela est réalisé en évaluant les candidats selon deux critères : la probabilité et le degré de diversité par rapport aux tokens déjà générés.
L’algorithme fonctionne approximativement comme suit :
- Plusieurs candidats sont générés pour le prochain token.
- Pour chaque candidat, une note est calculée en tenant compte de la probabilité et de la mesure de diversité par rapport aux tokens précédents.
- Le candidat avec le meilleur équilibre entre probabilité et diversité est choisi.
Cela permet d’obtenir un texte plus cohérent et diversifié qu’avec la recherche gloutonne classique, et plus contrôlable qu’avec l’échantillonnage aléatoire.