¿Qué es la decodificación codiciosa y cuáles son sus problemas?

La decodificación codiciosa (greedy decoding) es un método sencillo de generación de secuencias en tareas de PLN y aprendizaje automático, en el que en cada paso se selecciona el token más probable sin tener en cuenta las opciones futuras. Es decir, el modelo elige la opción localmente óptima en cada paso.

Problemas de la decodificación codiciosa:

• Óptimo local: La elección del token más probable en cada paso no garantiza una secuencia globalmente óptima.
• Falta de diversidad: La generación a menudo se vuelve predecible y monótona.
• Mala calidad en tareas complejas: En tareas con dependencias largas o ambigüedades, el enfoque codicioso puede conducir a resultados de baja calidad.

Ejemplo: al generar texto, la decodificación codiciosa puede elegir palabras que aparecen con frecuencia, ignorando otras más apropiadas en el contexto, que requieren sacrificar la probabilidad local en favor de un mejor resultado global.