Qənaətbəxş kodlaşdırma nədir və onun problemləri nələrdir?

Qənaətkar kodlaşdırma (greedy decoding) NLP və maşın öyrənmə tapşırıqlarında ardıcıllıqları yaratmaq üçün sadə bir metod olub, hər addımda gələcək variantlar nəzərə alınmadan ən ehtimal olunan növbəti token seçilir. Yəni, model hər addımda lokal olaraq ən optimal variantı seçir.

Qənaətkar kodlaşdırmanın problemləri:

• Lokal optimum: Hər addımda ən ehtimal olunan token seçimi qlobal olaraq ən yaxşı ardıcıllığı təmin etmir.
• Müxtəliflik çatışmazlığı: Yaratma çox vaxt əvvəlcədən proqnozlaşdırıla bilən və monoton olur.
• Çətin tapşırıqlarda aşağı keyfiyyət: Uzun asılılıqları və ya çoxmənalı vəziyyətləri olan tapşırıqlarda, qənaətkar yanaşma aşağı keyfiyyətli nəticələrə səbəb ola bilər.

Nümunə: mətn yaradarkən, qənaətkar kodlaşdırma tez-tez rast gəlinən sözləri seçə bilər, kontekstə daha uyğun olanları isə nəzərə almadan, lokal ehtimalı qurban verərək, daha yaxşı qlobal nəticə üçün seçim edə bilər.