Czym jest różnorodna wyszukiwanie wiązek?

Diverse Beam Search to modyfikacja klasycznego algorytmu beam search, używanego do generowania sekwencji (np. w modelach językowych).

Głównym pomysłem jest zwiększenie różnorodności generowanych wariantów, aby uniknąć zbyt podobnych lub powtarzających się wyników.

Jak to działa:

• Zamiast wybierać tylko N najbardziej prawdopodobnych kontynuacji, strumień jest dzielony na kilka grup (różnorodne grupy).
• W każdej grupie wybierani są najlepsi kandydaci z uwzględnieniem kary za podobieństwo do już wybranych w innych grupach.
• To zachęca do poszukiwania różnorodnych ścieżek, a nie tylko najbardziej prawdopodobnych.

Zastosowanie diverse beam search jest przydatne, gdy trzeba uzyskać kilka wysokiej jakości, ale różniących się od siebie opcji, na przykład w zadaniach dialogowych, tłumaczeniach lub twórczej generacji tekstu.