Was ist die diverse Strahlensuche?

Diverse Beam Search ist eine Modifikation des klassischen Beam-Search-Algorithmus, der zur Generierung von Sequenzen verwendet wird (z.B. in Sprachmodellen).

Die Hauptidee ist, die Vielfalt der generierten Optionen zu erhöhen, um zu vermeiden, dass Ergebnisse zu ähnlich oder wiederholend sind.

So funktioniert es:

• Anstatt nur die N wahrscheinlichsten Fortsetzungen auszuwählen, wird der Strahl in mehrere Gruppen (diverse Gruppen) aufgeteilt.
• In jeder Gruppe werden die besten Kandidaten unter Berücksichtigung einer Strafe für Ähnlichkeit mit bereits in anderen Gruppen ausgewählten Kandidaten ausgewählt.
• Dies fördert die Suche nach vielfältigen Wegen, nicht nur den wahrscheinlichsten.

Die Anwendung von diverse beam search ist nützlich, wenn man mehrere qualitativ hochwertige, aber unterschiedliche Varianten erhalten möchte, z.B. bei Dialogaufgaben, Übersetzungen oder kreativer Textgenerierung.