Wat is diverse beam search?

Diverse Beam Search is een modificatie van het klassieke beam search-algoritme, dat wordt gebruikt voor het genereren van sequenties (bijvoorbeeld in taalmodellen).

Het belangrijkste idee is om de diversiteit van de gegenereerde opties te vergroten, om te voorkomen dat resultaten te vergelijkbaar of herhalend worden.

Hoe het werkt:

• In plaats van simpelweg de top-N meest waarschijnlijke voortzettingen te kiezen, wordt de straal (beam) opgesplitst in meerdere groepen (diverse groepen).
• In elke groep worden de beste kandidaten geselecteerd met inachtneming van een straf voor de gelijkenis met degenen die al in andere groepen zijn geselecteerd.
• Dit stimuleert het zoeken naar diverse paden, niet alleen de meest waarschijnlijke.

Het toepassen van diverse beam search is nuttig wanneer je meerdere kwalitatief goede, maar verschillende opties wilt krijgen, bijvoorbeeld bij dialoogtaken, vertalingen of creatieve tekstgeneratie.