Wat is document length normalization?

Documentlengte-normalisatie is een techniek in informatiezoektocht die de invloed van de lengte van het document op de beoordeling van de relevantie corrigeert. In systemen voor rangschikking van documenten kunnen langere teksten meer overeenkomsten met de query hebben, simpelweg vanwege de omvang, wat de resultaten kan vertekenen.

Documentlengte-normalisatie helpt dit effect te verminderen door het gewicht van het document op een vergelijkbare schaal te brengen, ongeacht de grootte ervan. Bijvoorbeeld, in het BM25-model wordt een parameter gebruikt die de lengte van het document vergelijkt met de gemiddelde lengte van de collectie, om de bijdrage van lange en korte documenten in balans te brengen.

Zo helpt documentlengte-normalisatie om de rangschikking eerlijker en nauwkeuriger te maken, wat de zoekkwaliteit verbetert.