Wat is long-context evaluatie? Wat is needle-in-haystack?

Lange-context evaluatie — dit is een proces van beoordeling of testen van modellen met een lange context, zoals grote taalmodellen (LLM), die in staat zijn om grote hoeveelheden tekst (duizenden en tienduizenden tokens) te verwerken en te gebruiken bij het genereren van antwoorden. Deze evaluatie controleert hoe effectief het model informatie uit lange sequenties kan behouden en gebruiken, wat belangrijk is voor taken die begrip van de context over een groot tekstgedeelte vereisen.

Needle-in-haystack ("naald in een hooiberg") — is een metafoor voor taken waarbij je zeer zeldzame, moeilijk zichtbare of specifieke informatie moet vinden in een enorme hoeveelheid data. In de context van LLM en lange-context evaluatie kan dit betekenen dat het model in staat moet zijn om kleine, maar belangrijke stukjes informatie te detecteren en te gebruiken, verborgen in lange teksten, wat een moeilijke taak is vanwege de grote hoeveelheid "ruis" rondom de benodigde gegevens.