Kas ir ilga konteksta novērtējums? Kas ir adata salmu kupā?

Ilgā konteksta novērtējums — tas ir process, kurā novērtē vai testē modeļus ar ilgu kontekstu, piemēram, lielus valodu modeļus (LLM), kuri spēj apstrādāt un ņemt vērā lielus teksta apjomus (tūkstošiem un desmitiem tūkstošu tokenu) atbildes ģenerēšanas laikā. Šis novērtējums pārbauda, cik efektīvi modelis var saglabāt un izmantot informāciju no garām secībām, kas ir svarīgi uzdevumiem, kas prasa konteksta izpratni garā tekstā.

Needle-in-haystack ("adatas meklēšana salmu kaudzē") — tas ir metafora uzdevumiem, kuros jāatrod ļoti reta, maz redzama vai specifiska informācija milzīgā datu apjomā. LLM un ilga konteksta novērtējuma kontekstā tas var nozīmēt modeļa spēju atklāt un izmantot mazus, bet svarīgus informācijas fragmentus, kas slēpti garos tekstos, kas ir grūti uzdevumi, ņemot vērā lielo "troksni" ap nepieciešamajiem datiem.