Co je dlouhodobé hodnocení? Co je jehla v kupce sena?

Hodnocení dlouhého kontextu — je proces hodnocení nebo testování modelů s dlouhým kontextem, například velkých jazykových modelů (LLM), které jsou schopny zpracovávat a brát v úvahu velké objemy textu (tisíce a desítky tisíc tokenů) při generování odpovědí. Toto hodnocení ověřuje, jak efektivně model dokáže udržovat a využívat informace z dlouhých sekvencí, což je důležité pro úkoly vyžadující pochopení kontextu na delším textu.

Needle-in-haystack ("jehla v kupce sena") — je metafora pro úkoly, kde je třeba najít velmi vzácné, málo viditelné nebo specifické informace v obrovském objemu dat. V kontextu LLM a hodnocení dlouhého kontextu to může znamenat ověření schopnosti modelu odhalit a využít malé, ale důležité fragmenty informací, skryté v dlouhých textech, což je složitý úkol kvůli velkému množství "šumu" kolem potřebných dat.