Uzun-mətn kontekst qiymətləndirməsi nədir? İynə samanlıqda nədir?

Uzun kontekst qiymətləndirməsi — bu, uzun kontekstə malik modellərin, məsələn, böyük dil modellərinin (LLM), qiymətləndirilməsi və ya test edilməsi prosesidir; bu modellər cavablar yaratarkən böyük mətn həcmində (minlərlə və on minlərlə token) işləyə və nəzərə ala bilirlər. Bu qiymətləndirmə, modelin uzun ardıcıllıqlardan məlumatı nə dərəcədə effektiv saxlaya və istifadə edə biləcəyini yoxlayır; bu, uzun mətn boyunca konteksti anlamaq üçün vacibdir.

Needle-in-haystack ("samanlıq içində iynə") — bu, çox böyük məlumat həcmi içində çox nadir, az görünən və ya xüsusi məlumatı tapmaq üçün istifadə olunan metaforadır. LLM və uzun kontekst qiymətləndirməsi kontekstində, bu, modelin uzun mətnlərdə gizlənmiş kiçik, lakin vacib məlumat parçalarını aşkar etmək və istifadə etmək qabiliyyətini yoxlamaq deməkdir; bu, çox böyük "səs-küy" səbəbindən çətin bir vəzifədir.