Бенчмарктагы кирленүү деген эмне жана аны кантип күрөшүүгө болот?

Бенчмарктарды ластануу — бул моделди окутуу үчүн колдонулган маалыматтар тестирлөө (баалоо) жүргүзүлүүчү маалыматтар менен кесилишип же дал келип калганда пайда болот. Бул жыйынтыктарды жогору жакка чыгарат, анткени модель алгач эле "тааныш" болот тест мисалдар менен.

Ага каршы күрөшүү жолдору:

• Маалыматтарды так бөлүү: окутуу, текшерүү жана тест топтомдорун катуу бөлүү, кесилишүүсүз.
• Кесилиштерди текшерүү: автоматтык түрдө дублёторду же өтө окшош мисалдарды издөө жана алып салуу.
• Жаңы, көз карандысыз маалымат топтомдорун колдонуу: моделди баалоо үчүн, колдонулган жана колдонулбай калган маалыматтарды колдонуу.
• Маалымат булактарынын көзөмөлү: маалыматтардын келип чыгышын көзөмөлдөө, тест мисалдарынын случайдуу окутуу топтомуна кирип калуусун алдын алуу.

Ири тилдик моделдердин (LLM) контаминациясы өзгөчө маанилүү, анткени моделдер чоң корпус үстүндө окутулат жана тест топтомдору случайдуу түрдө окутуу топтомуна кирип калса, бул баалоо натыйжаларын бурмалайт.