LLM-дерді оқыту кезінде тізбектің оралуы дегеніміз не?

Жиілік орау — бұл үлкен тілдік модельдерді (LLM) оқыту кезінде кіріс деректерін дайындаудың техникасы, ол есептеу ресурстарын тиімді пайдалануға мүмкіндік береді.

Идеясы — бірнеше қысқа үзіндіні (мәтіндерді) бір ұзын үзіндінің ішінде орау, олардың арасындағы бос орындарды арнайы бөлгіш токендермен толтыру. Бұл көмектеседі:

• Модельдің кірісінің тұрақты ұзындығын (мысалы, 512 немесе 1024 токен) барынша толтыру.
• Бос немесе толтырылған токендердің (padding) санын азайту, бұл оқытудың тиімділігін арттырады.

Мысалы, егер сізде бірнеше қысқа сөйлемдер болса, әрқайсысын бөлек өңдеу орнына, оларды бір батчқа біріктіресіз, арнайы токендермен бөлектеп:

[Sequence1 токендері] <SEP> [Sequence2 токендері] <SEP> [Sequence3 токендері]

Бұл модельге бірнеше мысалды бір өту кезінде көруге мүмкіндік береді және оқыту уақыты мен жадын үнемдейді.

Жиілік орау әсіресе LLM-ді финетюнинг жасағанда пайдалы, мұнда деректер әртүрлі ұзындықта болуы мүмкін және есептеу ресурстарын тиімді пайдалану маңызды.