FP8 деген эмне жана ал кайда колдонулат окутуу/инференс учурунда?

FP8 — бул сандардын флотациялык форматтары, ал гана 8 битти колдонуп, маанини сактайт. Ал адатта 1 бит белгиси, бир нече бит экспонента жана мантисса үчүн, бирок так структурасы өзгөрүшү мүмкүн.

Машина үйрөнүүдө, FP8 эсептөөлөрдү оптималдаштыруу жана эс тутумдун көлөмүн азайтуу үчүн колдонулат, өзгөчө чоң моделдердин окутулушу жана инференсинде, мисалы, LLM (Ири тилдик моделдер). FP8 колдонуу эсептөөлөрдү тездетүүгө жана энергия сарптоону азайтууга мүмкүндүк берет, ошондой эле кабыл алынган тактыкты сактайт.

Мисал: нейрондук тармакты окутууда, FP8 салмактарды жана активдүүлүктөрдү сактоо үчүн колдонулушу мүмкүн, бул эс тутум талаптарын азайтат жана матрицалардын көбөйтүлүшүн тездетет.