FP8 nima va u qanday joylarda o'qitish/inferringda qo'llaniladi?

FP8 — bu raqamlar formatidir, u faqat 8 bitdan iborat bo‘lish bilan qiymatni saqlaydi. Odatda u 1 bit belgi, bir nechta bitlar eksponent va mantissa uchun, ammo aniq tuzilishi o‘zgarishi mumkin.

Mashina o‘rganishda FP8 hisoblashlarni optimallashtirish va xotira hajmini kamaytirish uchun qo‘llaniladi, ayniqsa katta modellarning o‘qitilishi va inferensida, masalan, LLM (Katta Til Modelleri). FP8 dan foydalanish hisoblashlarni tezlashtirish va energiya sarfini kamaytirishga imkon beradi, shuningdek, qabul qilinadigan aniqlikni saqlab qoladi.

FP8 ning qo‘llanilishi ayniqsa apparat tezlashtiruvchilarida (masalan, GPU va TPU) muhim bo‘lib, bu past aniqlikni qo‘llab-quvvatlash orqali o'tkazuvchanlik va samaradorlikni oshirishga yordam beradi.

Misol: neyron tarmoqni o‘qitishda, og‘irliklar va aktivatsiyalarni saqlash uchun FP8 dan foydalanish mumkin, bu xotira talablarini kamaytiradi va matritsa ko‘paytirish operatsiyalarini tezlashtiradi.