Неге модель үйрөнүү этапында инференс кезинде көбүрөөк жаддыкты талап кылат?

Окуу этапында модель бир нече себептерден улам көбүрөөк жаддык талап кылат:

1. Градиенттерди сактоо: Окуу учурунда, ар бир параметр үчүн градиенттерди сактоо керек, ошондуктан салмактарды артка таратуу алгоритми аркылуу жаңыртуу керек. Инференс учурунда градиенттер керек эмес.

2. Аралык активдешүүлөр: Градиенттерди эсептөө үчүн, бардык катмардын аралык активдешүүлөрүнүн маанилерин сактоо керек, бул жаддык талап кылууну көбөйтөт.

3. Оптимизаторлор: Айрым оптимизаторлор (мисалы, Adam) кошумча параметрлерди сактайт, мисалы, биринчи жана экинчи даражадагы мүнөттөр, бул жаддык көлөмүн арттырат.

4. Батч маалыматтары: Окуу учурунда, көбүнесе, чоң батч маалыматтар колдонулат, бул дагы кошумча жаддык талап кылат.

Кыскасы, инференс учурунда модель жөн гана түз өтүүнү аткарат, градиенттерди жана аралык маанилерди сактабайт, бул жаддык талапты кыйла азайтат.