Градиент түшүрүү, SGD жана Mini-Batch SGD: ар бири кандай айырмачылыктарга ээ, артыкчылыктары жана кемчиликтери кандай?

Gradient Descent (GD) — бул оптималдаштыруу ыкмасы, анда градиенттер бардык окутуу үлгүсү боюнча бир жолу эсептелет.

• Артыкчылыктары: так түшүү багыты, туруктуу чыгым функциясынын азайышы.
• Кемчиликтери: чоң маалыматтарда жайыраак итерациялар, жогорку эсептөө жүктөмү.

Stochastic Gradient Descent (SGD) — ар бир итерацияда бир кездейсөз үлгү боюнча градиенттер эсептелет.

• Артыкчылыктары: тез итерациялар, аз эс тутум, шуу менен жергиликтүү минимумдардан чыгышы мүмкүн.
• Кемчиликтери: градиенттердин жогору дисперсиясы, азыраак туруктуу жүрүм-турум, үйрөнүү ылдамдыгын так жөндөө талап кылынат.

Mini-Batch SGD — GD жана SGD ортосунда компромисс, градиенттер кичинекей топтомдор (батчтар) боюнча эсептелет.

• Артыкчылыктары: ылдамдык жана туруктуулук ортосунда баланс, параллелизмди эффективдүү колдонуу, шуу менен тегиздөө.
• Кемчиликтери: батч өлчөмүн тандоо сапатка жана үйрөнүү ылдамдыгына таасир этет, жөндөөлөр талап кылынат.

Практикада, Mini-Batch SGD көбүнчө колдонулат, анткени ал эки ыкманын артыкчылыктарын бириктирет жана жакшы масштабдайт.