Камаронии даромадани, SGD ва Mini-Batch SGD: фарқият, манфиатҳо ва нуқсонҳои ҳар яке чӣ гуна аст?

Gradient Descent (GD) — ин усулест, ки дар он градиентҳо дар тамоми намунаи омӯзишӣ дар як итератсия ҳисоб карда мешаванд.

• Фарқиятҳо: самтро дуруст муайян мекунад, кам кардани устуворонаи функсияи зиён.
• Намудҳо: итератсияҳо дар маълумоти калон суст мебошанд, боркунии баланд.

Stochastic Gradient Descent (SGD) — градиентҳо дар як намунаи тасодуфӣ дар ҳар итератсия ҳисоб карда мешаванд.

• Фарқиятҳо: итератсияҳои зуд, камтар ёдгирӣ, метавонад аз маҳаллии ҳадди паст бо шӯр барояд.
• Намудҳо: дисперсияи баланд, рафтори камтар устувор, ниёз ба танзими эҳтиёҷӣ дар суръати омӯзиш.

Mini-Batch SGD — компромис байни GD ва SGD, градиентҳо дар гурӯҳҳои хурд ҳисоб карда мешаванд.

• Фарқиятҳо: мувозинат байни суръат ва устуворӣ, истифодаи самараноки параллелизм, ҳамвор кардани шӯр.
• Намудҳо: интихоби андозаи гурӯҳ ба сифати ва суръати омӯзиш таъсир мерасонад, ниёз ба танзим.

Дар амал, Mini-Batch SGD бештар истифода мешавад, зеро он ду фоидаҳоро дар бар мегирад ва хуб масштаб мешавад.