გრადიენტული დაშვება, SGD და Mini-Batch SGD: რა განსხვავებებია, თითოეულის უპირატესობები და ნაკლოვანებები რა არის?

Gradient Descent (GD) — ეს არის ოპტიმიზაციის მეთოდი, სადაც გრადიენტები ითვლება მთელი ტრენინგის ნაკრებზე ერთ ინტერაციაში.

• უპირატესობები: ზუსტი დაღმავალი მიმართულება, სტაბილური დანაკარგის ფუნქციის შემცირება.
• მცირეობები: ნელი ინტერაციები დიდი მონაცემებისთვის, მაღალი გამოთვლითი დატვირთვა.

Stochastic Gradient Descent (SGD) — გრადიენტები ითვლება ერთ შემთხვევით მაგალითზე თითო ინტერაციაში.

• უპირატესობები: სწრაფი ინტერაციები, ნაკლები მეხსიერება, შეუძლია გამოვიდეს ადგილობრივ მინიმუმებიდან ხმაურის გამო.
• მცირეობები: გრადიენტების მაღალი განაწილება, ნაკლებად სტაბილური ქცევა, საჭიროებს ყურადღებით სწავლის სიჩქარის რეგულირებას.

Mini-Batch SGD — კომპრომისი GD და SGD შორის, გრადიენტები ითვლება მცირე ჯგუფებზე (ბატჩებზე).

• უპირატესობები: ბალანსი სიჩქარესა და სტაბილურობას შორის, ეფექტიანი გამოყენება პარალელიზმის, ხმაურის დამლაგებელი.
• მცირეობები: ბატჩის ზომის არჩევა გავლენას ახდენს სწავლების ხარისხსა და სიჩქარეზე, საჭიროებს რეგულირებას.

პრაქტიკაში, Mini-Batch SGD ყველაზე ხშირად გამოიყენება, რადგან ის აერთიანებს ორივე მეთოდის უპირატესობებს და კარგად სკალირდება.