Yo'qotish yoki tasodifiy vaznlarni chiqarishga asoslangan dropout amalga oshirildimi?

Dropout neyron tarmog‘ini tartibga solish texnikasi bo‘lib, u trening davomida tasodifiy ravishda ba'zi neyronlar "o‘chiriladi" (nollanadi), bu esa ortiqcha o‘rganishni oldini oladi.

Asosiy ikki yondashuv mavjud:

1. Tasodifiy neyronlarni o‘chirish (dropout): har bir trening bosqichida, ehtimollik p bilan, neyronlar nollanadi, bu esa ularning bog‘langan og‘irliklarini tasodifiy ravishda o‘chirishga teng.

2. Yig‘ilishga asoslangan Dropout: kamroq keng tarqalgan yondashuv bo‘lib, dropout ehtimolligi yoki og‘irliklarni o‘lchash xatolik (yig‘ilish) yoki boshqa metrikalarga bog‘liq bo‘lib, treningni yanada samarali tartibga soladi.

Ko‘pgina mashhur kutubxonalar (TensorFlow, PyTorch) klassik tasodifiy dropoutni amalga oshiradi. Yig‘ilishga asoslangan amalga oshirish maxsus yechimlarni talab qiladi.

PyTorchda klassik dropout misoli:

import torch
import torch.nn as nn

class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(100, 50)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(50, 10)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # tasodifiy neyronlarni o‘chirish
        x = self.fc2(x)
        return x

Shunday qilib, klassik dropout tasodifiy neyronlarni o‘chirish bo‘lib, og‘irliklardan emas, va to‘g‘ridan-to‘g‘ri yig‘ilishga bog‘liq emas.