Dropout neyron tarmoqlarda ortiqcha o'rganishni qanday oldini oladi?

Dropout neyron tarmoqlarida ortiqcha o‘rganishni oldini olish uchun ishlatiladigan texnikadir, u o‘quv jarayonida tasodifan neyronlarning bir qismini "o‘chiradi" (null qiladi). Bu tarmoqning alohida neyronlar va ularning bog‘lanishlariga juda ko‘p tayanishini oldini oladi va yanada bardoshli va umumlashtirilgan xususiyatlarni o‘rganishga yordam beradi.

G‘oya shundaki, har bir o‘quv bosqichida tarmoqning tasodifiy kichik qismi yaratiladi, bu esa turli modellarning ansamblini o‘qitishga o‘xshaydi. Natijada, model ortiqcha o‘rganishga kamroq moyil bo‘ladi, chunki u o‘quv to‘plamining shovqin yoki maxsus tafsilotlarini yodlab qololmaydi.

Kerasda dropoutdan foydalanish misoli:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # tasodifan 50% neyronlarni o‘chiradi
    Dense(10, activation='softmax')
])

Bu yerda, Dropout ehtimolligi 0.5 bo‘lib, o‘quv jarayonida qatlamdagi neyronlarning yarmidan ko‘pini o‘chiradi.