Dropout нейрондук тармактарда ашыкча үйрөнүүнү кантип алдын алат?

Dropout — бул нейрондук тармактарда регуляциялоо техникасы, ал үйрөнүү учурунда кездейсөңчө түрдө нейрондордун бир бөлүгүн "өчүрүү" (нөлгө коюу) аркылуу өтө үйрөнүүнү алдын алууга жардам берет. Бул тармактын жеке нейрондорго жана алардын байланышына өтө ишенүүсүн алдын алат жана көбүрөөк туруктуу жана жалпыланган белгилерди үйрөнүүгө мүмкүндүк берет.

Идеясы — ар бир үйрөнүү өтүмүндө тармактын кездейсөңчө кичинекей бөлүгү түзүлөт, бул ар түрдүү моделдердин ансамблин үйрөтүүгө окшош. Натыйжада, модель өтө үйрөнүүгө азыраак жакынданып, ал шуу же үйрөнүү топтомуна тиешелүү өзгөчөлүктөрдү эстей албай калат.

Kerasта dropout колдонуу мисалы:

from tensorflow.keras.layers import Dropout, Dense
from tensorflow.keras.models import Sequential

model = Sequential([
    Dense(128, activation='relu', input_shape=(input_dim,)),
    Dropout(0.5),  # кездейсөңчө 50% нейронду өчүрөт
    Dense(10, activation='softmax')
])

Бул жерде Dropout 0.5 ыктымалдык менен үйрөнүү учурунда катмардагы жарым нейронду өчүрөт.