Čo je stochastická hĺbka a prečo sa používa v EfficientNet?

Stochastic Depth je technika regularizácie používaná v hlbokých neurónových sieťach, vrátane EfficientNet. Myšlienka spočíva v náhodnom preskakovaní (vypnutí) niektorých vrstiev alebo blokov siete počas tréningu s určitou pravdepodobnosťou.

Na čo to je?

• Umožňuje trénovať veľmi hlboké siete, znižuje preučovanie.
• Zlepšuje schopnosť modelu generalizovať.
• Zrýchľuje tréning, pretože niektoré vrstvy sa nepočítajú pri každom kroku.

V EfficientNet sa stochastic depth aplikuje na reziduálne bloky: pri každom tréningovom kroku je blok buď preskočený (priame prepojenie bez zmien), alebo použitý ako zvyčajne. Pri inferencii sú všetky bloky aktívne.

Toto pomáha EfficientNet dosiahnuť vysokú kvalitu s menším počtom parametrov a výpočtov.

Môžete si to predstaviť takto:

if training:
    if random() < drop_prob:
        # preskočiť blok
        output = input
    else:
        output = block(input)
else:
    output = block(input)

Takto je stochastic depth spôsob, ako urobiť tréning stabilnejším a efektívnejším.