Prečo takmer prestali používať veľké konvolúcie 9x9, 7x7, 5x5?

Veľké konvolúcie (napríklad 9x9, 7x7, 5x5) sú takmer úplne opustené z niekoľkých dôvodov:

• Vysoké výpočtové náklady: veľké filtre vyžadujú oveľa viac operácií, čo spomaľuje tréning a inferenciu.
• Strata lokálnych informácií: veľké jadro pokrýva príliš veľkú oblasť, čo môže viesť k rozmazaniu dôležitých lokálnych znakov.
• Efektívnosť malých konvolúcií: použitie viacerých po sebe idúcich konvolúcií s malými jadrami (napríklad 3x3) umožňuje modelom zachytiť rovnaké receptívne pole, ale s menšími nákladmi a väčšou nelinearitou.

Napríklad architektúra VGGNet používa niekoľko 3x3 konvolúcií za sebou namiesto jednej veľkej, čo zlepšuje kvalitu a efektívnosť.