Proč téměř přestali používat velké konvoluce 9x9, 7x7, 5x5?

Velké konvoluce (například 9x9, 7x7, 5x5) jsou prakticky opuštěny z několika důvodů:

• Vysoké výpočetní náklady: velké filtry vyžadují mnohem více operací, což zpomaluje trénink a inference.
• Ztráta lokálních informací: velké jádra pokrývají příliš velkou oblast, což může vést k rozmazání důležitých lokálních rysů.
• Efektivita malých konvolucí: použití několika po sobě jdoucích konvolucí s malými jádry (například 3x3) umožňuje modelům zachytit stejnou receptivní oblast, ale s menšími náklady a větší nelinearitou.

Například architektura VGGNet používá několik 3x3 konvolucí za sebou místo jedné velké, což zlepšuje kvalitu a efektivitu.