Kto ma większe pole receptywne: dwie kolejno wykonywane konwolucje 3x3 czy jedna konwolucja 5x5?

Dwie kolejno wykonywane konwolucje 3x3 mają większe pole recepcyjne niż jedna konwolucja 5x5.

Wyjaśnienie:

• Pole recepcyjne to obszar wejściowego obrazu, na który wpływa dany neuron.
• Konwolucja 5x5 obejmuje 5x5 pikseli.
• Dwie kolejno konwolucje 3x3 zwiększają pole recepcyjne przez nakładanie się: pierwsza patrzy na 3x3, druga na 3x3 wyjścia pierwszej, co razem daje pole recepcyjne 5x5.

Zalety dwóch konwolucji 3x3:

• Mniej parametrów niż jedna 5x5.
• Głębsza reprezentacja dzięki dwóm nieliniowościom (aktywacjom).

Podsumowując: dwie konwolucje 3x3 w serii dają to samo lub większe pole recepcyjne niż jedna 5x5, przy czym są bardziej efektywne pod względem parametrów i treningu.