Czym jest operacja składania? Jakie są jej właściwości? Jak można ją przedstawić jako mnożenie macierzowe (im2col)?

Operacja splotu jest podstawową operacją w konwolucyjnych sieciach neuronowych (CNN), która służy do wydobywania cech z danych wejściowych (np. obrazów). Polega na przesuwaniu filtra (jądra splotu) po sygnale wejściowym z następującym sumowaniem iloczynów elementów filtra i odpowiadających im elementów wejścia.

Główne właściwości splotu:

• Lokalność: filtr obejmuje lokalny fragment danych wejściowych.
• Oszczędność parametrów: ten sam filtr jest stosowany do całego wejścia.
• Inwariantność na przesunięcia: splot wykrywa cechy niezależnie od ich położenia.

Reprezentacja splotu przez mnożenie macierzowe (im2col):

Metoda im2col przekształca obraz wejściowy w macierz, gdzie każda kolumna odpowiada rozłożonemu na wektor lokalnemu fragmentowi (oknu), na który nakładany jest filtr. Filtr jest rozkładany na wektor wierszowy. Następnie splot jest realizowany przez mnożenie macierzy im2col przez wektor filtra, co pozwala na efektywne wykorzystanie zoptymalizowanych operacji mnożenia macierzy.

Przykład:

• Obraz wejściowy 4x4
• Filtr 3x3

im2col utworzy macierz o rozmiarze 9x4 (każda kolumna to rozłożone na wektor okno 3x3), a filtr będzie wektorem długości 9. Wynik mnożenia będzie wektorem długości 4, który można ponownie przekształcić w mapę cech 2x2.

To przyspiesza obliczenia i upraszcza implementację splotów na GPU i CPU.