Czym jest ShuffleNet i dlaczego tam jest channel shuffle?

ShuffleNet to lekka i wydajna architektura konwolucyjnej sieci neuronowej, zaprojektowana dla urządzeń mobilnych i wbudowanych z ograniczonymi zasobami obliczeniowymi.

Głównym pomysłem ShuffleNet jest użycie konwolucji grupowych w celu zmniejszenia liczby obliczeń i parametrów, przy jednoczesnym zachowaniu dobrej wydajności.

Problem z konwolucjami grupowymi polega na tym, że ograniczają one wymianę informacji między kanałami, ponieważ każda grupa jest przetwarzana oddzielnie.

Aby rozwiązać ten problem, ShuffleNet stosuje operację channel shuffle — permutację kanałów między grupami, co pozwala na swobodne przemieszczanie się informacji między grupami w kolejnych warstwach.

Mówiąc prościej, channel shuffle miesza kanały tak, aby wyjścia z różnych grup były wymieszane, co poprawia reprezentację i efektywność sieci.

Pomaga to utrzymać niską złożoność obliczeniową, jednocześnie poprawiając jakość cech, co jest ważne dla aplikacji mobilnych.

Proces channel shuffle można przedstawić mniej więcej tak:

1. Podziel kanały na grupy.
2. Transponuj lub mieszaj kanały między grupami.
3. Połącz wszystko z powrotem w jeden tensor.

W ten sposób ShuffleNet osiąga równowagę między szybkością a dokładnością, efektywnie wykorzystując konwolucje grupowe i operację channel shuffle.