Co je ShuffleNet a proč tam je channel shuffle?

ShuffleNet je lehká a efektivní architektura konvoluční neuronové sítě, navržená pro mobilní a vestavěná zařízení s omezenými výpočetními zdroji.

Hlavní myšlenkou ShuffleNet je použití skupinových konvolucí ke snížení počtu výpočtů a parametrů, při zachování dobrého výkonu.

Problém se skupinovými konvolucemi je, že omezují výměnu informací mezi kanály, protože každá skupina je zpracovávána samostatně.

Pro řešení tohoto problému ShuffleNet používá operaci channel shuffle — permutaci kanálů mezi skupinami, což umožňuje volný pohyb informací mezi skupinami v následujících vrstvách.

Jednoduše řečeno, channel shuffle míchá kanály tak, aby výstupy z různých skupin byly smíchány, čímž se zlepšuje reprezentace a efektivita sítě.

To pomáhá udržet nízkou výpočetní složitost, zatímco zvyšuje kvalitu rysů, což je důležité pro mobilní aplikace.

Proces channel shuffle lze přibližně představit takto:

1. Rozdělit kanály do skupin.
2. Transponovat nebo míchat kanály mezi skupinami.
3. Znovu je spojit do jednoho tensoru.

Tímto způsobem ShuffleNet dosahuje rovnováhy mezi rychlostí a přesností díky efektivnímu využití skupinových konvolucí a operace channel shuffle.