Čo je ShuffleNet a prečo tam je channel shuffle?

ShuffleNet je ľahká a efektívna architektúra konvolučnej neurónovej siete, navrhnutá pre mobilné a zabudované zariadenia s obmedzenými výpočtovými zdrojmi.

Hlavnou myšlienkou ShuffleNet je použitie skupinových konvolúcií na zníženie počtu výpočtov a parametrov, pričom sa zachová dobrý výkon.

Problém so skupinovými konvolúciami je, že obmedzujú výmenu informácií medzi kanálmi, pretože každá skupina sa spracováva samostatne.

Na riešenie tohto problému ShuffleNet aplikuje operáciu channel shuffle — permutáciu kanálov medzi skupinami, čo umožňuje voľný pohyb informácií medzi skupinami v nasledujúcich vrstvách.

Jednoducho povedané, channel shuffle mieša kanály tak, aby výstupy z rôznych skupín boli zmiešané, čím sa zlepšuje reprezentácia a efektívnosť siete.

Toto pomáha udržať nízku výpočtovú zložitosť, pričom zvyšuje kvalitu znakov, čo je dôležité pre mobilné aplikácie.

Proces channel shuffle možno približne takto znázorniť:

1. Rozdelenie kanálov do skupín.
2. Transponovanie alebo miešanie kanálov medzi skupinami.
3. Znovu ich spojiť do jedného tenzora.

Týmto spôsobom ShuffleNet dosahuje rovnováhu medzi rýchlosťou a presnosťou efektívnym využitím skupinových konvolúcií a operácie channel shuffle.