Wat is ShuffleNet en waarom is er daar een channel shuffle?

ShuffleNet is een lichte en efficiënte architectuur van een convolutioneel neuraal netwerk, ontworpen voor mobiele en ingebedde apparaten met beperkte rekenbronnen.

Het belangrijkste idee van ShuffleNet is het gebruik van groepsconvoluties om het aantal berekeningen en parameters te verminderen, terwijl goede prestaties behouden blijven.

Het probleem met groepsconvoluties is dat ze de informatie-uitwisseling tussen kanalen beperken, omdat elke groep apart wordt verwerkt.

Om dit probleem op te lossen, past ShuffleNet de operatie channel shuffle toe — een permutatie van kanalen tussen de groepen, waardoor informatie vrij kan bewegen tussen de groepen in de volgende lagen.

Kort gezegd, mengt channel shuffle de kanalen zodat de uitgangen van verschillende groepen worden gemengd, wat de representatie en efficiëntie van het netwerk verbetert.

Dit helpt om een lage rekenkundige complexiteit te behouden, terwijl de kwaliteit van de kenmerken wordt verbeterd, wat belangrijk is voor mobiele toepassingen.

Het proces van channel shuffle kan ongeveer als volgt worden weergegeven:

1. Kanalen opdelen in groepen.
2. Kanalen transponeren of mengen tussen de groepen.
3. Alles weer samenvoegen tot één tensor.

Op deze manier bereikt ShuffleNet een balans tussen snelheid en nauwkeurigheid door het efficiënte gebruik van groepsconvoluties en de channel shuffle-operatie.