Kas yra ShuffleNet ir kodėl ten yra channel shuffle?

ShuffleNet yra lengva ir efektyvi konvoliucinės neuroninės tinklo architektūra, sukurta mobiliesiems ir įmontuotiems įrenginiams su ribotais skaičiavimo ištekliais.

Pagrindinė ShuffleNet idėja — naudoti grupines konvolucijas, siekiant sumažinti skaičiavimų ir parametrų skaičių, išlaikant gerą našumą.

Problema su grupinėmis konvolucijomis ta, kad jos riboja informacijos mainus tarp kanalų, nes kiekviena grupė apdorojama atskirai.

Šiai problemai spręsti ShuffleNet taiko channel shuffle operaciją — kanalų permutaciją tarp grupių, leidžiančią informacijai laisvai judėti tarp jų vėlesniuose sluoksniuose.

Paprasčiau tariant, channel shuffle maišo kanalus taip, kad skirtingų grupių išėjimai būtų sumaišyti, pagerindami tinklo reprezentaciją ir efektyvumą.

Tai padeda išlaikyti žemą skaičiavimų sudėtingumą, tuo pačiu gerinant bruožų kokybę, kas yra svarbu mobiliosioms programoms.

Channel shuffle procesą galima apytiksliai pavaizduoti taip:

1. Kanalų padalijimas į grupes.
2. Kanalų transponavimas arba maišymas tarp grupių.
3. Vėl sujungti į vieną tensorą.

Taip ShuffleNet pasiekia pusiausvyrą tarp greičio ir tikslumo, efektyviai naudodamas grupines konvolucijas ir channel shuffle operaciją.