Какво е ShuffleNet и защо има channel shuffle там?

ShuffleNet е лека и ефективна архитектура на конволюционна невронна мрежа, проектирана за мобилни и вградени устройства с ограничени изчислителни ресурси.

Основната идея на ShuffleNet е използването на групови конволюции за намаляване на броя на изчисленията и параметрите, като същевременно се запазва добро представяне.

Проблемът с груповите конволюции е, че те ограничават обмена на информация между каналите, тъй като всяка група се обработва отделно.

За решаване на този проблем, ShuffleNet прилага операцията channel shuffle — пермутация на каналите между групите, която позволява информацията свободно да се движи между групите в следващите слоеве.

По-просто казано, channel shuffle смесва каналите така, че изходите от различните групи да се смесват, подобрявайки представянето и ефективността на мрежата.

Това помага да се запази ниската изчислителна сложност, като същевременно се подобрява качеството на характеристиките, което е важно за мобилните приложения.

Процесът на channel shuffle може да бъде представен приблизително така:

1. Разделяне на каналите на групи.
2. Транспониране или смесване на каналите между групите.
3. Обединяване обратно в един тензор.

По този начин, ShuffleNet постига баланс между скорост и точност чрез ефективно използване на груповите конволюции и операцията channel shuffle.