V čom sa líši MobileNet v2 od v1 (invertované reziduá)?

MobileNet v2 sa od v1 sa razlikuje predovšetkým zavedením konceptu "invertovaných reziduí" s "lineárnymi úzkymi".

V MobileNet v1 sa používali bežné reziduálne spojenia a hlboko separovateľné konvolúcie, čo už znižovalo výpočtovú zložitosť. V MobileNet v2 je architektúra navrhnutá tak, že:

• Hlavný blok je "invertovaný reziduálny blok": najskôr sa rozšíri počet kanálov pomocou 1x1 konvolúcie (pointwise convolution), potom sa aplikuje hlboká konvolúcia a na konci sa zmenší späť na menší počet kanálov.
• Reziduálne spojenia sa aplikujú nie na rozšírený priestor znakov, ale na zúžený (úzky) priestor, čo znižuje počet parametrov a zvyšuje efektívnosť.
• Používa sa lineárne úzke (posledná vrstva bloku nemá aktiváciu ReLU), aby sa predišlo strate informácií pri kompresii znakov.

Toto umožňuje MobileNet v2 byť efektívnejší a presnejší pri tých istých alebo menších výpočtových zdrojoch v porovnaní s v1.

Príklad štruktúry bloku MobileNet v2 (zjednodušené):

# Pseudokód
vstup -> 1x1 konvolúcia (rozšírenie, ReLU6) -> hlboká konvolúcia (ReLU6) -> 1x1 konvolúcia (projekcia, lineárna) -> pridanie residual (ak rozmery zodpovedajú)