Kā atšķiras MobileNet v2 no v1 (inverted residuals)?

MobileNet v2 atšķiras no v1 galvenokārt ar "invertēto atlikumu" un "līnijas šaurajiem" ieviešanu.

V MobileNet v1 tika izmantotas parastās atlikuma saites un dziļi atdalāmas konvolūcijas, kas jau samazināja aprēķinu sarežģītību. MobileNet v2 arhitektūra ir veidota tā, ka:

• Galvenais bloks ir "invertētais atlikuma bloks": vispirms tiek paplašināts kanālu skaits ar 1x1 konvolūciju (punktu konvolūcija), tad tiek veikta dziļa konvolūcija, un beigās atkal samazināts līdz mazākam kanālu skaitam.
• Atlikuma saites tiek piemērotas ne paplašinātajai raksturlielumu telpai, bet saspiestajai (šaurajai) telpai, kas samazina parametru skaitu un palielina efektivitāti.
• Tiek izmantots līnijas šaurs (pēdējais bloka slānis nav ReLU aktivizācijas), lai izvairītos no informācijas zuduma raksturlielumu saspiestības laikā.

Tas ļauj MobileNet v2 būt efektīvākam un precīzākam ar tiem pašiem vai mazākiem aprēķinu resursiem salīdzinājumā ar v1.

Piemērs bloka struktūrai (vienkāršots):

# Pseido-kods
ievade -> 1x1 konvolūcija (paplašināšana, ReLU6) -> dziļa konvolūcija (ReLU6) -> 1x1 konvolūcija (projekcija, lineāra) -> atlikuma pievienošana (ja izmēri sakrīt)