Hoe verschilt MobileNet v2 van v1 (omgekeerde residuals)?

MobileNet v2 onderscheidt zich van v1 vooral door de introductie van het concept van "inverse residuals" met "lineaire bottlenecks".

In MobileNet v1 werden gewone residuele verbindingen en diepte-gescheiden convoluties gebruikt, wat de computationele complexiteit al verminderde. In MobileNet v2 is de architectuur zodanig ontworpen dat:

• De hoofdblok de "inverse residual block" is: eerst wordt het aantal kanalen uitgebreid met een 1x1 convolutie (pointwise convolution), daarna een diepteconvolutie, en aan het einde wordt het weer teruggebracht naar een kleiner aantal kanalen.
• Residuele verbindingen worden niet toegepast op de uitgebreide feature-ruimte, maar op de verkorte (smalle) ruimte, wat het aantal parameters vermindert en de efficiëntie verhoogt.
• Er wordt een lineaire bottleneck gebruikt (de laatste laag van het blok heeft geen ReLU-activatie), om verlies van informatie tijdens de compressie van kenmerken te voorkomen.

Dit stelt MobileNet v2 in staat om efficiënter en nauwkeuriger te zijn met dezelfde of minder computationele middelen in vergelijking met v1.

Voorbeeld van de structuur van een MobileNet v2-blok (vereenvoudigd):

# Pseudocode
invoer -> 1x1 convolutie (expansie, ReLU6) -> diepteconvolutie (ReLU6) -> 1x1 convolutie (projectie, lineair) -> residuele optelling (indien de maten overeenkomen)