Wat is de visualisatie van de feature space van een CV-model met t-SNE/UMAP?

t-SNE (t-Distributed Stochastic Neighbor Embedding) en UMAP (Uniform Manifold Approximation and Projection) zijn niet-lineaire methoden voor dimensionaliteitsreductie die vaak worden gebruikt om hoog-dimensionale gegevens te visualiseren, zoals kenmerken (feature space) van computer vision (CV) modellen.

In de context van CV-modellen helpen deze methoden:

• Het weergeven van multivariate kenmerkvectoren (bijvoorbeeld de outputs van lagen van neurale netwerken) in een 2D- of 3D-ruimte.
• Visueel beoordelen hoe het model gegevens van verschillende klassen scheidt of groepeert.
• De structuur en verdeling van kenmerken begrijpen, clusters of anomalieën identificeren.

Voorbeeld: na het trainen van een model kunnen de kenmerkvectoren van afbeeldingen van verschillende klassen worden genomen, t-SNE of UMAP worden toegepast en een scatterplot worden gemaakt, waarbij punten van dezelfde klasse samen worden gegroepeerd, wat wijst op een goede scheiding door het model.

Daarom zijn t-SNE en UMAP krachtige tools voor het interpreteren en analyseren van de interne representatie van gegevens in CV-modellen.