Welke metriekens voor genereringskwaliteit (FID, IS, KID, CLIPScore)?

De kwaliteitsmetingen voor het genereren van beelden en andere gegevens in taken van generatief modelleren helpen om de realiteit, diversiteit en consistentie van de gegenereerde inhoud te beoordelen. Laten we de belangrijkste bekijken:

• FID (Fréchet Inception Distance) — meet de afstand tussen de verdelingen van kenmerken van echte en gegenereerde beelden, verkregen uit een tussenlaag van het Inception-netwerk. Hoe kleiner de FID, hoe dichter de gegenereerde gegevens bij de echte liggen qua statistieken van kenmerken.

• IS (Inception Score) — beoordeelt de kwaliteit en diversiteit van de gegenereerde beelden, gebruikmakend van de voorspellingen van de Inception-classificator. Een hoge IS betekent dat de beelden duidelijk geclassificeerd worden (kwaliteit) en verdeeld zijn over verschillende klassen (diversiteit).

• KID (Kernel Inception Distance) — alternatief voor FID, gebaseerd op de beoordeling van de maximale gemiddelde afwijking (MMD) tussen de kenmerken van echte en gegenereerde beelden. KID is een ongevoelige schatting en kan stabieler zijn bij weinig data.

• CLIPScore — een metriek die het CLIP-model gebruikt, dat beelden en tekst verbindt. Het stelt je in staat om de overeenstemming tussen het gegenereerde beeld en de gegeven tekstbeschrijving te beoordelen door de cosinusgelijkenis tussen de embeddings van beeld en tekst te meten.

Deze metrics worden toegepast in taken voor beeldgeneratie, bijvoorbeeld in GANs, diffusie-modellen en andere generatieve architecturen, om de kwaliteit en relevantie van de gegenereerde inhoud objectief te beoordelen.