Какие метрики качества генерации (FID, IS, KID, CLIPScore)?

Метрики качества генерации изображений и других данных в задачах генеративного моделирования помогают оценить реалистичность, разнообразие и соответствие сгенерированного контента. Рассмотрим основные из них:

• FID (Fréchet Inception Distance) — измеряет расстояние между распределениями признаков реальных и сгенерированных изображений, полученных из промежуточного слоя сети Inception. Чем меньше FID, тем ближе сгенерированные данные к реальным по статистике признаков.

• IS (Inception Score) — оценивает качество и разнообразие сгенерированных изображений, используя предсказания классификатора Inception. Высокий IS означает, что изображения четко классифицируются (качество) и распределены по разным классам (разнообразие).

• KID (Kernel Inception Distance) — альтернатива FID, основанная на оценке максимального среднего отклонения (MMD) между признаками реальных и сгенерированных изображений. KID является несмещенной оценкой и может быть более стабильным при малом количестве данных.

• CLIPScore — метрика, использующая модель CLIP, которая связывает изображения и текст. Позволяет оценить соответствие сгенерированного изображения заданному текстовому описанию, измеряя косинусное сходство между эмбеддингами изображения и текста.

Эти метрики применяются в задачах генерации изображений, например, в GAN, диффузионных моделях и других генеративных архитектурах, чтобы объективно оценить качество и релевантность сгенерированного контента.