Қатъи норм дар embedding ва чӣ гуна муайян кардан мумкин аст?

Колапс норма дар эмбеддингҳо ҳолате мебошад, ки дар он намояндаҳои векторӣ (эмбеддингҳо) гуногунбудиро дар дарозӣ (норма) аз даст медиҳанд ва ба арзишҳои хеле наздик дар норма наздик мешаванд. Одатан, ин ба он зоҳир мешавад, ки ҳама эмбеддингҳо тақрибан дарозии якхеларо доранд, ки ин фарқиятро кам мекунад ва сифати ҷустуҷӯ ё класификатсияро бадтар мекунад.

Барои муайян кардани колапси норма, метавон тақсимоти нормҳоро (дарозиро) таҳлил кард. Агар нормаи аксари векторҳо хеле марказонидашуда дар атрофи як арзиш бо дисперсияи ками, ин нишонаи колапси норма мебошад.

Маслиҳат барои санҷиш дар Python бо numpy:

import numpy as np

эмбеддингҳо = np.array([...])  # матрицаи эмбеддингҳо
нормаҳо = np.linalg.norm(эмбеддингҳо, axis=1)
print(f"Нормаи миёна: {np.mean(нормаҳо)}")
print(f"Стандартии девиацияи норма: {np.std(нормаҳо)}")

# Агар std хеле ками бошад, мумкин аст, ки колапси норма вуҷуд дорад