Cum compari embedding-urile de interogare și produse pentru a găsi candidați relevanți?

Pentru compararea încrustărilor interogărilor și produselor, se utilizează de obicei măsuri de similitudine sau distanță în spațiul vectorial. Abordările principale:

• Similaritatea cosinusului (Cosine Similarity): măsoară unghiul dintre doi vectori, ignorând lungimea lor. Este frecvent utilizată, deoarece reflectă bine apropierea semantică.

• Distanța Euclidiană (Euclidean Distance): măsoară distanța directă dintre puncte în spațiu.

• Distanța Manhattan (Manhattan Distance): suma diferențelor absolute pe fiecare coordonată.

Pentru a găsi produse relevante pentru o interogare:

1. Convertiți interogarea și produsele în încrustări folosind un model (de exemplu, BERT, Word2Vec).
2. Calculați similaritatea cosinusului între încrustarea interogării și fiecare încrustare a produsului.
3. Sortează produsele după similaritatea descrescătoare — cele mai relevante vor fi în partea de sus.

Exemplu în Python folosind similaritatea cosinus:

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

query_embedding = np.array([[0.1, 0.3, 0.5]])
product_embeddings = np.array([
    [0.2, 0.1, 0.4],
    [0.9, 0.8, 0.7],
    [0.05, 0.3, 0.5]
])

similarities = cosine_similarity(query_embedding, product_embeddings)
# similarities.shape = (1, numar_produse)

# Indecesle produselor sortate după similaritate descrescătoare
sorted_indices = np.argsort(-similarities[0])

print("Produse relevante în ordinea descrescătoare a similarității:", sorted_indices)

Pentru căutări scalabile în colecții mari de încrustări, se folosesc biblioteci și indici specializați, precum FAISS sau Annoy.