Qu'est-ce que ColBERT et qu'est-ce que l'interaction tardive?

ColBERT (Interaction tardive contextualisée sur BERT) — est un modèle pour une recherche d’informations efficace et précise, basé sur l’utilisation de BERT pour créer des embeddings de textes.

Idée principale : ColBERT utilise une approche de "interaction tardive" (late interaction), où d’abord, pour la requête et les documents, des embeddings contextuels de tokens individuels sont calculés à l’aide de BERT, puis l’interaction entre la requête et le document se produit au niveau de ces embeddings, et non au niveau de phrases ou de documents entiers.

Interaction tardive signifie qu’au lieu de fusionner tous les tokens en un seul vecteur (early interaction), le modèle conserve les embeddings de chaque token et les compare avec ceux des tokens de la requête à l’aide d’opérations efficaces (par exemple, produit scalaire maximal). Cela permet de mieux prendre en compte les correspondances locales et la pertinence des parties individuelles du texte.

Cette approche assure un équilibre entre précision (grâce au contexte profond de BERT) et efficacité (par le traitement et l’indexation séparés des embeddings de tokens).

L’application de ColBERT est pertinente dans les systèmes de recherche où il faut rapidement trouver des documents pertinents pour des requêtes complexes en tenant compte du contexte.