O que é um cross-encoder e como ele difere de um bi-encoder?

Cross-encoder e bi-encoder são arquiteturas para processar pares de dados de entrada, frequentemente utilizados em tarefas de busca e correspondência de textos.

Bi-encoder:

• Cada elemento do par (por exemplo, uma consulta e um documento) é codificado separadamente em um vetor de tamanho fixo.
• Depois, calcula-se uma medida de similaridade (por exemplo, distância do cosseno) entre os dois vetores.
• Permite indexar e procurar rapidamente, pois os vetores podem ser calculados e armazenados previamente.
• No entanto, não considera a interação entre os elementos do par durante a codificação.

Cross-encoder:

• Os dados de entrada são combinados e passados juntos no modelo.
• O modelo considera imediatamente as interações entre os elementos (por exemplo, palavras da consulta e do documento), o que melhora a qualidade da avaliação de relevância.
• É mais custoso computacionalmente, pois para cada par é necessário executar o modelo novamente.

Resultado: o bi-encoder é mais rápido e escalável para busca em um grande número de documentos, enquanto o cross-encoder é mais preciso, mas mais lento e usado para reavaliar um pequeno número de candidatos.