Como construir uma amostra para treinar um modelo com pares de observações relevantes?

Para treinar um modelo com pares relevantes de observações (por exemplo, em tarefas de classificação, sistemas de recomendação ou treinamento com perdas contrastivas), é importante formar corretamente a amostra para que o modelo possa aprender a distinguir pares relevantes de irrelevantes.

Abordagens principais:

1. Pares positivos — pares considerados relevantes (por exemplo, uma consulta e um documento que o usuário clicou).
2. Pares negativos — pares irrelevantes que o modelo deve distinguir dos positivos.

Para construir a amostra:

• Recolhem-se dados reais de interação (cliques, compras, avaliações).
• Formam-se pares positivos com base nesses dados.
• Escolhem-se pares negativos aleatoriamente ou por hard-mining (seleção de exemplos negativos difíceis, próximos aos positivos).

Exemplo:

Se tiver dados sobre utilizadores e produtos que compraram, então:

• Par positivo: (utilizador, produto comprado)
• Par negativo: (utilizador, produto aleatório que não comprou)

Este método ajuda o modelo a aprender a distinguir objetos relevantes e irrelevantes.

Também é importante equilibrar a quantidade de pares positivos e negativos para evitar enviesar o modelo.

Em tarefas de aprendizagem contrastiva, costuma-se usar funções de perda especiais (por exemplo, triplet loss), onde a amostra é construída a partir de tripletes: âncora, exemplo positivo e exemplo negativo.