O que é ajuste de prompt e onde é aplicado?

A afinação de prompts é um método de adaptação de grandes modelos de linguagem (LLM) sem re-treinamento completo do modelo. Em vez de alterar todos os pesos do modelo, a afinação de prompts treina uma pequena quantidade de parâmetros adicionais, que atuam como 'sugestões' (prompt), influenciando o comportamento do modelo.

Aplica-se a afinação de prompts quando é necessário adaptar rápida e eficientemente um LLM para uma tarefa específica, como classificação de texto, geração de respostas ou tradução, com recursos limitados. Isso é especialmente útil quando não há possibilidade ou desejo de re-treinar todo o modelo devido ao seu tamanho ou custo.

Exemplo: em vez de um fine-tuning completo do modelo GPT, pode-se treinar apenas representações vetoriais especiais (soft prompts), que são fornecidas na entrada do modelo e direcionam sua geração na direção desejada.