O que é o cloning comportamental vs DAgger?

Clonagem Comportamental (BC) é um método de treino de agentes onde o modelo aprende a reproduzir o comportamento de um especialista, usando apenas dados de demonstração (por exemplo, gravações de ações humanas). O modelo aproxima diretamente a relação entre estados e ações sem interação adicional com o ambiente.

DAgger (Dataset Aggregation) é uma melhoria do BC que resolve o problema de acumulação de erros na aplicação sequencial do modelo. No DAgger, o agente realiza ações periodicamente, e um especialista as corrige, adicionando novos dados ao conjunto de treino. Assim, o modelo aprende não só com as demonstrações do especialista, mas também com seus próprios erros, aumentando a robustez e a qualidade do comportamento.

Exemplo:

• Clonagem Comportamental: treinamos uma rede neural com dados "estado -> ação" do especialista.
• DAgger: executamos o agente, coletamos seus estados, o especialista corrige as ações, e adicionamos esses pares ao conjunto de dados para re-treinar o modelo.

Dessa forma, o DAgger evita a acumulação de erros, característica do simples clonamento comportamental.