¿Qué es el cloning conductual frente a DAgger?

El Clonamiento Conductual (BC) es un método de entrenamiento de agentes en el que el modelo aprende a reproducir el comportamiento de un experto, utilizando solo datos de demostración (por ejemplo, grabaciones de acciones humanas). El modelo aproxima directamente la relación entre estados y acciones sin interacción adicional con el entorno.

DAgger (Dataset Aggregation) es una mejora del BC que resuelve el problema de acumulación de errores en la aplicación secuencial del modelo. En DAgger, el agente realiza acciones periódicamente, y un experto las corrige, añadiendo nuevos datos al conjunto de entrenamiento. De esta manera, el modelo aprende no solo de las demostraciones del experto, sino también de sus propios errores, lo que aumenta la robustez y la calidad del comportamiento.

Ejemplo:

• Clonamiento Conductual: entrenamos una red neuronal con datos "estado -> acción" del experto.
• DAgger: ejecutamos el agente, recopilamos sus estados, el experto corrige las acciones, y añadimos estos pares al conjunto de datos para volver a entrenar el modelo.

Así, DAgger permite evitar la acumulación de errores, característica del simple clonamiento conductual.