La auto-distilación en visión por computadora es un método en el que un mismo modelo se utiliza tanto como maestro como alumno. La idea es que el modelo se entrena con sus propias predicciones, mejorando la calidad sin necesidad de un modelo maestro grande separado.

Ejemplo: primero, el modelo se entrena con datos anotados, luego genera etiquetas "suaves" (soft labels) para esos mismos datos o datos adicionales, y se vuelve a entrenar con esas etiquetas, lo que ayuda a mejorar la capacidad de generalización.

Esto ayuda a aumentar la precisión y la robustez del modelo sin aumentar su tamaño.

Anterior Siguiente