Что такое pseudo-labeling и его риски?

Pseudo-labeling — это метод обучения с частично размеченными данными, при котором модель, обученная на размеченных данных, используется для предсказания меток на неразмеченных данных. Эти предсказанные метки (псевдо-метки) затем добавляются в обучающую выборку для дальнейшего обучения модели.

Риски pseudo-labeling:

• Ошибка накопления: если модель ошибается при генерации псевдо-меток, эти ошибки могут закрепиться и ухудшить качество обучения.
• Смещение: модель может усилить собственные предубеждения, так как учится на собственных предсказаниях.
• Переобучение: если псевдо-метки слишком уверены, модель может переобучиться на ошибочных данных.

Для снижения рисков часто применяют порог уверенности для отбора псевдо-меток или комбинируют pseudo-labeling с другими методами слабого обучения.