Что такое semi-supervised learning и self-training?

Semi-supervised learning — это подход в машинном обучении, который использует как размеченные, так и неразмеченные данные для обучения модели. Обычно размеченных данных мало, а неразмеченных много, и semi-supervised методы помогают улучшить качество модели, используя дополнительную информацию из неразмеченных данных.

Self-training — один из методов semi-supervised learning. Суть в том, что модель сначала обучается на размеченных данных, затем предсказывает метки для неразмеченных данных, выбирает наиболее уверенные предсказания и добавляет их в обучающую выборку для повторного обучения. Этот процесс можно повторять несколько раз, постепенно расширяя обучающую выборку.

Пример self-training:

# Псевдокод
model.train(labeled_data)
for iteration in range(N):
    pseudo_labels = model.predict(unlabeled_data)
    confident_samples = select_confident(pseudo_labels)
    labeled_data += confident_samples
    unlabeled_data -= confident_samples
    model.train(labeled_data)

Таким образом self-training помогает использовать неразмеченные данные для улучшения качества модели при ограниченном количестве размеченных примеров.