Что хотят услышать интервьюеры:

Нужно показать, что label noise robust обучение — это методы, устойчивые к ошибкам в разметке. Важно уметь объяснить, почему шум в метках ломает обычное обучение и какие практики помогают снизить его влияние. Хороший ответ включает не только loss-функции, но и работу с данными, фильтрацию и оценку качества.

Определение:

Label noise robust обучение — это подходы к обучению моделей, которые сохраняют приемлемое качество, даже если часть меток в датасете ошибочна, неполна или противоречива. Шум в метках может быть случайным или систематическим, и он особенно опасен в задачах с weak supervision, active learning и при ручной разметке больших наборов данных.

Суть таких методов — уменьшить влияние неправильных примеров на градиенты, не дать модели слишком уверенно запоминать шум и по возможности обнаруживать/переоценивать подозрительные метки.

Пример использования:

Например, в задаче классификации спама часть писем была размечена модераторами с ошибками. Обычная модель быстро начнёт подстраиваться под эти ошибки и переобучится на шум. Robust-подход может использовать более устойчивую функцию потерь, сэмплинг с учётом уверенности, отбрасывание подозрительных примеров или переоценку их меток.

# Пример идеи: уменьшение влияния подозрительных примеров через weighting
import torch
import torch.nn.functional as F

logits = model(x)                 # [batch, num_classes]
loss_per_sample = F.cross_entropy(logits, y, reduction="none")

# weights могут быть меньше для примеров, где разметка выглядит сомнительно
weights = sample_weights          # [batch], значения от 0 до 1
loss = (loss_per_sample * weights).mean()

loss.backward()
optimizer.step()

Пояснение кода:

Код показывает базовый приём robust-обучения: вместо одинакового вклада каждого объекта в loss используются веса.
Шаги такие: модель получает предсказания, для каждого примера считается отдельный loss, затем этот loss умножается на вес примера и усредняется.
Если пример подозрительный или разметка для него ненадёжна, его вклад в обновление параметров уменьшается.
На практике веса могут задаваться по confidence модели, по соглашению нескольких аннотаторов, по правилам фильтрации или по отдельной модели оценки шума.

Ключевые моменты:

Шум в метках приводит к переобучению на ошибки и деградации качества, особенно при долгом обучении и высокой ёмкости модели.
Robust-обучение обычно решает две задачи: снижает влияние шумных примеров и не даёт модели слишком рано «запоминать» шум.
Частые техники: robust loss-функции, reweighting, sample filtering, label correction, co-teaching, bootstrapping.
В weak supervision и active learning особенно важно учитывать ненадёжность источника меток, а не считать все метки равными.
Полностью «исправить» шум нельзя, поэтому обычно комбинируют методы обучения с контролем качества разметки и валидацией на чистом наборе.
Критично различать случайный шум и систематический: при систематическом шуме модель может устойчиво выучить неверный паттерн, если его не компенсировать.

Какие особенности label noise robust обучения?