Что такое labeling functions?

Labeling functions — это небольшие программные функции, которые автоматически присваивают метки (ярлыки) данным в задачах машинного обучения, особенно в контексте слабого обучения (weak supervision). Они позволяют создавать обучающие наборы данных без ручной разметки, используя различные эвристики, правила, внешние источники или модели.

Каждая labeling function принимает на вход пример данных и возвращает метку (например, класс) или специальное значение, обозначающее, что функция не смогла присвоить метку. В итоге множество таких функций комбинируются для получения итоговой разметки с помощью моделей агрегации.

Пример: для задачи классификации текста можно написать labeling function, которая проверяет наличие определённых ключевых слов и на их основе ставит метку.

def lf_contains_urgent(text):
    return 1 if 'urgent' in text.lower() else 0  # 1 — положительный класс, 0 — отрицательный

# Использование
label = lf_contains_urgent("This is an urgent message")  # Вернёт 1

Таким образом, labeling functions помогают масштабировать процесс разметки и использовать слабые сигналы для обучения моделей.