Что хотят услышать интервьюеры:

Histogram-based gradient boosting — это ускоренная реализация градиентного бустинга для табличных данных, где непрерывные признаки заранее квантуются в бины. Вместо перебора всех возможных порогов по исходным значениям модель работает с гистограммами по бинам, поэтому обучение становится быстрее и экономичнее по памяти. При этом качество обычно сохраняется близким к классическому бустингу.

Определение:

Histogram-based gradient boosting — это вариант градиентного бустинга деревьев решений, в котором числовые признаки сначала разбиваются на ограниченное число интервалов, а затем алгоритм строит деревья, используя не точные значения, а статистику по этим интервалам.
Это снижает вычислительную сложность поиска лучших разбиений и уменьшает потребление памяти. Такой подход особенно полезен на больших датасетах с табличными данными.

Пример использования:

Допустим, нужно предсказать вероятность оттока клиентов по 100 признакам: возраст, стаж, число операций, сумма покупок и т.д.
Классический градиентный бустинг будет многократно искать лучшие пороги по всем уникальным значениям признаков. Histogram-based вариант сначала разобьет, например, income на 256 бинов и будет искать разбиения уже по этим бинам.

from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import roc_auc_score

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

model = HistGradientBoostingClassifier(max_depth=6, learning_rate=0.1, max_iter=200)
model.fit(X_train, y_train)

proba = model.predict_proba(X_test)[:, 1]
print(roc_auc_score(y_test, proba))

Пояснение кода:

В этом примере используется HistGradientBoostingClassifier из scikit-learn — реализация histogram-based gradient boosting для классификации.
Сначала данные делятся на train и test. Затем модель обучается на тренировочной выборке, после чего предсказываются вероятности класса и считается ROC AUC.

По шагам:

train_test_split отделяет контрольную выборку для честной оценки качества.
HistGradientBoostingClassifier строит бустинг деревьев, опираясь на бинирование признаков.
fit обучает модель на train.
predict_proba возвращает вероятности, а не только метки классов.
roc_auc_score измеряет качество ранжирования для бинарной классификации.

Если бы это был не кодовый вопрос, код все равно уместен, потому что здесь важно показать практическое применение алгоритма.

Ключевые моменты:

Признаки заранее квантуются в бины, а не используются в исходном непрерывном виде.
Поиск лучших сплитов идет по гистограммам, что ускоряет обучение.
Обычно требует меньше памяти и лучше масштабируется на большие табличные данные.
Часто дает качество, сопоставимое с классическим gradient boosting.
Особенно популярен для задач классификации и регрессии на structured/tabular data.
Может быть чувствителен к выбору числа бинов и гиперпараметров, как и любой boosting-модель.

Что такое histogram-based gradient boosting?