Что такое candidate generation и ranking стадии?

В системах рекомендаций (recsys) процесс формирования рекомендаций обычно делится на две стадии:

1. Candidate Generation (генерация кандидатов) — на этом этапе из огромного множества возможных элементов (например, товаров, фильмов) выбирается ограниченный набор потенциально интересных кандидатов. Здесь применяются быстрые и масштабируемые методы, такие как коллаборативная фильтрация, фильтрация по популярности, или простые эвристики.

2. Ranking (ранжирование) — на втором этапе выбранные кандидаты оцениваются более точными и сложными моделями (например, градиентный бустинг, нейронные сети), которые учитывают множество признаков и контекст пользователя. Цель — упорядочить кандидатов по релевантности и выдать наиболее подходящие рекомендации.

Такое разделение позволяет эффективно обрабатывать большие объемы данных, сначала быстро отсекая неподходящие варианты, а затем тщательно выбирая лучшие.