Что такое factorization machines (FM)?

Factorization Machines (FM) — это модель машинного обучения, которая эффективно работает с разреженными данными и умеет моделировать взаимодействия между признаками второго порядка. FM особенно популярны в рекомендательных системах, где данные часто представлены в виде разреженных матриц (например, пользователь-товар).

Основная идея FM — факторизация матриц взаимодействий признаков, что позволяет оценивать их совместное влияние без необходимости обучать отдельные параметры для каждой пары признаков. Это достигается с помощью векторных представлений (эмбеддингов) для каждого признака.

Математически модель выглядит так:

[ \hat{y}(\mathbf{x}) = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j ]

где:

• (w_0) — глобальный сдвиг,
• (w_i) — вес для признака (i),
• (\mathbf{v}_i) — вектор факторов для признака (i),
• (x_i) — значение признака (i).

FM комбинирует преимущества линейных моделей и моделей факторизации, позволяя эффективно учитывать взаимодействия признаков без переобучения и с хорошей масштабируемостью.