Что хотят услышать интервьюеры:

Нужно показать, что известны основные классы методов снижения размерности и понимается, когда какой применять. Обычно ждут различение линейных и нелинейных подходов, а также понимание, что цель — не только визуализация, но и борьба с шумом, мультиколлинеарностью и переобучением. Важно уметь объяснить компромисс между интерпретируемостью, скоростью и качеством представления данных.

Определение:

Снижение размерности — это преобразование данных из пространства с большим числом признаков в пространство с меньшим числом измерений с минимальной потерей полезной информации.
Методы бывают двух основных типов:

Отбор признаков — уменьшают число исходных признаков без их преобразования.
Извлечение признаков — строят новые признаки на основе исходных.

Классические алгоритмы снижения размерности:

PCA (метод главных компонент) — линейный метод, сохраняет максимальную дисперсию.
SVD — часто используется как основа для PCA и в работе с разреженными матрицами.
LDA (линейный дискриминантный анализ) — снижает размерность с учетом классовой разделимости.
t-SNE — нелинейный метод для визуализации локальной структуры данных.
UMAP — нелинейный метод, хорошо сохраняет локальные и частично глобальные связи, часто быстрее t-SNE.
Autoencoder — нейросетевой подход, обучающий компактное латентное представление.
Random Projection — быстрый приближенный метод, использует случайную проекцию.
Feature Selection methods — например, по корреляции, mutual information, L1-регуляризации, деревьям решений.

Пример использования:

Допустим, есть датасет с тысячами текстовых или табличных признаков, и модель начинает переобучаться или работает слишком медленно. Сначала можно применить PCA для уменьшения числа признаков, а затем обучить классификатор на компактном представлении.

from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression

model = Pipeline([
    ("scaler", StandardScaler()),
    ("pca", PCA(n_components=20)),
    ("clf", LogisticRegression())
])

model.fit(X_train, y_train)
accuracy = model.score(X_test, y_test)

В этом примере признаки сначала масштабируются, затем сжимаются до 20 главных компонент, после чего на них обучается логистическая регрессия.

Пояснение кода:

StandardScaler() нужен, потому что PCA чувствителен к масштабу признаков.
PCA(n_components=20) оставляет 20 компонент, которые объясняют большую часть вариации данных.
LogisticRegression() обучается уже не на исходных признаках, а на компактном представлении.
Pipeline удобен тем, что все преобразования выполняются последовательно и без риска утечки данных между train и test.

Ключевые моменты:

PCA и SVD — базовые линейные методы, хороши для табличных данных и предварительной обработки.
t-SNE и UMAP чаще используют для визуализации и поиска кластерной структуры, а не как универсальный preprocessing.
LDA применим в задачах классификации, когда важно улучшить разделимость классов.
Autoencoder полезен на сложных нелинейных данных, но требует обучения и подбора архитектуры.
Отбор признаков сохраняет интерпретируемость лучше, чем методы извлечения признаков.
Выбор метода зависит от цели: ускорение модели, борьба с шумом, визуализация или улучшение качества классификации.

Какие алгоритмы снижения размерности существуют?