Что такое RBF kernel и его гиперпараметры?

RBF kernel (радиальная базисная функция) — это популярное ядро в методах машинного обучения, особенно в SVM и гауссовских процессах. Оно измеряет сходство между двумя точками в пространстве, основываясь на их евклидовом расстоянии.

Формула RBF kernel:

K(x, x') = exp(-\gamma \|x - x'\|^2)

Где:

• (x, x') — входные векторы,
• (\gamma > 0) — гиперпараметр, контролирующий ширину ядра.

Гиперпараметры:

• (\gamma) — определяет радиус влияния одной обучающей точки. Малое значение (\gamma) означает, что влияние распространяется далеко, модель более гладкая. Большое значение — влияние локально, модель может переобучаться.
• Параметры модели, использующие RBF kernel (например, в SVM — параметр регуляризации C) тоже влияют на итоговую модель, но непосредственно к ядру относится (\gamma).

Пример настройки в SVM:

from sklearn.svm import SVC
model = SVC(kernel='rbf', gamma=0.1, C=1.0)

RBF kernel хорошо подходит для нелинейных задач, когда данные неразделимы линейно.