Waarom lost een lineair model zonder kenmerktransformatie de taak om punten binnen en buiten een cirkel te scheiden niet op?

Het lineaire model bouwt een scheidingshypervlak dat de kenmerkenruimte in twee delen verdeelt met behulp van een lineaire vergelijking. Bij het scheiden van punten binnen en buiten een cirkel, is de scheidingsgrens een cirkel, dus een niet-lineaire curve. Een lineair model zonder kenmerkenomzetting kan zo'n niet-lineaire grens niet benaderen, omdat het beperkt is tot rechte lijnen (hypervlakken).

Om dit probleem op te lossen, moeten extra kenmerken worden geïntroduceerd, bijvoorbeeld de kwadraten van de coördinaten (x², y²), waardoor het lineaire model kan werken in een nieuwe kenmerkenruimte waar de grens lineair wordt. Dit wordt kenmerkenomzetting of gebruik van polynomiale kenmerken genoemd.

Voorbeeld van een omzetting:

# Oorspronkelijke kenmerken
X = [[x, y] voor x, y in punten]

# Toevoegen van kwadraten van de coördinaten
X_getransformeerd = [[x, y, x**2 + y**2] voor x, y in punten]

# Nu kan het lineaire model de punten scheiden volgens de voorwaarde x² + y² < r²