Koje metode predobrade karakteristika se koriste i sa kojim problemima se suočavaju?

Glavne metode za predobradu karakteristika uključuju:

• Skaliranje i normalizacija: prilagođavanje karakteristika na zajedničku skalu (npr. Min-Max skaliranje, standardizacija). Ovo je važno za algoritme osetljive na skalu podataka (SVM, KNN).

• Rukovanje nedostajućim vrednostima: popunjavanje prosekom, medijanom, modom ili posebnim vrednostima; uklanjanje redova ili kolona sa nedostajućim podacima.

• Kodiranje kategorijalnih karakteristika: one-hot encoding, label encoding, target encoding.

• Rukovanje izuzetnim vrednostima: uklanjanje ili transformacija ekstremnih vrednosti.

• Kreiranje novih karakteristika: kombinovanje postojećih, ekstrakcija datuma/vremena, obrada teksta.

Česti problemi u predobradi:

• Gubitak informacija: prilikom brisanja podataka ili agresivnog filtriranja.

• Prekomerno učenje (overfitting): zbog pogrešnog kodiranja ili curenja podataka prilikom kreiranja karakteristika.

• Nesklad u skalama: karakteristika, što pogoršava rad modela.

• Teškoće sa nedostajućim podacima, posebno ako nisu slučajni.

• Visoka dimenzionalnost nakon kodiranja kategorijalnih karakteristika (npr. one-hot encoding sa mnogo kategorija).

Efikasno predobrada zahteva razumevanje podataka i ciljeva modela, kao i temeljno testiranje.