Что такое наивный байесовский классификатор?

Наивный байесовский классификатор — это простой вероятностный классификатор, основанный на применении теоремы Байеса с предположением о независимости признаков друг от друга.

Идея:

• Рассчитывается вероятность принадлежности объекта к классу, учитывая значения признаков.
• Предполагается, что все признаки независимы, что упрощает вычисления.

Пример: классификация писем на спам и не спам по словам в тексте.

Преимущества:

• Быстрый и простой в реализации.
• Хорошо работает на больших наборах данных.

Ограничения:

• Предположение о независимости признаков часто не выполняется, что может снижать точность.

Пример на Python с использованием sklearn:

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import CountVectorizer

texts = ["spam message", "important meeting", "buy now", "project update"]
labels = [1, 0, 1, 0]  # 1 - spam, 0 - not spam

vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts)

model = MultinomialNB()
model.fit(X, labels)

new_text = ["buy meeting"]
X_new = vectorizer.transform(new_text)
prediction = model.predict(X_new)
print(prediction)  # Выведет [1] - спам