Sobes.tech
Senior

Sie haben einen kleinen Datensatz mit Filmkritiken auf Russisch und deren binärer Tonalitätsmarkierung (Labels: 0 — negativ, 1 — positiv). Ihre Aufgabe ist es, in 15 Minuten eine vollständige Pipeline zum Trainieren eines einfachen Textklassifikationsmodells ohne Verwendung vortrainierter Encoder wie BERT zu implementieren und die Genauigkeit (accuracy) auf diesen Daten anzuzeigen. reviews = [ "Dieser Film ist einfach erstaunlich!", "Horrende Schauspieler und langweilige Handlung.", "Mir hat jeder Moment sehr gefallen!", "Der schlechteste Film, den ich je gesehen habe.", "Ausgezeichnete Regiearbeit und wunderbare Geschichte.", "Untragbar langweilig und vorhersehbar." ] labels = [1, 0, 1, 0, 1, 0]

sobes.tech KI

Antwort von AI

Для быстрого решения задачи классификации текстов на русском языке без использования готовых энкодеров можно сделать следующий pipeline:

  1. Токенизация и простая предобработка (приведение к нижнему регистру, удаление знаков препинания).
  2. Векторизация текста с помощью мешка слов (Bag of Words) с помощью sklearn CountVectorizer.
  3. Обучение простой модели, например, логистической регрессии.
  4. Оценка точности на тех же данных (так как датасет очень маленький).

Пример кода на Python:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

reviews = [
    "Этот фильм просто потрясающий!",
    "Ужасная игра актёров и скучный сюжет.",
    "Мне очень понравилось каждое мгновение!",
    "Самый худший фильм, который я видел.",
    "Отличная операторская работа и замечательная история.",
    "Невыносимо скучно и предсказуемо."
]
labels = [1, 0, 1, 0, 1, 0]

# Векторизация
vectorizer = CountVectorizer(lowercase=True)
X = vectorizer.fit_transform(reviews)

# Обучение модели
model = LogisticRegression()
model.fit(X, labels)

# Предсказание и оценка
preds = model.predict(X)
accuracy = accuracy_score(labels, preds)
print(f"Accuracy: {accuracy:.2f}")

Такой подход позволит за 15 минут получить базовую модель классификации с приемлемой точностью на маленьком датасете.