Что хотят услышать интервьюеры:

Нужно показать, что отзывы — это не «шум», а источник измеримых сигналов о качестве сервиса. Обычно их переводят в числовую метрику через связку: сбор фидбэка, очистка текста, выделение тем и тональности, агрегация в понятный индекс. Важно понимать, как сделать метрику устойчивой, сопоставимой во времени и полезной для принятия решений.

Определение:

Перевод отзывов в метрику качества сервиса — это процесс преобразования текстовых и оценочных отзывов пользователей в числовой показатель, который отражает уровень удовлетворенности или проблемности сервиса.
На практике это может быть индекс на основе рейтингов, доли негативных отзывов, среднего sentiment score, частоты упоминания критичных проблем или комбинированной метрики, учитывающей несколько сигналов.

Пример использования:

Допустим, у сервиса доставки есть текстовые отзывы и оценки от 1 до 5. Сначала отзывы классифицируют по тональности: позитивные, нейтральные, негативные. Затем считают долю негативных отзывов и сопоставляют ее со средней оценкой. Для итоговой метрики можно использовать, например, взвешенный индекс: 70% — средняя оценка, 30% — доля негатива по тексту.

reviews = [
    {"rating": 5, "sentiment": 0.9},
    {"rating": 4, "sentiment": 0.7},
    {"rating": 2, "sentiment": -0.6},
    {"rating": 1, "sentiment": -0.9},
]

avg_rating = sum(r["rating"] for r in reviews) / len(reviews)
avg_sentiment = sum(r["sentiment"] for r in reviews) / len(reviews)

service_quality_index = 0.7 * (avg_rating / 5) + 0.3 * ((avg_sentiment + 1) / 2)

print(round(service_quality_index, 3))

Пояснение кода:

Код показывает упрощенный способ собрать единый индекс качества:

Берутся отзывы, у каждого есть числовая оценка и результат анализа тональности.
Считается средняя оценка по шкале 1–5.
Считается средняя тональность по шкале от -1 до 1.
Обе величины нормализуются к диапазону 0–1, чтобы их можно было комбинировать.
Итоговый индекс строится как взвешенная сумма, где можно задавать приоритет рейтинга или тональности.

На практике вместо такой простой формулы могут использоваться более устойчивые агрегаты: медиана, усеченное среднее, веса по давности отзыва, веса по типу клиента, а также отдельные метрики по темам вроде «доставка», «поддержка», «качество продукта».

Ключевые моменты:

Отзывы лучше превращать не в одну «магическую» цифру, а в набор сигналов: тональность, частота проблем, темы, динамика во времени.
Нужна нормализация, иначе рейтинги, sentiment score и частоты нельзя корректно сравнивать между собой.
Хорошая метрика должна быть устойчивой к выбросам и манипуляциям, например, к нескольким очень эмоциональным отзывам.
Полезно делать разрезы по сегментам: продукт, регион, канал, тип клиента, период.
Если метрика используется для бизнеса, она должна быть интерпретируемой и связанной с действиями: что именно улучшать после ее падения.
Для качества сервиса часто лучше комбинировать текстовые отзывы с поведенческими метриками: повторные обращения, возвраты, отток, время решения проблемы.

Как перевести отзывы пользователей в метрику качества сервиса?