В чем разница между логлоссом и кросс-энтропией?

LogLoss (логарифмическая функция потерь) и кросс-энтропия — тесно связанные понятия, часто используемые как синонимы в задачах классификации, особенно бинарной.

• LogLoss — это конкретная функция потерь, которая измеряет разницу между истинными метками и предсказанными вероятностями модели. Она вычисляет отрицательный логарифм вероятности правильного класса.

• Кросс-энтропия — более общее понятие из теории информации, измеряющее расстояние между двумя распределениями вероятностей: истинным распределением и предсказанным моделью.

В контексте машинного обучения LogLoss является частным случаем кросс-энтропии для бинарной классификации. Формула LogLoss для одного примера:

[ \text{LogLoss} = -\left(y \cdot \log(p) + (1 - y) \cdot \log(1 - p)\right) ]

где:

• (y) — истинная метка (0 или 1),
• (p) — предсказанная вероятность класса 1.

Таким образом, разницы между ними в практическом применении почти нет, но кросс-энтропия — более общий термин, а LogLoss — конкретная функция потерь для бинарной классификации.

Пример в Python для вычисления LogLoss:

import numpy as np

def log_loss(y_true, y_pred):
    epsilon = 1e-15
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

# Пример
y_true = np.array([1, 0, 1, 1])
y_pred = np.array([0.9, 0.1, 0.8, 0.7])
print(log_loss(y_true, y_pred))