Кейс 4. Одинаковая точность – разный log loss

Сценарий

Две модели угадывают одинаковое число классов, но одна из них делает более уверенные предсказания.

Цель кейса

Показать, что accuracy и loss – разные вещи.

$y = [1, 0, 1, 0];

$modelA = [0.9, 0.2, 0.9, 0.2];
$modelB = [0.6, 0.4, 0.6, 0.4];

echo "Log loss A: " . logLoss($y, $modelA) . PHP_EOL;
echo "Log loss B: " . logLoss($y, $modelB) . PHP_EOL;        

Вывод

Обе модели классифицируют одинаково, но loss показывает, какая из них реально лучше как вероятностная.