Кейс 5. Temperature и управляемая деградация качества

Ты делаешь AI-копирайтера для маркетинга.

Если:

P_i = \frac{e^{z_i/T}}{\sum_j e^{z_j/T}}

При T = 2 модель начинает выбирать менее вероятные токены → выше риск фактической ошибки.

Демонстрация softmax в PHP

<?php

function softmax(array $logits, float $T): array {
    $exp = [];
    $sum = 0;

    foreach ($logits as $l) {
        $e = exp($l / $T);
        $exp[] = $e;
        $sum += $e;
    }

    return array_map(fn($v) => $v / $sum, $exp);
}

$logits = [4.0, 2.0, 1.0];

print_r(softmax($logits, 0.3)); // почти детерминировано
print_r(softmax($logits, 2.0)); // распределено

Практический вывод

В:

– юридических документах

– security-ответах

– финансовых отчётах

temperature должна быть низкой.

В:

– генерации идей

– маркетинге

– обучающих симуляциях

можно повышать.

Last updated