Что хотят услышать интервьюеры:

Нужно сравнивать не только цену за токены или запрос, а полную стоимость владения с учётом latency, throughput, качества и операционных затрат. Для корректного выбора важно привести все варианты к одной единице: например, стоимости за 1M входных и выходных токенов, за один успешный сценарий или за 1k запросов при заданной нагрузке. Self-hosted обычно дешевле на масштабе, но требует учёта железа, эксплуатации и рисков деградации качества.

Определение:

Сравнение стоимости инференса — это оценка всех затрат на получение ответа модели у разных провайдеров и в собственной инфраструктуре с учётом реальной нагрузки. Сравнивать нужно не по абстрактной цене API, а по измеримым метрикам: стоимость единицы вывода, пропускная способность, задержка, стабильность, качество ответа и затраты на поддержку.

Для корректного сравнения обычно выделяют:

прямые затраты: API-цена, аренда GPU, трафик;
косвенные затраты: оркестрация, мониторинг, масштабирование, инциденты;
бизнес-метрику: стоимость одного полезного результата, а не просто одного запроса.

Пример использования:

Допустим, есть три варианта для чат-бота: облачный LLM API, managed inference endpoint и self-hosted модель на GPU. Для честного сравнения измеряют средний объём входных и выходных токенов, p95 latency, процент успешных ответов и стоимость при целевой нагрузке 100k запросов в день.

# Упрощённая модель сравнения стоимости инференса

requests_per_day = 100_000
avg_input_tokens = 800
avg_output_tokens = 200

# Вариант 1: API
api_cost_per_1m_input = 2.0   # $ за 1M input tokens
api_cost_per_1m_output = 6.0  # $ за 1M output tokens

api_daily_cost = (
    requests_per_day * avg_input_tokens / 1_000_000 * api_cost_per_1m_input +
    requests_per_day * avg_output_tokens / 1_000_000 * api_cost_per_1m_output
)

# Вариант 2: self-hosted
gpu_hour_cost = 2.5          # $/hour за GPU
utilization = 0.7             # средняя загрузка
hours_per_day = 24

self_host_daily_cost = gpu_hour_cost * hours_per_day / utilization

print("API daily cost:", round(api_daily_cost, 2))
print("Self-hosted daily cost:", round(self_host_daily_cost, 2))

В реальном сравнении этого недостаточно: если self-hosted даёт хуже качество или не выдерживает пик нагрузки, его эффективная стоимость для бизнеса может быть выше.

Пояснение кода:

В примере код считает две базовые оценки затрат за день.

Для API стоимость считается по токенам: входные и выходные токены умножаются на соответствующие тарифы и приводятся к дневному объёму.
Для self-hosted берётся стоимость GPU в час и делится на загрузку, чтобы учесть, что сервер редко используется на 100%.
Результат показывает только прямую стоимость инференса; в реальном проекте нужно добавить стоимость оркестрации, резервирования, мониторинга, сетевых расходов и, при необходимости, нескольких реплик для отказоустойчивости.
Если нужно сравнить варианты объективно, к стоимости добавляют метрики качества и производительности: latency, throughput, error rate, точность на контрольном наборе и долю ручной доработки.

Ключевые моменты:

Сравнивать нужно TCO, а не только тариф за токены.
Приводить варианты к одной базе: стоимость за запрос, за 1M токенов или за один успешный бизнес-сценарий.
Учитывать нагрузку: при низком трафике API часто выгоднее, при стабильном высоком — self-hosted может быть дешевле.
Обязательно учитывать p95/p99 latency, throughput и требования к SLA.
Качество модели влияет на итоговую стоимость через число ретраев, ручных проверок и потери конверсии.
Для self-hosted в расчёт входят не только GPU, но и инженерные затраты на эксплуатацию и масштабирование.

Как сравнивать стоимость инференса разных провайдеров и self-hosted решений?