Что хотят услышать интервьюеры:

Нужно показать, как спроектировать end-to-end систему для генерации заголовков, их безопасной публикации в A/B-тесты и автоматического выбора победителя. Важны не только ML-часть и LLM, но и оркестрация эксперимента, метрики, рандомизация, контроль качества и защита от деградации. Также ожидается понимание, как масштабировать генерацию, логировать результаты и обеспечить воспроизводимость экспериментов.

Определение:

Это система, которая с помощью LLM генерирует несколько вариантов заголовков для рассылок, затем распределяет аудиторию между вариантами по принципам A/B-тестирования и собирает метрики эффективности. Цель — автоматически находить заголовки, которые лучше повышают открываемость, клики или конверсию, при этом контролируя риски и статистическую значимость. Обычно такая система состоит из сервиса генерации, сервиса экспериментов, слоя аналитики и механизма принятия решения о победителе.

Пример использования:

Допустим, маркетинг хочет отправить email-рассылку по новой акции. LLM генерирует 5 вариантов заголовка, например с разной тональностью и длиной. Система случайно делит аудиторию на группы, отправляет каждому сегменту свой вариант и собирает open rate, click-through rate и downstream conversion.

1. Маркетолог задаёт цель: увеличить open rate.
2. LLM генерирует 5 заголовков на основе контекста письма и бренд-ограничений.
3. Сервис экспериментов создаёт A/B/n-тест и назначает вариант пользователю детерминированно по user_id.
4. Письма отправляются через рассылочный сервис.
5. События opens/clicks/conversions попадают в event stream.
6. Аналитический сервис считает метрики, проверяет значимость и выбирает победителя.
7. Победивший заголовок уходит в основной поток или на следующий раунд тестирования.

Пояснение кода:

Код не требуется, потому что здесь важнее архитектура. Если разложить реализацию по шагам, то она обычно выглядит так:

Сервис кампании получает запрос: тема письма, аудитория, цель оптимизации, брендовые ограничения.
Генератор заголовков вызывает LLM с шаблоном промпта и фильтром по политике бренда, после чего ранжирует и отбирает кандидатов.
Экспериментальный сервис фиксирует набор вариантов, размер выборки, доли трафика и критерий остановки.
Назначение варианта делается детерминированно, чтобы один и тот же пользователь всегда видел один и тот же заголовок в рамках эксперимента.
События доставки и реакции пишутся в лог событий, после чего считаются метрики по группам.
Статистический слой проверяет значимость, guards-метрики и определяет, можно ли завершать тест или нужен дальнейший сбор данных.
При победителе система переводит кампанию в rollout и сохраняет артефакты для воспроизводимости: prompt, model version, seed, experiment config.

Ключевые моменты:

Генерация и экспериментирование должны быть разделены: LLM предлагает варианты, а решение принимает экспериментальная платформа.
Нужна строгая рандомизация и детерминированное назначение, чтобы избежать смещения и обеспечить воспроизводимость.
Нельзя оптимизироваться только по open rate: нужны guardrails, например отписки, жалобы, spam rate и downstream conversion.
LLM-результаты стоит фильтровать по бренду, длине, запрещённым формулировкам и дублям, иначе тест будет шумным.
Важно учитывать статистическую мощность, эффект размера и проблему множественных сравнений при A/B/n тестах.
Для продакшена критичны логирование промптов, версий модели, фичей и результатов, чтобы можно было расследовать деградации и повторять эксперименты.

Спроектируйте систему рассылок A/B тестирования заголовков с LLM-генерацией.