У нас нестабильный latency: 5 запросов по 200мс, а 6-й — 300-350мс. При этом метрики внутри приложения такие же стабильные. В какую сторону ты бы посмотрел?

Если внутри приложения метрики стабильны, а внешний latency нестабилен (5 запросов по 200мс, 6-й — 300-350мс), стоит обратить внимание на следующие моменты:

• Сетевые задержки и нестабильность: возможно, проблемы на уровне сети — пиковая нагрузка, потеря пакетов, маршрутизация.
• Балансировщик нагрузки: может распределять запросы неравномерно, или один из серверов работает медленнее.
• Кэширование и внешние зависимости: 6-й запрос может задействовать другой путь, например, пропускать кэш или обращаться к внешнему сервису.
• Проблемы с инфраструктурой: например, GC паузы, проблемы с диском, или другие системные задержки.

Рекомендую смотреть логи балансировщика, мониторить сеть, проверить конфигурацию и состояние серверов, а также трассировать запросы для выявления узких мест вне приложения.