Имаме нестабилна латентност: 5 заявки по 200 ms, а 6-тата — 300-350 ms. В същото време метриките вътре в приложението са също толкова стабилни. В коя посока би погледнал?

Если внутри приложения метрики стабильны, а внешний latency нестабилен (5 запросов по 200мс, 6-й — 300-350мс), стоит обратить внимание на следующие моменты:

• Сетевые задержки и нестабильность: возможно, проблемы на уровне сети — пиковая нагрузка, потеря пакетов, маршрутизация.
• Балансировщик нагрузки: может распределять запросы неравномерно, или один из серверов работает медленнее.
• Кэширование и внешние зависимости: 6-й запрос может задействовать другой путь, например, пропускать кэш или обращаться к внешнему сервису.
• Проблемы с инфраструктурой: например, GC паузы, проблемы с диском, или другие системные задержки.

Рекомендую смотреть логи балансировщика, мониторить сеть, проверить конфигурацию и состояние серверов, а также трассировать запросы для выявления узких мест вне приложения.