Что делать при деградации системы (latency выросла с 50ms до минуты)? Как диагностировать и что рассказать на ретро?

При резком увеличении latency с 50ms до минуты нужно срочно провести диагностику, чтобы выявить причину деградации.

Диагностика:

• Проверить метрики и логи: CPU, память, GC, количество запросов, ошибки.
• Проанализировать трассировки (tracing) запросов, чтобы понять, на каком этапе возникает задержка.
• Проверить состояние зависимостей: базы данных, внешних сервисов, очередей.
• Оценить изменения в коде или инфраструктуре, которые могли вызвать проблему.
• Использовать профилирование (например, Java Flight Recorder) для выявления узких мест.

Что рассказать на ретроспективе:

• Описание проблемы и её влияние на пользователей.
• Какие шаги были предприняты для диагностики и устранения.
• Выявленные причины (например, утечка памяти, блокировки, медленные запросы).
• Какие меры приняты для предотвращения повторения (мониторинг, алерты, оптимизации).
• План по улучшению процессов и инструментов для более быстрой реакции в будущем.