Абстрактный кейс: сервис падает (OOM kill), ты не видишь никаких ошибок, в поде видишь что последний статус — нехватка памяти. Какова последовательность действий для диагностики и стабилизации сервиса?

Если сервис падает с ошибкой OOM kill и в логах нет явных ошибок, а в статусе пода указана нехватка памяти, последовательность действий будет следующей:

1. Сбор информации о потреблении памяти:

   • Использовать kubectl describe pod <pod-name> для проверки событий и статуса.
   • Посмотреть метрики потребления памяти через kubectl top pod <pod-name> или через систему мониторинга (Prometheus, Grafana).

2. Анализ лимитов и запросов ресурсов:

   • Проверить, какие лимиты памяти заданы в манифесте пода (requests и limits).
   • Если лимит слишком низкий, увеличить его.

3. Диагностика утечек памяти:

   • В случае Go-сервиса собрать дамп памяти (heap dump) с помощью pprof.
   • Проанализировать дамп на предмет утечек или аномального роста потребления.

4. Проверка кода:

   • Поискать места, где может происходить накопление данных в памяти.
   • Оптимизировать алгоритмы, использовать более эффективные структуры данных.

5. Временные меры стабилизации:

   • Увеличить лимит памяти в Kubernetes, чтобы избежать частых падений.
   • Внедрить рестарты с backoff для восстановления сервиса.

6. Мониторинг и алерты:

   • Настроить мониторинг использования памяти и оповещения при превышении порогов.

Пример команды для сбора профиля памяти в Go:

import (
    "net/http"
    _ "net/http/pprof"
)

func main() {
    go func() {
        log.Println(http.ListenAndServe("localhost:6060", nil))
    }()
    // основной код сервиса
}

Затем можно подключиться к http://localhost:6060/debug/pprof/heap и скачать дамп для анализа.