Jak byste nastavili monitoring pro 200 serverů? Jaké…

Pro monitorování 200 serverů bych navrhl škálovatelný a spolehlivý systém, který zahrnuje sběr, ukládání, analýzu a vizualizaci metrik a logů.

Přístupy:

Agent-based vs Agentless: Použil bych kombinaci. Agent-based pro hluboký sběr systémových metrik (CPU, RAM, disk, síť), agentless pro kontrolu dostupnosti služeb a portů (ping, curl).
Centralizované monitorování: Všechna data jsou shromažďována a zpracovávána v centralizovaném systému.
Automatizace: Použil bych nástroje pro automatizaci nasazení agentů, konfigurace a tvorbu dashboardů.
Strategie upozornění: Nastavil bych systém upozornění s jasnými pravidly, eskalací a integrací s nástroji pro oznámení (Slack, PagerDuty).
Logování: Centralizované shromažďování logů pro analýzu a troubleshooting.
Vizuální zobrazení: Informativní dashboardy pro rychlý přehled stavu systému.

Nástroje:

Sběr metrik: Prometheus (s exportéry: node_exporter pro hosty, blackbox_exporter pro kontrolu dostupnosti).
Uložení metrik: Prometheus (lokálně) a Thanos nebo VictoriaMetrics pro dlouhodobé ukládání a škálování.
Sběr logů: Fluentd nebo Filebeat pro sběr, Kafka nebo RabbitMQ (volitelné) pro bufferování.
Uložení logů: Elasticsearch.
Vizuální zobrazení: Grafana pro metriky a logy.
Upozornění: Alertmanager (integrovaný s Prometheus), integrovaný se Slack, PagerDuty.
Automatizace: Ansible nebo Puppet pro nasazení agentů a konfiguraci.
Orchestrace (volitelné, ale doporučené): Kubernetes pro nasazení monitorovacího stacku.

Návrh monitorovacího systému:

Architektura:
- Více instancí node_exporter na serverech.
- Jeden nebo více replikovaných serverů Prometheus (pomocí Thanos Receiver nebo VictoriaMetrics VMAgent) pro sběr dat.
- Thanos / VictoriaMetrics pro agregaci, dlouhodobé ukládání a dotazy nad Prometheus.
- Jednotný Elasticsearch cluster pro ukládání logů.
- Cluster Grafana pro vizualizaci.
- Jeden nebo více instancí Alertmanager.
- Fluentd / Filebeat agenti na serverech pro sběr logů.
```
graph TD
    A[200 Serverů] -- node_exporter --> B(Prometheus Server)
    A -- Fluentd/Filebeat --> C(Kafka/RabbitMQ - Volitelné)
    C -- Fluentd/Logstash --> D(Elasticsearch Cluster)
    B -- Remote Write --> E(Thanos/VictoriaMetrics)
    E -- Dotaz --> F(Grafana)
    D -- Dotaz --> F
    B -- Upozornění --> G(Alertmanager)
    G -- Notifikace --> H(Slack/PagerDuty)
```
Konfigurace sběru metrik (Prometheus):
- Dynamické objevování cílů (serverů) přes service discovery (např. s využitím Consul nebo Kubernetes) nebo statické konfigurace (spravované přes Ansible).
- Nastavení intervalů sběru (scrape_interval).
- Použití pravidel záznamu (recording rules) pro agregaci často dotazovaných metrik.
```
# Příklad scrape konfigurace pro Prometheus
scrape_configs:
  - job_name: 'node_exporter'
    # Dynamické objevování nebo static_configs
    static_configs:
      - targets: ['server1:9100', 'server2:9100', ...]
    # metrics_path: /metrics # Výchozí hodnota
```

Konfigurace sběru logů:

Nastavení agentů (Fluentd/Filebeat) pro monitorování log souborů a jejich odesílání na centrální uzel.
Parsování logů na úrovni agenta nebo před odesláním do Elasticsearch pro strukturování dat.

# Příklad konfigurace Filebeat (filebeat.yml)
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
    - /var/log/syslog
#-------------------------- Elasticsearch výstup ---------------------------
output.elasticsearch:
  hosts: ["elasticsearch:9200"]

Nastavení Grafana:
- Přidání zdrojů dat (Prometheus, Elasticsearch).
- Vytváření dashboardů:
  - Přehledové dashboardy (Health Overview).
  - Dashboardy podle kategorií (CPU, Paměť, Disk, Síť).
  - Dashboardy pro konkrétní služby/aplikace.
  - Dashboardy pro logy.
- Použití proměnných šablon pro dynamický výběr serverů/služeb.

Nastavení upozornění:

Definice prahových hodnot na základě metrik.
Vytváření pravidel upozornění v Prometheus (nebo Alertmanager).
Konfigurace příjemců v Alertmanageru (integrace).
Definice eskalačních politik (např. nejdříve upozornění na Slack, poté hovor přes PagerDuty).

# Příklad pravidla záznamu a upozornění v Prometheus (rules.yml)
# Pravidlo záznamu: procento CPU zátěže za 5 minut
- record: instance:node_cpu_user_percent:rate5m
  expr: 100 - avg without (cpu)(rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)

# Pravidlo upozornění: Vysoká zátěž CPU (> 80%)
- alert: HighCPULoad
  expr: instance:node_cpu_user_percent:rate5m > 80
  for: 5m # Čekat 5 minut před spuštěním
  labels:
    severity: warning
  annotations:
    summary: "Vysoká zátěž CPU na {{ $labels.instance }}"
    description: "CPU zátěž na {{ $labels.instance }} je {{ $value }}%."

Automatizace:
- Použití Ansible playbooků pro:
  - Instalaci a konfiguraci node_exporter, Fluentd/Filebeat.
  - Nasazení stacku Prometheus/Alertmanager/Grafana/Elasticsearch.
  - Správu konfiguračních souborů (scrape configs, pravidla, dashboardy).

Toto by byl komplexní, škálovatelný a flexibilní přístup k monitorování velkého počtu serverů.

Jak byste nastavili monitoring pro 200 serverů? Jaké přístupy a nástroje byste použili, a jak byste navrhli systém monitorování?