Ako by ste nastavili monitorovanie pre 200 serverov…

Pre monitorovanie 200 serverov by som navrhol škálovateľný a spoľahlivý systém, ktorý zahŕňa zber, ukladanie, analýzu a vizualizáciu metrík a logov.

Prístupy:

Agent-based vs Agentless: Použil by som kombináciu. Agent-based pre hlboký zber systémových metrík (CPU, RAM, disk, sieť), agentless pre kontrolu dostupnosti služieb a portov (ping, curl).
Centralizované monitorovanie: Všetky dáta sa zbierajú a spracúvajú v centralizovanom systéme.
Automatizácia: Použil by som nástroje na automatizáciu pre nasadenie agentov, konfiguráciu a tvorbu dashboardov.
Stratégia upozornení: Nastavil by som systém upozornení s jasnými pravidlami, eskaláciou a integráciou s nástrojmi na oznámenia (Slack, PagerDuty).
Logovanie: Centralizované zhromažďovanie logov na analýzu a troubleshooting.
Vizuálna prezentácia: Informačné dashboardy pre rýchly prehľad stavu systému.

Nástroje:

Zber metrík: Prometheus (s exportérmi: node_exporter pre hostiteľov, blackbox_exporter pre kontrolu dostupnosti).
Ukladanie metrík: Prometheus (lokálne) a Thanos alebo VictoriaMetrics pre dlhodobé ukladanie a škálovanie.
Zber logov: Fluentd alebo Filebeat pre zber, Kafka alebo RabbitMQ (voliteľné) pre bufferovanie.
Ukladanie logov: Elasticsearch.
Vizuálna prezentácia: Grafana pre metriky a logy.
Upozornenia: Alertmanager (integrovaný s Prometheus), integrovaný so Slack, PagerDuty.
Automatizácia: Ansible alebo Puppet pre nasadenie agentov a konfiguráciu.
Orchestration (voliteľné, ale odporúčané): Kubernetes pre nasadenie monitorovacieho stacku.

Návrh monitorovacieho systému:

Architektúra:
- Viac inštancií node_exporter na serveroch.
- Jeden alebo viac replikovaných Prometheus serverov (pomocou Thanos Receiver alebo VictoriaMetrics VMAgent) pre zber dát.
- Thanos / VictoriaMetrics pre agregáciu, dlhodobé ukladanie a dotazy nad Prometheus.
- Jednotný Elasticsearch cluster pre ukladanie logov.
- Cluster Grafana pre vizualizáciu.
- Jeden alebo viac inštancií Alertmanager.
- Fluentd / Filebeat agenti na serveroch pre zber logov.
```
graph TD
    A[200 Serverov] -- node_exporter --> B(Prometheus Server)
    A -- Fluentd/Filebeat --> C(Kafka/RabbitMQ - Voliteľné)
    C -- Fluentd/Logstash --> D(Elasticsearch Cluster)
    B -- Remote Write --> E(Thanos/VictoriaMetrics)
    E -- Query --> F(Grafana)
    D -- Query --> F
    B -- Alert --> G(Alertmanager)
    G -- Notify --> H(Slack/PagerDuty)
```
Konfigurácia zberu metrík (Prometheus):
- Dynamické objavovanie cieľov (serverov) cez service discovery (napr. s využitím Consul alebo Kubernetes) alebo statické konfigurácie (spravované cez Ansible).
- Nastavenie intervalov zberu (scrape_interval).
- Použitie pravidiel záznamu (recording rules) pre agregáciu často požadovaných metrík.
```
# Príklad scrape konfigurácie pre Prometheus
scrape_configs:
  - job_name: 'node_exporter'
    # Dynamické objavovanie alebo static_configs
    static_configs:
      - targets: ['server1:9100', 'server2:9100', ...]
    # metrics_path: /metrics # Predvolená hodnota
```

Konfigurácia zberu logov:

Nastavenie agentov (Fluentd/Filebeat) na monitorovanie log súborov a ich odosielanie na centrálny uzol.
Parsovanie logov na úrovni agenta alebo pred odoslaním do Elasticsearch na štruktúrovanie dát.

# Príklad konfigurácie Filebeat (filebeat.yml)
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
    - /var/log/syslog
#-------------------------- Elasticsearch výstup ---------------------------
output.elasticsearch:
  hosts: ["elasticsearch:9200"]

Nastavenie Grafana:
- Pridanie zdrojov dát (Prometheus, Elasticsearch).
- Vytváranie dashboardov:
  - Prehľadové dashboardy (Health Overview).
  - Dashboardy podľa kategórií (CPU, Pamäť, Disk, Sieť).
  - Dashboardy pre konkrétne služby/aplikácie.
  - Dashboardy pre logy.
- Použitie šablónových premenných pre dynamický výber serverov/služieb.

Nastavenie upozornení:

Definovanie prahových hodnôt na základe metrík.
Vytváranie pravidiel upozornení v Prometheus (alebo Alertmanager).
Konfigurácia príjemcov v Alertmanager (integrácie).
Definovanie politík eskalácie (napr. najskôr upozornenie v Slack, potom hovor cez PagerDuty).

# Príklad pravidla záznamu a upozornenia v Prometheus (rules.yml)
# Pravidlo záznamu: percento CPU záťaže za 5 minút
- record: instance:node_cpu_user_percent:rate5m
  expr: 100 - avg without (cpu)(rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)

# Pravidlo upozornenia: Vysoké zaťaženie CPU (> 80%)
- alert: HighCPULoad
  expr: instance:node_cpu_user_percent:rate5m > 80
  for: 5m # Čakať 5 minút pred spustením
  labels:
    severity: warning
  annotations:
    summary: "Vysoké CPU záťaženie na {{ $labels.instance }}"
    description: "CPU záťaž na {{ $labels.instance }} je {{ $value }}%."

Automatizácia:
- Použitie Ansible playbookov na:
  - Inštaláciu a konfiguráciu node_exporter, Fluentd/Filebeat.
  - Nasadenie stacku Prometheus/Alertmanager/Grafana/Elasticsearch.
  - Správu konfiguračných súborov (scrape configs, rules, dashboards).

Toto by bol komplexný, škálovateľný a flexibilný prístup k monitorovaniu veľkého počtu serverov.

Ako by ste nastavili monitorovanie pre 200 serverov? Aké prístupy a nástroje by ste použili a ako by ste navrhli systém monitorovania?