Kako napraviti otporan Kubernetes klaster?

Za kreiranje otpornog na greške Kubernetes klastera, potrebno je obezbediti redundanciju ključnih komponenti i podataka.

Glavni koraci:

1. Master čvorovi:

   • Postavite više master čvorova (najmanje tri) za komponentu kube-apiserver, koji rade iza load balancera. Ovo obezbeđuje dostupnost API servera čak i ako jedan od master čvorova otkaže.
   • Svaki master čvor mora imati pristup zajedničkom skladištu stanja klastera — etcd.

2. etcd:

   • Postavite klaster od više čvorova (preporučuje se neparan broj, najmanje tri), raspoređenih u različite zone dostupnosti ili na fizičkim serverima. Ovo garantuje sigurnost podataka o stanju klastera.

3. Load balancer:

   • Koristite L4/L7 load balancer za raspodelu saobraćaja između master čvorova (kube-apiserver).
   • Koristite drugi load balancer za ulazni saobraćaj ka aplikacijama u klasteru (npr. Ingress Controller sa podrškom za otpornost na greške).

4. Radni čvorovi (Worker Nodes):

   • Postavite dovoljan broj radnih čvorova za pokretanje Pod-ova.
   • Rasporedite radne čvorove u različite zone dostupnosti ili na fizičke servere radi obezbeđenja otpornosti na padove na nivou infrastrukture.
   • Konfigurišite Pod Disruption Budgets (PDBs) za određivanje minimalnog broja dostupnih Pod-ova tokom dobrovoljnih prekida (npr. pri ažuriranju čvorova).

5. Skladište:

   • Koristite distribuirano skladište ili cloud skladište sa sopstvenom otpornosti na greške za Persistent Volumes.
   • Primeri: Rook (Ceph), GlusterFS, cloud provajderi (AWS EBS, GCP Persistent Disk, Azure Managed Disks) sa replikacijom.

6. Mreža:

   • Koristite pouzdano mrežno rešenje CNI sa podrškom za otpornost (npr. Calico, Cilium sa replikovanim komponentama).
   • Osigurajte povezanost između master čvorova, čvorova etcd i radnih čvorova.

7. Backup:

   • Redovno pravite backup-ove podataka etcd.
   • Koristite alate poput Velero za backup i oporavak stanja klastera i Persistent Volumes.

Primer arhitekture:

graph LR
    subgraph Korisnici
        A[Korisnik] --> B(Load balancer za saobraćaj aplikacija)
    end

    subgraph Kubernetes klaster
        subgraph Master čvorovi
            C1(Master čvor 1)
            C2(Master čvor 2)
            C3(Master čvor 3)
        end

        subgraph etcd klaster
            D1(etcd 1)
            D2(etcd 2)
            D3(etcd 3)
        end

        subgraph Radni čvorovi
            E1(Radni čvor 1)
            E2(Radni čvor 2)
            E3(Radni čvor 3)
        end

        subgraph Skladište
            F(Distribuirano skladište)
        end

        subgraph Mreža
            G(CNI mreža)
        end

        B --> Bal(Load balancer API-servera)
        Bal --> C1
        Bal --> C2
        Bal --> C3

        C1 <--> D1
        C1 <--> D2
        C1 <--> D3
        C2 <--> D1
        C2 <--> D2
        C2 <--> D3
        C3 <--> D1
        C3 <--> D2
        C3 <--> D3

        C1 --> G
        C2 --> G
        C3 --> G

        E1 <--> G
        E2 <--> G
        E3 <--> G

        E1 <--> F
        E2 <--> F
        E3 <--> F

        G --> E1: Pokretanje Pod-ova
        G --> E2: Pokretanje Pod-ova
        G --> E3: Pokretanje Pod-ova

        E1 --> B: Saobraćaj aplikacija
        E2 --> B: Saobraćaj aplikacija
        E3 --> B: Saobraćaj aplikacija
    end

Prilikom implementacije koriste se alati za automatizaciju poput kubeadm, Kubespray ili managed Kubernetes servisi od cloud provajdera (EKS, GKE, AKS), koji olakšavaju kreiranje otpornе infrastrukture.