Как да създадем устойчив на откази Kubernetes…

За създаването на устойчив на откази Kubernetes клъстер е необходимо да осигурите излишък на ключовите компоненти и данни.

Основни стъпки:

Master възли:
- Разположете няколко master възела (минимум три) за компонента kube-apiserver, които работят зад балансировчик на натоварването. Това осигурява наличността на API сървъра дори при отказ на един от master възлите.
- Всеки master възел трябва да има достъп до споделено хранилище за състоянието на клъстера — etcd.
etcd:
- Разположете клъстер от няколко възела (препоръчително нечетен брой, минимум три), разпределени в различни зони на достъп или на физически сървъри. Това гарантира сигурността на данните за състоянието.
Балансировчик на натоварването:
- Използвайте L4/L7 балансировчик за разпределение на трафика между master възлите (kube-apiserver).
- Използвайте друг балансировчик за входящия трафик към приложенията в клъстера (например, Ingress Controller с поддръжка за отказоустойчивост).
Работни възли (Worker Nodes):
- Разположете достатъчно работни възли за изпълнение на Pod-ове.
- Разпределете работните възли в различни зони на достъп или на физически сървъри, за да осигурите устойчивост при сривове на инфраструктурно ниво.
- Конфигурирайте Pod Disruption Budgets (PDBs), за да определите минималния брой налични Pod-ове по време на доброволни прекъсвания (например при актуализация на възлите).
Съхранение:
- Използвайте разпределено съхранение или облачно съхранение с собствена отказоустойчивост за Persistent Volumes.
- Примери: Rook (Ceph), GlusterFS, облачни доставчици (AWS EBS, GCP Persistent Disk, Azure Managed Disks) с репликация.
Мрежа:
- Използвайте надеждно мрежово решение CNI с поддръжка за отказоустойчивост (например, Calico, Cilium с репликирани компоненти).
- Осигурете свързаност между master възлите, възлите etcd и работните възли.
Резервно копиране:
- Редовно създавайте резервни копия на данните от etcd.
- Използвайте инструменти като Velero за архивиране и възстановяване на състоянието на клъстера и Persistent Volumes.

Примерна архитектура:

graph LR
    subgraph Потребители
        A[Потребител] --> B(Балансировчик на трафика към приложения)
    end

    subgraph Kubernetes клъстер
        subgraph Master възли
            C1(Мастер възел 1)
            C2(Мастер възел 2)
            C3(Мастер възел 3)
        end

        subgraph etcd клъстер
            D1(etcd 1)
            D2(etcd 2)
            D3(etcd 3)
        end

        subgraph Работни възли
            E1(Работен възел 1)
            E2(Работен възел 2)
            E3(Работен възел 3)
        end

        subgraph Хранилище
            F(Разпределено хранилище)
        end

        subgraph Мрежа
            G(CNI мрежа)
        end

        B --> Бал(Балансировчик API-сървър)
        Бал --> C1
        Бал --> C2
        Бал --> C3

        C1 <--> D1
        C1 <--> D2
        C1 <--> D3
        C2 <--> D1
        C2 <--> D2
        C2 <--> D3
        C3 <--> D1
        C3 <--> D2
        C3 <--> D3

        C1 --> G
        C2 --> G
        C3 --> G

        E1 <--> G
        E2 <--> G
        E3 <--> G

        E1 <--> F
        E2 <--> F
        E3 <--> F

        G --> E1: Изпълнение на Pod-ове
        G --> E2: Изпълнение на Pod-ове
        G --> E3: Изпълнение на Pod-ове

        E1 --> B: Трафик към приложения
        E2 --> B: Трафик към приложения
        E3 --> B: Трафик към приложения
    end

При внедряване се използват инструменти за автоматизация като kubeadm, Kubespray или управлявани Kubernetes услуги от доставчици на облачни услуги (EKS, GKE, AKS), които улесняват създаването на отказоустойчива инфраструктура.

Как да създадем устойчив на откази Kubernetes клъстер?