Hoe verdeel je de pods correct over verschillende knooppunten in verschillende datacenters?

In Kubernetes worden de volgende mechanismen en benaderingen gebruikt om pods over knooppunten in verschillende datacenters te verdelen:

1. Topology Spread Constraints: Hiermee wordt gecontroleerd hoe pods worden verdeeld over topologische domeinen (bijvoorbeeld regio's, zones, knooppunten). Dit is het belangrijkste mechanisme voor het waarborgen van fouttolerantie en gelijkmatige belastingverdeling.

   # Voorbeeld van Topology Spread Constraints
   topologySpreadConstraints:
     - maxSkew: 1
       topologyKey: kubernetes.io/hostname # Verdeling over knooppunten
       whenUnsatisfiable: DoNotSchedule # Als de voorwaarde niet wordt voldaan, wordt de pod niet gepland
       labelSelector:
         matchLabels:
           app: my-app # Bepaalt de set pods waarop het beleid van toepassing is
     - maxSkew: 1
       topologyKey: topology.kubernetes.io/zone # Verdeling over zones
       whenUnsatisfiable: ScheduleAnyway # Zelfs als de voorwaarde wordt geschonden, wordt de pod gepland
       labelSelector:
         matchLabels:
           app: my-app
   

2. Node Affinity / Anti-Affinity: Hiermee wordt aangegeven op welke knooppunten pods gepland moeten worden (of niet). Knopen in verschillende datacenters hebben verschillende labels die gebruikt kunnen worden om de plaatsing te beheren.

   # Voorbeeld van Node Affinity
   affinity:
     nodeAffinity:
       requiredDuringSchedulingIgnoredDuringExecution:
         nodeSelectorTerms:
           - matchExpressions:
               - key: topology.kubernetes.io/zone
                 operator: In
                 values:
                   - us-east-1a
                   - us-east-1b # Planning van pods alleen in zones us-east-1a en us-east-1b
   

3. Pod Affinity / Anti-Affinity: Hiermee wordt aangegeven waar pods gepland moeten worden in relatie tot andere pods. Dit is handig voor gezamenlijke plaatsing (of scheiding) van pods van dezelfde applicatie of gerelateerde services.

   # Voorbeeld van Pod Affinity
   affinity:
     podAffinity:
       requiredDuringSchedulingIgnoredDuringExecution:
         - labelSelector:
             matchLabels:
               app: database # Planning van huidige pods op dezelfde knooppunten als pods met label app: database
           topologyKey: kubernetes.io/hostname
   

4. Pod Topology Spread Constraints in combinatie met Affinity/Anti-Affinity: Voor meer granulair beheer combineren ze vaak Topology Spread Constraints met Node of Pod Affinity/Anti-Affinity.

5. Distribute Load Balancers across Data Centers: Gebruik globale load balancers (Global Load Balancers - GLB) op DNS-niveau of speciale netwerkoplossingen die verkeer naar verschillende clusters (of knooppuntgroepen) in verschillende datacenters leiden. Dit zorgt voor beschikbaarheid, zelfs bij volledige onbeschikbaarheid van één datacenter.

6. Cluster Federation (verouderd, maar conceptueel relevant) / Multi-Cluster Setups: In complexere scenario's kunnen benaderingen worden gebruikt om meerdere clusters te beheren. Hoewel native Cluster Federation in Kubernetes verouderd is, bestaan er projecten en tools (bijvoorbeeld Kubefed, Karmada) voor het beheren van clusters die over datacenters zijn verdeeld. Dit maakt het mogelijk om gemeenschappelijke beleidslijnen en bronnen te gebruiken.

7. StatefulSet Partitioning: Voor StatefulSets kan partition worden gebruikt in RollingUpdateStrategy voor sequentiële updates van slechts een deel van de pods, wat handig kan zijn bij het werken met gedistribueerde databases of andere Stateful applicaties.

De juiste aanpak hangt af van specifieke eisen aan fouttolerantie, latentie en infrastructuurcomplexiteit. Gewoonlijk wordt een combinatie van Topology Spread Constraints en Affinity/Anti-Affinity gebruikt.

Hier is een tabel met de belangrijkste tools:

Tool	Doel	Beheersniveau
Topology Spread Constraints	Verdelen van pods over opgegeven topologische domeinen voor load balancing.	Kubernetes scheduler
Node Affinity / Anti-Affinity	Pods koppelen aan specifieke knooppunten of groepen op basis van labels.	Kubernetes scheduler
Pod Affinity / Anti-Affinity	Pods koppelen aan andere pods op basis van labels voor gezamenlijke of gescheiden plaatsing.	Kubernetes scheduler
Global Load Balancers (GLB)	Verdeling van extern verkeer over datacenters.	Externe infrastructuur/DNS
Multi-Cluster Management (bijvoorbeeld Karmada)	Beheer en synchronisatie van bronnen en beleidsregels tussen meerdere clusters.	Beheersniveau van clusters