Ce este sharding-ul?

Sharding-ul este procesul de împărțire a seturilor mari de date în părți mai mici și gestionabile, numite sharding-uri. Fiecare sharding este o bază de date sau un tabel independent, conținând o parte din date. Este o scalabilitate orizontală care permite distribuirea încărcăturii și stocării între mai mulți servere sau instanțe de baze de date, îmbunătățind performanța, disponibilitatea și capacitatea sistemului.

Aspecte cheie:

• Cheia de sharding: Un atribut al datelor (de exemplu, ID-ul utilizatorului, localizarea geografică), utilizat pentru a determina în care sharding să plaseze o anumită înregistrare. Alegerea cheii corecte este crucială pentru o distribuție uniformă a datelor.
• Strategii de sharding: Diferite metode de a determina modul în care datele sunt distribuite între sharding-uri:
  • Sharding pe interval: Datele sunt distribuite pe intervale de valori ale cheii de sharding.
  • Sharding hash: Cheia de sharding este hash-ată, iar rezultatul determină sharding-ul.
  • Sharding bazat pe director: Se folosește un tabel de referință pentru a mapa cheia de sharding cu sharding-ul.
• Routing: Mecanism pentru a determina care sharding conține datele necesare pentru a răspunde la o interogare.
• Rebalansare: Procesul de redistribuire a datelor între sharding-uri, de exemplu, la adăugarea sau eliminarea sharding-urilor.

Avantaje:

• Scalabilitate: Permite gestionarea volumelor crescânde de date și încărcări.
• Performanță: Reduce încărcătura pe serverele individuale, accelerând executarea interogărilor.
• Disponibilitate: Defecțiunea unui sharding nu duce neapărat la oprirea întregului sistem.
• Gestionare: Facilitează administrarea seturilor mari de date.

Dezavantaje:

• Complexitate: Implementarea și gestionarea unui sistem sharded sunt mai complexe.
• Interogări pe mai multe sharding-uri: Interogările care necesită date din mai multe sharding-uri pot fi mai lente și mai complexe.
• Schimbări de schemă: Modificarea schemei datelor poate necesita coordonare între toate sharding-urile.

Exemplu de implementare simplă a routing-ului în Golang folosind hash:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard determină sharding-ul pentru o cheie
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // folosim funcția hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // restul împărțirii la numărul de sharding-uri
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Cheia '%s' merge la sharding-ul %d\n", key, shard)
	}
}