Cos'è lo sharding?

Lo sharding è il processo di suddivisione di grandi insiemi di dati in parti più piccole e gestibili, chiamate shard. Ogni shard è un database o una tabella indipendente con una parte dei dati. È una scalabilità orizzontale che consente di distribuire il carico e lo storage tra più server o istanze di database, migliorando le prestazioni, la disponibilità e la capacità del sistema.

Aspetti chiave:

• Chiave di sharding: Attributo dei dati (ad esempio, ID utente, geolocalizzazione), usato per determinare in quale shard inserire un record specifico. La scelta della chiave corretta è cruciale per una distribuzione uniforme dei dati.
• Strategie di sharding: Diversi metodi per determinare come i dati vengono distribuiti tra gli shard:
  • Sharding per intervallo: I dati vengono distribuiti in intervalli di valori della chiave di sharding.
  • Sharding hash: La chiave di sharding viene hashata e il risultato determina lo shard.
  • Sharding basato su directory: Si utilizza una tabella di riferimento per mappare la chiave di sharding allo shard.
• Routing: Meccanismo per determinare quale shard contiene i dati necessari per rispondere a una query.
• Rebalancing: Processo di ridistribuzione dei dati tra gli shard, ad esempio, aggiungendo o rimuovendo shard.

Vantaggi:

• Scalabilità: Permette di gestire volumi crescenti di dati e carichi.
• Prestazioni: Riduce il carico sui singoli server, accelerando l'esecuzione delle query.
• Disponibilità: La perdita di uno shard non necessariamente rende il sistema inutilizzabile.
• Gestione: Facilita la gestione di grandi insiemi di dati.

Svantaggi:

• Complessità: L'implementazione e la gestione di un sistema sharded sono più complesse.
• Query su più shard: Le query che richiedono dati da più shard possono essere più lente e complesse.
• Modifica dello schema: Cambiare lo schema dei dati può richiedere coordinamento tra tutti gli shard.

Esempio di semplice implementazione di routing in Golang usando hashing:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard determina lo shard per una chiave
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // usiamo la funzione hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // resto della divisione per il numero di shard
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("La chiave '%s' va allo shard %d\n", key, shard)
	}
}