Wat is sharding?

Sharding is het proces van het opsplitsen van grote datasets in kleinere, beheersbare delen, genaamd shards. Elke shard is een onafhankelijke database of tabel met een deel van de gegevens. Het is een horizontale schaalvergroting die het mogelijk maakt om de belasting en opslag te verdelen over meerdere servers of database-instanties, waardoor de prestaties, beschikbaarheid en capaciteit van het systeem worden verbeterd.

Belangrijke aspecten:

• Shard-sleutel: Een attribuut van de gegevens (bijvoorbeeld gebruikers-ID, geografische locatie), dat wordt gebruikt om te bepalen in welke shard een specifieke record wordt geplaatst. Het kiezen van de juiste sleutel is cruciaal voor een gelijkmatige verdeling van de gegevens.
• Shard-strategieën: Verschillende methoden om te bepalen hoe gegevens worden verdeeld over shards:
  • Range Sharding: Gegevens worden verdeeld over bereikwaarden van de shard-sleutel.
  • Hash Sharding: De shard-sleutel wordt gehasht en het resultaat bepaalt de shard.
  • Directory-based Sharding: Er wordt een referentietabel gebruikt om de shard te koppelen aan de shard-sleutel.
• Routing: Mechanisme om te bepalen welke shard de benodigde gegevens bevat voor het uitvoeren van een query.
• Rebalancering: Proces van herverdeling van gegevens tussen shards, bijvoorbeeld bij het toevoegen of verwijderen van shards.

Voordelen:

• Schaalbaarheid: Maakt het mogelijk om groeiende hoeveelheden gegevens en belasting aan te kunnen.
• Prestaties: Vermindert de belasting op individuele servers, versnelt query-uitvoering.
• Beschikbaarheid: Het falen van één shard hoeft niet het hele systeem uit te schakelen.
• Beheer: Vereenvoudigt het beheer van grote datasets.

Nadelen:

• Complexiteit: Implementatie en beheer van een geshard systeem is complexer.
• Queries over meerdere shards: Queries die gegevens uit meerdere shards vereisen, kunnen trager en complexer zijn.
• Schemawijzigingen: Wijzigingen in het datamodel kunnen coördinatie tussen alle shards vereisen.

Voorbeeld van eenvoudige routing-implementatie in Golang met hashing:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard bepaalt de shard voor een sleutel
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // gebruik de FNV-hashfunctie
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // rest van de deling door het aantal shards
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Sleutel '%s' gaat naar shard %d\n", key, shard)
	}
}