Czym jest sharding?

Shardowanie to proces dzielenia dużych zbiorów danych na mniejsze, zarządzalne części, zwane shardami. Każdy shard jest niezależną bazą danych lub tabelą zawierającą część danych. Jest to pozioma skalowalność, która pozwala rozdzielić obciążenie i przechowywanie między wieloma serwerami lub instancjami bazy danych, zwiększając wydajność, dostępność i pojemność systemu.

Kluczowe aspekty:

• Klucz shardowania: Atrybut danych (np. ID użytkownika, lokalizacja geograficzna), używany do określenia, do którego shardu umieścić dany rekord. Wybór odpowiedniego klucza jest kluczowy dla równomiernego rozkładu danych.
• Strategie shardowania: Różne metody określania, jak dane są rozdzielane między shardami:
  • Range Sharding: Dane są rozdzielane według zakresów wartości klucza shardowania.
  • Hash Sharding: Klucz shardowania jest haszowany, a wynik określa shard.
  • Directory-Based Sharding: Używa się tabeli referencyjnej do mapowania klucza shardowania na shard.
• Routing: Mechanizm określania, który shard zawiera potrzebne dane do wykonania zapytania.
• Rebalansowanie: Proces ponownego rozkładu danych między shardami, np. przy dodawaniu lub usuwaniu shardów.

Zalety:

• Skalowalność: Pozwala obsługiwać rosnące ilości danych i obciążenia.
• Wydajność: Zmniejsza obciążenie pojedynczych serwerów, przyspieszając wykonywanie zapytań.
• Dostępność: Awaria jednego sharda nie musi wyłączać całego systemu.
• Zarządzalność: Ułatwia zarządzanie dużymi zbiorami danych.

Wady:

• Złożoność: Implementacja i zarządzanie systemem shardowanym jest bardziej skomplikowane.
• Zapytania do wielu shardów: Zapytania wymagające danych z kilku shardów mogą być wolniejsze i bardziej skomplikowane.
• Zmiana schematu: Modyfikacja schematu danych może wymagać koordynacji między wszystkimi shardami.

Przykład prostej implementacji routingu w Golang z użyciem haszowania:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard określa shard dla klucza
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // używamy funkcji hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // reszta z dzielenia przez liczbę shardów
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Klucz '%s' trafia do shard %d\n", key, shard)
	}
}