Co je sharding?

Shardování je proces rozdělení velkých datových souborů na menší, lépe spravovatelné části, nazývané shard. Každý shard je nezávislá databáze nebo tabulka obsahující část dat. Jedná se o horizontální škálování, které umožňuje rozdělit zátěž a úložiště mezi více serverů nebo instancí databází, čímž zvyšuje výkon, dostupnost a kapacitu systému.

Klíčové aspekty:

• Shard klíč: Atribut dat (například ID uživatele, geografická poloha), který se používá k určení, do kterého shardu se má konkrétní záznam umístit. Výběr správného klíče je klíčový pro rovnoměrné rozložení dat.
• Strategie shardování: Různé metody, jak určit, jak jsou data rozložena mezi shardy:
  • Range sharding: Data jsou rozdělena podle rozsahů hodnot shard klíče.
  • Hash sharding: Klíč shard je hashován a výsledek určuje shard.
  • Directory-based sharding: Používá se referenční tabulka k mapování shard klíče na shard.
• Routing: Mechanismus pro určení, který shard obsahuje potřebná data pro vykonání dotazu.
• Rebalancování: Proces přerozdělení dat mezi shardy, například při přidání nebo odstranění shardů.

Výhody:

• Škálovatelnost: Umožňuje zvládat rostoucí objemy dat a zátěže.
• Výkon: Snižuje zátěž na jednotlivé servery, urychluje vykonávání dotazů.
• Dostupnost: Selhání jednoho shardu neznamená nutně selhání celého systému.
• Správa: Zjednodušuje správu velkých datových souborů.

Nevýhody:

• Složitost: Implementace a správa shardovaného systému je složitější.
• Dotazy na více shardů: Dotazy vyžadující data z více shardů mohou být pomalejší a složitější.
• Změny schématu: Změny ve schématu dat mohou vyžadovat koordinaci mezi všemi shardy.

Příklad jednoduché implementace routingu v Golangu s použitím hashování:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard určuje shard pro klíč
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // používáme hashovací funkci FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // zbytek po dělení počtem shardů
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Klíč '%s' patří do shard %d\n", key, shard)
	}
}