Kas ir sharding?

Shardēšana ir process, kad lieli datu kopumi tiek sadalīti mazākās, pārvaldāmās daļās, sauktas par shardiem. Katrs shard ir neatkarīga datu bāze vai tabula ar daļu datu. Tas ir horizontālas mērogošanas veids, kas ļauj sadalīt slodzi un glabāšanu starp vairākiem serveriem vai datu bāzes instancēm, uzlabojot sistēmas veiktspēju, pieejamību un ietilpību.

Galvenie aspekti:

• Shardēšanas atslēga: Datu atribūts (piemēram, lietotāja ID, ģeolokācija), kas tiek izmantots, lai noteiktu, kurā shardā ievietot konkrētu ierakstu. Pareizas atslēgas izvēle ir kritiska datu vienmērīgai sadalei.
• Shardēšanas stratēģijas: Dažādas metodes, kā dati tiek sadalīti starp shardiem:
  • Range Sharding: Dati tiek sadalīti pēc shardēšanas atslēgas vērtību diapazoniem.
  • Hash Sharding: Shardēšanas atslēga tiek hashēta, un rezultāts nosaka shard.
  • Directory-Based Sharding: Tiek izmantota katalogu tabula, kas sasaista shardēšanas atslēgu ar shard.
• Maršrutēšana: Mehānisms, kas nosaka, kurš shards satur nepieciešamos datus.
• Rebalansēšana: Datu pārkārtošana starp shardiem, piemēram, pie pievienošanas vai noņemšanas.

Priekšrocības:

• Mērogojamība: ļauj apstrādāt pieaugošus datu apjomus un slodzi.
• Veiktspēja: samazina slodzi uz atsevišķiem serveriem, paātrina pieprasījumu izpildi.
• Pieejamība: viena sharda kļūme neizslēdz visu sistēmu.
• Pārvaldāmība: atvieglo lielu datu kopumu pārvaldību.

Trūkumi:

• Sarežģītība: shardēšanas sistēmas īstenošana un pārvaldība ir sarežģītāka.
• Daudzshardu pieprasījumi: pieprasījumi, kas prasa datus no vairākiem shardiem, var būt lēnāki un sarežģītāki.
• Shēmas izmaiņas: datu shēmas izmaiņas var prasīt koordināciju starp visiem shardiem.

Piemērs vienkāršas maršrutēšanas Golang ar hash funkcijas izmantošanu:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard nosaka shardu pēc atslēgas
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // izmantojam FNV hash funkciju
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // ņemam atlikumu pēc moduļa
}

func main() {
	numShards := 4
	atslēgas := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, atslēga := range atslēgas {
		shard := determineShard(atslēga, numShards)
		fmt.Printf("Atslēga '%s' iet uz shardu %d\n", atslēga, shard)
	}
}