Mis on sharding?

Shardimine on protsess, kus suured andmekogumid jagatakse väiksemateks, hallatavateks osadeks, mida nimetatakse shardideks. Iga shard on sõltumatu andmebaas või tabel, mis sisaldab osa andmetest. See on horisontaalne skaleerimine, mis võimaldab jaotada koormust ja salvestusruumi mitme serveri või andmebaasi eksemplari vahel, parandades süsteemi jõudlust, kättesaadavust ja mahtu.

Põhipunktid:

• Shardimise võti: Andmete atribuut (näiteks kasutaja ID, geograafiline asukoht), mida kasutatakse otsustamaks, millisesse shardi paigutada konkreetne kirje. Õige võtme valimine on kriitiline andmete ühtlase jaotuse jaoks.
• Shardimise strateegiad: Erinevad meetodid, kuidas andmed jaotatakse shardide vahel:
  • Range Sharding: Andmed jaotatakse shardi võtmepikkuste vahemike järgi.
  • Hash Sharding: Shardi võti hash-itatakse ning tulemus määrab shardi.
  • Directory-Based Sharding: Kasutatakse kataloogitabelit, mis seob shardi võtmepikkuse shardi endaga.
• Routimine: Mehhanism, mis määrab, milline shard sisaldab vajalikke andmeid.
• Rebalanseerimine: Andmete ümberjaotamine shardide vahel, näiteks shardide lisamisel või eemaldamisel.

Eelised:

• Mastaapsus: võimaldab töödelda kasvavaid andmehulki ja koormusi.
• Jõudlus: vähendab koormust üksikutes serverites, kiirendab päringute täitmist.
• Saadavus: ühe shardi rike ei tähenda kogu süsteemi riket.
• Hallatavus: lihtsustab suurte andmekogumite haldamist.

Puudused:

• Suurenenud keerukus: shardimise süsteemi rakendamine ja haldamine on keerulisem.
• Mitme shardi päringud: nõudmised, mis vajavad andmeid mitmest shardist, võivad olla aeglasemad ja keerulisemad.
• Skeemi muutused: andmeskeemi muudatused võivad nõuda kõigi shardide koordineerimist.

Näide lihtsast routingu Golangis hash-funktsiooni kasutades:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard määrab shardi võtme järgi
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // kasutame FNV hash-funktsiooni
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // võtame jäägi mooduliga
}

func main() {
	numShards := 4
	võtmed := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, võti := range võtmed {
		shard := determineShard(võti, numShards)
		fmt.Printf("Võti '%s' läheb shardi %d\n", võti, shard)
	}
}