რა არის შარდინგი?

შარდირება — ეს არის პროცესია, როდესაც დიდი მონაცემთა ნაკრები ნაწილებადაა დაყოფილი, სახელწოდებით შარდები. თითოეული შარდი დამოუკიდებელი მონაცემთა ბაზა ან ცხრილია, რომელიც შეიცავს მონაცემების ნაწილს. ეს ჰორიზონტალური მასშტაბირებაა, რომელიც საშუალებას აძლევს დატვირთვის და შენახვის განაწილებას რამდენიმე სერვერზე ან მონაცემთა ბაზის ინსტანციებზე, ამით აუმჯობესებს სისტემის პროდუქტიულობას, ხელმისაწვდომობას და მოცულობას.

ძირითადი ასპექტები:

• შარდირების გასაღები: მონაცემების ატრიბუტი (მაგალითად, მომხმარებლის ID, გეოლოკაცია), რომელიც გამოიყენება იმის განსაზღვრაში, რომელ შარდში უნდა განთავსდეს კონკრეტული ჩანაწერი. სწორი გასაღების არჩევა მნიშვნელოვანია მონაცემების თანაბარი განაწილებისთვის.
• შარდირების სტრატეგიები: სხვადასხვა მეთოდები, როგორ განაწილდეს მონაცემები შარდებს შორის:
  • Range Sharding: მონაცემები განაწილებულია შარდირების გასაღების მნიშვნელობების დიაპაზონებზე.
  • Hash Sharding: შარდირების გასაღები ჰეშდება, და შედეგი განსაზღვრავს შარდს.
  • Directory-Based Sharding: გამოიყენება სია-ცხრილი, რომელიც აკავშირებს შარდირების გასაღებს შარდთან.
• როუტინგი: მექანიზმი, რომელიც განსაზღვრავს, რომელ შარდშია საჭირო მონაცემები.
• რեբალანსირება: მონაცემების გადანაწილების პროცესი შარდებს შორის, მაგალითად, შარდების დამატების ან ამოღებისას.

უპირატესობები:

• მაშტაბურობა: საშუალებას აძლევს მონაცემების და დატვირთვის ზრდას.
• პროდუქტიულობა: ამცირებს დატვირთვას სერვერებზე, აჩქარებს მოთხოვნებს.
• ხელმისაწვდომობა: ერთი შარდის გაუქმება არ ნიშნავს მთლიანი სისტემის გაუქმებას.
• მართვადობა: მარტივია დიდი მონაცემთა ნაკრებების მართვა.

მოხერხებულობა:

• სირთულე: შარდირების სისტემის განხორციელება და მართვა უფრო რთულია.
• მრავალშარდიანი მოთხოვნები: მოთხოვნები, რომლებიც მოითხოვენ მონაცემებს რამდენიმე შარდიდან, შეიძლება იყოს უფრო ნელი და რთული.
• შესწორებები სქემაში: მონაცემთა სქემის ცვლილებები შეიძლება მოითხოვოს ყველა შარდის კოორდინაცია.

გოლანგში ჰეშირების გამოყენებით მარტივი როუტინგის მაგალითი:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard განსაზღვრავს შარდს გასაღებისთვის
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // ვიყენებთ FNV ჰეშ-ფუნქციას
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // ვიღებთ მოდულით დარჩენას
}

func main() {
	numShards := 4
	გასაღებები := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, გასაღები := range გასაღებები {
		shard := determineShard(გასაღები, numShards)
		fmt.Printf("გასაღ '%s' მიდის შარდ %d-ში\n", გასაღები, shard)
	}
}