Sharding nima?

Sharding — bu katta ma'lumotlar to'plamini kichikroq, boshqariladigan bo'laklarga, ya'ni shardlarga bo'lish jarayonidir. Har bir shard mustaqil ma'lumotlar bazasi yoki jadval bo'lib, u ma'lumotlarning bir qismini o'z ichiga oladi. Bu gorizontal kengaytirish bo'lib, yuk va saqlashni bir nechta serverlar yoki ma'lumotlar bazasi instanslari o'rtasida taqsimlash imkonini beradi, tizimning ishlashini, mavjudligini va sig'imini oshiradi.

Asosiy jihatlar:

• Shard kaliti: Ma'lumot atributi (masalan, foydalanuvchi ID, geografik joylashuv), qaysi shardga joylashtirishni aniqlash uchun ishlatiladi. To'g'ri kalitni tanlash ma'lumotlarning muvozanatli taqsimlanishi uchun juda muhim.
• Shardlash strategiyalari: Ma'lumotlar qanday taqsimlanishini belgilovchi turli usullar:
  • Oraliq shardlash: Ma'lumotlar shard kalitining qiymat oraliklariga bo'linadi.
  • Hash shardlash: Shard kaliti hash qilinadi va natija shardni belgilaydi.
  • Direktoriya asosidagi shardlash: Shard kaliti bilan shardni moslashtirish uchun referens jadvali ishlatiladi.
• Yo'naltirish: Ma'lumotlarni qaysi shardda saqlashni aniqlash mexanizmi.
• Rebalanslash: Ma'lumotlarni shardlar o'rtasida qayta taqsimlash jarayoni, masalan, shardlar qo'shish yoki olib tashlashda.

Afzalliklar:

• Kengaytiriluvchanlik: O'sib borayotgan ma'lumotlar hajmi va yuklarni boshqarish imkonini beradi.
• Performans: Yagona serverdagi yukni kamaytiradi, so'rovlarni tezlashtiradi.
• Mavjudlik: Bir shardning nosozligi butun tizimni ishdan chiqarishni talab qilmaydi.
• Boshqaruv: Katta ma'lumotlar to'plamini boshqarishni osonlashtiradi.

Kamchiliklar:

• Murakkablik: Shardlangan tizimni amalga oshirish va boshqarish murakkablashadi.
• Bir nechta sharddagi so'rovlar: Bir nechta sharddan ma'lumot talab qiladigan so'rovlar sekinroq va murakkablashishi mumkin.
• Shema o'zgarishi: Ma'lumotlar shemasini o'zgartirish barcha shardlar o'rtasida muvofiqlashtirishni talab qilishi mumkin.

Hash yordamida Golangda oddiy yo'naltirishni amalga oshirish misoli:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard kalit uchun shardni aniqlaydi
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // FNV hash funksiyasidan foydalanamiz
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // qoldiqni hisoblash
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Kalit '%s' shard %d'ga boradi\n", key, shard)
	}
}