Шардинг деген эмне?

Шардтоо — бул чоң маалымат топтомдорун кичинекей, башкарылуучу бөлүктөргө бөлүү процесси, алар шард деп аталат. Ар бир шард — өзүнчө маалымат базасы же таблица болуп, маалыматтын бөлүгүн камтыйт. Бул горизонталдуу масштабдоо болуп саналат, ал жүктү жана сактоо көлөмүн бир нече серверлер же маалымат базасынын инстанциялары арасында бөлүштүрүүгө мүмкүндүк берет, системанын иштөө жөндөмдүүлүгүн, жеткиликтүүлүгүн жана сыйымдуулугун жогорулатат.

Негизги аспектилер:

• Шардтоо ачкычы: маалыматтын өзгөчөлүгү (мисалы, колдонуучу ID, геолокация), ал кайсы шардда жайгашарын аныктоо үчүн колдонулат. Туура ачкычты тандоо маалыматтарды бирдей бөлүштүрүү үчүн маанилүү.
• Шардтоо стратегиялары: маалыматтардын шарддар боюнча бөлүштүрүлүшүнүн ар кандай ыкмалары:
  • Range Sharding: Маалыматтар шардтоо ачкычынын маанилеринин диапазондору боюнча бөлүнөт.
  • Hash Sharding: Шардтоо ачкычы хештелет, жана натыйжа шардды аныктайт.
  • Directory-Based Sharding: Шардтоо ачкычы менен шардды байланыштыра турган таблица колдонулат.
• Роутинг: керектүү маалыматтарды камтыган шардды аныктоочу механизм.
• Ребалансировка: Маалыматтарды шарддар арасында кайра бөлүштүрүү процесси, мисалы, шарддар кошулганда же алынып салынганда.

Артыкчылыктары:

• Масштабдуулук: өсүп жаткан маалыматтар жана жүктөөлөрдү иштетүүгө мүмкүндүк берет.
• Ишке ашыруу эффективдүүлүгү: жеке серверлердин жүгүн азайтып, суроолорду тездетет.
• Жеткиликтүүлүк: бир шарддын иштен чыгышы бүт системаны иштен чыгартпайт.
• Башкаруу жеңилдиги: чоң маалымат топтомдорун башкарууну жеңилдетет.

Кийинки кемчиликтери:

• Кыйынчылык: шарддоо системасын ишке ашыруу жана башкаруу татаал.
• Көп шарддуу суроолор: бир нече шарддан маалымат талап кылган суроолор жайыраак жана татаал болушу мүмкүн.
• Шеманын өзгөрүшү: маалымат схемасындагы өзгөрүүлөр бардык шарддар менен координацияны талап кыла алат.

Голангда хештөө колдонуу менен роутингдин жөнөкөй мисалы:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard — ачкыч үчүн шардды аныктайт
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // FNV хеш-функциясын колдонобуз
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // модул боюнча калдыкты алабыз
}

func main() {
	numShards := 4
	 ачкычтар := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, ачкыч := range ачкычтар {
		shard := determineShard(ачкыч, numShards)
		fmt.Printf("Ачкыч '%s' шард %d га бара жатат\n", ачкыч, shard)
	}
}