Šta je sharding?

Шардирање је процес раздвајања великих скупова података на мање, управљиве делове, назване шардови. Сваки шард је независна база података или табела са делом података. Ово је хоризонтално скалирање које омогућава расподелу оптерећења и складишта између више сервера или инстанци базе података, побољшавајући перформансе, доступност и капацитет система.

Кључни аспекти:

• Кључ за шардирање: Атрибут података (на пример, ID корисника, геолокација), који се користи за одређивање у који шард ће се ставити одређени запис. Избор правог кључа је критичан за равномерно расподељивање података.
• Стратегије шардирања: Различити методи за одређивање како се подаци распоређују по шардовима:
  • Range Sharding: Податци се распоређују по распонима вредности кључа за шардирање.
  • Hash Sharding: Кључ за шардирање се хешује, а резултат одређује шард.
  • Directory-Based Sharding: Користи се табела-списак за повезивање кључа за шардирање са шардом.
• Роутинг: Механизам за одређивање који шард садржи потребне податке за извршавање захтева.
• Ребалансирање: Процес прерасподеле података између шардова, на пример, при додавању или уклањању шардова.

Предности:

• Масштабабилност: Омогућава обраду растућих количина података и оптерећења.
• Перформансе: Смањује оптерећење на појединачним серверима, убрзавајући извршавање захтева.
• Доступност: Одазивање једног шарда није нужно искључивање целог система.
• Управљивост: Олакшава управљање великим скуповима података.

Недостаци:

• Сложеност: Реализација и управљање шардираним системом су сложенији.
• Захтеви за више шардова: Захтеви који захтевају податке из више шардова могу бити спорији и сложенији.
• Промене у шеми: Промене у шеми података могу захтевати координацију између свих шардова.

Пример једноставне реализације роутинга на Golang-у са коришћењем хеширања:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard одређује шард за кључ
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // користимо хеш-функцију FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // узимамо остатак по модулю броја шардова
}

func main() {
	numShards := 4
	ключеви := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range ключеви {
		шард := determineShard(key, numShards)
		fmt.Printf("Кључ '%s' иде у шард %d\n", key, шард)
	}
}