Какво е шардване?

Шардиране е процесът на разделяне на големи набори от данни на по-малки, управляеми части, наречени шарди. Всеки шард е независима база данни или таблица с част от данните. Това е хоризонтално мащабиране, което позволява разпределяне на натоварването и съхранението между няколко сървъра или инстанции на базата данни, подобрявайки производителността, наличността и капацитета на системата.

Ключови аспекти:

• Ключ за шардиране: Атрибут на данните (например, ID на потребител, геолокация), използван за определяне на това в кой шард да бъде поставена конкретната запис. Изборът на правилния ключ е критичен за равномерното разпределение на данните.
• Стратегии за шардиране: Различни методи за определяне как данните се разпределят по шардовете:
  • Range Sharding: Данните се разпределят по диапазони от стойности на ключа за шардиране.
  • Hash Sharding: Ключът за шардиране се хешира, а резултатът определя шарада.
  • Directory-Based Sharding: Използва се таблица-справочник за съпоставяне на ключа за шардиране с шард.
• Роутинг: Механизъм за определяне на това кой шард съдържа нужните данни за изпълнение на заявката.
• Ребалансиране: Процес на преразпределяне на данните между шардовете, например при добавяне или премахване на шардове.

Предимства:

• Мащабируемост: Позволява обработка на нарастващи обеми от данни и натоварвания.
• Производителност: Намалява натоварването върху отделните сървъри, ускорявайки изпълнението на заявки.
• Достъпност: Отказ на един шард не задължително изключва цялата система.
• Управляемост: Улеснява управлението на големи набори от данни.

Недостатъци:

• Сложност: Реализирането и управлението на шардирана система е по-сложно.
• Заявки към няколко шарда: Заявки, изискващи данни от няколко шарда, могат да бъдат по-бавни и по-сложни.
• Промени в схемата: Промените в схемата на данните може да изискват координация между всички шардове.

Пример за проста реализация на роутинг на Golang с използване на хеширане:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard определя шарада за ключ
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // използваме хеш-функцията FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // взимаме остатъка по модул на броя шардове
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Key '%s' отива в шард %d\n", key, shard)
	}
}