Sharding nedir?

Shardleme, büyük veri kümelerinin daha küçük, yönetilebilir parçalara, yani shardlara bölünmesi işlemidir. Her shard, verilerin bir kısmını içeren bağımsız bir veritabanı veya tablodur. Bu, yük ve depolamayı birkaç sunucu veya veritabanı örneği arasında dağıtarak sistemin performansını, kullanılabilirliğini ve kapasitesini artıran yatay ölçeklendirmedir.

Anahtar noktalar:

• Shard anahtarı: Belirli bir kaydı hangi shard'a koyacağını belirlemek için kullanılan veri özniteliği (örneğin, kullanıcı ID'si, coğrafi konum). Doğru anahtarın seçilmesi, verilerin dengeli dağılımı için kritiktir.
• Shard stratejileri: Verilerin shardlar arasında nasıl dağıtılacağını belirlemek için kullanılan farklı yöntemler:
  • Aralık Sharding: Veriler, shard anahtarının değer aralıklarına göre dağıtılır.
  • Hash Sharding: Shard anahtarı hash'lenir ve sonuç, shard'ı belirler.
  • Dizin Tabanlı Sharding: Shard anahtarı ile shard arasındaki eşleştirmeyi sağlayan bir referans tablosu kullanılır.
• Yönlendirme: Bir sorgu için gerekli verileri içeren shard'ı belirleme mekanizması.
• Yeniden dengeleme: Verilerin, örneğin, shard ekleme veya kaldırma sırasında, shardlar arasında yeniden dağıtılması.

Avantajlar:

• Ölçeklenebilirlik: Artan veri hacmi ve yükleriyle başa çıkmayı sağlar.
• Performans: Tekil sunucular üzerindeki yükü azaltır, sorgu hızını artırır.
• Kullanılabilirlik: Bir shard'ın arızası, tüm sistemi devre dışı bırakmak zorunda değildir.
• Yönetilebilirlik: Büyük veri kümelerinin yönetimini kolaylaştırır.

Dezavantajlar:

• Karmaşıklık: Sharded bir sistemin uygulanması ve yönetimi daha karmaşıktır.
• Çoklu shardlar üzerindeki sorgular: Birden fazla shard'dan veri gerektiren sorgular daha yavaş ve karmaşık olabilir.
• Şema değişikliği: Veri şemasında yapılacak değişiklikler, tüm shardlar arasında koordinasyon gerektirebilir.

Hash kullanarak Golang'da basit yönlendirme uygulaması örneği:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard bir anahtar için shard'ı belirler
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // FNV hash fonksiyonunu kullanıyoruz
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // shard sayısına göre kalan
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Anahtar '%s' shard %d'ye gider\n", key, shard)
	}
}