Τι είναι το sharding;

Το sharding είναι η διαδικασία διαχωρισμού μεγάλων συνόλων δεδομένων σε μικρότερα, διαχειρίσιμα τμήματα, που ονομάζονται shards. Κάθε shard αποτελεί μια ανεξάρτητη βάση δεδομένων ή πίνακα με ένα μέρος των δεδομένων. Πρόκειται για οριζόντια κλιμάκωση που επιτρέπει την κατανομή του φορτίου και της αποθήκευσης μεταξύ πολλαπλών διακομιστών ή περιπτώσεων βάσεων δεδομένων, βελτιώνοντας την απόδοση, τη διαθεσιμότητα και τη χωρητικότητα του συστήματος.

Βασικά στοιχεία:

• Κλειδί sharding: Χαρακτηριστικό δεδομένων (π.χ., ID χρήστη, γεωγραφική τοποθεσία), που χρησιμοποιείται για τον καθορισμό σε ποιο shard θα τοποθετηθεί μια συγκεκριμένη εγγραφή. Η επιλογή του σωστού κλειδιού είναι κρίσιμη για την ομοιόμορφη κατανομή των δεδομένων.
• Στρατηγικές sharding: Διάφορες μέθοδοι για τον καθορισμό του πώς διανέμονται τα δεδομένα μεταξύ των shards:
  • Range Sharding: Τα δεδομένα διανέμονται σε εύρη τιμών του κλειδιού sharding.
  • Hash Sharding: Το κλειδί sharding hash-άρεται και το αποτέλεσμα καθορίζει το shard.
  • Directory-Based Sharding: Χρησιμοποιείται ένας πίνακας αναφοράς για την αντιστοίχιση του κλειδιού sharding με το shard.
• Routing: Μηχανισμός για τον καθορισμό του ποιο shard περιέχει τα απαραίτητα δεδομένα για την εκτέλεση ενός ερωτήματος.
• Rebalancing: Διαδικασία επανακατανομής των δεδομένων μεταξύ των shards, π.χ., κατά την προσθήκη ή αφαίρεση shards.

Πλεονεκτήματα:

• Κλιμάκωση: Επιτρέπει την αντιμετώπιση αυξανόμενων όγκων δεδομένων και φορτίων.
• Απόδοση: Μειώνει το φορτίο σε μεμονωμένους διακομιστές, επιταχύνοντας την εκτέλεση ερωτημάτων.
• Διαθεσιμότητα: Η αποτυχία ενός shard δεν αναγκαστικά βγάζει ολόκληρο το σύστημα εκτός λειτουργίας.
• Διαχειρισιμότητα: Απλοποιεί τη διαχείριση μεγάλων συνόλων δεδομένων.

Μειονεκτήματα:

• Πολυπλοκότητα: Η υλοποίηση και η διαχείριση ενός συστήματος sharding είναι πιο πολύπλοκες.
• Ερωτήματα σε πολλαπλά shards: Τα ερωτήματα που απαιτούν δεδομένα από πολλά shards μπορεί να είναι πιο αργά και πιο πολύπλοκα.
• Αλλαγές στο σχήμα: Οι αλλαγές στο σχήμα δεδομένων μπορεί να απαιτούν συντονισμό μεταξύ όλων των shards.

Παράδειγμα απλής υλοποίησης routing σε Golang με χρήση hash:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard καθορίζει το shard για ένα κλειδί
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // χρησιμοποιούμε τη συνάρτηση hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // υπόλοιπο διαίρεσης με τον αριθμό των shards
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("Το κλειδί '%s' πηγαίνει στο shard %d\n", key, shard)
	}
}