Какими методами распределения данных по шардам ты знаком?

Основные методы распределения данных по шардам:

1. Хеширование (Hash-based sharding) — данные распределяются по шардам на основе хеш-функции от ключа. Например, shard = hash(key) % number_of_shards. Это простой и быстрый способ, но при изменении числа шардов может потребоваться перераспределение многих ключей.

2. Диапазонное распределение (Range-based sharding) — данные делятся по диапазонам ключей. Например, ключи от A до M идут в первый шард, от N до Z — во второй. Удобно для запросов по диапазонам, но может привести к неравномерной нагрузке.

3. Распределение по атрибутам (Directory-based sharding) — используется отдельная таблица или сервис, который хранит информацию, какой ключ в каком шарде. Позволяет гибко управлять распределением, но добавляет сложность и накладные расходы.

4. Виртуальные шардирование (Consistent hashing) — уменьшает перераспределение данных при изменении числа шардов, используется в распределённых системах.

Пример на Go для простого хеширования:

func getShard(key string, shardCount int) int {
    h := fnv.New32a()
    h.Write([]byte(key))
    return int(h.Sum32()) % shardCount
}