Tem experiência na implementação de distribuição de dados por sharding?

Sharding é um método de divisão horizontal de dados, onde a base de dados é dividida em partes (shards), cada uma armazenada separadamente. Em Python, para implementar o sharding, frequentemente usam-se bases de dados distribuídas ou caches, como Redis Cluster, ou escreve-se logicamente a distribuição de dados manualmente em diferentes instâncias.

Exemplo de sharding simples por chave:

class ShardManager:
    def __init__(self, shards):
        self.shards = shards  # lista de conexões às bases

    def get_shard(self, key):
        shard_index = hash(key) % len(self.shards)
        return self.shards[shard_index]

    def save(self, key, value):
        shard = self.get_shard(key)
        shard.save(key, value)  # método de salvamento em um shard específico

    def get(self, key):
        shard = self.get_shard(key)
        return shard.get(key)

Este método permite distribuir a carga e escalar o sistema.