O que é sharding?

O particionamento é o processo de dividir grandes conjuntos de dados em partes menores e gerenciáveis, chamadas partições. Cada partição é uma base de dados ou tabela independente contendo uma parte dos dados. É uma escalabilidade horizontal que permite distribuir a carga e o armazenamento entre vários servidores ou instâncias de bases de dados, melhorando o desempenho, a disponibilidade e a capacidade do sistema.

Aspectos-chave:

• Chave de particionamento: Atributo dos dados (por exemplo, ID do usuário, geolocalização), usado para determinar em qual partição colocar um registro específico. Escolher a chave correta é crucial para uma distribuição uniforme dos dados.
• Estratégias de particionamento: Diferentes métodos para determinar como os dados são distribuídos entre as partições:
  • Particionamento por intervalo: Os dados são distribuídos por intervalos de valores da chave de particionamento.
  • Particionamento por hash: A chave de particionamento é hash e o resultado determina a partição.
  • Particionamento baseado em diretório: Usa uma tabela de referência para mapear a chave de particionamento com a partição.
• Roteamento: Mecanismo para determinar qual partição contém os dados necessários para responder a uma consulta.
• Rebalanceamento: Processo de redistribuição de dados entre as partições, por exemplo, ao adicionar ou remover partições.

Vantagens:

• Escalabilidade: Permite lidar com volumes crescentes de dados e cargas.
• Desempenho: Reduz a carga em servidores individuais, acelerando as consultas.
• Disponibilidade: A falha de uma partição não necessariamente derruba todo o sistema.
• Gerenciamento: Facilita a administração de grandes conjuntos de dados.

Desvantagens:

• Complexidade: A implementação e gestão de um sistema particionado é mais complexa.
• Consultas em múltiplas partições: Consultas que requerem dados de várias partições podem ser mais lentas e mais complexas.
• Mudança de esquema: Alterar o esquema de dados pode requerer coordenação entre todas as partições.

Exemplo de implementação simples de roteamento em Golang usando hash:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard determina a partição para uma chave
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // usamos a função hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // resto da divisão pelo número de partições
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("A chave '%s' vai para a partição %d\n", key, shard)
	}
}