¿Qué es el sharding?

El fragmentado es el proceso de dividir grandes conjuntos de datos en partes más pequeñas y manejables, llamadas fragmentos. Cada fragmento es una base de datos o tabla independiente con una parte de los datos. Es una escalabilidad horizontal que permite distribuir la carga y el almacenamiento entre varios servidores o instancias de bases de datos, mejorando el rendimiento, la disponibilidad y la capacidad del sistema.

Aspectos clave:

• Clave de fragmentación: Atributo de los datos (por ejemplo, ID de usuario, geolocalización), utilizado para determinar en qué fragmento colocar un registro específico. Elegir la clave correcta es crucial para una distribución uniforme de los datos.
• Estrategias de fragmentación: Diferentes métodos para determinar cómo se distribuyen los datos entre los fragmentos:
  • Fragmentación por rango: Los datos se distribuyen en rangos de valores de la clave de fragmentación.
  • Fragmentación por hash: La clave de fragmentación se hash y el resultado determina el fragmento.
  • Fragmentación basada en directorio: Se usa una tabla de referencia para mapear la clave de fragmentación con el fragmento.
• Enrutamiento: Mecanismo para determinar qué fragmento contiene los datos necesarios para responder a una consulta.
• Rebalanceo: Proceso de redistribución de datos entre fragmentos, por ejemplo, al agregar o eliminar fragmentos.

Ventajas:

• Escalabilidad: Permite manejar volúmenes crecientes de datos y cargas.
• Rendimiento: Reduce la carga en servidores individuales, acelerando las consultas.
• Disponibilidad: La falla de un fragmento no necesariamente derriba todo el sistema.
• Gestión: Facilita la administración de grandes conjuntos de datos.

Desventajas:

• Complejidad: La implementación y gestión de un sistema fragmentado es más compleja.
• Consultas en múltiples fragmentos: Las consultas que requieren datos de varios fragmentos pueden ser más lentas y complejas.
• Cambio de esquema: Modificar el esquema de datos puede requerir coordinación entre todos los fragmentos.

Ejemplo de implementación simple de enrutamiento en Golang usando hash:

package main

import (
	"fmt"
	"hash/fnv"
)

// determineShard determina el fragmento para una clave
func determineShard(key string, numShards int) uint32 {
	h := fnv.New32a() // usamos la función hash FNV
	h.Write([]byte(key))
	return h.Sum32() % uint32(numShards) // resto de la división por el número de fragmentos
}

func main() {
	numShards := 4
	keys := []string{"user1", "user2", "user3", "user4", "user5", "user6"}

	for _, key := range keys {
		shard := determineShard(key, numShards)
		fmt.Printf("La clave '%s' va al fragmento %d\n", key, shard)
	}
}