Sobes.tech
Middle — Senior

Por que não se pode simplesmente calcular a mediana em cada trabalhador e depois combinar?

sobes.tech IA

Resposta da IA

A mediana é o valor que divide um conjunto de dados ordenados em duas partes iguais. Se simplesmente calcular a mediana em cada trabalhador (parte dos dados), e depois combinar essas medianas, o resultado final não será uma mediana precisa de todo o conjunto.

A razão é que a mediana de um subconjunto local não leva em consideração a distribuição de dados em outras partes. Por exemplo, se num trabalhador a mediana é 10, e noutro é 100, a junção desses dois números de forma alguma reflete a mediana de todo o conjunto combinado.

Para calcular corretamente a mediana em sistemas distribuídos, geralmente aplicam-se algoritmos que:

  • recolhem estatísticas de distribuição de dados (por exemplo, histogramas ou cortes de quantis);
  • usam algoritmos de cálculo aproximado de mediana (por exemplo, algoritmos baseados em amostras);
  • ou reúnem todos os dados num só lugar para um cálculo exato (se possível).

Assim, a simples junção das medianas locais não fornece um resultado correto devido à ausência de um contexto global de distribuição de dados.