Pourquoi ne peut-on pas simplement calculer la médiane sur chaque travailleur puis les combiner ?

La médiane est la valeur qui divise un ensemble de données ordonnées en deux parties égales. Si l'on calcule simplement la médiane sur chaque worker (partie des données), puis que l'on combine ces médianes, le résultat final ne sera pas une médiane précise de l'ensemble.

La raison en est que la médiane d'un sous-ensemble local ne prend pas en compte la distribution des données dans d'autres parties. Par exemple, si la médiane sur un worker est 10, et sur un autre 100, la fusion de ces deux nombres ne reflète en rien la médiane de l'ensemble combiné.

Pour calculer correctement la médiane dans des systèmes distribués, on utilise généralement des algorithmes qui :

• collectent des statistiques de distribution de données (par exemple, histogrammes ou tranches de quantiles) ;
• utilisent des algorithmes de calcul approximatif de la médiane (par exemple, basés sur des échantillons) ;
• ou rassemblent toutes les données en un seul endroit pour un calcul précis (si cela est possible).

Ainsi, la simple fusion des médianes locales ne donne pas un résultat correct en raison de l'absence de contexte global de distribution des données.