De ce nu se poate calcula pur și simplu mediană pe fiecare worker și apoi să se combine?

Mediana este valoarea care împarte un set de date ordonate în două părți egale. Dacă pur și simplu calculăm mediana pe fiecare worker (parte a datelor), apoi combinăm aceste mediane, rezultatul final nu va fi o mediană precisă a întregului set.

Motivul este că mediana unui subansamblu local nu ține cont de distribuția datelor în alte părți. De exemplu, dacă pe un worker mediana este 10, iar pe altul 100, combinarea acestor două numere nu reflectă în mod corespunzător mediana întregului set combinat.

Pentru calcularea corectă a medianei în sistemele distribuite, se aplică de obicei algoritmi care:

• colectează statistici despre distribuția datelor (de exemplu, histogramă sau secțiuni de cuantile);
• utilizează algoritmi pentru calculul aproximativ al medianei (de exemplu, pe baza de eșantioane);
• sau adună toate datele într-un singur loc pentru o calculare precisă (dacă este posibil).

Prin urmare, simpla combinare a medianelor locale nu oferă un rezultat corect din cauza lipsei contextului global al distribuției datelor.