Hogyan működik a MapReduce, és hogyan oszlanak el az adatok a munkások között, és hogyan egyesülnek az eredmények?

A MapReduce egy programozási modell nagy adatmennyiségek feldolgozására elosztott környezetben. Két fő szakaszból áll: Map (térképezés) és Reduce (csökkentés).

1. Map: a bemeneti adatokat részekre osztják és a munkavégzőkhöz (csomópontokhoz) osztják szét. Minden munkavégző alkalmazza a Map függvényt a saját adatrészén, átalakítva a bemeneti rekordokat kulcs-érték párokra.

2. Shuffle and Sort: a Map fázis eredményeit kulcs szerint csoportosítják és rendezik. Ez biztosítja, hogy minden azonos kulccsal rendelkező érték ugyanahhoz a munkavégzőhöz kerüljön a Reduce szakaszban.

3. Reduce: minden munkavégző kap egy értékcsoportot egy adott kulcsra, és alkalmazza a Reduce függvényt, összefogva ezeket az értékeket a végső eredménybe.

Az adatok elosztása fájlrendszeren keresztül történik (pl. HDFS), amely felosztja az adatokat blokkokra és hozzárendeli azokat a munkavégzőkhöz. A Map fázis után az intermediate adatok hálózaton keresztül kerülnek a Reduce munkavégzőkhöz, ahol az aggregáció megtörténik.

Példa: szavak számolása egy nagy szövegben.

// Map függvény
map(String key, String value) {
  for (String word : value.split(" ")) {
    emit(word, 1);
  }
}

// Reduce függvény
reduce(String key, Iterator<Integer> values) {
  int sum = 0;
  while (values.hasNext()) {
    sum += values.next();
  }
  emit(key, sum);
}

Így a MapReduce lehetővé teszi nagy adatmennyiségek hatékony párhuzamos feldolgozását egy klaszteren.