MapReduce.
MapReduce - это парадигма программирования и модель обработки данных, которая хорошо сочетается с агрегационными запросами в распределенных системах.
Map фаза:
- Применяется к каждому элементу входных данных.
- Создает промежуточные пары ключ-значение.
Reduce фаза:
- Группирует промежуточные значения по ключу.
- Агрегирует значения для каждого ключа (суммирование, подсчет, усреднение и т.д.).
В контексте агрегационных запросов, Map фаза может:
- Фильтровать данные.
- Преобразовывать форматы.
- Извлекать необходимые для агрегации поля.
- Генерировать ключи для группировки.
Reduce фаза выполняет саму агрегацию.
Например, для подсчета количества пользователей по городам:
- Map: Для каждого пользователя генерируется пара (город, 1).
- Reduce: Для каждого города суммируются все значения 1, полученные от Map фазы.
MapR
MapReduce.
MapReduce - это парадигма программирования и модель обработки данных, которая хорошо сочетается с агрегационными запросами в распределенных системах.
Map фаза:
- Применяется к каждому элементу входных данных.
- Создает промежуточные пары ключ-значение.
Reduce фаза:
- Группирует промежуточные значения по ключу.
- Агрегирует значения для каждого ключа (суммирование, подсчет, усреднение и т.д.).
В контексте агрегационных запросов, Map фаза может:
- Фильтровать данные.
- Преобразовывать форматы.
- Извлекать необходимые для агрегации поля.
- Генерировать ключи для группировки.
Reduce фаза выполняет саму агрегацию.
Например, для подсчета количества пользователей по городам:
- Map: Для каждого пользователя генерируется пара (город, 1).
- Reduce: Для каждого города суммируются все значения 1, полученные от Map фазы.
MapR