Чем HDFS отличается от обычных распределённых файловых систем?

HDFS (Hadoop Distributed File System) отличается от обычных распределённых файловых систем несколькими ключевыми особенностями:

• Оптимизация под большие файлы и последовательный доступ. HDFS рассчитан на хранение очень больших файлов (гигабайты и терабайты) и оптимизирован для потокового чтения и записи, а не для случайного доступа.

• Высокая отказоустойчивость через репликацию. Данные разбиваются на блоки (обычно 128 МБ) и каждый блок реплицируется на несколько узлов (по умолчанию 3), что обеспечивает устойчивость к сбоям узлов.

• Централизованное управление метаданными. В HDFS есть NameNode, который хранит метаданные о расположении блоков, а DataNodes хранят сами данные. Это упрощает управление, но создаёт точку отказа (хотя есть механизмы для HA).

• Простота и масштабируемость. HDFS проектировался для работы на кластерах из обычного аппаратного обеспечения, легко масштабируется горизонтально.

В отличие от многих других распределённых файловых систем, HDFS не предназначен для низкой задержки и случайного доступа, а для обработки больших объёмов данных в рамках аналитических задач и обработки больших данных.