HDFS vs On-Prem S3

1. HDFS (Hadoop Distributed File System)

Как это работает
HDFS — это распределенная файловая система, предназначенная для хранения больших наборов данных на кластере машин, оптимизированная для обработки больших данных.
Она делит данные на блоки (по умолчанию размер блока — 128 МБ) и реплицирует эти блоки на несколько узлов для обеспечения отказоустойчивости.
Идеально подходит для паттернов “пишем один раз, читаем много раз” с большими файлами.
HDFS лучше всего работает в связке с фреймворками обработки данных на основе Hadoop, такими как Hive и Spark.

Типичные случаи использования

• Обработка больших данных инструментами Hadoop (например, Spark).
• Аналитика, процессы машинного обучения.
• Хранилища данных для хранения необработанных, неструктурированных данных.

Управление доступом в HDFS
HDFS предоставляет несколько механизмов для контроля доступа к данным:

1. Файловые разрешения (модель POSIX)
   Использует разрешения по модели POSIX: чтение, запись, выполнение для пользователей, групп и других.
   Разрешения управляются с помощью суперпользователя Hadoop и команд типа hdfs dfs -chmod и hdfs dfs -chown.

2. Аутентификация Kerberos
   Kerberos используется для аутентификации пользователей и сервисов, обращающихся к HDFS.

3. Списки контроля доступа (ACL)
   ACL предоставляют более точный контроль над доступом к отдельным файлам или каталогам.
   Позволяет администраторам задавать явные разрешения для пользователей/групп сверх базовых POSIX-управлений.

4. Apache Ranger
   Apache Ranger предоставляет централизованное управление безопасностью.

   Поддерживает управление доступом на основе ролей (RBAC) и детализированные политики авторизации для управления доступом.

Проблемы с безопасностью HDFS

• Настройка Kerberos может быть сложной, особенно в крупных средах.
• Управление разрешениями может стать громоздким с большим числом пользователей.
• Гранулярность контроля доступа может быть ограничена моделью разрешений POSIX.

---

2. On-Prem S3 (например, MinIO)

Как это работает
MinIO — это объектная система хранения, совместимая с S3. Она имитирует API S3, позволяя хранить данные в виде объектов (пар ключ-значение) в распределенной форме.
Работает на локальном оборудовании и предлагает те же возможности, что и облачные сервисы S3, такие как Amazon S3.

Типичные случаи использования

• Хранение резервных и архивных данных на локальном оборудовании.
• Хранилища данных, аналитика больших данных.
• Хостинг статичных файлов, медиафайлов или логов в корпоративных средах.
• Интеграция с инструментами для обработки больших данных (например, Apache Spark).

Управление доступом в On-Prem S3 (MinIO)
MinIO использует управление доступом на основе политик (PBAC).

1. Политики для бакета, IAM
   Политики для бакета определяют разрешения на доступ на уровне бакета и записываются в формате JSON, указывая действия и условия (например, s3:GetObject).
   IAM роли/пользователи: доступ управляется путем создания пользователей и ролей с определенными разрешениями. Эти роли могут предоставлять полный доступ, доступ только для чтения или более специфический доступ в зависимости от политики.

2. Шифрование и безопасный доступ
   MinIO поддерживает серверное шифрование (SSE) для защиты данных.
   Доступ защищен HTTPS с использованием TLS шифрования.
   Предварительно подписанные URL позволяют предоставлять временный доступ к объектам, что полезно для обмена файлами с ограниченным временем доступа.

3. Интеграция с внешними системами аутентификации
   Решения On-prem S3 интегрируются с корпоративными системами аутентификации, такими как Active Directory и OAuth для централизованного управления пользователями.

4. Аудит и логирование
   MinIO предоставляет журналы аудита для отслеживания событий доступа, что обеспечивает соответствие требованиям и мониторинг безопасности.

5. Проблемы с управлением доступом в On-Prem S3

• Конфигурация безопасности: Правильная настройка шифрования, IAM ролей и политик доступа может потребовать определенной экспертизы.
• Масштабируемость: По мере роста системы поддержание постоянного управления доступом для больших наборов данных и пользователей может стать проблемой.

---

3. Ключевые различия: HDFS против On-Prem S3

Особенность	HDFS	On-Prem S3 (например, MinIO)
Тип хранения	Блочное хранение файлов	Объектное хранилище
Контроль доступа	Разрешения по модели POSIX, Kerberos, ACLs	IAM роли, политики для бакета
Гранулярность управления доступом	Разрешения на уровне файлов и каталогов; ACLs	Только на уровне бакета
Аутентификация	Kerberos	Интеграция Active Directory, OAuth
Сложность	Требует сложного управления оборудованием и кластером	Упрощенное управление
Масштабируемость	Горизонтальное масштабирование с ручным вмешательством	Бесшовное горизонтальное масштабирование
Отказоустойчивость	Репликация данных	Репликация данных
Производительность	Оптимизировано для больших последовательных чтений и записей	Оптимизировано для случайного доступа к объектам
Сложность управления	Требует сложной настройки безопасности (Kerberos, ACLs)	Упрощенное управление доступом через политики
Паттерны доступа к данным	Лучше для большой последовательной обработки данных	Лучше для объектного хранения и случайного доступа
Интеграция с Big Data	Нативная интеграция с экосистемой Hadoop	Совместимость с инструментами Big Data, такими как Spark
Особенности безопасности	Kerberos, Ranger для управления политиками	TLS, шифрование, OAuth, предварительно подписанные URL

---

4. Заключение: Стоит ли переходить с HDFS на On-Prem S3?

Преимущества On-Prem S3 (MinIO):

• Масштабируемость: Решения On-prem S3 предоставляют более гибкое и простое горизонтальное масштабирование по сравнению с HDFS.
• Управление: MinIO и другими решениями On-prem S3 легче управлять.
• Контроль доступа: Интеграция MinIO с IAM, LDAP и OAuth упрощает управление доступом для множества пользователей
• Совместимость с облаком: MinIO предоставляет совместимость с API S3, что позволяет интегрировать с инструментами и сервисами, которые требуют S3, даже если данные размещены на локальной инфраструктуре.

Проблемы перехода на On-Prem S3:

• Затраты на миграцию: Переход с HDFS на модель объектного хранения требует значительных изменений в архитектуре данных и рабочих процессах.
• Обработка данных: HDFS оптимизирован для высокоскоростной последовательной обработки больших файлов, и может быть более эффективным для обработки больших пакетов данных. Если рабочие процессы сильно зависят от инструментов на базе Hadoop,, переход на On-prem S3 может усложнить процесс.
• Кривая обучения: Переход от модели блочного хранения (HDFS) к объектному хранению (S3) может потребовать от вашей команды адаптации к новым парадигмам обработки данных.

Когда выбрать On-Prem S3:

• Если нужно гибкое объектное хранение с возможностью масштабирования с минимальным управлением физической инфраструктурой.
• Если рабочие процессы больше ориентированы на объектное хранение (например, работа с маленькими файлами, управление медиа-данными, логами и т. д.).
• Если требуется облегчить интеграцию с облачными инструментами или рассматривается гибридная облачная архитектура.

Когда оставаться с HDFS:

• Если рабочие процессы включают обработку больших данных с последовательным доступом (например, пакетные задания), где HDFS отлично справляется.
• Если вы уже глубоко интегрированы в экосистему Hadoop и вам нужна тесная интеграция с такими инструментами, как Hive и HBase.
• Если нужна сильная интеграция с фреймворками обработки больших данных, которые оптимизированы под HDFS.