Как включить авторизацию Apache Ranger для безопасного доступа к Hive Metastore

Введение

В этом руководстве вы узнаете, как включить авторизацию Apache Ranger для безопасного доступа к Hadoop Hive Metastore. По завершении этого материала вы поймете, как настроить Ranger и реализовать политики, которые будут контролировать, кто может получить доступ к Hive Metastore и к данным, которыми он управляет.

Введение в Apache Ranger

Apache Ranger представляет собой открытый фреймворк (framework), который предоставляет комплексное решение для управления безопасностью на платформах больших данных. Он обеспечивает централизованную административную безопасность, детальный контроль доступа и комплексные возможности аудита для различных компонентов экосистемы Hadoop, включая Hive, HDFS, HBase и другие.

Что такое Apache Ranger?

Apache Ranger разработан для решения проблем безопасности, с которыми сталкиваются организации, которые внедрили технологии больших данных. Он предоставляет централизованную платформу для определения, администрирования и мониторинга политик безопасности для нескольких компонентов Hadoop, обеспечивая последовательный и эффективный контроль доступа и аудит.

Основные функции Apache Ranger

Централизованное управление политиками: Ranger позволяет администраторам определять и управлять политиками безопасности с помощью единой веб-консоли, упрощая процесс применения контроля доступа в экосистеме Hadoop.
Детальный контроль доступа: Ranger поддерживает детальный контроль доступа, позволяя администраторам определять политики на основе различных атрибутов, таких как пользователь, группа, ресурс и тип доступа (чтение, запись, выполнение).
Комплексный аудит: Ranger предоставляет надежный аудиторский систем, которая отслеживает и регистрирует все попытки доступа, позволяя администраторам отслеживать и анализировать действия пользователей в целях безопасности и соответствия требованиям.
Несомненная интеграция: Ranger интегрируется с различными компонентами Hadoop, включая Hive, HDFS, HBase и Kafka, предоставляя единое решение для управления безопасностью для всей стека больших данных.
Гибкая модель политик: Модель политик Ranger разработана так, чтобы быть гибкой и расширяемой, позволяя организациям настраивать и адаптировать политики безопасности в соответствии с их конкретными требованиями.

Типичные сценарии использования Apache Ranger

Безопасный доступ к данным: Ranger обеспечивает, чтобы только авторизованные пользователи и приложения могли получать доступ к конфиденциальным данным, хранящимся в компонентах Hadoop, таких как Hive, HDFS и HBase.
Соответствие нормативным требованиям: Комплексные возможности аудита Ranger помогают организациям соответствовать нормативным требованиям, таким как GDPR, HIPAA и PCI-DSS, предоставляя подробные журналы доступа и отчеты.
Безопасность в мультитенантной среде: Ranger обеспечивает безопасность в мультитенантных средах Hadoop, позволяя различным командам или отделам получать доступ к своим данным и ресурсам и управлять ими, сохраняя при этом строгий контроль доступа.
Управление данными: Функции централизованного управления политиками и детального контроля доступа Ranger помогают организациям применять политики управления данными и обеспечивать конфиденциальность и безопасность данных.

В следующем разделе мы рассмотрим, как настроить Apache Ranger для обеспечения безопасности доступа к Hive Metastore.

Настройка Ranger для доступа к Hive Metastore

Для обеспечения безопасности Hive Metastore с помощью Apache Ranger необходимо настроить Ranger для интеграции с сервисом Hive Metastore. Вот пошаговое руководство:

Предварительные требования

Установите и настройте Apache Ranger в кластере Hadoop.
Убедитесь, что сервис Hive Metastore запущен и доступен.

Шаги по настройке Ranger для доступа к Hive Metastore

Включите плагин Ranger для Hive Metastore:

Найдите файл конфигурации Hive Metastore (обычно hive-site.xml) и добавьте следующие свойства:

<property>
  <name>hive.security.authorization.manager</name>
  <value>org.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizerFactory</value>
</property>
<property>
  <name>hive.security.authenticator.manager</name>
  <value>org.apache.hadoop.hive.ql.security.SessionStateUserAuthenticator</value>
</property>

Перезапустите сервис Hive Metastore, чтобы изменения вступили в силу.

Настройте политики Ranger для Hive Metastore:
- Войдите в веб-интерфейс администрирования Ranger (Ranger Admin UI).
- Перейдите к сервису "Hive" и создайте новую политику для контроля доступа к Hive Metastore.
- Определите политику в соответствии с требованиями безопасности вашей организации, например:
  - Укажите пользователя или группу, которые должны иметь доступ.
  - Выберите соответствующие разрешения (например, чтение, запись, создание, удаление).
  - Выберите соответствующие ресурсы Hive (базы данных, таблицы, столбцы), к которым должна применяться политика.
Проверьте применение политики Ranger:
- Попробуйте получить доступ к Hive Metastore с использованием разных учетных записей пользователей и убедитесь, что политики Ranger применяются правильно.
- Проверьте журналы аудита Ranger, чтобы убедиться, что все попытки доступа регистрируются и контролируются.

graph LR
  A[Hive Client] --> B[Hive Metastore]
  B --> C[Ranger Plugin]
  C --> D[Ranger Admin]
  D --> E[Ranger Policies]

Следуя этим шагам, вы можете включить Apache Ranger для обеспечения безопасности Hive Metastore и гарантировать, что только авторизованные пользователи и приложения могут получать доступ к метаданным, хранящимся в Hive Metastore.

Обеспечение безопасности Hive Metastore с помощью политик Ranger

После настройки интеграции Ranger с Hive Metastore следующим шагом является определение и применение политик Ranger для обеспечения безопасности доступа к Hive Metastore.

Понимание политик Ranger для Hive Metastore

Политики Ranger для Hive Metastore позволяют контролировать доступ к различным ресурсам Hive, таким как базы данных, таблицы и столбцы. Вы можете определить политики на основе следующих критериев:

Пользователи/Группы: Укажите пользователей или группы, которые должны иметь доступ к ресурсам Hive.
Разрешения: Определите тип доступа (чтение, запись, создание, удаление), который должен быть предоставлен или запрещен.
Ресурсы: Выберите конкретные базы данных, таблицы или столбцы Hive, к которым должна применяться политика.

Создание политик Ranger для Hive Metastore

Войдите в веб-интерфейс администрирования Ranger (Ranger Admin UI):
- Перейдите в консоль администрирования Ranger, которая обычно доступна по адресу http://<ranger-admin-host>:6080.
Перейдите к сервису Hive:
- В веб-интерфейсе администрирования Ranger найдите сервис "Hive" и нажмите на него, чтобы управлять связанными с Hive политиками.
Создайте новую политику для Hive:
- Нажмите кнопку "Add New Policy", чтобы создать новую политику для Hive.
- Придумайте осмысленное имя для политики, например, "Restrict access to sensitive Hive tables" (Ограничить доступ к конфиденциальным таблицам Hive).
Настройте детали политики:
- Ресурсы: Выберите базы данных, таблицы или столбцы Hive, к которым должна применяться политика. Вы можете использовать подстановочные знаки (например, db_name.*), чтобы применить политику к нескольким ресурсам.
- Пользователи/Группы: Укажите пользователей или группы, которые должны иметь доступ к выбранным ресурсам Hive.
- Разрешения: Выберите соответствующие разрешения (чтение, запись, создание, удаление), которые должны быть предоставлены или запрещены для выбранных пользователей/групп.
Проверьте и сохраните политику:
- Проверьте детали политики, чтобы убедиться, что они соответствуют вашим требованиям безопасности.
- Нажмите "Add", чтобы сохранить политику.

graph LR
  A[Ranger Admin UI] --> B[Hive Service]
  B --> C[Create New Policy]
  C --> D[Policy Configuration]
  D --> E[Resources]
  D --> F[Users/Groups]
  D --> G[Permissions]
  E --> H[Databases, Tables, Columns]
  F --> I[Authorized Users/Groups]
  G --> J[Read, Write, Create, Drop]

Создавая и применяя политики Ranger для Hive Metastore, вы можете гарантировать, что только авторизованные пользователи и приложения могут получать доступ к метаданным, хранящимся в Hive Metastore, и манипулировать ими, повысив общую безопасность вашей экосистемы Hadoop.

Резюме

В этом руководстве, посвященном Hadoop, вы узнали, как настроить Apache Ranger для обеспечения безопасности Hive Metastore и контроля доступа к вашим данным. Настраивая политики Ranger, вы можете гарантировать, что только авторизованные пользователи и приложения могут взаимодействовать с Hive Metastore, повысив общую безопасность вашей экосистемы Hadoop.