Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore

Introducción

Este tutorial lo guiará a través del proceso de habilitar la autorización de Apache Ranger para un acceso seguro a su Hadoop Hive Metastore. Al final de este artículo, entenderá cómo configurar Ranger e implementar políticas para controlar quién puede acceder a su Hive Metastore y a los datos que administra.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHiveGroup(["Hadoop Hive"]) hadoop/HadoopHiveGroup -.-> hadoop/hive_setup("Hive Setup") hadoop/HadoopHiveGroup -.-> hadoop/manage_db("Managing Database") hadoop/HadoopHiveGroup -.-> hadoop/create_tables("Creating Tables") hadoop/HadoopHiveGroup -.-> hadoop/describe_tables("Describing Tables") hadoop/HadoopHiveGroup -.-> hadoop/secure_hive("Securing Hive") subgraph Lab Skills hadoop/hive_setup -.-> lab-417731{{"Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore"}} hadoop/manage_db -.-> lab-417731{{"Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore"}} hadoop/create_tables -.-> lab-417731{{"Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore"}} hadoop/describe_tables -.-> lab-417731{{"Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore"}} hadoop/secure_hive -.-> lab-417731{{"Cómo habilitar la autorización de Apache Ranger para un acceso seguro al Hive Metastore"}} end

Introducción a Apache Ranger

Apache Ranger es un framework de código abierto que proporciona una solución integral de gestión de seguridad para plataformas de big data. Ofrece administración de seguridad centralizada, control de acceso detallado y capacidades de auditoría completas en varios componentes del ecosistema Hadoop, incluyendo Hive, HDFS, HBase y muchos más.

¿Qué es Apache Ranger?

Apache Ranger está diseñado para abordar los desafíos de seguridad que enfrentan las organizaciones que han adoptado tecnologías de big data. Proporciona una plataforma centralizada para definir, administrar y monitorear políticas de seguridad en múltiples componentes de Hadoop, asegurando un control de acceso y auditoría consistentes y efectivos.

Características principales de Apache Ranger

Gestión centralizada de políticas: Ranger permite a los administradores definir y gestionar políticas de seguridad desde una única consola basada en web, lo que simplifica el proceso de aplicar controles de acceso en todo el ecosistema Hadoop.
Control de acceso detallado: Ranger admite un control de acceso granular, lo que permite a los administradores definir políticas basadas en varios atributos, como usuario, grupo, recurso y tipo de acceso (lectura, escritura, ejecución).
Auditoría completa: Ranger proporciona un sistema de auditoría robusto que registra y guarda todos los intentos de acceso, lo que permite a los administradores monitorear y analizar las actividades de los usuarios con fines de seguridad y cumplimiento.
Integración perfecta: Ranger se integra con varios componentes de Hadoop, incluyendo Hive, HDFS, HBase y Kafka, proporcionando una solución unificada de gestión de seguridad para toda la pila de big data.
Modelo de políticas flexible: El modelo de políticas de Ranger está diseñado para ser flexible y extensible, lo que permite a las organizaciones personalizar y adaptar las políticas de seguridad a sus requisitos específicos.

Casos de uso típicos de Apache Ranger

Acceso seguro a datos: Ranger asegura que solo los usuarios y aplicaciones autorizados puedan acceder a los datos sensibles almacenados en componentes de Hadoop, como Hive, HDFS y HBase.
Cumplimiento normativo: Las capacidades de auditoría completas de Ranger ayudan a las organizaciones a cumplir con los requisitos normativos, como el GDPR, HIPAA y PCI-DSS, al proporcionar registros y informes detallados de acceso.
Seguridad multiinquilino: Ranger permite una seguridad multiinquilino en entornos Hadoop, lo que permite a diferentes equipos o departamentos acceder y gestionar sus propios datos y recursos mientras se mantienen estrictos controles de acceso.
Gobierno de datos: Las características de gestión centralizada de políticas y control de acceso detallado de Ranger ayudan a las organizaciones a aplicar políticas de gobierno de datos y asegurar la privacidad y seguridad de los datos.

En la siguiente sección, exploraremos cómo configurar Apache Ranger para proteger el acceso al Hive Metastore.

Configuración de Ranger para el acceso al Hive Metastore

Para proteger el Hive Metastore con Apache Ranger, debe configurar Ranger para que se integre con el servicio Hive Metastore. Aquí tiene una guía paso a paso:

Requisitos previos

Instale y configure Apache Ranger en su clúster Hadoop.
Asegúrese de que el servicio Hive Metastore esté en ejecución y sea accesible.

Pasos para configurar Ranger para el acceso al Hive Metastore

Habilitar el complemento (plugin) de Ranger para el Hive Metastore:

Localice el archivo de configuración del Hive Metastore (por lo general hive-site.xml) y agregue las siguientes propiedades:

<property>
  <name>hive.security.authorization.manager</name>
  <value>org.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizerFactory</value>
</property>
<property>
  <name>hive.security.authenticator.manager</name>
  <value>org.apache.hadoop.hive.ql.security.SessionStateUserAuthenticator</value>
</property>

Reinicie el servicio Hive Metastore para que los cambios surtan efecto.

Configurar las políticas de Ranger para el Hive Metastore:
- Inicie sesión en la interfaz de usuario (UI) de administración de Ranger.
- Vaya al servicio "Hive" y cree una nueva política para controlar el acceso al Hive Metastore.
- Defina la política en función de los requisitos de seguridad de su organización, por ejemplo:
  - Especifique el usuario o grupo que debe tener acceso.
  - Seleccione los permisos adecuados (por ejemplo, lectura, escritura, creación, eliminación).
  - Elija los recursos de Hive relevantes (bases de datos, tablas, columnas) a los que debe aplicarse la política.
Verificar la aplicación de las políticas de Ranger:
- Intente acceder al Hive Metastore utilizando diferentes cuentas de usuario y verifique que las políticas de Ranger se apliquen correctamente.
- Compruebe los registros de auditoría de Ranger para asegurarse de que se registren y monitoreen todos los intentos de acceso.

graph LR A[Hive Client] --> B[Hive Metastore] B --> C[Ranger Plugin] C --> D[Ranger Admin] D --> E[Ranger Policies]

Si sigue estos pasos, puede habilitar Apache Ranger para proteger el Hive Metastore y asegurarse de que solo los usuarios y aplicaciones autorizados puedan acceder a los metadatos almacenados en el Hive Metastore.

Protección del Hive Metastore con políticas de Ranger

Después de configurar Ranger para que se integre con el Hive Metastore, el siguiente paso es definir y aplicar políticas de Ranger para proteger el acceso al Hive Metastore.

Comprender las políticas de Ranger para el Hive Metastore

Las políticas de Ranger para el Hive Metastore le permiten controlar el acceso a varios recursos de Hive, como bases de datos, tablas y columnas. Puede definir políticas basadas en los siguientes criterios:

Usuarios/Grupos: Especifique los usuarios o grupos que deben tener acceso a los recursos de Hive.
Permisos: Defina el tipo de acceso (lectura, escritura, creación, eliminación) que se debe conceder o denegar.
Recursos: Seleccione las bases de datos, tablas o columnas específicas de Hive a las que se debe aplicar la política.

Creación de políticas de Ranger para el Hive Metastore

Iniciar sesión en la interfaz de usuario (UI) de administración de Ranger:
- Acceda a la consola de administración de Ranger, que normalmente está disponible en http://<ranger-admin-host>:6080.
Navegar al servicio Hive:
- En la interfaz de usuario de administración de Ranger, localice el servicio "Hive" y haga clic en él para administrar las políticas relacionadas con Hive.
Crear una nueva política de Hive:
- Haga clic en el botón "Agregar nueva política" para crear una nueva política de Hive.
- Proporcione un nombre significativo para la política, como "Restringir el acceso a tablas de Hive sensibles".
Configurar los detalles de la política:
- Recursos: Seleccione las bases de datos, tablas o columnas de Hive a las que se debe aplicar la política. Puede usar comodines (por ejemplo, db_name.*) para aplicar la política a múltiples recursos.
- Usuarios/Grupos: Especifique los usuarios o grupos que deben tener acceso a los recursos de Hive seleccionados.
- Permisos: Elija los permisos adecuados (lectura, escritura, creación, eliminación) que se deben conceder o denegar a los usuarios/grupos seleccionados.
Revisar y guardar la política:
- Revise los detalles de la política para asegurarse de que coincidan con sus requisitos de seguridad.
- Haga clic en "Agregar" para guardar la política.

graph LR A[Ranger Admin UI] --> B[Hive Service] B --> C[Create New Policy] C --> D[Policy Configuration] D --> E[Resources] D --> F[Users/Groups] D --> G[Permissions] E --> H[Databases, Tables, Columns] F --> I[Authorized Users/Groups] G --> J[Read, Write, Create, Drop]

Al crear y aplicar políticas de Ranger para el Hive Metastore, puede asegurarse de que solo los usuarios y aplicaciones autorizados puedan acceder y manipular los metadatos almacenados en el Hive Metastore, mejorando la seguridad general de su ecosistema Hadoop.

Resumen

En este tutorial centrado en Hadoop, ha aprendido cómo configurar Apache Ranger para proteger su Hive Metastore y controlar el acceso a sus datos. Al configurar políticas de Ranger, puede asegurarse de que solo los usuarios y aplicaciones autorizados puedan interactuar con su Hive Metastore, mejorando la seguridad general de su ecosistema Hadoop.