En AD4 Octogono estamos contratando.

Buscamos un/a Data Engineer especializado/a en Cloudera para participar en el diseño, construcción, evolución y operación de soluciones de ingeniería del dato sobre Cloudera Data Platform (CDP).

Descripción del puesto

Buscamos un/a cualificado con experiencia en ingeniería del dato, especializado/a en arquitecturas distribuidas y con experiencia práctica en entornos productivos con Cloudera.

La persona seleccionada participará en el desarrollo de procesos de ingesta, transformación, integración, procesamiento y explotación de datos, trabajando tanto con procesos batch como streaming y grandes volúmenes de información.

Titulación

- Titulación universitaria o formación equivalente en:
- Ingeniería Informática.
- Ingeniería de Telecomunicaciones.
- Matemáticas.
- Estadística.
- Disciplinas relacionadas.

Experiencia requerida
- Entre 3 y 5 años de experiencia en proyectos de ingeniería del dato.
- Entre 2 y 3 años de experiencia trabajando con tecnologías Cloudera en entornos productivos.
- Certificación oficial Cloudera Data Engineer, imprescindible.

Conocimientos técnicos imprescindibles
- Cloudera Data Platform (CDP).
- Apache Spark y PySpark.
- Spark SQL y SQL.
- Apache Hive.
- Apache Airflow y desarrollo de DAGs.
- Apache Kafka.
- Apache NiFi.
- HDFS y almacenamiento distribuido.
- Procesamiento batch y streaming.
- Procesos incrementales y captura de cambios.
- Optimización de consultas Hive e Impala.
- Integración mediante APIs REST.
- JDBC y otros conectores.
- Arquitecturas distribuidas.
- Gestión de grandes volúmenes de datos.
- Calidad, integridad y validación del dato.

Conocimientos deseables
- Migración de procesos Hadoop tradicionales a Cloudera Data Platform.
- Modernización de procesos ETL hacia arquitecturas distribuidas.




- Desarrollo de soluciones basadas en Apache Iceberg.
- Integración de Kafka y NiFi.
- Gestión de grandes volúmenes de datos y procesos críticos.
- Experiencia con dbt u otras herramientas de transformación.
- Experiencia en entornos regulados.
- Experiencia en entornos con elevados requisitos de seguridad.

Responsabilidades y funciones
- Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform.
- Desarrollar procesos distribuidos mediante Apache Spark, PySpark, Spark SQL y SQL.
- Desarrollar procesos de ingesta y movimiento de datos mediante Apache NiFi.
- Implementar soluciones de procesamiento en tiempo real mediante Apache Kafka o tecnologías equivalentes.
- Gestionar la evolución de esquemas, particionamiento, distribución y compactación de datos.
- Analizar planes de ejecución, tiempos de procesamiento y consumo de recursos.
- Identificar y resolver cuellos de botella y problemas de rendimiento.
- Garantizar la calidad del dato mediante reglas de validación y controles de integridad.
- Implementar procesos de reconciliación y gestión de datos erróneos.
- Integrar Cloudera con bases de datos, APIs, sistemas de ficheros, plataformas cloud y sistemas corporativos.
- Participar en la evolución y optimización de las arquitecturas de datos.

Perfil buscado Buscamos un/a Data Engineer especializado/a en Cloudera, con experiencia hands-on en entornos productivos y capacidad para trabajar con arquitecturas distribuidas.

Será especialmente valorable la experiencia en Spark/PySpark, Kafka, NiFi, Airflow e Iceberg, así como la participación en proyectos de modernización y migración de plataformas de datos.

Condiciones

Experiencia: 3-5 años en ingeniería del dato y 2-3 años con Cloudera.

Certificación: Cloudera Data Engineer, imprescindible.

Modalidad: Teletrabajo posible.

Salario: 40.000 € - 50.000 € brutos anuales.

📌 Data Engineer – Cloudera (Madrid)
🏢 Ad4 Octogono
📍 Madrid