15 ago
|
Ad4 Octogono
|
Madrid
15 ago
Ad4 Octogono
Madrid
En AD4 Octogono estamos contratando.
Buscamos un/a Data Engineer especializado/a en Cloudera para participar en el diseño, construcción, evolución y operación de soluciones de ingenierÃa del dato sobre Cloudera Data Platform (CDP).
Descripción del puesto
Buscamos un/a competente con experiencia en ingenierÃa del dato, especializado/a en arquitecturas distribuidas y con experiencia práctica en entornos productivos con Cloudera.
La persona seleccionada participará en el desarrollo de procesos de ingesta, transformación, integración, procesamiento y explotación de datos, trabajando tanto con procesos batch como streaming y grandes volúmenes de información.
Titulación
Titulación universitaria o formación equivalente en:
IngenierÃa Informática.
IngenierÃa de Telecomunicaciones.
Matemáticas.
EstadÃstica.
Disciplinas relacionadas.
Experiencia requerida
Entre 3 y 5 años de experiencia en proyectos de ingenierÃa del dato.
Entre 2 y 3 años de experiencia trabajando con tecnologÃas Cloudera en entornos productivos.
Certificación oficial Cloudera Data Engineer, imprescindible.
Conocimientos técnicos imprescindibles
Cloudera Data Platform (CDP).
Apache Spark y PySpark.
Spark SQL y SQL.
Apache Hive.
Apache Airflow y desarrollo de DAGs.
Apache Kafka.
Apache NiFi.
HDFS y almacenamiento distribuido.
Procesamiento batch y streaming.
Procesos incrementales y captura de cambios.
Optimización de consultas Hive e Impala.
Integración mediante APIs REST.
JDBC y otros conectores.
Arquitecturas distribuidas.
Gestión de grandes volúmenes de datos.
Calidad, integridad y validación del dato.
Conocimientos deseables
Migración de procesos Hadoop tradicionales a Cloudera Data Platform.
Modernización de procesos ETL hacia arquitecturas distribuidas.
Desarrollo de soluciones basadas en Apache Iceberg.
Integración de Kafka y NiFi.
Gestión de grandes volúmenes de datos y procesos crÃticos.
Experiencia con dbt u otras herramientas de transformación.
Experiencia en entornos regulados.
Exper
📌 Data Engineer – Cloudera (Madrid)
🏢 Ad4 Octogono
📍 Madrid