Buscamos un/a Data Engineer Senior para incorporarse a un equipo de datos, participando en el mantenimiento y evolución de la plataforma DataHub, así como en el diseño, desarrollo y optimización de pipelines de datos.
La persona seleccionada combinará tareas de desarrollo con mantenimiento y soporte de plataformas en producción, participando también en proyectos de modernización y migración de infraestructuras hacia entornos cloud.
Funciones principales
- Mantenimiento, soporte y evolución de la plataforma DataHub.
- Resolución de incidencias y problemas en entornos de producción (BAU).
- Diseño, desarrollo y optimización de pipelines de datos mediante Scala y Apache Spark.
- Desarrollo de procesos ETL/ELT e integración de datos de diferentes fuentes.
- Procesamiento y transformación de grandes volúmenes de información.
- Gestión y optimización de entornos Hadoop y HDFS.
- Automatización y orquestación de procesos mediante Apache Airflow y Oozie.
- Configuración y mantenimiento de pipelines CI/CD.
- Participación en migraciones de infraestructuras de datos hacia entornos cloud.
- Implementación de controles de calidad y validación de datos.
- Elaboración de documentación técnica y colaboración con equipos multidisciplinares.
Requisitos
- Experiencia profesional mínima de 6 años como Data Engineer o en posiciones similares.
- Al menos 3 años de experiencia en el entorno tecnológico específico del puesto.
- Experiencia sólida en desarrollo con Scala y Apache Spark.
- Conocimientos de Hadoop, HDFS y SQL.
- Experiencia en desarrollo de pipelines ETL/ELT y procesamiento de grandes volúmenes de datos.
- Conocimientos de Apache Airflow y Oozie.
- Experiencia con herramientas CI/CD (GitLab, Jenkins o similares).
- Conocimientos de almacenamiento S3 / Cloud Object Storage.
- Experiencia en mantenimiento y soporte de plataformas de datos en producción.
- Experiencia en automatización de procesos y buenas prácticas de desarrollo.
- Inglés C1 imprescindible.
Conocimientos valorables
- Experiencia en migraciones de plataformas de datos a entornos cloud.
- Conocimientos de Kubernetes y contenerización.
- Experiencia con Dremio, Kafka, Elasticsearch y Kibana.
- Conocimientos de HashiCorp Vault y Dataiku.
- Experiencia en el sector bancario o financiero.
- Francés B1/B2.
- Conocimientos de metodologías Agile y ciclo de vida del desarrollo de software (SDLC).