En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una significativo plataforma DataHub.

Si cree que es el candidato ideal para la siguiente oportunidad, envíe su solicitud después de leer la descripción completa.

Tus principales responsabilidades

Arquitectura y Desarrollo de Datos:
- Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).
- Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
- Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.

Mantenimiento, Soporte y Optimización:
- Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.
- Modificar y optimizar el código existente para mejorar su rendimiento,



seguridad y mantenibilidad aplicando buenas prácticas.

DevOps, Automatización y Cloud:
- Implementar orquestación y scheduling mediante Apache Airflow.
- Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
- Desarrollar y ejecutar pruebas unitarias y de validación.
- Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).
- Elaborar documentación técnica y operativa del proyecto.

¿Qué buscamos en ti? (Requisitos Imprescindibles)
- Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.
- Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
- Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).
- Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines

📌 Data engineer Spark/Scala (Madrid)
🏢 Jobrapido
📍 Madrid