En Aubay estamos buscando un/a

Data Engineer

para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una relevante plataforma DataHub.

️ Tus principales responsabilidades

Arquitectura y Desarrollo de Datos:
Diseñar e implementar pipelines de procesamiento escalables utilizando

Scala, Spark, Hadoop

y almacenamiento cloud (COS/S3).
Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.

Mantenimiento, Soporte y Optimización:
Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.
Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.

DevOps, Automatización y Cloud:
Implementar orquestación y scheduling mediante

Apache Airflow .




Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
Desarrollar y ejecutar pruebas unitarias y de validación.
Participar en la

migración de la infraestructura Hadoop hacia arquitecturas Cloud

(Kubernetes, COS, Spark as a Service, Airflow as a Service).
Elaborar documentación técnica y operativa del proyecto.

¿Qué buscamos en ti? (Requisitos Imprescindibles)

Stack Tecnológico:

Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.
Ecosistema Big Data:

Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
Operaciones:

Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).
Habilidades técnicas:

Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.
Metodología:

Conocimiento del ciclo de vida del software (SDLC)

📌 Data engineer Spark/Scala (Madrid)
🏢 Aubay Spain
📍 Madrid