En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza principal en el soporte, mantenimiento y evolución técnica de una importante plataforma DataHub.?️ Tus principales responsabilidadesArquitectura y Desarrollo de Datos:Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.Mantenimiento, Soporte y Optimización:Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.DevOps,



Automatización y Cloud:Implementar orquestación y scheduling mediante Apache Airflow.Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.Desarrollar y ejecutar pruebas unitarias y de validación.Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).Elaborar documentación técnica y operativa del proyecto. ¿Qué buscamos en ti? (Requisitos Imprescindibles)Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos

📌 Data engineer Spark/Scala (España)
🏢 Aubay Spain
📍 España