En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una importante plataforma DataHub. Tus principales responsabilidades Arquitectura y Desarrollo de Datos: * Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3). * Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas. * Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos. Mantenimiento, Soporte y Optimización: * Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos. * Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas. DevOps, Automatización y Cloud: * Implementar orquestación y scheduling mediante Apache Airflow. * Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo. * Desarrollar y ejecutar pruebas unitarias y de validación. * Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service). * Elaborar documentación técnica y operativa del proyecto.
¡Inscríbase sin demora! Se espera un gran volumen de solicitantes para el puesto que se detalla a continuación, no espere para enviar su CV.




¿Qué buscamos en ti? (Requisitos Imprescindibles) * Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas. * Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS). * Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares). * Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua. * Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile.
Valoraremos muy positivamente (Deseables) * Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud. * Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), HashiCorp Vault o Dataiku. * Experiencia o conocimiento del sector bancario. * Nivel de francés B1/B2.
¿Qué te ofrecemos? * Contrato indefinido en un proyecto estable y de larga duración. * Modalidad de trabajo híbrida (50% teletrabajo / 50% presencial). * Ubicación: Oficinas en Madrid Río. * Salario a negociar según la experiencia aportada. * Plan de formación a medida (certificaciones técnicas, idiomas, etc.). * Desarrollo profesional continuo dentro de un ambiente de trabajo internacional. * Plan de Retribución Flexible (protegido médico, ticket restaurante, cheque guardería). ¡No dudes en inscribirte si estás buscando un reciente reto en el área del dato! xqbhyrx
Hay opciones de teletrabajo/trabajo desde casa disponibles para este puesto.

📌 Data engineer Spark/Scala - Híbrido (Madrid)
🏢 Aubay Spain
📍 Madrid