En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una importante plataforma DataHub.

?️ Tus principales responsabilidades

Arquitectura y Desarrollo de Datos:

- Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).
- Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.
- Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.

Mantenimiento, Soporte y Optimización:

- Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.
- Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.

DevOps, Automatización y Cloud:

- Implementar orquestación y scheduling mediante Apache Airflow.
- Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.
- Desarrollar y ejecutar pruebas unitarias y de validación.
- Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service).
- Elaborar documentación técnica y operativa del proyecto.

? ¿Qué buscamos en ti? (Requisitos Imprescindibles)

- Stack Tecnológico:



Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.
- Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).
- Operaciones: Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).
- Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.
- Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile.

? Valoraremos muy positivamente (Deseables)

- Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud.
- Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), HashiCorp Vault o Dataiku.
- Experiencia o conocimiento del sector bancario.
- Nivel de francés B1/B2.

? ¿Qué te ofrecemos?

- Contrato indefinido en un proyecto estable y de larga duración.
- Modalidad de trabajo híbrida (50% teletrabajo / 50% presencial).
- Ubicación: Oficinas en Madrid Río.
- Salario a negociar según la experiencia aportada.
- Plan de formación a medida (certificaciones técnicas, idiomas, etc.).
- Desarrollo profesional continuo dentro de un ambiente de trabajo internacional.
- Plan de Retribución Adaptable (seguro médico, ticket restaurante, cheque guardería).

¡No dudes en inscribirte si estás buscando un nuevo reto en el área del dato!

📌 Data engineer spark/scala - híbrido (madrid)
🏢 Aubay Spain
📍 Madrid