En Aubay estamos buscando un/a

Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una significativo plataforma DataHub.

Tus principales responsabilidades Arquitectura y Desarrollo de Datos:

Diseñar e implementar pipelines de procesamiento escalables utilizando

Scala, Spark, Hadoop y almacenamiento cloud (COS/S3).

Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.

Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub, asegurando la calidad y consistencia mediante controles exhaustivos.

Mantenimiento, Soporte y Optimización:

Dar soporte a producción y mantener el DataHub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos.

Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.

DevOps, Automatización y Cloud:

Implementar orquestación y scheduling mediante

Apache Airflow .

Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.

Desarrollar y ejecutar pruebas unitarias y de validación.

Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud

(Kubernetes, COS, Spark as a Service, Airflow as a Service).

Elaborar documentación técnica y operativa del proyecto.





¿Qué buscamos en ti? (Requisitos Imprescindibles)

Stack Tecnológico

Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.

Ecosistema Big Data

Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).

Operaciones

Shell scripting y manejo de herramientas CI/CD (GitLab, Jenkins o similares).

Habilidades técnicas

Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.

Metodología

Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile.

¿Valoraremos muy positivamente (Deseables)

Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud.

Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), HashiCorp Vault o Dataiku.

Experiencia o conocimiento del sector bancario.

Nivel de francés B1/B2.

¿Qué te ofrecemos?

Contrato indefinido en un proyecto estable y de larga duración.

Modalidad de trabajo híbrida

(50% teletrabajo / 50% presencial).

Ubicación

Oficinas en Madrid Río.

Salario a negociar según la experiencia aportada.

Plan de formación a medida

(certificaciones técnicas, idiomas, etc.).

Desarrollo profesional continuo dentro de un ambiente de trabajo internacional.

Plan de Retribución Flexible

(seguro médico, ticket restaurante, cheque guardería).

📌 Data engineer Spark/Scala - Híbrido (Madrid)
🏢 Aubay Spain
📍 Madrid