En Aubay estamos buscando un/a Data Engineer para unirse a nuestro equipo y ser una pieza clave en el soporte, mantenimiento y evolución técnica de una importante plataforma Data Hub. Tus principales responsabilidades Arquitectura y Desarrollo de Datos: Diseñar e implementar pipelines de procesamiento escalables utilizando Scala, Spark, Hadoop y almacenamiento cloud (COS/S3). Realizar el modelado de datos para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.

Solicitar este puesto es sencillo. Desplácese hacia abajo y haga clic en "Solicitar" para ser considerado para esta posición.

Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del Data Hub, asegurando la calidad y consistencia mediante controles exhaustivos. Mantenimiento, Soporte y Optimización: Dar soporte a producción y mantener el Data Hub: resolución de incidencias, anomalías y garantía de disponibilidad de los procesos. Modificar y optimizar el código existente para mejorar su rendimiento, seguridad y mantenibilidad aplicando buenas prácticas.

Dev Ops, Automatización y Cloud: Implementar orquestación y scheduling mediante Apache Airflow . Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo. Desarrollar y ejecutar pruebas unitarias y de validación. Participar en la migración de la infraestructura Hadoop hacia arquitecturas Cloud (Kubernetes, COS, Spark as a Service, Airflow as a Service). Elaborar documentación técnica y operativa del proyecto.



¿Qué buscamos en ti? (Requisitos Imprescindibles)

Stack Tecnológico: Sólida experiencia con Scala, Spark, SQL y bases de datos estructuradas.

Ecosistema Big Data: Conocimiento en Hadoop, HDFS, Apache Airflow, Oozie y almacenamiento de objetos (S3/COS).

Operaciones: Shell scripting y manejo de herramientas CI/CD (Git Lab, Jenkins o similares). Habilidades técnicas: Experiencia demostrable creando y optimizando pipelines de datos, procesos ETL/calidad, testing unitario e integración continua.

Metodología: Conocimiento del ciclo de vida del software (SDLC) y experiencia trabajando bajo marcos Agile. Valoraremos muy positivamente (Deseables) Experiencia previa en migraciones de Hadoop hacia arquitecturas Cloud.

Conocimientos en: Kubernetes/containerización, Dremio, Elasticsearch, Kibana, Kafka (streaming), Hashi Corp Vault o Dataiku. Experiencia o conocimiento del sector bancario. Nivel de francés B1/B2. ¿Qué te ofrecemos? Contrato fijo en un proyecto estable y de larga duración. Modalidad de trabajo híbrida (50% teletrabajo / 50% presencial).

Ubicación: Oficinas en Madrid Río. Salario a negociar según la experiencia aportada. Plan de formación a medida (certificaciones técnicas, idiomas, etc.). Desarrollo profesional continuo dentro de un ambiente de trabajo internacional. Plan de Retribución Flexible (seguro médico, ticket restaurante, cheque guardería). ¡No dudes en inscribirte si estás buscando un nuevo reto en el área del dato! xugodme

Hay opciones de teletrabajo/trabajo desde casa disponibles para este puesto.

📌 Data engineer spark/scala - híbrido (madrid) (España)
🏢 Aubay Spain
📍 España