Funciones

En Aubay estamos buscando un/a Data engineer para participar en el soporte, mantenimiento, y evolución técnica de una plataforma DataHub. Provincia : Madrid Nº Vacantes (puestos) : 1 Entre sus principales responsabilidades estarán: Dar soporte a producción y realizar el mantenimiento del DataHub, resolviendo incidencias, anomalías y problemas relacionados con los datos, garantizando la estabilidad y disponibilidad de los procesos. Modificar y optimizar el código existente según las necesidades de negocio, buscando mejorar su rendimiento y mantenibilidad. Garantizar el rendimiento y la seguridad de la infraestructura de datos siguiendo buenas prácticas de Data Engineering. Realizar modelado de datos y desarrollar pipelines eficientes y escalables para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas. Diseñar e implementar pipelines de procesamiento utilizando principalmente Scala, Spark, Hadoop y almacenamiento de objetos cloud (COS/S3). Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub. Implementar procesos de transformación y controles de calidad que garanticen la consistencia y precisión de los datos. Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo. Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la calidad e integridad del código. Implementar procesos de orquestación y scheduling mediante Apache Airflow para automatizar la ejecución de pipelines.



Participar en la migración de la infraestructura Hadoop hacia una arquitectura cloud basada en Kubernetes, almacenamiento de objetos (COS), Spark as a Service y Airflow as a Service. Elaborar documentación técnica y operativa para garantizar la transferencia y conservación del conocimiento. Requisitos

Requisitos técnicos obligatorios: Experiencia con Scala y Spark SQL y bases de datos estructuradas Hadoop y HDFS Apache Airflow Oozie Almacenamiento de objetos S3/COS Shell scripting Herramientas CI/CD: GitLab, Jenkins o similares Experiencia desarrollando y optimizando pipelines de datos Procesos de transformación, enriquecimiento y calidad de datos Integración de datos procedentes de distintas fuentes y formatos Testing unitario y de validación Conocimiento del ciclo de vida de desarrollo de software (SDLC) Experiencia trabajando bajo metodologías Agile Requisitos deseables: Kubernetes y containerización Dremio Elasticsearch y Kibana Kafka y/o procesamiento de datos en streaming HashiCorp Vault Dataiku Experiencia en migraciones de Hadoop hacia arquitecturas cloud Conocimiento del sector bancario Francés B1/B2 solo valorable Se ofrece

Contrato indefinido y proyecto estable Modalidad híbrida de trabajo (50% teletrabajo) Ubicación: Madrid Río Salario a negociar Formación a medida (certificaciones, idiomas...) Crecimiento profesional en ambiente internacional Retribución flexible (seguro médico, cheque guardería, ticket restaurante)

#J-18808-Ljbffr

📌 DATA ENGINEER SPARK Y SCALA (Madrid)
🏢 Aubay Spain
📍 Madrid