FuncionesEn Aubay estamos buscando un/a Data engineer para participar en el soporte, mantenimiento, y evolución técnica de una plataforma DataHub.Provincia : MadridNº Vacantes (puestos) : 1Entre sus principales responsabilidades estarán:Dar soporte a producción y realizar el mantenimiento del DataHub, resolviendo incidencias, anomalías y problemas relacionados con los datos, garantizando la estabilidad y disponibilidad de los procesos.Modificar y optimizar el código existente según las necesidades de negocio, buscando mejorar su rendimiento y mantenibilidad.Garantizar el rendimiento y la seguridad de la infraestructura de datos siguiendo buenas prácticas de Data Engineering.Realizar modelado de datos y desarrollar pipelines eficientes y escalables para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.Diseñar e implementar pipelines de procesamiento utilizando principalmente Scala, Spark, Hadoop y almacenamiento de objetos cloud (COS/S3).Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub.Implementar procesos de transformación y controles de calidad que garanticen la consistencia y precisión de los datos.Configurar pipelines de CI/CD para automatizar despliegues,



testing y gestión del desarrollo.Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la calidad e integridad del código.Implementar procesos de orquestación y scheduling mediante Apache Airflow para automatizar la ejecución de pipelines.Participar en la migración de la infraestructura Hadoop hacia una arquitectura cloud basada en Kubernetes, almacenamiento de objetos (COS), Spark as a Service y Airflow as a Service.Elaborar documentación técnica y operativa para garantizar la transferencia y conservación del conocimiento.RequisitosRequisitos técnicos obligatorios:Experiencia con Scala y SparkSQL y bases de datos estructuradasHadoop y HDFSApache AirflowOozieAlmacenamiento de objetos S3/COSShell scriptingHerramientas CI/CD: GitLab, Jenkins o similaresExperiencia desarrollando y optimizando pipelines de datosProcesos de transformación, enriquecimiento y calidad de datosIntegración de datos procedentes de distintas fuentes y formatosTesting unitario y de validaciónConocimiento del ciclo de vida de desarrollo de software (SDLC)Experiencia trabajando bajo metodologías AgileRequisitos deseables:Kubernetes y containerizaciónDremioElasticsearch y KibanaKafka y/o procesamiento de datos en streamingHashiCorp VaultDataikuExperiencia en migraciones de Hadoop hacia arquitecturas cloudConocimiento del sector bancarioFrancés B1/B2 solo valorableSe ofreceContrato indefinido y proyecto estableModalidad híbrida de trabajo (50% teletrabajo)Ubicación: Madrid RíoSalario a negociarFormación a medida (certificaciones, idiomas...)Crecimiento profesional en ambiente internacionalRetribución flexible (seguro médico, cheque guardería, ticket restaurante)
#J-18808-Ljbffr

📌 DATA ENGINEER SPARK Y SCALA (Madrid)
🏢 Aubay Spain
📍 Madrid