Data Engineer Desde BAOSS buscamos un/a Data Engineer para un proyecto del sector bancario centrado en migrar una plataforma Hadoop a cloud. Trabajarás con Apache Spark y Scala para transformar datos y con Apache Airflow para automatizar su ingesta y procesamiento.
¿Qué harás? Participar en la migración de la infraestructura Hadoop a un entorno cloud con Kubernetes, almacenamiento COS y servicios gestionados de Spark y Airflow. Desarrollar procesos de transformación y enriquecimiento de datos con Spark, Scala y SQL, incorporando controles de calidad.
Automatizar pipelines de datos con Airflow y configurar procesos de CI/CD para pruebas y despliegues. Escribir pruebas unitarias y de validación, documentar los procesos técnicos y operativos y colaborar con equipos de datos, negocio y operaciones IT.
¿Qué buscamos? Buen manejo de Spark con Scala, Hadoop, HDFS y Apache Airflow,
y conocimiento sólido de Oozie y Shell scripting. Dominio de SQL y conocimientos de bases de datos NoSQL, almacenamiento de objetos S3/COS y formatos Parquet y ORC.
Conocimientos de CI/CD con Git Lab CI, Jenkins o herramientas equivalentes, del ciclo de vida del software y de metodologías ágiles. Capacidad para diseñar prompts y usar herramientas de IA generativa en tareas de desarrollo, pruebas, generación de datos o documentación.
Inglés C1, capacidad para resolver problemas y facilidad para colaborar con equipos técnicos y de negocio. ¿Qué ofrecemos? Contrato fijo a través de Baoss Modalidad híbrida de teletrabajo en Madrid Spark, Scala, Apache Airflow
📌 Data Engineer (Madrid)
🏢 Baoss
📍 Madrid