Data EngineerDesde BAOSS buscamos un/a Data Engineer para un proyecto del sector bancario centrado en migrar una plataforma Hadoop a cloud. Trabajarás con Apache Spark y Scala para transformar datos y con Apache Airflow para automatizar su ingesta y procesamiento.¿Qué harás?Participar en la migración de la infraestructura Hadoop a un contexto cloud con Kubernetes, almacenamiento COS y servicios gestionados de Spark y Airflow.Desarrollar procesos de transformación y enriquecimiento de datos con Spark, Scala y SQL, incorporando controles de calidad.Automatizar pipelines de datos con Airflow y configurar procesos de CI/CD para pruebas y despliegues.Escribir pruebas unitarias y de validación, documentar los procesos técnicos y operativos y colaborar con equipos de datos, negocio y operaciones IT.¿Qué buscamos?Buen manejo de Spark con Scala, Hadoop, HDFS y Apache Airflow,
y conocimiento sólido de Oozie y Shell scripting.Dominio de SQL y conocimientos de bases de datos NoSQL, almacenamiento de objetos S3/COS y formatos Parquet y ORC.Conocimientos de CI/CD con GitLab CI, Jenkins o herramientas equivalentes, del ciclo de vida del software y de metodologías ágiles.Capacidad para diseñar prompts y usar herramientas de IA generativa en tareas de desarrollo, pruebas, generación de datos o documentación.Inglés C1, capacidad para resolver problemas y facilidad para colaborar con equipos técnicos y de negocio.¿Qué ofrecemos?Contrato indefinido a través de BaossModalidad híbrida de teletrabajo en Madrid Spark, Scala, Apache Airflow Visita: https://www.Tecnoempleo.Com/data-engineer-baoss/spark-scala/rf-49611472b2e113e9f749?lang=es&utm;_source=general
📌 Data Engineer, Hibrido (Madrid)
🏢 Baoss
📍 Madrid