16 ago
|
Shakers
|
Vitoria-Gasteiz
16 ago
Shakers
Vitoria-Gasteiz
Data Engineer Big Data - Spark, Azure & BigQueryEn Shakers colaboramos con una aseguradora líder en España, muy enfocada en innovación y transformación digital, para incorporar un/a Data Engineer especializado/a en Big Data a su equipo de Data Engineering. Proyecto de largo recorrido, con presencia híbrida en Madrid.El retoEl equipo de Data Engineering gestiona proyectos de Big Data de principio a fin, desde la toma de requisitos hasta la puesta en producción. Necesitan a alguien que diseñe soluciones, lidere la integración de datos batch y en tiempo real, y que se mueva con soltura entre Spark, Java y Python. El día a día combina diseño técnico, documentación, supervisión de desarrollos externos y una búsqueda constante de eficiencia en los procesos de datos, con margen para proponer mejoras y explorar prácticas de DevOps/DataOps.ResponsabilidadesLlevar proyectos de Big Data de extremo a extremo,
desde el levantamiento de requisitos hasta el despliegue en producción.Diseñar soluciones de datos y elaborar la documentación técnica y funcional correspondiente.Supervisar desarrollos externos y coordinar los ciclos de pruebas.Construir soluciones técnicas aplicando Spark, Java y Python.Integrar fuentes de datos mediante procesos batch y en tiempo real, liderando el proyecto de punta a punta.Optimizar procesos de datos existentes para mejorar el rendimiento de los sistemas.Proponer mejoras en las prácticas de Data Engineering y explorar enfoques DevOps/DataOps.RequisitosMás de 5 años de experiencia diseñando e implementando arquitecturas de Big Data.Experiencia sólida integrando y tratando datos en batch y en tiempo real con Spark.Conocimiento en ingeniería de procesos de IA: preparación de datasets e industrialización de código.Experiencia demostrable desarrollando software con Java y Python.Conocimientos avanzados de Azure (Power Apps, Data Factory, Databricks, FinOps).Experiencia con Google BigQuery: automatización de queries y gestión de accesos.Dominio avanzado de S
📌 Big Data Specialist (Vitoria-Gasteiz)
🏢 Shakers
📍 Vitoria-Gasteiz