Data Engineer Big Data - Spark, Azure & BigQuery La información a continuación detalla los requisitos del puesto, la experiencia esperada del candidato y las cualificaciones correspondientes.
¿En Shakers colaboramos con una aseguradora líder en España, muy enfocada en innovación y transformación digital, para incorporar un/a Data Engineer especializado/a en Big Data a su equipo de Data Engineering. El equipo de Data Engineering gestiona proyectos de Big Data de principio a fin, desde la toma de requisitos hasta la puesta en producción. Necesitan a alguien que diseñe soluciones, lidere la integración de datos batch y en tiempo real, y que se mueva con soltura entre Spark, Java y Python.
El día a día combina diseño técnico, documentación, supervisión de desarrollos externos y una búsqueda constante de eficiencia en los procesos de datos, con margen para proponer mejoras y explorar prácticas de DevOps/DataOps.
Llevar proyectos de Big Data de extremo a extremo, desde el levantamiento de requisitos hasta el despliegue en producción.
Diseñar soluciones de datos y elaborar la documentación técnica y funcional correspondiente.
Supervisar desarrollos externos y coordinar los ciclos de pruebas.
Construir soluciones técnicas aplicando Spark, Java y Python.
Integrar fuentes de datos mediante procesos batch y en tiempo real,
liderando el proyecto de punta a punta.
Optimizar procesos de datos existentes para mejorar el rendimiento de los sistemas.
Proponer mejoras en las prácticas de Data Engineering y explorar enfoques DevOps/DataOps.
Más de 5 años de experiencia diseñando e implementando arquitecturas de Big Data.
Experiencia sólida integrando y tratando datos en batch y en tiempo real con Spark.
Experiencia demostrable desarrollando software con Java y Python.
Conocimientos avanzados de Azure (Power Apps, Data Factory, Databricks, FinOps).
Experiencia con Google BigQuery: automatización de queries y gestión de accesos.
Dominio avanzado de SQL.
Disponibilidad para modelo híbrido en Madrid (1 día/semana presencial).
Experiencia con DevOps/DataOps, incluyendo integración y despliegue continuo.
Familiaridad con herramientas de integración o analítica como OAS, Power BI, Informatica PowerCenter o Data Quality.
Pieza fundamental en la evolución de una plataforma de datos estratégica.
Impacto directo en la arquitectura Big Data y en la estrategia de datos. xugodme
Oportunidad de consolidarte como referente técnico en Azure y Google BigQuery. xbhjioe