Data Engineer Big Data - Spark, Azure & BigQuery
En Shakers colaboramos con una aseguradora líder en España, muy enfocada en innovación y transformación digital, para incorporar un/a Data Engineer especializado/a en Big Data a su equipo de Data Engineering. Proyecto de largo recorrido, con presencia híbrida en Madrid.
A continuación, encontrará un desglose completo de todo lo que se requiere de los posibles candidatos, así como la forma de presentar su candidatura. Mucha suerte
El reto
El equipo de Data Engineering gestiona proyectos de Big Data de principio a fin, desde la toma de requisitos hasta la puesta en producción. Necesitan a alguien que diseñe soluciones, lidere la integración de datos batch y en tiempo real, y que se mueva con soltura entre Spark, Java y Python. El día a día combina diseño técnico, documentación, supervisión de desarrollos externos y una búsqueda constante de eficiencia en los procesos de datos, con margen para proponer mejoras y explorar prácticas de DevOps/DataOps.
Responsabilidades
- Llevar proyectos de Big Data de extremo a extremo,
desde el levantamiento de requisitos hasta el despliegue en producción.
- Diseñar soluciones de datos y elaborar la documentación técnica y funcional correspondiente.
- Supervisar desarrollos externos y coordinar los ciclos de pruebas.
- Construir soluciones técnicas aplicando Spark, Java y Python.
- Integrar fuentes de datos mediante procesos batch y en tiempo real, liderando el proyecto de punta a punta.
- Optimizar procesos de datos existentes para mejorar el rendimiento de los sistemas.
- Proponer mejoras en las prácticas de Data Engineering y explorar enfoques DevOps/DataOps.
Requisitos
- Más de 5 años de experiencia diseñando e implementando arquitecturas de Big Data.
- Experiencia sólida integrando y tratando datos en batch y en tiempo real con Spark.
- Conocimiento en ingeniería de procesos de IA: preparación de datasets e industrialización de código.
- Experiencia demostrable desarrollando soft
📌 Big Data Specialist (Vigo)
🏢 Shakers
📍 Vigo
Postulate a este anuncio
Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.