16 ago
|
Shakers
|
Vitoria-Gasteiz
16 ago
Shakers
Vitoria-Gasteiz
Data Engineer Big Data - Spark, Azure & BigQuery
Aumente sus posibilidades de conseguir una entrevista leyendo la siguiente descripción general de este puesto antes de presentar su candidatura.
En Shakers colaboramos con una aseguradora líder en España, muy enfocada en innovación y transformación digital, para incorporar un/a Data Engineer especializado/a en Big Data a su equipo de Data Engineering. Proyecto de largo recorrido, con presencia híbrida en Madrid.
El reto
El equipo de Data Engineering gestiona proyectos de Big Data de principio a fin, desde la toma de requisitos hasta la puesta en producción. Necesitan a alguien que diseñe soluciones, lidere la integración de datos batch y en tiempo real, y que se mueva con soltura entre Spark, Java y Python. El día a día combina diseño técnico, documentación, supervisión de desarrollos externos y una búsqueda constante de eficiencia en los procesos de datos, con margen para proponer mejoras y explorar prácticas de DevOps/DataOps.
Responsabilidades
- Llevar proyectos de Big Data de extremo a extremo,
desde el levantamiento de requisitos hasta el despliegue en producción.
- Diseñar soluciones de datos y elaborar la documentación técnica y funcional correspondiente.
- Supervisar desarrollos externos y coordinar los ciclos de pruebas.
- Construir soluciones técnicas aplicando Spark, Java y Python.
- Integrar fuentes de datos mediante procesos batch y en tiempo real, liderando el proyecto de punta a punta.
- Optimizar procesos de datos existentes para mejorar el rendimiento de los sistemas.
- Proponer mejoras en las prácticas de Data Engineering y explorar enfoques DevOps/DataOps.
Requisitos
- Más de 5 años de experiencia diseñando e implementando arquitecturas de Big Data.
- Experiencia sólida integrando y tratando datos en batch y en tiempo real con Spark.
- Conocimiento en ingeniería de procesos de IA: preparación de datasets e industrialización de código.
- Experiencia demostrable desarrollando software con Java y Pyt
📌 Big Data Specialist (Vitoria-Gasteiz)
🏢 Shakers
📍 Vitoria-Gasteiz