?

Ubicación:
madrid ? Modalidad: Proyecto de consultoría en cliente del sector retail ?

Experiencia:
Más de 3 años ? Metodología: Scrum ☁️ Tecnologías principales: Cloudera, Apache Spark, Scala y Kafka ? Tecnologías complementarias: Google Cloud Platform (GCP), BigQuery, dbt, SQL y Python ? Misión Buscamos un/a Senior Data Engineer especializado/a en Big Data, con experiencia en el ecosistema Cloudera y Apache Spark, para asumir la responsabilidad técnica de una plataforma de datos híbrida, combinando entornos on-premise y cloud. La persona seleccionada participará tanto en el diseño y evolución de la arquitectura como en el desarrollo de procesos de datos, aportando autonomía técnica, capacidad de decisión y orientación a la calidad y al rendimiento. ?️ Responsabilidades principales
• Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y Google Cloud Platform.
• Desarrollar y optimizar procesos de ingesta, transformación, almacenamiento y agregación de datos con Apache Spark y Scala.
• Implementar y mantener soluciones de procesamiento y modelado de datos utilizando BigQuery, dbt, SQL y Python.
• Trabajar con tecnologías del ecosistema Big Data como HDFS, Hive, Kudu, Solr y Kafka.
• Definir criterios arquitectónicos, buenas prácticas y procesos de gobierno del dato.
• Diseñar, probar, desplegar y documentar procesos de datos, garantizando su calidad y rendimiento.
• Planificar y supervisar la ejecución de procesos mediante Control-M.
• Resolver incidencias en producción y optimizar los procesos existentes.




• Colaborar con el Product Owner en la estimación de funcionalidades y priorización del backlog.
• Actuar como referente técnico del equipo e interlocutor con el cliente, los equipos de IT y negocio.
• Participar en las ceremonias Scrum, demos y actividades de seguimiento del proyecto. ? Requisitos imprescindibles Big Data
• Más de 3 años de experiencia en diseño y desarrollo de procesos batch y real time con Apache Spark en entornos Cloudera.
• Alto nivel de programación con Scala y Apache Spark; conocimientos de Java.
• Experiencia con HDFS, Hive, Kudu y Solr.
• Conocimiento profundo de Apache Kafka, tanto a nivel de arquitectura como de desarrollo. Cloud y procesamiento de datos
• Experiencia práctica en Google Cloud Platform (GCP).
• Experiencia con BigQuery, modelado de datos, dbt, SQL y Python.
• Conocimientos de Pub/Sub, Dataflow, Cloud Functions y Cloud Storage. Herramientas y metodología
• Experiencia con Git o Bitbucket y Jenkins para procesos de CI/CD.
• Experiencia en planificación y orquestación de procesos mediante Control-M.
• Experiencia trabajando con metodologías ágiles Scrum.
• Autonomía técnica, capacidad de análisis y comunicación fluida con perfiles técnicos y de negocio. ⭐ Se valorará positivamente
• Experiencia diseñando arquitecturas híbridas on-premise y cloud.
• Conocimientos de Data Fusion, Cloud Bigtable y GKE.
• Experiencia en proyectos del sector retail.
• Participación en toma de requisitos y análisis funcional en proyectos Big Data y Business Intelligence.

📌 Senior Data Engineer | Big Data (España)
🏢 Grupo TECDATA Engineering
📍 España