? Ubicación: madrid

? Modalidad: Proyecto de consultoría en cliente del sector retail

? Experiencia: Más de 3 años

? Metodología: Scrum

☁️ Tecnologías principales: Cloudera, Apache Spark, Scala y Kafka

? Tecnologías complementarias: Google Cloud Platform (GCP), BigQuery, dbt, SQL y Python

? Misión

Buscamos un/a Senior Data Engineer especializado/a en Big Data , con experiencia en el ecosistema Cloudera y Apache Spark, para asumir la responsabilidad técnica de una plataforma de datos híbrida, combinando entornos on-premise y cloud.

La persona seleccionada participará tanto en el diseño y evolución de la arquitectura como en el desarrollo de procesos de datos, aportando autonomía técnica, capacidad de decisión y orientación a la calidad y al rendimiento.

?️ Responsabilidades principales

- Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y Google Cloud Platform.
- Desarrollar y optimizar procesos de ingesta, transformación, almacenamiento y agregación de datos con Apache Spark y Scala.
- Implementar y mantener soluciones de procesamiento y modelado de datos utilizando BigQuery, dbt, SQL y Python.
- Trabajar con tecnologías del ecosistema Big Data como HDFS, Hive, Kudu, Solr y Kafka.
- Definir criterios arquitectónicos, buenas prácticas y procesos de gobierno del dato.
- Diseñar, probar, desplegar y documentar procesos de datos, garantizando su calidad y rendimiento.
- Planificar y supervisar la ejecución de procesos mediante Control-M.
- Resolver incidencias en producción y optimizar los procesos existentes.




- Colaborar con el Product Owner en la estimación de funcionalidades y priorización del backlog.
- Actuar como referente técnico del equipo e interlocutor con el cliente, los equipos de IT y negocio.
- Participar en las ceremonias Scrum, demos y actividades de seguimiento del proyecto.

? Requisitos imprescindibles

Big Data

- Más de 3 años de experiencia en diseño y desarrollo de procesos batch y real time con Apache Spark en entornos Cloudera.
- Alto nivel de programación con Scala y Apache Spark ; conocimientos de Java.
- Experiencia con HDFS, Hive, Kudu y Solr.
- Conocimiento profundo de Apache Kafka, tanto a nivel de arquitectura como de desarrollo.

Cloud y procesamiento de datos

- Experiencia práctica en Google Cloud Platform (GCP).
- Experiencia con BigQuery, modelado de datos, dbt, SQL y Python.
- Conocimientos de Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.

Herramientas y metodología

- Experiencia con Git o Bitbucket y Jenkins para procesos de CI/CD.
- Experiencia en planificación y orquestación de procesos mediante Control-M.
- Experiencia trabajando con metodologías ágiles Scrum.
- Autonomía técnica, capacidad de análisis y comunicación fluida con perfiles técnicos y de negocio.

⭐ Se valorará positivamente
- Experiencia diseñando arquitecturas híbridas on-premise y cloud.
- Conocimientos de Data Fusion, Cloud Bigtable y GKE.
- Experiencia en proyectos del sector retail.
- Participación en toma de requisitos y análisis funcional en proyectos Big Data y Business Intelligence.

📌 Senior Data Engineer | Big Data & Cloud (Madrid)
🏢 Grupo TECDATA Engineering
📍 Madrid