? Modalidad: 100% remoto
? Posición: Data Engineer Senior
☁️ Tecnologías: Cloudera, GCP, Apache Spark, Scala, PySpark, Dataproc y Kafka

? Misión
Buscamos un/a Data Engineer Senior con experiencia sólida en proyectos de migración de plataformas Cloudera a Google Cloud Platform (GCP), para participar en la modernización de la arquitectura de datos, trasladando los componentes de almacenamiento, procesamiento y gobierno del dato a entornos cloud.
El objetivo será garantizar una migración productivo y segura, priorizando la reutilización del código existente, la calidad de los datos y la optimización del rendimiento y los costes.

?️ Requisitos imprescindibles
• Experiencia en migraciones de Cloudera a GCP, trabajando con HDFS y Google Cloud Storage.
• Dominio de Apache Spark, Scala y PySpark.
• Experiencia migrando procesos y workloads a Dataproc y Dataproc Serverless.
• Conocimientos de procesamiento batch y streaming con Spark Streaming y Apache Kafka, incluidos servicios gestionados de Kafka en GCP.




• Experiencia con Kudu y tecnologías de destino como Cloud SQL, Google Spanner y Bigtable.
• Conocimientos de Hive Metastore y Apache Ranger.
• Experiencia en gobierno y seguridad del dato con Dataplex, Cloud IAM y BigQuery Policy Tags.
• Experiencia en migración, validación y optimización de pipelines de datos en entornos cloud.

? Responsabilidades
• Participar en la migración de componentes de almacenamiento, procesamiento batch y streaming desde Cloudera a GCP.
• Adaptar y migrar workloads de Spark, priorizando la reutilización del código existente.
• Implementar y optimizar procesos de datos en Dataproc y Dataproc Serverless.
• Migrar e integrar flujos de datos, garantizando su calidad, consistencia y rendimiento.
• Adaptar los mecanismos de gobierno, seguridad y control de acceso al ecosistema GCP.
• Validar los procesos migrados y optimizar el rendimiento y los costes de la plataforma.

📌 Data Engineer Senior – Migración de Cloudera a GCP (España)
🏢 Grupo TECDATA Engineering
📍 España