16 oct
|
Grupo TECDATA Engineering
|
España
16 oct
Grupo TECDATA Engineering
España
Buscamos un/a Data Engineer Senior con experiencia en migraciones de plataformas Cloudera a Google Cloud Platform (GCP), especializado/a en procesamiento de datos, arquitecturas batch y streaming, y gobierno del dato.
Requisitos imprescindibles
- Experiencia con HDFS y Google Cloud Storage.
- Apache Spark, Scala y PySpark avanzados.
- Migración de workloads a Dataproc y Dataproc Serverless.
- Spark Streaming y Apache Kafka.
- Conocimientos de Kudu, Cloud SQL, Spanner y Bigtable.
- Hive Metastore, Apache Ranger y gobierno del dato con Dataplex, Cloud IAM y BigQuery Policy Tags.
- Migración, validación y optimización de pipelines de datos en cloud.
Funciones principales:
- Migrar almacenamiento y procesos batch y streaming de Cloudera a GCP.
- Reutilizar y adaptar el código existente.
- Garantizar la calidad del dato y optimizar rendimiento y costes.
📌 Data Engineer Senior (España)
🏢 Grupo TECDATA Engineering
📍 España