Data Engineer Cloudera CDP Ayesa Digital valència, comunidad valenciana, Spain

Por favor, lea detenidamente la información de esta oferta de empleo para entender exactamente qué se espera de los posibles candidatos.
Descripción del trabajo
Buscamos ampliar nuestro equipo con un/a Data Engineer Cloudera CDP, para participar en el diseño, construcción, evolución y operación de soluciones de ingeniería del dato sobre entornos Cloudera Data Platform, trabajando en proyectos de procesamiento de datos a gran escala y arquitecturas distribuidas. La persona seleccionada trabajará en modalidad de teletrabajo híbrido desde cualquiera de nuestras oficinas en España.

¿Qué vas a hacer?

-
- Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Cloudera Data Platform (CDP).
- Desarrollar procesos distribuidos utilizando Apache Spark, PySpark, Spark SQL y SQL.
- Implementar procesos de ingesta, transformación, integración y movimiento de datos mediante Apache NiFi.
- Desarrollar soluciones de procesamiento en tiempo real con Apache Kafka o tecnologías equivalentes.




- Gestionar la evolución de esquemas de datos, particionamiento, distribución y compactación en entornos distribuidos.
- Analizar planes de ejecución, tiempos de procesamiento, consumo de recursos y cuellos de botella para optimizar el rendimiento de las soluciones.
- Garantizar la calidad del dato mediante reglas de validación, controles de integridad, reconciliación y gestión de incidencias.
- Integrar plataformas Cloudera con bases de datos, APIs, sistemas de ficheros, plataformas cloud y sistemas con equipos multidisciplinares para asegurar la correcta explotación y disponibilidad de los otras funciones propias del puesto.

¿Qué buscamos?

-
- Titulación universitaria o formación equivalente en Ingeniería Informática, Telecomunicaciones, Matemáticas, Estadística o disciplinas relacionadas.
- Experiencia mínima de 3 a 5 años en proyectos de ingeniería del dato de 2 a 3 años trabajando con tecno

📌 Data Engineer Cloudera Cdp (Valencia)
🏢 Ayesa Digital
📍 Valencia