Data Engineer Big Data (Spark / Pyspark / Azure Databricks) (Madrid)

Data Engineer Big Data (Spark / Pyspark / Azure Databricks) (Madrid)

17 nov
|
Metrica
|
Madrid

17 nov

Metrica

Madrid

Data Engineer Big Data (Spark / PySpark / Azure Databricks)Por favor, lea detenidamente la siguiente descripción del puesto para asegurarse de que encaja con el perfil antes de enviar su solicitud.Modalidad:100% remotoExperiencia: Mínimo 3 añosSBA: €En Métrica España, buscamos un/a Data Engineer con experiencia en entornos Big Data, procesamiento distribuido y optimización de cargas con Apache Spark, PySpark y Azure Databricks.Buscamos una persona proactiva, autónoma y resolutiva, con una sólida base técnica y capacidad para trabajar directamente con cliente.

Si te interesa diseñar soluciones de datos eficientes, escalables y robustas, y utilizar herramientas de IA para agilizar el desarrollo, ¡esta es tu oportunidad!

Responsabilidades PrincipalesDiseño, desarrollo y mantenimiento de procesos de datos distribuidos con Apache Spark y PySpark.Desarrollo y optimización de pipelines ETL/ELT y diseño de datasets escalables.Análisis y mejora del rendimiento de procesos Spark: particionado, shuffles, persistencia, caché, ejecución de DAG, stages y gestión de memoria.Desarrollo de soluciones de procesamiento columnar mediante Pandas UDF, Vectorized UDF y Apache Arrow.Desarrollo y mantenimiento de soluciones en Azure Databricks y Delta Lake.Optimización de workloads, tiempos de ejecución,



consumo de recursos y costes asociados a los procesos de datos.Aplicación de algoritmos distribuidos e iterativos para el procesamiento de grandes volúmenes de información.Uso de técnicas de Approximate Computing, como HyperLogLog, Bloom Filters, sketching y estadísticas de streaming, cuando sea necesario.Uso de herramientas de IA aplicadas al desarrollo —GenAI, Copilot y LLMs— para revisión de código, generación de pruebas, validación y mejora de la productividad.Colaboración directa con cliente y equipos técnicos para la toma de requisitos, definición de soluciones y comunicación del avance técnico.Documentación técnica de los desarrollos, pipelines y procesos implementados.Identificación y propuesta de mejoras continuas en calidad, eficiencia, rendimiento y robustez.

¿Qué ofrecemos?

Contrato indefinido.Remuneración competitiva, acorde a la experiencia y conocimientos aportados.Oportunidades de desarrollo profesional y formación continua.Participación en proyectos de alto impacto tecnológico.Entorno de trabajo colaborativo e innovador.Flexibilidad horaria y modalidad de trabajo a definir.

xqysrnhSi eres un/a profesional de datos con experiencia en Spark, PySpark, Python y Azure Databricks, te motiva resolver retos de rendimiento y quieres trabajar directamente con cliente, ¡te invitamos a unirte a nuestro equipo en Métrica España!

📌 Data Engineer Big Data (Spark / Pyspark / Azure Databricks) (Madrid)
🏢 Metrica
📍 Madrid

Postulate a este anuncio

Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: data engineer big data (spark / pyspark / azure databricks) (madrid) / madrid

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: data engineer big data (spark / pyspark / azure databricks) (madrid) / madrid