08 nov
|
Medalla Technology
|
Zaragoza
08 nov
Medalla Technology
Zaragoza
Buscamos Databricks Data Engineers en Medalla Tech.
Queremos incorporar perfiles senior capaces de construir, optimizar y mantener soluciones de ingeniería de datos sobre Databricks , combinando profundidad técnica, buenas prácticas de desarrollo y orientación a negocio.
Buscamos personas con experiencia desarrollando pipelines y procesos de datos en producción, que entiendan el procesamiento distribuido y sepan construir soluciones fiables, eficientes y fáciles de evolucionar.
Personas que puedan trabajar con autonomía, participar en decisiones técnicas y responsabilizarse de la calidad de sus desarrollos desde la ingesta hasta la puesta en producción.
Las posiciones son remotas y requieren residencia en España, español muy alto e inglés con competencia profesional completa.
En Medalla Technology trabajamos en proyectos donde desarrollar una solución de datos implica resolver preguntas como:
¿Cómo integramos fuentes heterogéneas y las convertimos en datos fiables para el negocio?
¿Cómo organizamos las transformaciones entre las capas Bronze, Silver y Gold?
¿Cómo construimos procesos incrementales que gestionen duplicados, cambios y reprocesamientos?
¿Cómo detectamos problemas de calidad antes de que lleguen a los consumidores?
¿Cómo optimizamos un proceso Spark cuando aumentan el volumen o los tiempos de ejecución?
¿Cómo probamos, versionamos y desplegamos nuestros desarrollos entre entornos?
¿Cómo conseguimos que un pipeline sea fácil de operar, mantener y evolucionar?
¿Qué harás?
Desarrollar y mantener pipelines de ingesta y transformación sobre Databricks , integrando datos de diferentes sistemas y formatos.
Implementar procesos con PySpark y SQL , aplicando buenas prácticas de procesamiento distribuido.
Construir y evolucionar las capas Bronze,
Silver y Gold siguiendo una arquitectura Medallion.
Trabajar con Delta Lake para implementar cargas incrementales, actualizaciones, deduplicación y gestión del histórico.
Publicar y gestionar tablas y otros activos de datos con Unity Catalog , respetando los modelos de acceso y gobierno definidos.
Incorporar validaciones de calidad, controles de consistencia y mecanismos de tratamiento de errores.
Analizar y optimizar procesos Spark, identificando cuellos de botella y mejorando rendimiento y consumo de recursos.
Orquestar procesos, gestionar dependencias y facilitar su monitorización y recuperación ante fallos.
Desarrollar código versionado con Git , participar en revisiones de código y trabajar con testing y pipelines de CI/CD .
Colaborar con Data Architects y otros profesionales de Data & AI para convertir necesidades de negocio en soluciones de datos listas para producción.
¿Qué buscamos?
Queremos perfiles con una trayectoria sólida en ingeniería de datos y una especialización reciente y continuada en Databricks.
Los requisitos imprescindibles son:
Un mínimo de 6 años de experiencia profesional en ingeniería de datos.
Los últimos 4 años de experiencia competente trabajando con Databricks , desarrollando y manteniendo soluciones de datos.
Contar con al menos una de estas certificaciones:
Databricks Certified Data Engineer Associate o Databricks Certified Data Engineer Professional .
Dominio práctico de PySpark y SQL , con capacidad para desarrollar transformaciones complejas y diagnosticar problemas de ejecución.
Experiencia con Delta Lake , incluyendo operaciones de actualización, cargas incrementales y gestión de tablas.
Experiencia práctica con Unity Catalog para trabajar con catálogos, esquemas, tablas y permisos.
Experiencia implementando arquitecturas Medallion , con criterio para distribuir las transformaciones entre sus diferentes capas.
Experiencia con Git y CI/CD , incluyendo versionado, revisiones de código y despliegue entre entornos.
Experiencia desarrollando y manteniendo procesos de datos en producción.
Residencia en España.
Español muy alto , oral y escrito, para colaborar con equipos y clientes y elaborar documentación técnica.
Inglés con competencia profesional completa , para participar con autonomía en reuniones, explicar soluciones y trabajar con documentación técnica.
Nos interesa especialmente que hayas tenido que resolver problemas reales de ingeniería: procesos que fallan, datos que llegan tarde, cambios de esquema, duplicados, reprocesamientos o ejecuciones cuyo rendimiento se degrada al crecer el volumen.
Será un plus haber trabajado con:
Structured Streaming, Kafka y procesamiento de datos en tiempo real.
Terraform e infraestructura como código .
Servicios de datos, almacenamiento y seguridad de AWS, Microsoft Azure o Google Cloud .
Automatización de despliegues y configuración de recursos de Databricks.
Frameworks de testing y validación de calidad de datos.
Modelado de datos y preparación de conjuntos de datos para analítica y consumo de negocio.
Observabilidad de pipe
📌 Databricks Data Engineers (Zaragoza)
🏢 Medalla Technology
📍 Zaragoza