07 nov
|
Medalla Technology
|
España
07 nov
Medalla Technology
España
Buscamos Databricks Data Engineers en Medalla Tech. Queremos incorporar perfiles senior capaces de construir, optimizar y mantener soluciones de ingeniería de datos sobre Databricks, combinando profundidad técnica, buenas prácticas de desarrollo y orientación a negocio. Buscamos personas con experiencia desarrollando pipelines y procesos de datos en producción, que entiendan el procesamiento distribuido y sepan construir soluciones fiables, eficientes y fáciles de evolucionar. Personas que puedan trabajar con autonomía, participar en decisiones técnicas y responsabilizarse de la calidad de sus desarrollos desde la ingesta hasta la puesta en producción. Las posiciones son remotas y requieren residencia en España, español muy alto e inglés con competencia profesional completa. En Medalla Technology trabajamos en proyectos donde desarrollar una solución de datos implica resolver preguntas como: ¿Cómo integramos fuentes heterogéneas y las convertimos en datos fiables para el negocio?¿Cómo organizamos las transformaciones entre las capas Bronze, Silver y Gold?¿Cómo construimos procesos incrementales que gestionen duplicados, cambios y reprocesamientos?¿Cómo detectamos problemas de calidad antes de que lleguen a los consumidores?¿Cómo optimizamos un proceso Spark cuando aumentan el volumen o los tiempos de ejecución?¿Cómo probamos, versionamos y desplegamos nuestros desarrollos entre entornos?¿Cómo conseguimos que un pipeline sea fácil de operar, mantener y evolucionar? ¿Qué harás? Desarrollar y mantener pipelines de ingesta y transformación sobre Databricks, integrando datos de diferentes sistemas y formatos.
Implementar procesos con PySpark y SQL, aplicando buenas prácticas de procesamiento distribuido.
Construir y evolucionar las capas Bronze, Silver y Gold siguiendo una arquitectura Medallion.
Trabajar con Delta Lake para implementar cargas incrementales, actualizaciones, deduplicación y gestión del histórico.
Publicar y gestionar tablas y otros activos de datos con Unity Catalog, respetando los modelos de acceso y gobierno definidos.
Incorporar validaciones de calidad, controles de consistencia y mecanismos de tratamiento de errores.
Analizar y optimizar procesos Spark, identificando cuellos de botella y mejorando rendimiento y consumo de recursos.
Orquestar procesos, gestionar dependencias y facilitar su monitorización y recuperación ante fallos.
Desarrollar código versionado con Git, participar en revisiones de código y trabajar con testing y pipelines de CI/CD.
Colaborar con Data Architects y otros profesionales de Data & AI para convertir necesidades de negocio en soluciones de datos listas para producción. ¿Qué buscamos? Queremos perfiles con una trayectoria sólida en ingeniería de datos y una especialización reciente y continuada en Databricks. Los requisitos imprescindibles son: Un mínimo de 6 años de experiencia competente en ingeniería de datos.
Los últimos 4 años de experiencia profesional trabajando con Databricks, desarrollando y manteniendo soluciones de datos.
Contar con al menos una de estas certificaciones: Databricks Certified Data Engineer Associate o Databricks Certified Data Engineer Professional.
Dominio práctico de PySpark y SQL, con capacidad para desarrollar transformaciones complejas y diagnosticar problemas de ejecución.
Experiencia con Delta Lake, incluyendo operaciones de actualización, cargas incrementales y gestión de tablas.
Experiencia práctica con Unity Catalog para trabajar con catálogos, esquemas, tablas y permisos.
Experiencia implementando arquitecturas Medallion, con criterio para distribuir las transformaciones entre sus diferentes capas.
Experiencia con Git y CI/CD, incluyendo versionado, revisiones de código y despliegue entre entornos.
Experiencia desarrollando y manteniendo procesos de datos en producción.
Residencia en España.
Español muy alto, oral y escrito, para colaborar con equipos y clientes y elaborar documentación técnica.
Inglés con competencia profesional completa, para participar con autonomía en reuniones, explicar soluciones y trabajar con documentación técnica. Nos interesa especialmente que hayas tenido que resolver problemas reales de ingeniería: procesos que fallan, datos que llegan tarde, cambios de esquema, duplicados, reprocesamientos o ejecuciones cuyo rendimiento se degrada al crecer el volumen. Será un plus haber trabajado con: Structured Streaming, Kafka y procesamiento de datos en tiempo real.
Terraform e infraestructura como código.
Servicios de datos, almacenamiento y seguridad de AWS, Microsoft Azure o Google Cloud.
Automatización de despliegues y configuración de recursos de Databricks.
Frameworks de testing y validación de calidad de datos.
Modelado de datos y preparación de conjuntos de datos para analítica y consumo de negocio.
Observabilidad de pipelines y optimización de costes.
Migraciones desde plataformas tradicionales hacia Databricks. No esperamos que conozcas todas estas tecnologías. Nos importa que tengas una base sólida de ingeniería, experiencia re
📌 Databricks Data Engineers (España)
🏢 Medalla Technology
📍 España