09 nov
|
Medalla Technology
|
España
09 nov
Medalla Technology
España
Buscamos Databricks Data Engineers en Medalla Tech.
Queremos incorporar perfiles senior capaces de construir, optimizar y mantener soluciones de ingeniería de datos sobre Databricks , combinando profundidad técnica, buenas prácticas de desarrollo y orientación a negocio.
Buscamos personas con experiencia desarrollando pipelines y procesos de datos en producción, que entiendan el procesamiento distribuido y sepan construir soluciones fiables, eficientes y fáciles de evolucionar.
Personas que puedan trabajar con autonomía, participar en decisiones técnicas y responsabilizarse de la calidad de sus desarrollos desde la ingesta hasta la puesta en producción.
Las posiciones son remotas y requieren residencia en España, español muy alto e inglés con competencia profesional completa.
En Medalla Technology trabajamos en proyectos donde desarrollar una solución de datos implica resolver preguntas como:
- ¿Cómo integramos fuentes heterogéneas y las convertimos en datos fiables para el negocio?
- ¿Cómo organizamos las transformaciones entre las capas Bronze, Silver y Gold?
- ¿Cómo construimos procesos incrementales que gestionen duplicados, cambios y reprocesamientos?
- ¿Cómo detectamos problemas de calidad antes de que lleguen a los consumidores?
- ¿Cómo optimizamos un proceso Spark cuando aumentan el volumen o los tiempos de ejecución?
- ¿Cómo probamos, versionamos y desplegamos nuestros desarrollos entre entornos?
- ¿Cómo conseguimos que un pipeline sea fácil de operar, mantener y evolucionar?
¿Qué harás?
- Desarrollar y mantener pipelines de ingesta y transformación sobre Databricks , integrando datos de diferentes sistemas y formatos.
- Implementar procesos con PySpark y SQL ,
aplicando buenas prácticas de procesamiento distribuido.
- Construir y evolucionar las capas Bronze, Silver y Gold siguiendo una arquitectura Medallion.
- Trabajar con Delta Lake para implementar cargas incrementales, actualizaciones, deduplicación y gestión del histórico.
- Publicar y gestionar tablas y otros activos de datos con Unity Catalog , respetando los modelos de acceso y gobierno definidos.
- Incorporar validaciones de calidad, controles de consistencia y mecanismos de tratamiento de errores.
- Analizar y optimizar procesos Spark, identificando cuellos de botella y mejorando rendimiento y consumo de recursos.
- Orquestar procesos, gestionar dependencias y facilitar su monitorización y recuperación ante fallos.
- Desarrollar código versionado con Git , participar en revisiones de código y trabajar con testing y pipelines de CI/CD .
- Colaborar con Data Architects y otros profesionales de Data & AI para convertir necesidades de negocio en soluciones de datos listas para producción.
¿Qué buscamos?
Queremos perfiles con una trayectoria sólida en ingeniería de datos y una especialización reciente y continuada en Databricks.
Los requisitos imprescindibles son:
- Un mínimo de 6 años de experiencia profesional en ingeniería de datos.
- Los últimos 4 años de experiencia cualificado trabajando con Databricks , desarrollando y manteniendo soluciones de datos.
- Contar con al menos una de estas certificaciones: Databricks Certified Data Engineer Associate o Databricks Certified Data Engineer Professional .
- Dominio práctico de PySpark y SQL , con capacidad para desarrollar transformaciones complejas y diagnosticar problemas de ejecución.
- Experiencia con Delta Lake , incluyendo operaciones de actualización, cargas in
📌 Databricks Data Engineers (España)
🏢 Medalla Technology
📍 España