Ofertas de Data Engineer en Santa Cruz de Tene... ¿Este trabajo es un acierto o un fracaso?

¿Este trabajo es un acierto o un fracaso?

Buscamos un/a

Data Engineer Senior

para diseñar y operar la plataforma de datos que alimenta un

sistema de pricing ágil

e

inteligencia

de

negocio

en entornos retail de alto volumen. La persona seleccionada será el

referente técnico de la arquitectura de datos:

desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere

dominio profundo de Databricks

como plataforma central y sólido conocimiento de la

arquitectura Medallion

(Bronze / Silver / Gold), así como experiencia en

modelado de datos dimensional

y capacidad para trabajar con

Azure Data Factory

como orquestador de pipelines. Responsabilidades principales Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake. Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta. Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar). Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso. Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización. Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.



Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold. Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica. Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS. Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL). Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste. Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos. Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias. Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER). Soporte a incidencias de datos en producción (on-call rotatorio con el equipo). Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación. Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold.



Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo. 5+ años de experiencia en ingeniería de datos en entornos productivos. Experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog. Diseño e implementación de capas Bronze / Silver / Gold, granularidad, particionado y SLA por capa. Dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; claves surrogadas, SCDs y tablas de hechos. PySpark y SQL avanzado (window functions, CTEs, optimización de queries). Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert. Familiaridad con control de versiones (Git) y prácticas de DataOps básicas. Valorables Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen. Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar. Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold. Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming. Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado. Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom). ¿Este trabajo es un acierto o un fracaso?

Acerca de lo último Data engineer Empleosen Santa Cruz de Tenerife ! Configurar alerta por correo electrónico:

#J-18808-Ljbffr

📌 Data Engineer (Madrid)
🏢 W Hunt España
📍 Madrid