01 sep
|
Capitole
|
Valencia do Sil
01 sep
Capitole
Valencia do Sil
Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing ágil e inteligencia de negocio en entornos retail de alto volumen.
La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines — aunque la mayor parte del trabajo de transformación residirá en Databricks.
Por favor, asegúrese de leer atentamente los siguientes detalles antes de enviar cualquier solicitud. 2. Responsabilidades principales Arquitectura y plataforma de datos
Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake.
Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta.
Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar).
Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso. Modelado de datos
Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización.
Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional.
Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold.
Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica. Pipelines e ingesta
Construcción de pipelines de ingesta desde fuentes heterogéneas:
📌 Data Engineer Valencia Do Sil
🏢 Capitole
📍 Valencia do Sil