En AD4 Octogono estamos contratando.

Buscamos un/a Data Engineer especializado/a en Azure Databricks para participar en el diseño, desarrollo y evolución de soluciones de ingeniería del dato sobre arquitecturas Lakehouse.

Descripción del puesto

Buscamos un/a competente con al menos 3 años de experiencia en proyectos de ingeniería del dato y 2 años trabajando con Databricks en entornos productivos, con experiencia en procesamiento distribuido, arquitecturas Lakehouse y desarrollo de pipelines de datos.

La persona seleccionada participará en el diseño y construcción de procesos batch y streaming, trabajando con Spark, PySpark, SQL y Delta Lake, así como en la optimización y evolución de plataformas de datos.

Titulación

- Titulación universitaria o formación equivalente en:
- Ingeniería Informática.
- Ingeniería de Telecomunicaciones.
- Matemáticas.
- Estadística.
- Disciplinas relacionadas.

Experiencia y certificación
- Mínimo 3 años de experiencia en proyectos de ingeniería del dato.
- Mínimo 2 años de experiencia con Databricks en entornos productivos.
- Databricks Certified Data Engineer Professional, imprescindible.

Conocimientos técnicos imprescindibles
- Apache Spark y PySpark.
- Databricks Data Intelligence Platform.
- Delta Lake y Delta Tables.
- Databricks SQL.
- Delta Live Tables / Lakeflow Declarative Pipelines.
- Databricks Asset Bundles.
- Optimización mediante:
- Particionamiento.
- Z-Ordering.
- Liquid Clustering.
- Caching.
- File Compaction.
- Amazon Web Services y Databricks on AWS.
- Azure Data Lake Storage.
- Azure Data Factory.
- Microsoft Fabric.
- Azure Key Vault.
- Azure DevOps.
- Procesamiento batch y streaming.
- Arquitecturas Lakehouse.
- Arquitecturas Medallion: Bronze, Silver y Gold.

Conocimientos deseables
- Migración de plataformas ETL tradicionales a Databricks.




- Integración con Kafka o plataformas de streaming equivalentes.
- Experiencia con dbt.
- Apache Airflow.
- Azure Data Factory u otras herramientas de orquestación.
- Uso de Terraform para el aprovisionamiento de recursos Databricks.

Responsabilidades y funciones
- Diseñar, desarrollar y mantener pipelines de datos batch y streaming sobre Databricks.
- Implementar procesos de ingesta, transformación y carga mediante Apache Spark, PySpark y SQL.
- Diseñar y evolucionar arquitecturas Lakehouse basadas en Delta Lake.
- Construir modelos de datos organizados bajo arquitecturas Medallion: Bronze, Silver y Gold.
- Desarrollar y optimizar notebooks, jobs y workflows de Databricks.
- Aplicar técnicas de optimización de rendimiento sobre tablas Delta, consultas Spark y cargas de trabajo distribuidas.
- Participar en la definición de estándares de desarrollo, nomenclatura, versionado, despliegue y documentación.
- Colaborar con arquitectos de datos, analistas, científicos de datos, equipos de gobierno y responsables de negocio.
- Participar en la evolución y mejora continua de la plataforma de datos.
- Garantizar buenas prácticas en el desarrollo, despliegue y mantenimiento de soluciones de ingeniería del dato.

Perfil buscado Buscamos un/a Data Engineer especializado/a en Azure Databricks, con experiencia práctica en entornos productivos y sólidos conocimientos de Spark, PySpark, Delta Lake y arquitecturas Lakehouse.

Será especialmente valorable la experiencia en proyectos de migración hacia Databricks, integración con plataformas de streaming y automatización del aprovisionamiento mediante Terraform.

Condiciones

Experiencia: 3+ años en ingeniería del dato y 2+ años con Databricks.

Certificación: Databricks Certified Data Engineer Professional, imprescindible.

Modalidad: Posibilidad de teletrabajo.

Horario: 40 horas semanales.

Salario: 35.000 € - 45.000 € brutos anuales.

📌 Azure Databricks Data Engineer (Madrid)
🏢 Ad4 Octogono
📍 Madrid