- Detectar valores nulos, duplicados e inconsistencias.

¿Quiere enviar su solicitud? Lea toda la información sobre este puesto a continuación y luego pulse el botón de solicitar.

En AD4 Octógono estamos buscando talento

Buscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.

La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Requisitos imprescindibles

-

- Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.

- Conocimientos sólidos de Apache Spark, Scala y Hadoop.

- Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.

- Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.

- Conocimientos de servicios AWS:

- AWS EMR.

- AWS Glue.

- AWS Lambda.

- AWS Step Functions.

- Experiencia en orquestación, planificación y monitorización de procesos batch.

- Conocimientos de Terraform para configuración de infraestructura.





- Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.

- Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.

- Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.

- Conocimientos de scripting con Bash y Python.

- Experiencia trabajando en entornos Unix/Linux.

- Control de versiones con Git y herramientas de construcción como Maven.

- Conocimientos de procesos CI/CD y herramientas como Jenkins.

- Experiencia con Jira.

- Inglés C1, imprescindible para la comunicación en un entorno competente internacional.

Funciones y responsabilidades
Desarrollo e ingeniería de datos

-

- Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.

- Implementar procesos ETL y transformaciones complejas de información.

- Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.

- Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.

Arquitectura y servicios AWS

-





- Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.

- Trabajar con AWS EMR, Glue y Lambda.

- Gestionar ejecuciones parametrizadas y flujos de procesamiento.

- Participar en la configuración y automatización de infraestructura mediante Terraform.

Calidad y validación de datos

-

- Desarrollar y ejecutar procesos de validación y reconciliación de datos.

- Realizar controles de calidad mediante SQL y Amazon Athena.

- Detectar valores nulos, duplicados e inconsistencias.

- Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.

Operación y soporte de producción

-

- Monitorizar y solucionar incidencias en procesos productivos.

- Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.

- Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.

- Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.

- Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Se valorará especialmente

-

- Experiencia en banca o servicios financieros.

- Conocimiento de procesos de reporting regulatorio.

- Experiencia en banca minorista, empresarial o corporativa.

- Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.

- Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.

- Conocimientos de Control-M para planific

📌 Data Engineer – Spark (Madrid)
🏢 Ad4 Octogono
📍 Madrid