17 nov
|
Ad4 Octogono
|
Madrid
17 nov
Ad4 Octogono
Madrid
En AD4 Octógono estamos buscando talento Buscamos un/a Data Engineer especializado/a en Spark y Scala , con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS. La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas. Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.
Requisitos imprescindibles Experiencia competente de al menos 2 años en Data Engineering , con experiencia práctica en desarrollo con Spark y Scala. Conocimientos sólidos de Apache Spark, Scala y Hadoop .
Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.
Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.
Conocimientos de servicios AWS: AWS EMR. AWS Glue. AWS Lambda. AWS Step Functions.
Experiencia en orquestación, planificación y monitorización de procesos batch. Conocimientos de Terraform para configuración de infraestructura.
Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN. Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.
Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información. Conocimientos de scripting con Bash y Python .
Experiencia trabajando en entornos Unix/Linux. Control de versiones con Git y herramientas de construcción como Maven.
Conocimientos de procesos CI/CD y herramientas como Jenkins.
Experiencia con Jira. Inglés C1 , imprescindible para la comunicación en un contexto cualificado internacional.
Funciones y responsabilidades Desarrollo e ingeniería de datos Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala. Implementar procesos ETL y transformaciones complejas de información. Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.
Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas. Arquitectura y servicios AWS Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions. Trabajar con AWS EMR, Glue y Lambda.
Gestionar ejecuciones parametrizadas y flujos de procesamiento. Participar en la configuración y automatización de infraestructura mediante Terraform. Calidad y validación de datos Desarrollar y ejecutar procesos de validación y reconciliación de datos.
Realizar controles de calidad mediante SQL y Amazon Athena. Detectar valores nulos, duplicados e inconsistencias. Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.
Operación y soporte de producción Monitorizar y solucionar incidencias en procesos productivos. Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.
Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.
Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos. Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.
Se valorará especialmente Experiencia en banca o servicios financieros. Conocimiento de procesos de reporting regulatorio.
Experiencia en banca minorista, empresarial o corporativa. Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.
Experiencia en definición de escenarios de prueba y validación independiente de desarrollos. Conocimientos de Control-M para planificación y gestión de procesos batch. Familiaridad con plataformas de Business Intelligence, especialmente Power BI.
Experiencia elaborando documentación técnica y operativa.
Competencias personales Capacidad analítica y resolución estructurada de problemas. Autonomía y responsabilidad sobre los entregables. Orientación a resultados y atención al detalle. Capacidad para investigar incidencias y encontrar su causa raíz. Organización y gestion de prioridades. Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes. Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares. ¿Qué ofrecemos?
Salario: € - € Modalidad Remota Participación en un proyecto especializado en ingeniería y procesamiento de datos. Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS. Trabajo sobre procesos de datos críticos y reporting regulatorio.
Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones. Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte! AD4 Octógono – People & Technology
📌 Data Engineer - Spark / Scala / Aws - Remoto (Madrid)
🏢 Ad4 Octogono
📍 Madrid