18 nov
|
Ad4 Octogono
|
Madrid
18 nov
Ad4 Octogono
Madrid
En AD4 Octógono estamos buscando talentoBuscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.Requisitos imprescindibles- Experiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.- Conocimientos sólidos de Apache Spark, Scala y Hadoop.- Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.- Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.- Conocimientos de servicios AWS:- AWS EMR.- AWS Glue.- AWS Lambda.- AWS Step Functions.- Experiencia en orquestación, planificación y monitorización de procesos batch.- Conocimientos de Terraform para configuración de infraestructura.- Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.- Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.- Experiencia en controles de calidad de datos, reconciliación,
detección de duplicados y validación de información.- Conocimientos de scripting con Bash y Python.- Experiencia trabajando en entornos Unix/Linux.- Control de versiones con Git y herramientas de construcción como Maven.- Conocimientos de procesos CI/CD y herramientas como Jenkins.- Experiencia con Jira.- Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.Funciones y responsabilidadesDesarrollo e ingeniería de datos- Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.- Implementar procesos ETL y transformaciones complejas de información.- Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.- Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.Arquitectura y servicios AWS- Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.- Trabajar con AWS EMR, Glue y Lambda.- Gestionar ejecuciones parametrizadas y flujos de procesamiento.- Participar en la configuración y automatización de infraestructura mediante Terraform.Calidad y validación de datos- Desarrollar y ejecutar procesos de validación y reconciliación de datos.- Realizar controles de calidad mediante SQL y Amazon Athena.- Detectar valores nulos, duplicados e inconsistencias.- Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.Operación y soporte de producción- Monitorizar y solucionar incidencias en procesos productivos.- Analizar logs de Hadoop/YARN, incluyendo stdout y stderr,
para identificar errores y determinar sus causas.- Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.- Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.- Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.Se valorará especialmente- Experiencia en banca o servicios financieros.- Conocimiento de procesos de reporting regulatorio.- Experiencia en banca minorista, empresarial o corporativa.- Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.- Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.- Conocimientos de Control-M para planificación y gestión de procesos batch.- Familiaridad con plataformas de Business Intelligence, especialmente Power BI.- Experiencia elaborando documentación técnica y operativa.Competencias personales- Capacidad analítica y resolución estructurada de problemas.- Autonomía y responsabilidad sobre los entregables.- Orientación a resultados y atención al detalle.- Capacidad para investigar incidencias y encontrar su causa raíz.- Organización y gestion de prioridades.- Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.- Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.¿Qué ofrecemos?- Salario: 25000€ - 32000€- Modalidad Remota- Participación en un proyecto especializado en ingeniería y procesamiento de datos.- Ambiente tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.- Trabajo sobre procesos de datos críticos y reporting regulatorio.- Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!AD4 Octógono – People & Technology#J-18808-Ljbffr
📌 Data Engineer – Spark / Scala / Aws - Remoto (Madrid)
🏢 Ad4 Octogono
📍 Madrid