Data Engineer - Spark / Scala / Aws - Remoto (Madrid)

Data Engineer - Spark / Scala / Aws - Remoto (Madrid)

19 nov
|
Ad4 Octogono
|
Madrid

19 nov

Ad4 Octogono

Madrid

Detectar valores nulos, duplicados e inconsistencias.

¿Quiere enviar su solicitud?

Lea toda la información sobre este puesto a continuación y luego pulse el botón de solicitar.En AD4 Octógono estamos buscando talentoBuscamos un/a Data Engineer especializado/a en Spark y Scala, con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un ambiente financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.Requisitos imprescindiblesExperiencia profesional de al menos 2 años en Data Engineering, con experiencia práctica en desarrollo con Spark y Scala.Conocimientos sólidos de Apache Spark, Scala y Hadoop.Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.Conocimientos de servicios AWS:AWS EMR.AWS Glue.AWS Lambda.AWS Step Functions.Experiencia en orquestación, planificación y monitorización de procesos batch.Conocimientos de Terraform para configuración de infraestructura.Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.Experiencia en controles de calidad de datos, reconciliación,



detección de duplicados y validación de información.Conocimientos de scripting con Bash y Python.Experiencia trabajando en entornos Unix/Linux.Control de versiones con Git y herramientas de construcción como Maven.Conocimientos de procesos CI/CD y herramientas como Jenkins.Experiencia con Jira.Inglés C1, imprescindible para la comunicación en un entorno profesional internacional.Funciones y responsabilidadesDesarrollo e ingeniería de datosDiseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.Implementar procesos ETL y transformaciones complejas de información.Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.Arquitectura y servicios AWSOrquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.Trabajar con AWS EMR, Glue y Lambda.Gestionar ejecuciones parametrizadas y flujos de procesamiento.Participar en la configuración y automatización de infraestructura mediante Terraform.Calidad y validación de datosDesarrollar y ejecutar procesos de validación y reconciliación de datos.Realizar controles de calidad mediante SQL y Amazon Athena.Detectar valores nulos, duplicados e inconsistencias.Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.Operación y soporte de producciónMonitorizar y solucionar incidencias en procesos productivos.Analizar logs de Hadoop/YARN, incluyendo stdout y stderr,



para identificar errores y determinar sus causas.Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.Se valorará especialmenteExperiencia en banca o servicios financieros.Conocimiento de procesos de reporting regulatorio.Experiencia en banca minorista, empresarial o corporativa.Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.Conocimientos de Control-M para planificación y gestión de procesos batch.Familiaridad con plataformas de Business Intelligence, especialmente Power BI.Experiencia elaborando documentación técnica y operativa.Competencias personalesCapacidad analítica y resolución estructurada de problemas.Autonomía y responsabilidad sobre los entregables.Orientación a resultados y atención al detalle.Capacidad para investigar incidencias y encontrar su causa raíz.Organización y gestión de prioridades.Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.

¿Qué ofrecemos?

Salario: € - €Modalidad RemotaParticipación en un proyecto especializado en ingeniería y procesamiento de datos.Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.Trabajo sobre procesos de datos críticos y reporting regulatorio.Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte! xghoner AD4 Octógono – People & Technology opciones de teletrabajo/trabajo desde casa disponibles para este puesto.

📌 Data Engineer - Spark / Scala / Aws - Remoto (Madrid)
🏢 Ad4 Octogono
📍 Madrid

Postulate a este anuncio

Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: data engineer - spark / scala / aws - remoto (madrid) / madrid