Data Engineer – Spark / Scala / AWS - REMOTO (Granada)

Data Engineer – Spark / Scala / AWS - REMOTO (Granada)

14 nov
|
Ad4 Octogono
|
Granada

14 nov

Ad4 Octogono

Granada

En AD4 Octógono estamos buscando talento Buscamos un/a

Data Engineer especializado/a en Spark y Scala , con experiencia en desarrollo y mantenimiento de procesos de tratamiento de grandes volúmenes de datos y conocimientos de servicios cloud de AWS.

La persona seleccionada participará en un proyecto de ingeniería de datos dentro de un entorno financiero y de reporting regulatorio, colaborando con analistas de negocio y especialistas en modelado de datos para transformar los requisitos funcionales y regulatorios en soluciones técnicas.

Buscamos un perfil con capacidad para desarrollar procesos ETL, gestionar migraciones de datos, automatizar flujos de procesamiento y garantizar la calidad, integridad y disponibilidad de la información en entornos productivos.

Requisitos imprescindibles

Experiencia profesional de al menos

2 años en Data Engineering , con experiencia práctica en desarrollo con Spark y Scala.

Conocimientos sólidos de

Apache Spark, Scala y Hadoop .

Experiencia en desarrollo y mantenimiento de pipelines de procesamiento de grandes volúmenes de datos.

Experiencia en transformaciones, migraciones y sustitución de tablas, garantizando la integridad y consistencia de los datos.

Conocimientos de servicios AWS:

AWS EMR.

AWS Glue.

AWS Lambda.

AWS Step Functions.

Experiencia en orquestación, planificación y monitorización de procesos batch.

Conocimientos de Terraform para configuración de infraestructura.

Experiencia en monitorización y resolución de incidencias en producción, incluyendo análisis de logs Hadoop/YARN.

Dominio de SQL y experiencia con Amazon Athena o motores de consulta equivalentes.

Experiencia en controles de calidad de datos, reconciliación, detección de duplicados y validación de información.

Conocimientos de scripting con

Bash y Python .

Experiencia trabajando en entornos Unix/Linux.

Control de versiones con Git y herramientas de construcción como Maven.





Conocimientos de procesos CI/CD y herramientas como Jenkins.

Experiencia con Jira.

Inglés C1 , imprescindible para la comunicación en un contexto profesional internacional.

Funciones y responsabilidades Desarrollo e ingeniería de datos

Diseñar, desarrollar, mantener y optimizar pipelines de procesamiento de datos mediante Spark y Scala.

Implementar procesos ETL y transformaciones complejas de información.

Desarrollar estrategias de migración y sustitución de tablas, garantizando la integridad y consistencia de los datos.

Colaborar con analistas de negocio y especialistas en modelado de datos para trasladar los requisitos funcionales y regulatorios a especificaciones técnicas.

Arquitectura y servicios AWS

Orquestar y monitorizar procesos batch utilizando servicios AWS, especialmente Step Functions.

Trabajar con AWS EMR, Glue y Lambda.

Gestionar ejecuciones parametrizadas y flujos de procesamiento.

Participar en la configuración y automatización de infraestructura mediante Terraform.

Calidad y validación de datos

Desarrollar y ejecutar procesos de validación y reconciliación de datos.

Realizar controles de calidad mediante SQL y Amazon Athena.

Detectar valores nulos, duplicados e inconsistencias.

Implementar pruebas automatizadas y controles que garanticen la fiabilidad de la información.

Operación y soporte de producción

Monitorizar y solucionar incidencias en procesos productivos.

Analizar logs de Hadoop/YARN, incluyendo stdout y stderr, para identificar errores y determinar sus causas.





Realizar análisis de causa raíz y proponer medidas correctivas y preventivas.

Documentar desarrollos, cambios técnicos, pruebas y procedimientos operativos.

Garantizar el cumplimiento de los estándares de desarrollo y los requisitos regulatorios.

Se valorará especialmente

Experiencia en banca o servicios financieros.

Conocimiento de procesos de reporting regulatorio.

Experiencia en banca minorista, empresarial o corporativa.

Capacidad para interpretar requisitos de negocio y convertirlos en especificaciones técnicas.

Experiencia en definición de escenarios de prueba y validación independiente de desarrollos.

Conocimientos de Control-M para planificación y gestión de procesos batch.

Familiaridad con plataformas de Business Intelligence, especialmente Power BI.

Experiencia elaborando documentación técnica y operativa.

Competencias personales

Capacidad analítica y resolución estructurada de problemas.

Autonomía y responsabilidad sobre los entregables.

Orientación a resultados y atención al detalle.

Capacidad para investigar incidencias y encontrar su causa raíz.

Organización y gestion de prioridades.

Adaptabilidad y facilidad para comprender arquitecturas y sistemas existentes.

Capacidad para trabajar de forma autónoma y colaborar con equipos multidisciplinares.

¿Qué ofrecemos?

Salario: 25000€ - 32000€

Modalidad Remota

Participación en un proyecto especializado en ingeniería y procesamiento de datos.

Entorno tecnológico basado en Apache Spark, Scala y servicios cloud de AWS.

Trabajo sobre procesos de datos críticos y reporting regulatorio.

Posibilidad de incorporación en alguna de nuestras oficinas, valorando también otras ubicaciones.

Si tienes experiencia en Data Engineering, dominas Spark y Scala y quieres participar en proyectos de procesamiento de datos en entornos cloud, ¡queremos conocerte!

AD4 Octógono – People & Technology

#J-18808-Ljbffr

📌 Data Engineer – Spark / Scala / AWS - REMOTO (Granada)
🏢 Ad4 Octogono
📍 Granada

Postulate a este anuncio

Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: data engineer – spark / scala / aws - remoto (granada) / granada

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: data engineer – spark / scala / aws - remoto (granada) / granada