En Aubay estamos buscando un/a Data engineer para participar en el soporte, mantenimiento, y evolución técnica de una plataforma DataHub.

Entre sus principales responsabilidades estarán:

-Dar soporte a producción y realizar el mantenimiento del DataHub, resolviendo incidencias, anomalías y problemas relacionados con los datos, garantizando la estabilidad y disponibilidad de los procesos.

-Modificar y optimizar el código existente según las necesidades de negocio, buscando mejorar su rendimiento y mantenibilidad.

-Garantizar el rendimiento y la seguridad de la infraestructura de datos siguiendo buenas prácticas de Data Engineering.

-Realizar modelado de datos y desarrollar pipelines eficientes y escalables para la ingesta, transformación y enriquecimiento de grandes volúmenes de datos con reglas de negocio complejas.

-Diseñar e implementar pipelines de procesamiento utilizando principalmente Scala, Spark, Hadoop y almacenamiento de objetos cloud (COS/S3).

-Integrar datos procedentes de múltiples fuentes y formatos en la capa Raw del DataHub.





-Implementar procesos de transformación y controles de calidad que garanticen la consistencia y precisión de los datos.

-Configurar pipelines de CI/CD para automatizar despliegues, testing y gestión del desarrollo.

-Desarrollar y ejecutar pruebas unitarias y de validación para garantizar la calidad e integridad del código.

-Implementar procesos de orquestación y scheduling mediante Apache Airflow para automatizar la ejecución de pipelines.

-Participar en la migración de la infraestructura Hadoop hacia una arquitectura cloud basada en Kubernetes, almacenamiento de objetos (COS), Spark as a Service y Airflow as a Service.

-Elaborar documentación técnica y operativa para garantizar la transferencia y conservación del conocimiento.

Se ofrece

Contrato indefinido y proyecto estable Modalidad híbrida de trabajo (50% teletrabajo) Ubicación: Madrid Río Salario a negociar Formación a medida (certificaciones, idiomas...) Crecimiento profesional en ambiente internacional Retribución flexible (seguro médico, cheque guardería, ticket restaurante)

📌 DATA ENGINEER SPARK Y SCALA - 50% teletrabajo (MADRID)
🏢 Aubay
📍 Madrid