Experteer Overview En Deloitte, podrás liderar la transformación de datos mediante soluciones con Apache Spark en la nube. Diseñarás y optimizarás pipelines distribuidos, trabajando junto a arquitectos y analistas para entregar soluciones escalables de alto rendimiento. Analizarás planes de ejecución y cuellos de botella para mejorar rendimiento y costes en AWS. Te implicarás en calidad de código, pruebas y documentación, en un entorno de aprendizaje continuo y impacto social.Compensaciones / Beneficios
- Diseñar, desarrollar y optimizar procesos de procesamiento distribuido de datos con Apache Spark
- Implementar y mantener pipelines de datos en AWS Glue y/o Amazon EMR
- Colaborar con arquitectos y analistas de datos en soluciones escalables de alto rendimiento
- Analizar e interpretar QueryPlan y usar SparkUI para detectar cuellos de botella y oportunidades de optimización
- Asegurar la calidad del código, las pruebas y la documentación técnica
- Identificar mejoras de rendimiento y costes en entornos cloudResponsabilidades
- Experiencia sólida en Apache Spark (PySpark o Scala)
- Conocimiento avanzado de AWS Glue y/o Amazon EMR
- Capacidad para analizar y optimizar ejecuciones en Spark (interpretación de QueryPlan y uso de SparkUI)
- Experiencia en desarrollo de ETL/ELT en entornos distribuidos
- Manejo de Python y buenas prácticas de programación
- Conocimientos de servicios AWS (S3, DynamoDB, Lambda, IAM, etc.)
- Experiencia trabajando en entornos ágiles y colaborativosRequisitos principales
- horario híbrido adaptable
- plan de retribución flexible
- programa de salud física, mental y financiera
- equipo médico en oficinas
- teambuildings y actividades culturales y deportivas
- beneficios exclusivos de Deloitte