¿Cuáles serán tus responsabilidades? Evaluar y comparar modelos LLM (Open AI, Anthropic, etc.) en términos de rendimiento, latencia y costes. Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos Optimizar estrategias de prompting según el comportamiento y capacidades de cada modelo. Definir e implementar frameworks de testing para soluciones Gen AI. Ejecutar testing de regresión, testing de prompts y evaluación de outputs. Diseñar pipelines de evaluación y monitorización de modelos IA. Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados. Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos. Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos. Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción.



Trabajar en coordinación con equipos locales e internacionales. ¿Qué habilidades y experiencia requerimos de ti? Experiencia demás 2 años en posiciones similares. Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas. Experiencia sólida con LLMs en entornos productivos. Experiencia en Gen AI enfocada en auditing, evaluating y monitoring. Experiencia con AWS: Bedrock, Sage Maker, Lambda y Cloud Watch. Conocimiento en Prompt Engineering. Experiencia con frameworks de evaluación de LLMs como RAGAS, Deep Eval o similares. Experiencia en A/B testing y experimentación. Conocimiento de observabilidad y monitorización de soluciones IA. Comprensión del gobierno de IA y ciclo de vida de modelos. #J-18808-Ljbffr

📌 Data Scientist / Ai Models (Madrid)
🏢 Fujitsu Careers
📍 Madrid