¿Cuáles serán tus responsabilidades? Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de rendimiento, latencia y costes.Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivosOptimizar estrategias de prompting según el comportamiento y capacidades de cada modelo.Definir e implementar frameworks de testing para soluciones GenAI.Ejecutar testing de regresión, testing de prompts y evaluación de outputs.Diseñar pipelines de evaluación y monitorización de modelos IA.Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados.Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos.Generar recomendaciones para selección de modelos,



optimización de costes y mitigación de riesgos.Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción.Trabajar en coordinación con equipos locales e internacionales.¿Qué habilidades y experiencia requerimos de ti? Experiencia demás 2 añosen posiciones similares.Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas.Experiencia sólida con LLMs en entornos productivos.Experiencia en GenAI enfocada en auditing, evaluating y monitoring.Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.Conocimiento en Prompt Engineering.Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares.Experiencia en A/B testing y experimentación.Conocimiento de observabilidad y monitorización de soluciones IA.Comprensión del gobierno de IA y ciclo de vida de modelos. #J-18808-Ljbffr

📌 Data Scientist (España)
🏢 Fujitsu Careers
📍 España