Experteer Overview En este rol, serás responsable de evaluar y comparar modelos LLM en producción, optimizar estrategias de prompting y definir marcos de testing para Gen AI. Trabajarás en pipelines de evaluación y dashboards para seguimiento de resultados, asegurando observabilidad y gobierno de IA junto a equipos de IAOps/MLOps. Colaborarás con equipos locales e internacionales para gestionar el ciclo de vida de modelos y mitigar riesgos, buscando eficiencia de costes y mejoras de rendimiento. Esta posición te ofrece impacto práctico en soluciones de IA a escala y un entorno colaborativo en Madrid. Compensaciones / Ventajas Evaluar y comparar modelos LLM (Open AI, Anthropic) en rendimiento, latencia y costes Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos Optimizar estrategias de prompting según comportamiento y capacidades de cada modelo Definir e implementar frameworks de testing para soluciones Gen AI Ejecutar testing de regresión,



testing de prompts y evaluación de outputs Diseñar pipelines de evaluación y monitorización de modelos IA Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción Trabajar en coordinación con equipos locales e internacionales Modalidad híbrida Madrid Responsabilidades Experiencia de más de 2 años en posiciones similares Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas Experiencia sólida con LLMs en entornos productivos Experiencia en Gen AI enfocada en auditing, evaluating y monitoring Experiencia con AWS: Bedrock, Sage Maker, Lambda y Cloud Watch Conocimiento en Prompt Engineering Experiencia con frameworks de evaluación de LLMs como RAGAS, Deep Eval o similares Experiencia en A/B testing y experimentación Conocimiento de observabilidad y monitorización de soluciones IA Comprensión del gobierno de IA y ciclo de vida de modelos Nivel fluido de español e inglés Requisitos principales #J-18808-Ljbffr

📌 Data Scientist / Ai Models (Madrid)
🏢 Fujitsu
📍 Madrid