Experteer Overview En este rol, serás responsable de evaluar y comparar modelos LLM en producción, optimizar estrategias de prompting y definir marcos de testing para GenAI. Trabajarás en pipelines de evaluación y dashboards para seguimiento de resultados, asegurando observabilidad y gobierno de IA junto a equipos de IAOps/MLOps. Colaborarás con equipos locales e internacionales para gestionar el ciclo de vida de modelos y mitigar riesgos, buscando eficiencia de costes y mejoras de rendimiento. Esta posición te ofrece impacto práctico en soluciones de IA a escala y un ambiente colaborativo en Madrid.

¿Interesado en saber más sobre este trabajo? Desplácese hacia abajo y descubra qué habilidades, experiencia y cualificaciones académicas se necesitan.
Compensaciones / Beneficios

-

- Evaluar y comparar modelos LLM (OpenAI, Anthropic) en rendimiento, latencia y costes

- Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos

- Optimizar estrategias de prompting según comportamiento y capacidades de cada modelo

- Definir e implementar frameworks de testing para soluciones GenAI

- Ejecutar testing de regresión, testing de prompts y evaluación de outputs

- Diseñar pipelines de evaluación y monitorización de modelos IA





- Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados

- Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos

- Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos

- Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción

- Trabajar en coordinación con equipos locales e internacionales

Modalidad híbrida Madrid

Responsabilidades

-

- Experiencia de más de 2 años en posiciones similares

- Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas

- Experiencia xhfqzwm sólida con LLMs en entornos productivos

- Experiencia en GenAI enfocada en auditing, evaluating y monitoring

- Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch

- Conocimiento en Prompt Engineering

- Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares

- Experiencia en A/B testing y experimentación

- Conocimiento de observabilidad y monitorización de soluciones IA

- Comprensión del gobierno de IA y ciclo de vida de modelos

- Nivel fluido de español e inglés

Requisitos principales
#J-18808-Ljbffr

📌 Data Scientist / Ai Models (Madrid)
🏢 Fujitsu
📍 Madrid