Experteer Overview

Por favor, verifique que tiene el nivel de experiencia y las cualificaciones adecuadas leyendo la descripción completa de esta oportunidad a continuación.

En este rol, serás responsable de evaluar y comparar modelos LLM en producción, optimizar estrategias de prompting y definir marcos de testing para GenAI. Trabajarás en pipelines de evaluación y dashboards para seguimiento de resultados, asegurando observabilidad y gobierno de IA junto a equipos de IAOps/MLOps. Colaborarás con equipos locales e internacionales para gestionar el ciclo de vida de modelos y mitigar riesgos, buscando eficiencia de costes y mejoras de rendimiento.

Esta posición te ofrece impacto práctico en soluciones de IA a escala y un ambiente colaborativo en Madrid.

Compensaciones / Ventajas
Evaluar y comparar modelos LLM (OpenAI, Anthropic) en rendimiento, latencia y costes
Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos
Optimizar estrategias de prompting según comportamiento y capacidades de cada modelo
Definir e implementar frameworks de testing para soluciones GenAI
Ejecutar testing de regresión, testing de prompts y evaluación de outputs
Diseñar pipelines de evaluación y monitorización de modelos IA




Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados
Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos
Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos
Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción
Trabajar en coordinación con equipos locales e internacionales

Responsabilidades
Experiencia de más de 2 años en posiciones similares
Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas
Experiencia xugodme sólida con LLMs en entornos productivos
Experiencia en GenAI enfocada en auditing, evaluating y monitoring
Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch
Conocimiento en Prompt Engineering
Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares
Experiencia en A/B testing y experimentación
Conocimiento de observabilidad y monitorización de soluciones IA
Comprensión del gobierno de IA y ciclo de vida de modelos
Nivel fluido de español e inglés
Modalidad mixta Madrid

Requisitos principales

•

📌 Data Scientist / Ai Models Madrid (España)
🏢 Fujitsu
📍 España