Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.

Se pueden requerir diversas habilidades interpersonales y experiencia para el siguiente puesto. Por favor, asegúrese de consultar la descripción a continuación con atención.
Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.

Sobre el ro
lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy significativo — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala

.
? ? Lo que har

ás
Arquitecturas de agent
es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory,



context engineering, semantic routi
ng.Distinguir y diseñar workflows vs agentes según caso de u
so.Trabajar con MCP (Model Context Protocol) y, idealmente, A
2A.Orquestar sistemas multi-agen

te.
Runtime de agen
tes:Gestionar execution loop, state management, orchestration, retries, checkpoint
ing.Implementar streaming, human-in-the-loop, gestión de conte
xto.Observabilidad avanzada, tracing, tool execution, concurre

ncy.
Evaluación (crít
ico):Diseñar evals offline y on
line.Construir benchmarks robustos + golden datasets + synthetic data
sets.Aplicar LLM-as-a-judge, pairwise compar
ison.Regression testing + experiment tracking + reproducibilidad (MLf

low)
.
RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi

ndows.
LLM Engin
eering:Prompting, structured outputs, JSON schema, function c
alling.Optimización de tokenización, coste, latencia, c
aching.Reasoning m

📌 Ingeniero de software (Valencia)
🏢 Shakers
📍 Valencia