Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol principal en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada. Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.

Desplácese hacia abajo para obtener una visión general completa de lo que requerirá este trabajo. ¿Es usted el candidato adecuado para esta oportunidad?
Sobre el ro lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala
.
?? Lo que har
ás
Arquitecturas de agent
~ es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering,



semantic routi
~ ng.Distinguir y diseñar workflows vs agentes según caso de u
~ so.Trabajar con MCP (Model Context Protocol) y, idealmente, A
~2A.Orquestar sistemas multi-agen

te.
Runtime de agen
tes:Gestionar execution loop, state management, orchestration, retries, checkpoint
ing.Implementar streaming, human-in-the-loop, gestión de conte
xto.Observabilidad avanzada, tracing, tool execution, concurre
ncy.
Evaluación (crít
ico):Diseñar evals offline y on
line.Construir benchmarks robustos + golden datasets + synthetic data
sets.Aplicar LLM-as-a-judge, pairwise compar
ison.Regression testing + experiment tracking + reproducibilidad (MLf
low)
~ . RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi

ndows.
LLM Engin
eering:Prompting, structured outputs, JSON schema, function c
alling.Optimización de tokenización, coste, latencia, c
aching.Reasoning models + context wi

📌 Ingeniero(a) Senior de Software (El Rosal)
🏢 Shakers
📍 El Rosal