Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol fundamental en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.
Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.
Desplácese hacia abajo para obtener una visión general completa de lo que requerirá este trabajo. ¿Es usted el candidato adecuado para esta oportunidad?
Sobre el ro
lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala
.
? ? Lo que har
ás
Arquitecturas de agent
es: Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering,
semantic routi
ng. Distinguir y diseñar workflows vs agentes según caso de u
so. Trabajar con MCP (Model Context Protocol) y, idealmente, A
2A.Orquestar sistemas multi-agen
te.
Runtime de agen
tes: Gestionar execution loop, state management, orchestration, retries, checkpoint
ing.
Implementar streaming, human-in-the-loop, gestión de conte
xto.
Observabilidad avanzada, tracing, tool execution, concurre
ncy.
Evaluación (crít
ico):Diseñar evals offline y on
line.
Construir benchmarks robustos + golden datasets + synthetic data
sets.
Aplicar LLM-as-a-judge, pairwise compar
ison.
Regression testing + experiment tracking + reproducibilidad (MLf
low)
.
RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi
ndows.
LLM Engin
eering: Prompting, structured outputs, JSON schema, function c
alling.
Optimización de tokenización, coste, latencia, c
aching.
Reasoning models + context w
📌 Ingeniero de software (Arbo)
🏢 Shakers
📍 Arbo