Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.
Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.
Desplácese hacia abajo para obtener una visión general completa de lo que requerirá este trabajo. ¿Es usted el candidato adecuado para esta oportunidad?
Sobre el ro
lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy significativo — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala
.
?? Lo que har
ás
Arquitecturas de agent
- es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering,



semantic routi
- ng.Distinguir y diseñar workflows vs agentes según caso de u
- so.Trabajar con MCP (Model Context Protocol) y, idealmente, A
- 2A.Orquestar sistemas multi-agen

te.
Runtime de agen
- tes:Gestionar execution loop, state management, orchestration, retries, checkpoint
- ing.Implementar streaming, human-in-the-loop, gestión de conte
- xto.Observabilidad avanzada, tracing, tool execution, concurre

ncy.
Evaluación (crít
- ico):Diseñar evals offline y on
- line.Construir benchmarks robustos + golden datasets + synthetic data
- sets.Aplicar LLM-as-a-judge, pairwise compar
- ison.Regression testing + experiment tracking + reproducibilidad (MLf

low)
- . RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi

ndows.
LLM Engin
- eering:Prompting, structured outputs, JSON schema, function c
- alling.Optimización de tokenización, coste, latencia, c
- aching.Reasoni

📌 Ingeniero de software (Lousada)
🏢 Shakers
📍 Lousada