Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada. Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.

Usted podría ser el solicitante perfecto para este trabajo. Lea toda la información asociada y asegúrese de presentar su candidatura.
Sobre el ro lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy relevante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad.
Impacto tangible en la fiabilidad de soluciones IA a escala. ?? Lo que har ás Arquitecturas de agent * es: Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routi * ng.



Distinguir y diseñar workflows vs agentes según caso de u * so. Trabajar con MCP (Model Context Protocol) y, idealmente, A * 2A.Orquestar sistemas multi-agen te. Runtime de agen * tes: Gestionar execution loop, state management, orchestration, retries, checkpoint * ing.
Implementar streaming, human-in-the-loop, gestión de conte * xto.
Observabilidad avanzada, tracing, tool execution, concurre ncy. Evaluación (crít * ico):Diseñar evals offline y on * line.
Construir benchmarks robustos + golden datasets + synthetic data * sets.
Aplicar LLM-as-a-judge, pairwise compar * ison.
Regression testing + experiment tracking + reproducibilidad (MLf low) *. RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi ndows. LLM Engin * eering: Prompting, structured outputs, JSON schema, function c * alling.
Optimización de tokenización, coste, latencia, c * aching.
Reasoning models +

📌 Ingeniero de software (Antas de Ulla)
🏢 Shakers
📍 Antas de Ulla