Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva.

¿Posee las habilidades y la experiencia adecuadas para este puesto? Siga leyendo para descubrirlo y envíe su solicitud.

Rol fundamental en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.

Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.

Sobre el ro lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA.

Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad.

Impacto tangible en la fiabilidad de soluciones IA a escala .

? ? Lo que har ás Arquitecturas de agent es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering,



semantic routi ng.Distinguir y diseñar workflows vs agentes según caso de u so.Trabajar con MCP (Model Context Protocol) y, idealmente, A 2A.Orquestar sistemas multi-agen te.

Runtime de agen tes:Gestionar execution loop, state management, orchestration, retries, checkpoint ing.Implementar streaming, human-in-the-loop, gestión de conte xto.Observabilidad avanzada, tracing, tool execution, concurre ncy.

Evaluación (crít ico):Diseñar evals offline y on line.Construir benchmarks robustos + golden datasets + synthetic data sets.Aplicar LLM-as-a-judge, pairwise compar ison.Regression testing + experiment tracking + reproducibilidad (MLf low) .

RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi ndows.

LLM Engin eering:Prompting, structured outputs, JSON schema, function c alling.Optimización de tokenización, coste, latencia, c aching.Reasoning models + context window mana gement.

Backend + Obse

📌 Ingeniero de software (España)
🏢 The BIG Jobsite
📍 España