Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva.

Lea el resumen de esta oportunidad para comprender qué habilidades, incluidas las habilidades interpersonales relevantes y el dominio de paquetes de software, se requieren.

Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.Sobre el rolSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA.

Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy significativo — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad.

Impacto tangible en la fiabilidad de soluciones IA a escala.?? Lo que harásArquitecturas de agentes:Diseñar sistemas de agentes: planning, tool calling, function calling, memory,



context engineering, semantic routing.Distinguir y diseñar workflows vs agentes según caso de uso.Trabajar con MCP (Model Context Protocol) y, idealmente, A2A.Orquestar sistemas multi-agente.Runtime de agentes:Gestionar execution loop, state management, orchestration, retries, checkpointing.Implementar streaming, human-in-the-loop, gestión de contexto.Observabilidad avanzada, tracing, tool execution, concurrency.Evaluación (crítico):Diseñar evals offline y online.Construir benchmarks robustos + golden datasets + synthetic datasets.Aplicar LLM-as-a-judge, pairwise comparison.Regression testing + experiment tracking + reproducibilidad (MLflow).

RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context windows.LLM Engineering:Prompting, structured outputs, JSON schema, function calling.Optimización de tokenización, coste, latencia, caching.Reasoning models + context window management.

📌 Ingeniero De Software (Paradela)
🏢 Shakers
📍 Paradela