Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva.
Aunque la experiencia profesional y las cualificaciones son clave para este puesto, asegúrese de comprobar si posee las habilidades interpersonales preferibles antes de solicitar, si se requieren.
Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.Sobre el rolSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA.
Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy relevante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad.
Impacto tangible en la fiabilidad de soluciones IA a escala.?? Lo que harásArquitecturas de agentes:Diseñar sistemas de agentes: planning, tool calling,



function calling, memory, context engineering, semantic routing.Distinguir y diseñar workflows vs agentes según caso de uso.Trabajar con MCP (Model Context Protocol) y, idealmente, A2A.Orquestar sistemas multi-agente.Runtime de agentes:Gestionar execution loop, state management, orchestration, retries, checkpointing.Implementar streaming, human-in-the-loop, gestión de contexto.Observabilidad avanzada, tracing, tool execution, concurrency.Evaluación (crítico):Diseñar evals offline y online.Construir benchmarks robustos + golden datasets + synthetic datasets.Aplicar LLM-as-a-judge, pairwise comparison.Regression testing + experiment tracking + reproducibilidad (MLflow).
RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context windows.LLM Engineering:Prompting, structured outputs, JSON schema, function calling.Optimización de tokenización, coste, latencia, caching.Reasoning models + context

📌 ARQUITECTO-A SOFTWARE CON DISCAPACIDAD. (Castro)
🏢 Shakers
📍 Castro