Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol principal en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada. Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.
Sobre el rolSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala.? ? Lo que harásArquitecturas de agentes: Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routing. Distinguir y diseñar workflows vs agentes según caso de uso. Trabajar con MCP (Model Context Protocol) y, idealmente,



A2A.Orquestar sistemas multi-agente.
Runtime de agentes: Gestionar execution loop, state management, orchestration, retries, checkpointing. Implementar streaming, human-in-the-loop, gestión de contexto. Observabilidad avanzada, tracing, tool execution, concurrency.
Evaluación (crítico):Diseñar evals offline y online. Construir benchmarks robustos + golden datasets + synthetic datasets. Aplicar LLM-as-a-judge, pairwise comparison. Regression testing + experiment tracking + reproducibilidad (MLflow).RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context windows. LLM Engineering: Prompting, structured outputs, JSON schema, function calling. Optimización de tokenización, coste, latencia, caching. Reasoning models + context window management.
Backend + Observabilidad +Testing: Python backend con FastAPI, Docker, Kubernetes. OpenTelemetry + Grafana + Prometheus. Unit testing, integration testing, eval

📌 Arquitecto /a de Software (Python, React & Cloud) (Formigales)
🏢 Shakers
📍 Formigales