Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol principal en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada. Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado. lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA.

Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. es: Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routi ~ Orquestar sistemas multi-agen Construir benchmarks robustos + golden datasets + synthetic data Regression testing + experiment tracking + reproducibilidad (MLf RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi eering: Prompting, structured outputs, JSON schema, function c Backend + Observabilidad + Testing: Python backend con FastAPI, Docker,



Kub OpenTelemetry + Grafana + Pro Unit testing, integration testing, eval testing, regression suites, CI/CD cindiblesExperiencia sólida d iseñando arquitecturas de a gentes IA en producción (planning, tool/function calling, memory, context engineering, semantic routi Experiencia prác tica con runtime d e agentes end-to-end (execution loop, state, retries, checkpointing, streaming, HITL, conc Experiencia cr ítica en evaluación d e modelos: offline + online evals, benchmark design, golden + synthetic datasets, LLM-as-a-judge, regression testing, experiment Dominio ava nzado de Python para backend quality).Inglés Infraes tructura: FastAPI, Docker, Kubernetes, Redis, Kafka, P Observ abilidad: OpenTelemetry, Grafana, P Testing: unit + integration + eval + regression suites + CI/C Cloud AI: Azure OpenAI, AWS Bedrock + AgentCore, GCP CondicionesModalidad: freelance v Ubicación: 100% remoto de En Shakers nos ocupamos de la gestión del proyecto, la facturación y el acompañamiento. xbhjioe Tú te centras en construir agentes IA fiables y evaluables a escala

📌 Ingeniero/a de Software con discapacidad (Antas de Ulla)
🏢 Shakers
📍 Antas de Ulla