Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol fundamental en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada. Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado. Sobre el ro l Serás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala .?? Lo que har ásArquitecturas de agent es: Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routi ng. Distinguir y diseñar workflows vs agentes según caso de u so. Trabajar con MCP (Model Context Protocol) y, idealmente, A 2 A. Orquestar sistemas multi-agen ntime de agen tes: Gestionar execution loop, state management, orchestration, retries, checkpoint ing. Implementar streaming, human-in-the-loop, gestión de conte xto. Observabilidad avanzada, tracing, tool execution, concurre ncy.Evaluación (crít ico): Diseñar evals offline y on line. Construir benchmarks robustos + golden datasets + synthetic data sets. Aplicar LLM-as-a-judge, pairwise compar ison. Regression testing + experiment tracking + reproducibilidad (MLf low) .RAG: Chunking, embeddings, reranking, vector databases, retrieval quality, context wi ndows.LLM Engin eering: Prompting, structured outputs, JSON schema, function c alling. Optimización de tokenización, coste,



latencia, c aching. Reasoning models + context window mana gement.Backend + Observabilidad + Testing: Python backend con Fast API, Docker, Kub ernetes. Open Telemetry + Grafana + Pro metheus. Unit testing, integration testing, eval testing, regression suites, CI/CD para IA.✅ Impres cindibles Experiencia sólida diseñando arquitecturas de a gentes IA en producción (planning, tool/function calling, memory, context engineering, semantic routi ng, MCP). Experiencia práctica con runtime d e agentes end-to-end (execution loop, state, retries, checkpointing, streaming, HITL, conc urrency). Experiencia crítica en evaluación d e modelos: offline + online evals, benchmark design, golden + synthetic datasets, LLM-as-a-judge, regression testing, experiment tracking. Dominio avanzado de Python para backend robusto. Conocimiento exper to de RAG (chunking, embeddings, reranking, vector DBs, retrieval quality). LLM En gineering avanzado (prompting, structured outputs, function calling, tokenización, coste, latencia, caching, reasoning models). Experiencia c on MLflow para experiment tracking. Inglés avanzado Muy valorable Frameworks de agentes: Lang Graph, Open AI A gents SDK. A2 A (Agent-to-Agent Protocol). Infraestructura: Fast API, Docker, Kubernetes, Redis, Kafka, P ostgre SQL. Observabilidad: Open Telemetry, Grafana, P rometheus. Testing: unit + integration + eval + regression suites + CI/C D para IA.Cloud AI: Azure Open AI, AWS Bedrock + Agent Core, GCP Vertex AI. Condiciones Modalidad: freelance v ía Shakers. Duración: 12 meses con alta probabilidad de extensión. Ubicación: 100% remoto de sde España.En Shakers nos ocupamos de la gestión del proyecto, la facturación y el acompañamiento. Tú te centras en construir agentes IA fiables y evaluables a escala productiva.

📌 Ingeniero De Software (Valencia)
🏢 Shakers
📍 Valencia