Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol fundamental en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.
Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.
lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Por favor, presente su candidatura sin demora si su perfil encaja bien con este puesto, debido al alto nivel de interés.
?? es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routi
Orquestar sistemas multi-agen
Construir benchmarks robustos + golden datasets + synthetic data




Regression testing + experiment tracking + reproducibilidad (MLf
RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi
eering:Prompting, structured outputs, JSON schema, function c
Backend + Observabilidad +
Testing:Python backend con FastAPI, Docker, Kub
OpenTelemetry + Grafana + Pro
Unit testing, integration testing, eval testing, regression suites, CI/CD
cindiblesExperiencia sólida diseñando arquitecturas de agentes IA en producción (planning, tool/function calling, memory, context engineering, semantic routi
Experiencia práctica con runtime de agentes end-to-end (execution loop, state, retries, checkpointing, streaming, HITL, conc
Experiencia crítica en evaluación de modelos: offline + online evals, benchmark design, golden + synthetic datasets, LLM-as-a-judge, regression testing, experiment
Dominio avanzado de Python para backend
quality).Experiencia con MLflow para experiment
Inglés
Infraestructur

📌 ARQUITECTO-A SOFTWARE CON DISCAPACIDAD. (A Aldea de Arriba)
🏢 Shakers
📍 A Aldea de Arriba