Forma parte del futuro de Paradigma
En Paradigma sigue creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.
¿Que buscamos?
Significativo: no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.
Responsabilidades
Tu misión será diseñar y operar los mecanismos de evaluación, observabilidad y gobierno de sistemas de IA, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.
Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos de Software Builders, Agentic Platform Engineers y AI Architects.
Entre tus principales responsabilidades estarán:
Observabilidad de LLMs y agentes
Instrumentar aplicaciones de IA utilizando
Langfuse
u otras herramientas equivalentes.
Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
Investigar comportamientos y detectar degradaciones o anomalías en producción.
Construir dashboards y alertas con
Grafana
para monitorizar calidad, rendimiento, latencia y costes.
Trabajar con estándares como
OpenTelemetry
aplicados a sistemas de IA.
Evaluación de LLMs
Diseñar y ejecutar evaluaciones utilizando frameworks como
Ragas y DeepEval .
Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.
Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
Aplicar técnicas como
Human-in-the-Loop y LLM-as-a-Judge , entendiendo
📌 AI Trust Engineer Senior (Pozuelo de Alarcón)
🏢 Paradigma Digital - Nuestras ofertas de Empleo
📍 Pozuelo de Alarcón
Postulate a este anuncio
Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.