Forma parte del futuro de Paradigma
En Paradigma seguimos creciendo y buscamos un/a
AI Trust Engineer Senior
que nos ayude a garantizar la
calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas
.

¿Que buscamos?
Significativo:
no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.

Responsabilidades
Tu misión será diseñar y operar los mecanismos de
evaluación, observabilidad y gobierno de sistemas de IA
, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.

Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos de
Software Builders, Agentic Platform Engineers y AI Architects
.

Entre tus principales responsabilidades estarán:





Observabilidad de LLMs y agentes
- Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.
- Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
- Investigar comportamientos y detectar degradaciones o anomalías en producción.
- Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.
- Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.

Evaluación de LLMs
- Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.
- Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.
- Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
- Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entend

📌 AI Trust Engineer Senior (España)
🏢 Paradigma Digital
📍 España