This position is at Paradigma Digital

The selection process will be entirely managed by Paradigma Digital.

--

Forma parte del futuro de Paradigma En Paradigma seguimos creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas .

¿Que buscamos?

Significativo: no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.

Responsabilidades

Tu misión será diseñar y operar los mecanismos de evaluación, observabilidad y gobierno de sistemas de IA , aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio. Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos de Software Builders, Agentic Platform Engineers y AI Architects . Entre tus principales responsabilidades estarán: Observabilidad de LLMs y agentes

- Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.
- Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
- Investigar comportamientos y detectar degradaciones o anomalías en producción.




- Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.
- Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.

Evaluación de LLMs

- Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval .
- Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.
- Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
- Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge , entendiendo sus limitaciones y posibles sesgos.
- Evaluar la robustez y seguridad de sistemas de IA frente a sesgos, prompt injection y jailbreaks .
- Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.

Automatización y Quality Gates

- Integrar evaluaciones de IA dentro de pipelines CI/CD .
- Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.
- Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.
- Desarrollar herramientas y evaluaciones en Python ,



aplicando buenas prácticas de ingeniería de software.

Calidad y mejora continua

- Construir y mantener un motor de evaluación basado en datasets versionados .
- Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.
- Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.
- Definir y analizar KPIs de calidad e identificar oportunidades de mejora.
- Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.

Debes tener experiencia en:

Buscamos una persona con +4 años de experiencia profesional en ámbitos como:

- AI Quality Engineering
- Software Engineering
- MLOps
- Observabilidad
- Ingeniería de datos/IA

Y, especialmente, con experiencia práctica en IA generativa llevada a producción . Nos interesa especialmente que tengas: ✅ Experiencia real con Ragas y/o DeepEval . ✅ Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes. ✅ Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD . ✅ Conocimientos sólidos de Python . ✅ Experiencia trabajando con LLMs, RAG y arquitecturas agénticas . ✅ Conocimientos de métricas y metodologías de evaluación de LLMs. ✅ Experiencia con Grafana y, valorable, OpenTelemetry . ✅ Conocimientos sobre seguridad y robustez de sistemas de IA. ✅ Capacidad para interpretar resultados y convertirlos en acciones de mejora. Y sobre

📌 AI Trust Engineer Senior (España)
🏢 Paradigma Digital
📍 España