En Paradigma seguimos creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.Importante: no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.Entre tus principales responsabilidades estarán:Observabilidad de LLMs y agentes- Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.- Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.- Investigar comportamientos y detectar degradaciones o anomalías en producción.- Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.- Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.Evaluación de LLMs- Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.- Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.- Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.- Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.- Evaluar la robustez y seguridad de sistemas de IA frente a sesgos,



prompt injection y jailbreaks.- Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.Automatización y Quality Gates- Integrar evaluaciones de IA dentro de pipelines CI/CD.- Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.- Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.- Desarrollar herramientas y evaluaciones en Python, aplicando buenas prácticas de ingeniería de software.Calidad y mejora continua- Construir y mantener un motor de evaluación basado en datasets versionados.- Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.- Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.- Definir y analizar KPIs de calidad e identificar oportunidades de mejora.- Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.¿Qué buscamos?Debes tener experiencia en:Buscamos una persona con +4 años de experiencia competente en ámbitos como:- AI Quality Engineering- Software Engineering- MLOps- Observabilidad- Ingeniería de datos/IAY, especialmente, con experiencia práctica en IA generativa llevada a producción.Nos interesa especialmente que tengas:- Experiencia real con Ragas y/o DeepEval.- Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.- Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.- Conocimientos sólidos de Python.- Experiencia trabajando con LLMs,



RAG y arquitecturas agénticas.- Conocimientos de métricas y metodologías de evaluación de LLMs.- Experiencia con Grafana y, valorable, OpenTelemetry.- Conocimientos sobre seguridad y robustez de sistemas de IA.- Capacidad para interpretar resultados y convertirlos en acciones de mejora.Y sobre todo, buscamos a alguien que no se limite a ejecutar tests: queremos una persona capaz de definir qué significa que un sistema de IA sea bueno, cómo medirlo y cómo garantizarlo de forma automatizada y continua.¿Qué ofrecemos?- Flexibilidad y trabajo en remoto.- Libertad y responsabilidad: son parte de nuestros pilares; trabajo sin jerarquías basado en la autogestión.- Últimas tecnologías: trabajamos con las tecnologías más punteras y en las empresas más importantes.- Lifelong Learning: a través de seminarios, meetups, clases de inglés y ayudas para realizar cursos/ certificaciones, asistencia a eventos...- Y, además, tenemos seguro médico, gimnasio y fisio en la oficina, diferentes Comunidades (cocinera, deportiva), vacaciones 24 y 31 de diciembre y el día del cumpleaños, programa de gamificación… ¡y muchos más beneficios!- Paradigma es una empresa que ofrece un entorno de trabajo diverso e inclusivo donde el respeto por las personas es lo más importante. Aseguramos la no discriminación por razones de género, edad, raza, religión, orientación sexual o cualquier otra condición o circunstancia personal o social. Nos esforzamos en garantizar la igualdad de oportunidades y salarial entre hombres y mujeres por trabajos de igual valor.Puede encontrar el anuncio original publicado en: https://www.Itjobs.Es/empleo/38971/ai-trust-engineer-senior

📌 Ai Trust Engineer Senior (Madrid)
🏢 Paradigma Digital
📍 Madrid