¡Forma parte del futuro de Paradigma!En Paradigma seguimos creciendo y buscamos un/a¡Forma parte del futuro de Paradigma!En Paradigma seguimos creciendo y buscamos un/aAI Trust Engineer Seniorque nos ayude a garantizar lacalidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas .Significativo:no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.ResponsabilidadesTu misión será diseñar y operar los mecanismos deevaluación, observabilidad y gobierno de sistemas de IA, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos deSoftware Builders, Agentic Platform Engineers y AI Architects .Observabilidad de LLMs y agentesInstrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.Investigar comportamientos y detectar degradaciones o anomalías en producción.Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.Evaluación de LLMsDiseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.Evaluar la robustez y seguridad de sistemas de IA frente a sesgos,



prompt injection y jailbreaks.Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.Automatización y Quality GatesIntegrar evaluaciones de IA dentro de pipelines CI/CD.Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.Desarrollar herramientas y evaluaciones en Python, aplicando buenas prácticas de ingeniería de software.Calidad y mejora continuaConstruir y mantener un motor de evaluación basado en datasets versionados.Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.Definir y analizar KPIs de calidad e identificar oportunidades de mejora.Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.Debes tener experiencia enBuscamos una persona con+4 años de experiencia profesionalen ámbitos como:AI Quality EngineeringSoftware EngineeringMLOpsObservabilidadIngeniería de datos/IAY, especialmente, con experiencia práctica enIA generativa llevada a producción .Nos interesa especialmente que tengas:Experiencia real con Ragas y/o DeepEval.Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.Conocimientos sólidos de Python.Experiencia trabajando con LLMs, RAG y arquitecturas agénticas.Conocimientos de métricas y metodologías de evaluación de LLMs.Experiencia con Grafana y, valorable,



OpenTelemetry.Conocimientos sobre seguridad y robustez de sistemas de IA.Capacidad para interpretar resultados y convertirlos en acciones de mejora.Y sobre todo, buscamos a alguien que no se limite a ejecutar tests: queremos una persona capaz dedefinir qué significa que un sistema de IA sea bueno, cómo medirlo y cómo garantizarlo de forma automatizada y continua .¿Por qué Paradigma?Libertad con responsabilidadConfiamos en las personas para organizar su trabajo de forma flexible, favoreciendo el equilibrio entre la vida personal y profesional sin perder de vista los objetivos y el impacto de nuestro trabajo. Tendrás la posibilidad de trabajar en un modelo de trabajo remoto o híbrido.Una comunidad de referenciaFormarás parte de una comunidad ágil y tecnológica activa, donde compartir conocimiento, aprender de otros expertos y contribuir al desarrollo de las mejores prácticas del sector.Acompañamiento desde el primer díaContarás con el apoyo de un Buddy que te ayudará en tu integración, resolverá tus dudas y facilitará que te sientas parte de Paradigma desde el inicio.Excelencia técnica como seña de identidadNos apasiona la tecnología y apostamos por el desarrollo continuo de nuestras capacidades. El conocimiento, la calidad y la mejora constante forman parte de nuestra cultura.BeneficiosAdemás de un entorno de trabajo cercano y colaborativo, ofrecemos seguro médico 100% subvencionado, retribución flexible a través de Edenred, 25 días de vacaciones anuales y otros beneficios orientados al bienestar de las personas.¿Quiénes somos?Si quieres conocer un poco más de nosotros, pincha en los siguientes enlaces:Paradigma DigitalLinkedinYouTubeNuestro compromiso con la diversidad e inclusión:En Paradigma, la igualdad es clave. Creamos un entorno donde todas las personas son bienvenidas, independientemente de género, edad, religión, orientación sexual o cualquier otra condición. Trabajamos para garantizar la igualdad salarial y de oportunidades.Se valorará certificado de discapacidad.#J-18808-Ljbffr

📌 Ai Trust Engineer Senior (Madrid)
🏢 Paradigma Digital
📍 Madrid