Ai Trust Engineer Senior (Madrid)

Ai Trust Engineer Senior (Madrid)

15 nov
|
Paradigma Digital - Nuestras ofertas de Empleo
|
Madrid

15 nov

Paradigma Digital - Nuestras ofertas de Empleo

Madrid

Forma parte del futuro de Paradigma
En Paradigma sigue creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.
¿Que buscamos?
Importante: no buscamos un perfil de QA tradicional centrado en testing funcional.
Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.
ResponsabilidadesTu misión será diseñar y operar los mecanismos de evaluación, observabilidad y gobierno de sistemas de IA, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.
Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos de Software Builders, Agentic Platform Engineers y AI Architects.
Entre tus principales responsabilidades estarán:Observabilidad de LLMs y agentesInstrumentar aplicaciones de IA utilizandoLangfuseu otras herramientas equivalentes.
Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.
Investigar comportamientos y detectar degradaciones o anomalías en producción.
Construir dashboards y alertas conGrafanapara monitorizar calidad, rendimiento, latencia y costes.
Trabajar con estándares comoOpenTelemetryaplicados a sistemas de IA.
Evaluación de LLMsDiseñar y ejecutar evaluaciones utilizando frameworks comoRagas y DeepEval .
Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.




Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.
Aplicar técnicas comoHuman-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.
Evaluar la robustez y seguridad de sistemas de IA frente asesgos, prompt injection y jailbreaks .
Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.
Automatización y Quality GatesIntegrar evaluaciones de IA dentro de pipelinesCI/CD .
Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.
Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.
Desarrollar herramientas y evaluaciones enPython, aplicando buenas prácticas de ingeniería de software.
Calidad y mejora continuaConstruir y mantener un motor de evaluación basado endatasets versionados .
Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.
Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.
Definir y analizar KPIs de calidad e identificar oportunidades de mejora.
Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.
Debes tener experiencia en:Buscamos una persona con +4 años de experiencia profesional en ámbitos como:AI Quality EngineeringSoftware EngineeringMLOpsObservabilidadIngeniería de datos/IAY, especialmente,



con experiencia práctica en IA generativa llevada a producción.
Nos interesa especialmente que tengas:Experiencia real con Ragas y/o DeepEval.
Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.
Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.
Conocimientos sólidos de Python.
Experiencia trabajando con LLMs, RAG y arquitecturas agénticas.
Conocimientos de métricas y metodologías de evaluación de LLMs.
Experiencia con Grafana y, valorable, OpenTelemetry.
Conocimientos sobre seguridad y robustez de sistemas de IA.
Capacidad para interpretar resultados y convertirlos en acciones de mejora.
Y sobre todo, buscamos a alguien que no se limite a ejecutar tests: queremos una persona capaz de definir qué significa que un sistema de IA sea bueno, cómo medirlo y cómo garantizarlo de forma automatizada y continua.
¿Por qué Paradigma?
Libertad con responsabilidadConfiamos en las personas para organizar su trabajo de forma flexible, favoreciendo el equilibrio entre la vida personal y profesional sin perder de vista los objetivos y el impacto de nuestro trabajo.
Tendrás la posibilidad de trabajar en un modelo de teletrabajo o híbrido.
Una comunidad de referenciaFormarás parte de una comunidad ágil y tecnológica activa, donde compartir conocimiento, aprender de otros expertos y contribuir al desarrollo de las mejores prácticas del sector.
Acompañamiento desde el primer díaContarás con el apoyo de un Buddy que te ayudará en tu integración, resolverá tus dudas y facilitará que te sientas parte de Paradigma desde el inicio.
Excelencia técnica como seña de identidadNos apasiona la tecnología y apostamos por el desarrollo continuo de nuestras capacidades.
El conoc

📌 Ai Trust Engineer Senior (Madrid)
🏢 Paradigma Digital - Nuestras ofertas de Empleo
📍 Madrid

Postulate a este anuncio

Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: ai trust engineer senior (madrid) / madrid

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: ai trust engineer senior (madrid) / madrid