Forma parte del futuro de Paradigma

Por favor, presente su candidatura sin demora si su perfil encaja bien con este puesto, debido al alto nivel de interés.

En Paradigma seguimos creciendo y buscamos un/a

Forma parte del futuro de Paradigma

En Paradigma seguimos creciendo y buscamos un/a AI Trust Engineer Senior que nos ayude a garantizar la calidad, fiabilidad, trazabilidad y seguridad de nuestros sistemas de Inteligencia Artificial, LLMs y arquitecturas agénticas.

Relevante: no buscamos un perfil de QA tradicional centrado en testing funcional. Buscamos un/a ingeniero/a capaz de entender cómo se comportan los modelos y agentes, medir objetivamente su calidad y construir los mecanismos que permitan evaluarlos y monitorizarlos de forma continua.

Responsabilidades

Tu misión será diseñar y operar los mecanismos de evaluación, observabilidad y gobierno de sistemas de IA, aportando evidencias objetivas de que su comportamiento cumple con los requisitos funcionales, técnicos y de negocio.

Trabajarás durante todo el ciclo de vida de las soluciones, desde el diseño hasta producción, colaborando estrechamente con equipos de Software Builders, Agentic Platform Engineers y AI Architects.

Observabilidad de LLMs y agentes

-

- Instrumentar aplicaciones de IA utilizando Langfuse u otras herramientas equivalentes.

- Capturar y analizar trazas completas: prompts, respuestas, llamadas a herramientas, pasos intermedios de agentes, latencia, tokens y costes.

- Investigar comportamientos y detectar degradaciones o anomalías en producción.

- Construir dashboards y alertas con Grafana para monitorizar calidad, rendimiento, latencia y costes.





- Trabajar con estándares como OpenTelemetry aplicados a sistemas de IA.

Evaluación de LLMs

-

- Diseñar y ejecutar evaluaciones utilizando frameworks como Ragas y DeepEval.

- Trabajar con métricas de faithfulness, relevancia, precisión y exhaustividad del contexto en sistemas RAG, alucinaciones y uso correcto de herramientas.

- Diseñar benchmarks y datasets de referencia para comparar versiones de forma reproducible.

- Aplicar técnicas como Human-in-the-Loop y LLM-as-a-Judge, entendiendo sus limitaciones y posibles sesgos.

- Evaluar la robustez y seguridad de sistemas de IA frente a sesgos, prompt injection y jailbreaks.

- Definir métricas objetivas y criterios de aceptación adaptados a cada caso de uso.

Automatización y Quality Gates

-

- Integrar evaluaciones de IA dentro de pipelines CI/CD.

- Construir quality gates que permitan bloquear cambios que no cumplan los umbrales de calidad definidos.

- Automatizar la evaluación de cambios en modelos, prompts, configuraciones y agentes.

- Desarrollar herramientas y evaluaciones en Python, aplicando buenas prácticas de ingeniería de software.

Calidad y mejora continua

-

- Construir y mantener un motor de evaluación basado en datasets versionados.





- Detectar regresiones y comparar de forma reproducible el comportamiento entre versiones.

- Garantizar la trazabilidad de las respuestas: contexto utilizado, modelo, versión del prompt y pasos intermedios del agente.

- Definir y analizar KPIs de calidad e identificar oportunidades de mejora.

- Comunicar el estado de la calidad de las soluciones tanto a perfiles técnicos como de negocio.

Debes tener experiencia en

Buscamos una persona con +4 años de experiencia profesional en ámbitos como:

-

- AI Quality Engineering

- Software Engineering

- MLOps

- Observabilidad

- Ingeniería de datos/IA

Y, especialmente, con experiencia práctica en IA generativa llevada a producción.

Nos interesa especialmente que tengas:

-

- Experiencia real con Ragas y/o DeepEval.

- Experiencia con Langfuse u otras plataformas de observabilidad de LLMs/agentes.

- Experiencia integrando evaluaciones automatizadas como quality gates en CI/CD.

- Conocimientos sólidos de Python.

- Experiencia trabajando con LLMs, RAG y arquitecturas agénticas.

- Conocimientos de métricas y metodologías de evaluación de LLMs.

- Experiencia con Grafana y, valorable, OpenTelemetry.

- Conocimientos sobre seguridad y robustez de sistemas de IA.

- Capacidad para interpretar resultados y convertirlos en acciones de mejora.

Y sobre todo, buscamos a alguien que no se limite a ejecutar tests: queremos una persona capaz de definir qué significa que un sistema de IA sea bueno, cómo medirlo y cómo garantizarlo de forma automat

📌 AI Trust Engineer Senior (España)
🏢 Paradigma Digital
📍 España