Overview

En este rol lideras la validación de soluciones AI/ML y GenAI, asegurando precisión, robustez y explicabilidad de modelos. Trabajas con equipos de Data Science y ML Engineering para diseñar y ejecutar estrategias de testing, en entornos de LLMs, agentes autónomos y sistemas RAG. Garantizas seguridad, escalabilidad y observabilidad a lo largo del ciclo de vida de las soluciones, impactando directamente la calidad y confianza de las soluciones entregadas. Es una posición que combina testing automatizado, validación de datos y cooperación con DevOps para una entrega sólida y segura.

Compensaciones / Beneficios

- Contrato indefinido
- Modalidad mixta
- Formación profesional
- Remoto/Híbrido según rol
- Plan de formación
- Desarrollo de carrera en IA

Responsabilidades

- Diseñar y ejecutar estrategias de testing para soluciones AI/ML y GenAI
- Validar modelos en precisión, robustez, sesgos, fairness y explicabilidad
- Probar LLMs: grounding, consistencia, seguridad, alucinaciones y robustez de prompts
- Testing de agentes autónomos, flujos multi-step y sistemas RAG
- Validar retrieval, vector stores, chunking y configuraciones de retrievers
- Realizar API testing y pruebas de rendimiento, escalabilidad, latencia y seguridad




- Crear y mantener frameworks automatizados de testing con Python
- Ejecutar pruebas adversariales, edge cases y prompt injection/red team testing
- Documentar estrategias, casos de prueba, resultados y evidencias para auditoría
- Colaborar con Data Scientists, ML Engineers y DevOps durante todo el ciclo de soluciones AI

Requisitos principales

- Experiencia sólida (4-5 años) en Software Testing/QA, especialmente en entornos AI/ML o GenAI
- Conocimientos de Python para automatización y validación de datos/modelos
- Conocimientos de LLMs, RAG y GenAI frameworks
- Experiencia en API Testing con Postman, REST Assured o similar
- Conocimientos de CI/CD, cloud y entornos de contenedores/orquestación
- Experiencia con métricas de evaluación de modelos, drift detection y observabilidad
- Conocimientos de AI Ethics, privacidad, compliance y security testing
- Valorable experiencia con Big Data y testing de soluciones AI a gran escala

- Colaboración con equipos multidisciplinares
- Comunicación clara y documentar results/ evidencias
- Pensamiento crítico y enfoque de calidad
- Python
- Testing de ML/GenAI
- LLMs y GenAI frameworks

📌 Senior qa engineer – ai / genai (Barcelona)
🏢 Cobser Consulting
📍 Barcelona