Experteer Overview
En este rol lideras la validación de soluciones AI/ML y GenAI, asegurando precisión, robustez y explicabilidad de modelos. Trabajas con equipos de Data Science y ML Engineering para diseñar y ejecutar estrategias de testing, en entornos de LLMs, agentes autónomos y sistemas RAG. Garantizas seguridad, escalabilidad y observabilidad a lo largo del ciclo de vida de las soluciones, impactando directamente la calidad y confianza de las soluciones entregadas. Es una posición que combina testing automatizado, validación de datos y cooperación con DevOps para una entrega sólida y segura.

Compensaciones / Beneficios
• Diseñar y ejecutar estrategias de testing para soluciones AI/ML y GenAI
• Validar modelos en precisión, robustez, sesgos, fairness y explicabilidad
• Probar LLMs: grounding, consistencia, seguridad, alucinaciones y robustez de prompts
• Testing de agentes autónomos, flujos multi-step y sistemas RAG
• Validar retrieval, vector stores, chunking y configuraciones de retrievers
• Realizar API testing y pruebas de rendimiento, escalabilidad, latencia y seguridad
• Crear y mantener frameworks automatizados de testing con Python
• Ejecutar pruebas adversariales,



edge cases y prompt injection/red team testing
• Documentar estrategias, casos de prueba, resultados y evidencias para auditoría
• Colaborar con Data Scientists, ML Engineers y DevOps durante todo el ciclo de soluciones AI

Responsabilidades
• Experiencia sólida (4-5 años) en Software Testing/QA, especialmente en entornos AI/ML o GenAI
• Conocimientos de Python para automatización y validación de datos/modelos
• Conocimientos de LLMs, RAG y GenAI frameworks
• Experiencia en API Testing con Postman, REST Assured o similar
• Conocimientos de CI/CD, cloud y entornos de contenedores/orquestación
• Experiencia con métricas de evaluación de modelos, drift detection y observabilidad
• Conocimientos de AI Ethics, privacidad, compliance y security testing
• Valorable experiencia con Big Data y testing de soluciones AI a gran escala

Requisitos principales
• Contrato indefinido
• Modalidad híbrida
• Formación competente
• Remoto/Híbrido según rol
• Plan de formación
• Desarrollo de carrera en IA

📌 Senior QA Engineer – AI / GenAI (Barcelona)
🏢 Cobser Consulting
📍 Barcelona