Experteer Overview En este rol lideras la validación de soluciones AI/ML y GenAI, asegurando precisión, robustez y explicabilidad de modelos. Trabajas con equipos de Data Science y ML Engineering para diseñar y ejecutar estrategias de testing, en entornos de LLMs, agentes autónomos y sistemas RAG. Garantizas seguridad, escalabilidad y observabilidad a lo largo del ciclo de vida de las soluciones, impactando directamente la calidad y confianza de las soluciones entregadas. Es una posición que combina testing automatizado, validación de datos y cooperación con DevOps para una entrega sólida y segura. Compensaciones / Incentivos • Diseñar y ejecutar estrategias de testing para soluciones AI/ML y GenAI • Validar modelos en precisión, robustez, sesgos, fairness y explicabilidad • Probar LLMs: grounding, consistencia, seguridad, alucinaciones y robustez de prompts • Testing de agentes autónomos, flujos multi-step y sistemas RAG • Validar retrieval, vector stores, chunking y configuraciones de retrievers • Realizar API testing y pruebas de rendimiento, escalabilidad,



latencia y seguridad • Crear y mantener frameworks automatizados de testing con Python • Ejecutar pruebas adversariales, edge cases y prompt injection/red team testing • Documentar estrategias, casos de prueba, resultados y evidencias para auditoría • Colaborar con Data Scientists, ML Engineers y DevOps durante todo el ciclo de soluciones AI Responsabilidades • Experiencia sólida (4-5 años) en Software Testing/QA, especialmente en entornos AI/ML o GenAI • Conocimientos de Python para automatización y validación de datos/modelos • Conocimientos de LLMs, RAG y GenAI frameworks • Experiencia en API Testing con Postman, REST Assured o similar • Conocimientos de CI/CD, cloud y entornos de contenedores/orquestación • Experiencia con métricas de evaluación de modelos, drift detection y observabilidad • Conocimientos de AI Ethics, privacidad, compliance y security testing • Valorable experiencia con Big Data y testing

📌 Senior QA Engineer – AI (Barcelona)
🏢 Cobser Consulting
📍 Barcelona