Experteer Overview En este rol lideras la validación de soluciones AI/ML y GenAI, asegurando precisión, robustez y explicabilidad de modelos.

Trabajas con equipos de Data Science y ML Engineering para diseñar y ejecutar estrategias de testing, en entornos de LLMs, agentes autónomos y sistemas RAG.

Garantizas seguridad, escalabilidad y observabilidad a lo largo del ciclo de vida de las soluciones, impactando directamente la calidad y confianza de las soluciones entregadas.

Es una posición que combina testing automatizado, validación de datos y cooperación con Dev

Ops para una entrega sólida y segura.

Compensaciones / Beneficios• Diseñar y ejecutar estrategias de testing para soluciones AI/ML y GenAI• Validar modelos en precisión, robustez, sesgos, fairness y explicabilidad• Probar LLMs: grounding, consistencia, seguridad, alucinaciones y robustez de prompts• Testing de agentes autónomos, flujos multi-step y sistemas RAG• Validar retrieval, vector stores, chunking y configuraciones de retrievers• Realizar API testing y pruebas de rendimiento, escalabilidad,



latencia y seguridad• Crear y mantener frameworks automatizados de testing con Python• Ejecutar pruebas adversariales, edge cases y prompt injection/red team testing• Documentar estrategias, casos de prueba, resultados y evidencias para auditoría• Colaborar con Data Scientists, ML Engineers y Dev

Ops durante todo el ciclo de soluciones AIResponsabilidades• Experiencia sólida (4-5 años) en Software Testing/QA, especialmente en entornos AI/ML o GenAI• Conocimientos de Python para automatización y validación de datos/modelos• Conocimientos de LLMs, RAG y GenAI frameworks• Experiencia en API Testing con Postman, REST Assured o similar• Conocimientos de CI/CD, cloud y entornos de contenedores/orquestación• Experiencia con métricas de evaluación de modelos, drift detection y observabilidad• Conocimientos de AI Ethics, privacidad, compliance y security testing• Valorable experiencia con Big Data y testing de soluciones AI a gran escala

Requisitos principales• Contrato indefinido• Modalidad mixta• Formación profesional• Remoto/Híbrido según rol• Plan de formación• Desarrollo de carrera en IA

📌 Senior QA Engineer – AI / GenAI (Barcelona)
🏢 Cobser Consulting
📍 Barcelona