Acerca del rol

The AI Software QA Engineer is responsible for testing, validating, and ensuring the quality and reliability of applications, APIs, and AI-enabled systems within the TP.ai ecosystem, focusing on validating backend APIs, heuristic models, and AI-driven systems using modern automation tools and AI-aware testing techniques in an API‑first environment. The candidate should be self‑driven, proactive, and passionate about learning emerging AI technologies, with the ability to quickly adapt in a fast‑evolving AI landscape.

¿Qué valoramos?

Quality Assurance & Testing

- Design, execute, and maintain manual and automated test cases for APIs, web applications, and AI components
- Conduct regression, system, and performance testing prior to production releases

API Testing

- Perform API testing using Postman and Newman
- Validate JSON responses, API contracts, and schema compliance

AI & Heuristic Model Testing

- Test AI/ML and rule‑based systems for accuracy and consistency
- Validate outputs using pattern‑based, range‑based, and semantic validation
- Perform prompt‑based testing including edge cases and adversarial inputs
- Use tools such as Promptfoo and DeepEval for validation
- Hands‑on experience in Responsible AI, LLM testing, and model evaluation with strong understanding of bias, safety, and hallucination testing

Automation

- Develop and maintain automation scripts using Playwright (JS/TS/Python) or Selenium
- Use AI‑assisted tools such as GitHub Copilot and ChatGPT

Data Validation

- Perform SQL‑based validation
- Validate data across API, processing, and output layers

CI/CD Integration

- Execute automated tests in CI/CD pipelines (Azure DevOps, Jenkins, GitHub Actions)
- Support regression and release validation

Defect Management

- Identify, document, and track defects using Jira and TestRail
- Support debugging and root cause analysis

Collaboration





- Work closely with developers, product owners, and AI engineers during agile sprints
- Contribute to sprint planning and UAT activities

Experience

- 3–6 years in QA / Software Testing
- Experience in API and backend testing
- Exposure to AI systems preferred

Technical Skills

- API Testing: Postman, Newman
- Automation: Playwright / Selenium
- Programming: Basic Python / JavaScript
- SQL: Intermediate to advanced
- CI/CD: Azure DevOps / Jenkins
- Tools: Jira, TestRail

AI & Modern Tools

- Promptfoo
- DeepEval
- Azure AI Foundry / Azure OpenAI
- Awareness of LangChain / LangGraph

Y con nosotros podrás disfrutar de:

- Plan de Carrera: Todos nuestros profesionales tienen a su disposición procesos diseñados específicamente para sus funciones dentro de la compañía: modelo de competencias, evaluaciones, planes de formación y certificación, proyectos y eventos.
- Vacaciones: 22 días laborables + 2 días de libre disposición + 24 y 31 de diciembre (cierre empresa)
- Formación: Tendrás opciones para formarte en las últimas tecnologías y en inglés! Además, podrás contar con nuestro programa de certificaciones oficiales y las licencias de Udemy Business.
- Sorpresas: Recibirás sorpresas en momentos especiales como en aniversarios con nosotros, en tus cumple y nacimientos de vuestros bebés.
- Plan Amigo: Puedes ser Embajador de nuestra marca a través de nuestro Plan Amigo y recibir una recompensa.
- Quokka: Programa de actividades para promover el bienestar emocional, la actividad física, y la nutrición saludable.
- Club de ventajas: Programa de ventajas y descuentos (ocio, tecnología, bienestar y salud...).
- Kudos: Iniciativa para fomentar una cultura de feedback y reconocimiento.

Nos comprometemos con la igualdad de oportunidades y el respeto a la diversidad. Aplicamos nuestro Plan de Igualdad y el principio de no discriminación en todos nuestros procesos de selección.

#J-18808-Ljbffr

📌 Senior QA AI Engineer (Madrid)
🏢 Empresa reconocida
📍 Madrid