Durante los pasados días 1 y 2 de octubre, Valencia volvió a convertirse en la capital del testing con una nueva edición de VLCTesting 2025, el mayor festival de pruebas de software en España organizado por el Instituto Tecnológico de Informática (ITI).
Más de 1.000 asistentes, entre presencial y online, se dieron cita en esta 15ª edición cuyo lema fue “No Test, No Gain”, para compartir aprendizajes y conocer las últimas tendencias, en un afán de mantener a la calidad del software en el centro de la estrategia de las organizaciones.
LedaMC, siempre comprometida con la calidad
En LedaMC no podíamos faltar a este evento y parte de nuestro equipo puso rumbo a Valencia. Ana, Lily, Andrés y Jesús aprovecharon esta oportunidad para llevarse aprendizajes valiosos y para contribuir al debate sobre el futuro del testing, muy marcado ya por la integración de la IA generativa en los procesos de validación y aseguramiento de la calidad.
Además, nuestro compañero Jesús Alonso, Responsable de Servicio de LedaMC, participó como ponente durante las sesiones online del día 2 de octubre con la charla “Cómo domar a tu chatbot: Pruebas inteligentes (sin volverse loco)”, donde expuso un caso real de pruebas a un asistente virtual en un e-commerce.
El reto de probar un chatbot con IA generativa
Jesús compartió la experiencia de un proyecto en el que se probó un chatbot basado en un modelo LLM multilingüe, conectado a APIs de catálogo, stock y pedidos, cuyo objetivo era acompañar al cliente en todo el proceso de compra.
Este sistema presentaba un gran desafío, la naturaleza generativa de la IA hacía que sus respuestas no siempre fueran predecibles, generando “alucinaciones”, incoherencias de tono o errores en la detección de idioma.
¿Cuáles fueron los principales problemas encontrados?
En la práctica, nos encontramos con tres grandes dificultades. La primera fue garantizar la relevancia de las respuestas y evitar las famosas “alucinaciones” de la IA. Un cliente que pregunta si hay descuentos en zapatillas espera una respuesta concreta, no una descripción genérica sobre las marcas más populares.
La segunda dificultad fue el manejo de idiomas: no bastaba con que detectara correctamente la lengua de la consulta, también debía adaptarse a cambios durante la conversación y entender modismos locales, algo clave en un e-commerce global.
El tercer desafío tuvo que ver con el tono. El chatbot es, en esencia, el vendedor de la tienda online, y un mal gesto virtual es igual de perjudicial que una mala atención en persona. Descubrimos, por ejemplo, que ante un usuario enfadado el bot respondía de manera seca e incluso le regañaba. Ajustar esas respuestas para que fueran empáticas y coherentes con la voz de la marca resultó fundamental.
Las pruebas: Mezcla de intuición humana y creatividad de IA
Para enfrentarnos a todo esto diseñamos una estrategia híbrida de pruebas. Por un lado, aplicamos el conocimiento experto del equipo de QA: casos de prueba bien pensados, escenarios límite, testing exploratorio con distintos perfiles de clientes y documentación exhaustiva de cada fallo.
Por otro, nos apoyamos en IA generativa, con la ayuda de Quanter, para multiplicar la cobertura de pruebas. Esta herramienta nos permitió generar variaciones infinitas de preguntas, inputs “raros”, errores ortográficos o simulaciones de conversaciones largas en varios idiomas. Así, mientras el criterio humano nos daba control y conocimiento del negocio, la IA aportaba creatividad y volumen.
¿Qué conseguimos?
Antes de estas pruebas, estimábamos que casi tres de cada diez conversaciones con el bot fallaban. Tras la estrategia híbrida, logramos que más del 90% de las consultas típicas fueran respondidas de forma correcta y con el tono adecuado. En pilotos con usuarios reales, la satisfacción aumentó un 20%, y el proceso de QA detectó un 40% más de defectos que con pruebas manuales únicamente.
Además, liberamos a los testers de la tarea repetitiva de inventar casos para que pudieran concentrarse en analizar patrones y mejorar la experiencia.
Lecciones para quien quiera domar a su chatbot
Si hay algo que nos llevamos de este proyecto es que probar un sistema con IA generativa no se puede hacer solo con métodos clásicos. Hace falta criterio, pero también herramientas que ayuden a explorar lo inesperado. Pensar en la experiencia completa y no solo en si la lógica está bien implementada.
Porque hay que recordar que los usuarios nunca se comportan como esperas y el mejor testing es el que se anticipa a ese caos. Y si puedes usar IA para ayudarte a simularlo, mejor que mejor.
Nuestros muchos años de experiencia en aseguramiento de la calidad y pruebas de software, son la base para poder integrar nuevos enfoques como la IA generativa aplicada al testing. Y gracias a nuestro equipo de profesionales de Calidad y Pruebas y a la evolución de nuestra herramienta Quanter, también podemos ayudarte a conseguirlo. Cuéntanos tus desafíos y vemos cómo podemos superarlo juntos.
