“Alucinaciones” en chatbots con IA: las empresas que podrían resultar más perjudicadas

La inteligencia artificial está ayudando a las personas a aumentar su productividad, así lo indicó Nicolas Robinson Andrade, director de políticas públicas para América Latina de Open AI.

En ese escenario, aparecen los asistentes virtuales que, en nuestro país, se han convertido en la principal aplicación de las empresas peruanas en relación a la IA. Pero, ¿son confiables?

De acuerdo a un estudio realizado por la startup Vectara, la tasa de alucinación de los chatbots oscila entre el 3% y 27%. Este término de “alucinar” se refiere a los sistemas con IA que arrojan información falsa o parcial.

“Las alucinaciones son producidas por modelos entrenados con grandes volúmenes de información; de allí aprenden patrones y asociaciones con esa información que puede aún ser insuficiente, obsoleta o inconsistente, y dado que no tienen ‘comprensión’, realmente no saben lo que están diciendo”, explicó Pablo Velan, CTO y socio de N5.

Fátima Toche, especialista en IA y derecho digital de la UPC, explicó que los grandes modelos de lenguaje como ChatGPT u otro tienen sesgos u información no fidedigna porque recogen datos públicos, alojados en internet.

“Los datos de entrenamiento van a determinar la precisión o exactitud de la respuesta de una IA. Entre más abarcan y más cantidad de datos de entrenamiento obtengan, estos chatbots tienen más probabilidad de cometer imprecisiones”, explicó la experta a Gestión.

LEA TAMBIÉN: Regulación de la IA en Perú: ¿Qué experiencia se puede aplicar de otros países?

Chatbots: ¿una tendencia a alucinar?

Las alucinaciones o información imprecisa - inventada que proporcionan los asistente virtuales pueden parecer algo menor si un usuario lo usa para realizar una búsqueda “vaga”; es decir, no genera preocupación, sin embargo sería un gran problema para algunas empresas, ¿por qué?

Las decisiones precisas son cruciales. Y es que, una herramienta creada para ayudar y facilitar de diversas maneras se convierte en un modelo perjudicial, así lo advierte N5.

“Si el asistente le dice al cliente que puede entrar al salón vip de la puerta con su tarjeta de crédito, luego resulta que no existe ninguna sala vip; el cliente con justa razón se enoja”, explicó Julián Colombo, CEO y fundador de N5.

Según el ejecutivo, la IA generativa tiene deficiencias que colisionan con los objetivos de la industria financiera, el segundo sector que ha adoptado más dicha herramienta (27.8%), solo por delante del sector servicios (70%).

Otro sector que podría sufrir consecuencias “catastróficas” relacionado a las alucinaciones es el servicio de salud, y es que un diagnóstico erróneo de un paciente generado por el asistente puede ser crucial.

“Si un chatbot de una Clínica le dice a sus clientes que pueden hacerse un primer chequeo de descarte de una enfermedad, sería un problema porque podría dar un falso diagnóstico o consejo médico que no es adecuado”, explicó Toche, experta en derecho digital.

LEA TAMBIÉN: Era de las PCs con IA: estrategia de AMD para superar a Intel y NVIDIA en Perú

¿Se puede evitar las alucinaciones de los chatbots?

Atoche sugirió que las empresas, ser transparentes respecto a los datos de entrenamiento del chatbot con IA, sobre todo cuando está al servicio del ciudadano o consumidores.

No hay ningún modelo de IA en el mundo que sea 100% confiable, resaltó Pablo Velan, CTO & Partner de N5 Now. En esa línea, dijo que las empresas que proveen estos modelos de lenguaje deben tener dominio de su aplicación.

Colombo comentó que hay algoritmos que evitan este tipo de errores al no estar conectados a internet, ya que son entrenados dentro de fuentes de información cerradas. “Dicha IA autónoma podría reducir las alucinaciones, pasando del 20% a menos del 1%”, estimó.

Respecto al futuro de los chatbots, el CEO y fundador de N5 añadió que el 10% de las interacciones tal vez necesiten ser intervenidas por humanos y es probable que en dos años, sea el 3%.

Temas que te pueden interesar sobre Inteligencia Artificial:

• Nuevas modalidades de estafa con IA amenazan retiros de AFP y Gratificaciones
• Empresas peruanas invertirán más de US$ 1 millón en proyectos de Inteligencia Artificial
• Ejecutivos de Perú, los que más temen a la IA en Latinoamérica

SOBRE EL AUTOR

Edgar Velito Limaylla

Periodista digital con foco en Educación superior, Inteligencia Artificial, Ciberseguridad e Internacionalización de empresas. Exredactor de Economía en Diario El Gobierno. Desde el 2023 es parte de Gestión.