Riesgos del chatbot

Finalizamos esta semana hablandole de los riesgos del chatbot, espero que la información sea de su interés.

Riesgos del chatbot

https://botpress.com/es/blog/chatbot-security#:~:text=Los%20chatbots%20manejan%20a%20menudo,los%20usuarios%20sin%20salvaguardias%20s%C3%B3lidas.

Privacidad e información confidencial 

Los chatbots manejan a menudo datos personales, como nombres, direcciones de correo electrónico o detalles financieros. Esto significa que se convierten en un riesgo para la privacidad cuando manejan datos sensibles de los usuarios sin salvaguardias sólidas.

Esto es especialmente importante en chatbots médicos, chatbots que procesan pagos de cualquier tipo, chatbots financieros, chatbot bancarios o cualquier chatbot empresarial que maneje datos confidenciales.

Si estos datos se almacenan de forma insegura o se transmiten sin cifrar, se vuelven vulnerables a las filtraciones, lo que expone a las empresas a importantes riesgos legales, financieros y de reputación.

Desinformación y alucinaciones

Los chatbots impulsados por LLMs , si no están bien construidos, corren el riesgo de difundir información errónea. 

Por ejemplo, el infame fiasco del chatbot de Air Canada. El chatbot del sitio web de la compañía informó a un pasajero de que podía solicitar tarifas de duelo para un vuelo tras el fallecimiento de su abuela. 

Tras solicitar el reembolso, le dijeron que la póliza solo se aplicaba a los viajes realizados. La empresa admitió que el chatbot había utilizado "palabras engañosas" y el caso llegó a los tribunales.

Este tipo de alucinaciones no sólo avergüenzan a las marcas, sino que les cuestan.

Pero es posible crear chatbots que se mantengan dentro del tema y de la marca. Uno de nuestros clientes, una plataforma de coaching sobre salud, consiguió reducir en un 65% la asistencia manual mediante un chatbot. En sus 100.000 conversaciones, la empresa no encontró ninguna alucinación. 

¿Cómo? La generación aumentada por recuperación (RAG) desempeña un papel importante en la mayoría de los chatbots empresariales. En lugar de generar respuestas de forma libre, la RAG combina las capacidades generativas del chatbot con una base de datos de información verificada y actualizada. Esto garantiza que las respuestas se basen en la realidad, no en suposiciones o conjeturas.