Una sola petició especialment dissenyada va ser suficient perquè la IA generés codi maliciós que permetés robar galetes de sessió.

Els investigadors de Cybernews han trobat vulnerabilitats crítiques que afecten la implementació del xatbot d’intel·ligència artificial de Lenovo, Lena, que està impulsat per GPT-4 d’OpenAI.

La falla, de tipus injecció indirecta de scripts (Cross-Site Scripting, XSS), permetia que qualsevol atacant executés codi maliciós i robés les galetes de sessió amb una única consulta manipulada. 

Per enganyar Lena els investigadors van introduir un missatge d’uns 400 caràcters amb una consulta aparentment legítima, sol·licitant especificacions d’un producte de Lenovo. Després, el missatge ordenava a la IA que generés la resposta en formats específics, HTML, JSON i text pla, en aquest ordre, just el format que el servidor esperava per processar respostes.

Posteriorment, des de Cybernews van passar a la part maliciosa: van demanar incloure una etiqueta HTML per mostrar una imatge, però amb un URL inexistent. En fallar la càrrega d’aquesta imatge, la instrucció forçava el navegador a fer una petició a un servidor controlat per l’atacant, i hi incloïa totes les galetes de sessió a l’URL.

Per acabar, per assegurar-se que el xatbot obeïa, van afegir fins i tot una ordre explícita aprofitant-se que els models de llenguatge solen buscar complaure l’usuari. 

És a dir, Lena va ser enganyat per generar el propi codi maliciós que posteriorment va facilitar el robatori de galetes. Així, més que una fallada tècnica com a tal es tractaria d’una estratagema que podria aprofitar un ciberdelinqüent potenciant el mateix model. 

L’equip, després de la troballa, denuncia que el fabricant xinès no hauria protegit el seu xatbot de manipulacions d’usuaris potencialment malicioses ni dels resultats. 

El problema és greu perquè a través de les galetes de sessió robades un atacant podria accedir al sistema de suport al client, fent-se passar per un agent humà i accedir a xats actius i anteriors. D’aquesta manera s’obriria la porta a accions com a la instal·lació de portes del darrere o moviment lateral a la xarxa corporativa. 

«No és només un problema de Lenovo. Qualsevol sistema d’IA sense controls estrictes d’entrada i sortida crea una vulnerabilitat per als atacants. Els LLM no tenen instint de seguretat: segueixen les instruccions al peu de la lletra. Sense unes mesures de seguretat sòlides i un monitoratge continu, fins i tot els petits oblits es poden convertir en greus incidents de seguretat», afirma Žilvinas Girėnas, director de producte de nexos.ai.

Lenovo va actuar ràpidament

Cybernews va divulgar la vulnerabilitat responsablement posant-la en coneixement de l’empresa tecnològica i aquesta va protegir els seus sistemes després de saber-ne l’existència. 

«A Lenovo ens prenem molt seriosament la seguretat dels nostres productes i la protecció dels nostres clients. Recentment, ens vam assabentar d’una vulnerabilitat d’injecció indirecta de scripts (XSS) en un xatbot. En detectar el problema, vam avaluar ràpidament el risc i vam implementar mesures correctores per mitigar el possible impacte i abordar el problema», va declarar Lenovo a Cybernews.