En un gir irònic, la plataforma d’intel·ligència artificial (IA) de codi obert Hugging Face va revelar que va ser víctima d’un pirateig perpetrat per un sistema d’agents d’IA autònom.

L’empresa va dir que va detectar i respondre a l’incident dirigit a la seva infraestructura de producció a principis de la setmana passada.

«Hem identificat accés no autoritzat a un conjunt limitat de dades internes i a diverses credencials utilitzades pels nostres serveis», va dir l’empresa en una declaració.

Tot i que la investigació sobre la intrusió continua en curs, Hugging Face va dir que no ha trobat cap prova que l’agent de la IA hagi manipulat models públics, conjunts de dades o Spaces, ni la seva pròpia cadena de subministrament de programari.

El punt de partida de l’atac va ser el mateix pipeline de processament de dades, amb un conjunt de dades maliciós que abusava de dues rutes d’execució de codi, és a dir, al seu carregador remot de conjunts de dades de codi i una injecció de plantilla en una configuració de conjunt de dades, per executar codi en un procés.

Amb aquest accés, es diu que l’actor d’amenaces ha escalat a l’accés a nivell de node, ha recopilat credencials de núvol i clúster, i s’ha traslladat lateralment a diversos clústers interns durant un cap de setmana.

El model de llenguatge gran (LLM) exacte utilitzat per dur a terme l’atac no queda clar, però la campanya va ser executada per un marc d’agent autònom que feia «molts milers d’accions individuals a través d’un eixam de sandboxes de curta durada, amb comandament i control automigradors en serveis públics.»

Hugging Face va dir que des de llavors ha abordat la causa principal del problema, concretament les vies d’execució de codi utilitzades per a l’accés inicial. També va dur a terme els passos de remediació següents:

• Va eliminar el punt de suport de l’atacant als clústers afectats i va reconstruir els nodes compromesos.
• S’han revocat i rotat les credencials i els tokens afectats, i s’ha dut a terme una rotació més àmplia de secrets com a mesura de precaució.
• Va desplegar barreres de seguretat addicionals i controls d’admissió més estrictes als seus clústers
• Detecció i alertes millorades per garantir que els serveis d’emergència siguin notificats en qüestió de minuts, les 24 hores del dia, els 7 dies de la setmana

Com a mesura de seguretat addicional, Hugging Face insta els clients a rotar els tokens d’accés i a revisar l’activitat recent dels seus comptes.

L’empresa també va dir que va recórrer al GLM 5.2 de Z.ai, un model xinès de pes obert, per dur a terme l’anàlisi forense després que els models occidentals rebutgessin les sol·licituds que contenien ordres d’atac reals, càrregues útils d’explotació i artefactes de comandament i control (C2) perquè les seves tanques de seguretat s’havien activat i a causa de la seva incapacitat per diferenciar entre un atacant i un esforç legítim de resposta a incidents.

«Aquesta experiència apunta a una bretxa que val la pena planificar», va dir l’empresa amb seu a Nova York. «No sabem quin model alimentava els agents de l’atacant, si un model allotjat amb jailbreak o un de pes obert sense restriccions; de qualsevol manera, l’atacant no estava subjecte a cap política d’ús, mentre que el nostre propi treball forense estava bloquejat per les tanques de seguretat dels models allotjats que vam provar primer.»

«La lliçó pràctica per als defensors: tenir un model capaç que puguis executar a la teva pròpia infraestructura revisada i a punt abans d’un incident, tant per evitar el bloqueig de la tanca com per evitar que les dades i les credencials de l’atacant surtin del teu entorn.»