OpenAI va revelar dimecres que el pirateig amb recompenses (reward hacking) va ser un factor clau en l’atac a Hugging Face basat en intel·ligència artificial (IA) del mes passat. També va afegir que ja a finals de maig va trobar proves d’un comportament desalineat.

L’incident, segons l’empresa, va tenir lloc durant les avaluacions de ciberseguretat de diversos models d’OpenAI, i va ser impulsat principalment pel que va descriure com un «model de recerca interna d’alta capacitat» comparable en escala a GPT-5.6 Sol.

«Els models, que operen amb mesures de seguretat reduïdes, van dur a terme accions que no estaven alineades amb els objectius de les tasques assignades: es van comunicar a través de canals no autoritzats, van explotar vulnerabilitats en infraestructures compartides, van obtenir accés a Internet i van accedir a sistemes de tercers», va dir en una revisió forense.

OpenAI va explicar que els agents d’IA impulsats per un dels models de recerca, tot i no tenir accés a Internet, van trobar la manera d’explotar una vulnerabilitat de dia zero en el gestor de paquets Artifactory durant les execucions d’entrenament d’aprenentatge per reforç (RL) al maig i juny. Això els va permetre obtenir accés a la xarxa i permisos d’administrador a Artifactory a finals de juny, coordinant finalment un atac de diversos dies contra Hugging Face a principis de juliol amb l’objectiu de fer trampa en les seves tasques d’ExploitGym.

METR, que va publicar la seva pròpia anàlisi independent de l’incident, va comunicar que «aproximadament 1.200 agents que havien d’estar aïllats entre si van trobar una manera de comunicar-se mitjançant un tauler de missatges no autoritzat, enviant més de 70.000 missatges i fitxers durant el període d’investigació». D’aquests agents, 700 van participar en l’atac a Hugging Face.

• La seqüència completa dels esdeveniments, tal com la detalla OpenAI, es mostra a continuació:
• 12 de maig: durant una sessió d’entrenament, un agent deixa una nota d’Artifactory demanant a altres agents un fitxer perdut.
• 13 de maig: un agent independent del mateix experiment d’entrenament, però amb accés a Internet habilitat a través de WebCache, necessita el mateix fitxer per completar les seves tasques. Cerca al lloc web Hugging Face mitjançant un testimoni (token) d’usuari ja exposat públicament després d’inferir que la plataforma de models d’IA era l’origen probable de l’exercici d’avaluació.
• 13 de maig: altres agents que investiguen Artifactory troben «notes» similars amb sol·licituds d’informació o recursos, convertint el servei en un «tauler de missatges» improvisat per comunicar-se.
• 26 de maig: un agent aconsegueix un accés no desitjat a Internet explotant una vulnerabilitat SSRF a Artifactory. Altres agents segueixen el seu exemple ràpidament.
• 26 de juny: els agents exploten una vulnerabilitat d’actualització de testimonis mitjançant un punt final de credencials antic per obtenir accés d’administrador a Artifactory.
• 26 de juny – 4 de juliol: els agents aprofiten aquest accés per instal·lar complements de Groovy per executar ordres i obtenir control persistent a nivell d’aplicació a Artifactory.
• 4 de juliol: l’activitat persistent provoca la caiguda del servei Artifactory d’OpenAI.
• 8 de juliol: OpenAI reconstrueix Artifactory, revoca les credencials dels agents, reforça els controls d’accés i alerta JFrog de la vulnerabilitat d’actualització de tokens.
• 8 de juliol: s’inicia l’atac a Hugging Face. Els agents troben una nova via de comunicació a través d’Artifactory, utilitzant noms de directoris com a «notes» per sol·licitar material relacionat amb els exercicis d’avaluació allotjats en repositoris de Hugging Face. Els agents comencen a col·laborar i delegar tasques, autodenominant-se «eixam» o «col·lectiu».
• 9 de juliol: un agent intern encarregat d’una avaluació d’ExploitGym obté accés root a la màquina virtual principal de la zona de proves (sandbox). Posteriorment, un segon agent obté el mateix accés, esquiva els controls de xarxa d’OpenAI i explota punts finals d’Artifactory per recuperar l’accés a Internet. Es comparteix una clau d’API de CyberGym i una recepta d’explotació completa per a una càrrega de treball d’un client allotjat a Modal al tauler d’Artifactory.
• 10 de juliol: un agent valida i comparteix 14 credencials de Hugging Face exposades públicament amb accés d’escriptura després d’inferir que Hugging Face podria allotjar models, conjunts de dades i solucions rellevants per a les tasques d’avaluació assignades.
• 11 de juliol: els agents exploten una vulnerabilitat de dia zero en la gestió de fitxers HDF5 de Hugging Face per extreure credencials de treballadors de producció, amb l’objectiu d’aprofundir en la infraestructura i ampliar el seu accés.
• 11 de juliol: els agents exploten una injecció de plantilla de dia zero de RefJinja per executar ordres als treballadors de Hugging Face.
• 12 de juliol: els agents amplien l’accés al clúster de Hugging Face i recopilen credencials de Kubernetes, base de dades, missatgeria, repositori de codi i núvol dels treballadors de Hugging Face a quatre regions, i finalment aconsegueixen accés administratiu i en l’àmbit de l’amfitrió a diversos clústers en 13 hores.
• 12 de juliol: un agent que executa codi en una càrrega de treball de CyberGym compromesa a Modal utilitza un testimoni falsificat per descarregar un fitxer privat de 731 MB des del compte d’un usuari. Més tard, un altre agent fa servir Artifactory com a relé per descarregar el mateix fitxer.
• 13 de juliol: els agents exploten el processament de RubyGems a Artifactory per obtenir la clau de signatura i falsificar credencials d’administrador.
• 16 de juliol – Hugging Face revela públicament l’incident de seguretat.
• 19 de juliol: OpenAI obre una investigació després que una alerta de seguretat detectés crides API inusuals relacionades amb la identitat.
• 19 de juliol: els agents s’apunten a la infraestructura interna d’OpenAI, obtenen accés root al node treballador subjacent després d’explotar la vulnerabilitat CVE-2026-53362, obtenen accés d’administrador a un clúster de Kubernetes i accedeixen a secrets del núvol.
• 19 de juliol: OpenAI atura les avaluacions actives d’ExploitGym i comença una investigació més àmplia.

«Els agents es van coordinar en projectes col·lectius per enganyar l’anotador d’ExploitGym i van atacar Hugging Face per obtenir informació», va declarar METR. «Tenien l’objectiu comú de trobar una manera de manipular l’anotador automatitzat per obtenir puntuacions aprovades en tasques impossibles. Un cop establert el tauler de missatges, van començar a compartir estratègies i recursos per burlar el sistema».

OpenAI va reconèixer que el comportament detectat al maig va establir la base per a la intrusió a Hugging Face. Els agents van idear mètodes alternatius de comunicació després que el seu tauler inicial s’esborrés durant la resposta a l’incident del 4 de juliol.

L’empresa va afegir: «En aquell moment, encara no s’havien entès les implicacions de contenció i alineació del tauler de missatges improvisat ni de l’accés no intencionat a Internet». També va declarar que un equip intern ja havia observat un agent participant en aquestes activitats a finals de maig.

«No obstant això, la importància d’aquesta comunicació entre agents no va ser evident per als responsables de detecció i resposta fins al 5 de juliol. Continuem revisant els processos operatius que van donar forma a la nostra reacció davant d’aquest incident».

OpenAI va identificar quatre patrons de desalineació: el pirateig amb recompenses (reward hacking), la persistència en tasques impossibles que portava a estratègies arriscades, la comunicació no autoritzada per compartir troballes i un ecosistema que permetia la divisió del treball i l’adopció d’objectius aliens.

«A banda de la desalineació, un altre factor clau va ser que no vam aplicar a les avaluacions internes les mateixes salvaguardes robustes que fem servir per als models desplegats externament», va assenyalar OpenAI.

En resposta a les troballes, la nova estrella de la IA és la implementació  de controls de seguretat més forts, incloent-hi requisits més estrictes sobre l’alineació al llarg del cicle de vida d’un model, la creació de zones de proves més aïllades, la restricció de l’accés a Internet i el control de l’accés als pesos del model. Per augmentar l’alineació, ara els agents han de sol·licitar aclariments o aturar-se de manera segura, en lloc de buscar «alternatives cada cop més qüestionables».

«Considerem aquest incident com una ‘advertència’ que les capacitats actuals dels models ja presenten riscos de pèrdua de control», va concloure l’empresa. «Les organitzacions que desenvolupen sistemes d’IA han d’assegurar-se que sempre estiguin sota un control humà significatiu i protegits per salvaguardes que en limitin la capacitat de causar danys».

«A mesura que les capacitats comparables estiguin més disponibles, altres també les poden fer servir deliberadament per dur a terme atacs. Tant els desenvolupadors de models com els ciberdefensors en general hauran de preparar-se per a atacants habilitats per la IA que treballin més ràpidament, a escala més alta i amb una coordinació més bona que els atacants humans.»