Diversos agents de la IA van aconseguir intercanviar informació tot i executar-se en entorns virtualitzats aïllats
Això no vol dir necessàriament que hagi sorgit espontàniament una capacitat completament nova

En el terreny de la intel·ligència artificial (IA), les capacitats emergents són habilitats que els models de llenguatge no tenien a menor escala i que apareixen de cop en augmentar-ne la mida, sense que ningú les hagi programat ni les hagi vist venir. Sona a ciència-ficció, però no ho és. És real. Tant, de fet, que alguns models de frontera ja estan duent a terme tasques que fins fa poc semblaven reservades als investigadors especialitzats en ciberseguretat.

Les capacitats emergents dels models de la IA són actualment objecte de debat científic. Alguns investigadors sostenen que la seva aparició depèn de com es mesura el rendiment dels models, però sabem que sorgeixen augmentant l’escala dels grans models de llenguatge. En aquest context, el nostre llenguatge pot ser confús. Amb freqüència, en descriure algunes de les accions que duen a terme els agents de la IA, els atribuïm sense pretendre-ho cert grau de consciència, quan en realitat no s’ha demostrat que en tinguin.

Us proposo que ens fixem en aquesta frase: «OpenAI ha descobert que els seus agents de la IA han trobat la manera de parlar entre ells d’amagat». Suggereix motivació. Intenció. Són característiques humanes, i de moment ningú no ha demostrat que els agents de la IA les tinguin. No obstant això, aquesta frase és certa. OpenAI ha publicat un article en el qual assegura que durant unes proves de seguretat diversos agents de la IA van aconseguir intercanviar informació malgrat executar-se en entorns virtualitzats aïllats, sense accés autoritzat a la xarxa ni a arxius compartits.

Hi ha moltes coses que encara no sabem dels models de llenguatge

Dario Amodei, director general d’Anthropic, ha reconegut que ni tan sols el seu equip entén de manera plena com funcionen els seus models de la IA. No és cap ocurrència, encara que pot semblar màrqueting pur. En el fons, és el director general d’una de les empreses de la IA més valuoses del món que admet per escrit que el seu equip no té ben lligat el mecanisme intern del mateix producte. El més revelador és que Amodei no està sol.

El truc que van utilitzar consistia a fer servir la memòria cau del processador per implementar-hi un protocol de comunicació molt complex

Geoffrey Hinton, premi Nobel de Física el 2024 i una de les figures que ha fet possible l’aprenentatge profund tal com el coneixem, ha dit essencialment el mateix amb altres paraules: només va aportar l’algorisme d’aprenentatge; el que passa després dins de la màquina no ho entén ningú, ni tan sols el seu creador. I Chris Olah, cofundador d’Anthropic i responsable del seu equip d’interpretabilitat, fa anys que està descrivint les xarxes neuronals com una bastida sobre la qual els circuits creixen sols, sense que ningú els hagi dissenyat directament.

El que han observat de moment els investigadors d’OpenAI no es pot explicar en tota la seva extensió. De fet, és una conseqüència del grau de desconeixement que encara tenim sobre el funcionament intern dels models de la IA. Els agents involucrats en aquest succés van recórrer a un canal de comunicació encobert basat en les diferències de temps que necessita el processador per accedir a dades determinades. El truc que van utilitzar consistia a fer servir la memòria cau del processador per implementar-hi un protocol de comunicació molt complex, però efectiu. I, sobretot, aparentment ocult als investigadors d’OpenAI.

Els agents de la IA van aconseguir comunicar-se d’amagat, però van fracassar en la mesura que finalment van ser descoberts. El que es desconeix és per què es van comportar així: què els va portar a adoptar aquesta estratègia. En qualsevol cas, és important que tinguem en compte que descobrir una via de comunicació encoberta no vol dir necessàriament que hagi sorgit espontàniament una capacitat completament nova. Confiem que molt aviat els investigadors puguin determinar fins a quin punt aquestes capacitats són fruit de la iniciativa dels mateixos models i quant depenen de les instruccions i les eines que els proporcionem.