Modele de lume mai inteligente: revoluția counterfactuală în AI

Modele de lume mai robuste?

Explorarea modelelor aleatorii avansate deschide noi orizonturi în înțelegerea și simularea mediului fizic, propulsând dezvoltarea unor sisteme robotice mult mai inteligente și robuste. O abordare nouă, prezentată într-un studiu preliminar, aduce la lumină o perspectivă filozofică legată de axioma lui Gottfried Leibniz – continuitatea naturii.

Aceasta sugerează o cale către predicții fizice superioare, chiar și fără antrenare completă pentru toate scenariile posibile.

Anticipare dincolo de datele trecute?

Cercetătorii din domeniul inteligenței artificiale și al învățării automate au reușit să dezvolte o metodă care îmbunătățește semnificativ precizia predicțiilor generate de modelele de lume.

Aceste modele sunt vitale pentru antrenarea sistemelor AI fizice, cum ar fi roboții, să navigheze eficient în lumea reală. Funcția lor principală este anticiparea consecințelor acțiunilor, dar tradițional, aceste anticipări se bazau strict pe datele observate în trecut. O îmbunătățire radicală ar veni dacă aceste modele ar putea inferează acțiuni teoretice fără a fi antrenate pentru fiecare rezultat posibil.

Leibniz și predicții zero-shot?

Randall Balestriero (Brown University și AMI Labs), Kerda Varaku și Yann LeCun (diplomat Turing, NYU și AMI Labs) au documentat această metodă în articolul „Counterfactual World Models: Natura Non Facit Saltus”. Titlul latin face aluzie la principiul lui Leibniz: „natura nu face sărituri”. Deși acest concept a fost acceptat mult timp, a întâmpinat dificultăți majore în confruntarea cu mecanica cuantică. Totuși, pentru autorii acestei cercetări, această expresie oferă cadrul teoretic pentru o procedură de inferență fizică zero-shot.

Balestriero a explicat, într-un mesaj către The Register, că modelele de lume counterfactuale folosesc „discrepanța dintre predicția făcută și realitatea observată pentru a identifica erorile, permițând astfel o înțelegere mai profundă a evenimentelor pentru predicții, reprezentări și raționament viitor, aplicabil în testare.”

În trecut, modelele Joint Embedding Predictive Architecture (JEPA), dezvoltate de LeCun și echipa sa în 2023, au fost propuse pentru aplicații robotice datorită capacității de a primi o acțiune ca intrare și de a simula starea viitoare a lumii. Totuși, un model JEPA generează o medie a rezultatelor posibile și, implicit, nu poate anticipa scenarii counterfactuale – adică evenimente care nu s-au produs de fapt.

Cum funcționează modelele counterfactuale?

Inovația nu este exclusivă arhitecților JEPA; poate fi implementată pe orice model de lume care prezice starea medie următoare sub orice acțiune. Totuși, modelele JEPA se pot adapta bine la această tehnică.

Balestriero a menționat că experimentele cu modelele de lume counterfactuale au fost realizate folosind codificatori standard (DINOv2 și MAE), fără necesitatea de fine-tuning, necesitând doar un predictor minor antrenat deasupra.

Limitele modelelor JEPA anterioare?

Așadar, crearea unui model de lume counterfactual pe această bază inițială necesită modificări minimale.

Aceste modele counterfactual pot prezice scenarii alternative cu o eficiență sporită, extrăgând informații din evenimentele deja observate.

Adaptabilitate și implementare simplă!

În contextul inferenței cauzale, Balestriero a detaliat că răspunsul la întrebarea „Ce ar fi întâmplat dacă aș fi acționat diferit?” implică trei pași: prima dată, inferarea informațiilor despre factori ascunși din observații; a doua, schimbarea acțiunii inițiale; și a treia, predicția ulterioară, menținând factorii ascunși invariabili.

Modelul dezvoltat de echipa lor realizează acești trei pași printr-o singură operație de „drop”.

Simularea scenariilor alternative?

Un exemplu ilustrat în lucrare implică o barcă care traversează un râu cu un curent ascuns.

Modelul JEPA și modelul counterfactual au prezis mișcarea bărcii diferit.

„Modelul de lume a prezis unde ar ajunge barca dacă ar naviga spre stânga, dar realitatea a arătat că s-a deplasat doi metri mai jos în curent”, a explicat Balestriero.

Exemplu cu barcă și curenți?

Acești doi metri reprezintă semnătura curenților care au acționat.

Pentru a răspunde la scenariul counterfactual –„ unde ar fi fost barca dacă aș fi navigat spre dreapta? ”– luăm predicția modelului pentru direcția dreapta și îi adunăm acești doi metri.

Justificare fizică a regulii!

Prin urmare, scenariul counterfactual este echivalent cu ceea ce s-a întâmplat, plus diferența dintre predicțiile modelului pentru acțiunea alternativă și cea pentru acțiunea efectivă.

Justificarea fizică a acestei reguli nu provine din formularea unei ecuații pe care modelul o învață, ci din proprietăți fizice: pe perioade scurte de timp, efectul acțiunii și efectul curenților cresc proporțional cu durata, în timp ce interacțiunea lor crește doar cu pătratul duratei. Așadar, la pași mici.