Sfârșitul grupului AI Frontiers al Microsoft Research

În acest monorepo, de exemplu

În 2023, după lansarea ChatGPT, mi-a fost clar că cercetarea trebuia să fie mai organizată pentru a avea succes decât era normal în Microsoft Research. Cantitatea de sprijin și concentrare pe care le-au aplicat alte grupuri de cercetare a fost suficient de mare încât chiar și cu o idee inteligentă urmată de o singură persoană, era probabil să fie târziu și neconvingător deoarece o persoană nu putea să se miște suficient de repede și elementele de bază pe care o persoană ar putea asambla pur și simplu nu erau suficient de puternice pentru a arăta că o idee merită să zboare.

Mai mulți oameni au crezut la fel și ne-am organizat pentru a crea suborganizația AI Frontiers în cadrul MSR. La AI Frontiers, am încercat activ să organizăm eforturi de cercetare coerente. Asta nu a fost exact sus și jos sau jos și sus, ci mai degrabă undeva în mijlocul mizeriei.

Desigur, au existat neînțelegeri, iar rezolvarea lor a fost uneori destul de dificilă.

Disponibilitatea calculatoarelor a fost, de asemenea, un obstacol adesea serios.

Dar la un nivel ridicat am avut impresia generală că organizația a fost capabilă să facă lucruri pioniere, mai ales dat fiind dimensiunea mică a FIA (aproximativ 50 de persoane) și comparativ cu ceea ce am putut face înainte.

O mare parte a lucrării FIA a fost de a descoperi cum să facă agenții să funcționeze, de exemplu, cadrul autogen și agentul de utilizare a calculatorului.

Cu toate acestea, în NYC, mulți dintre noi erau interesați de dezvoltarea de noi capacități fundamentale, cum ar fi următorul obiect latente care permite extrapolarea, Dion3 care creează un Muon optimizat / îmbunătățit, sau Transformatorul de lățime de bandă completă care face în mod eficient modelele să funcționeze substanțial mai puternic prin recursiune.

Cu toate acestea, în NYC, mulți dintre noi au fost

De asemenea, am încercat să împărtășim activ cu restul MSR. De exemplu, AIF a decis să dezvolte amonoreport, care a fost împărtășit implicit cu toate Microsoft Research.

În acest monorepo, de exemplu, a existat o bază de cod pre-learning despre care am vorbit în discursul principal al COLM luna trecută.

Acest lucru poate părea un detaliu minor, dar cantitatea de efort necesară pentru a crea un sistem de creare de modele bine format este substanțială și sunt conștient de cel puțin 4 eforturi (altele 3 nu sunt în rețelele publice din cadrul RMS) care încearcă să dezvolte linii de construcție de modele.

La începutul lunii septembrie am fost reorganizați în Microsoft AI.

Pe suprafață, acest lucru ar putea avea sens, deoarece fuziunea a două organizații diferite de IA creează oportunități pentru o mai bună concentrare a eforturilor, iar au existat locuri în care AFI-urile au fost în favoarea MAI și, desigur, invers (MAI este mult mai mare).

În practică, există probleme substanțiale deoarece filosofia fostului conducere de inflexiune a MAI este incompatibilă.

Filozofia de bază este scalarea și nu cercetarea agresivă.

Acest lucru ar putea șoca unii oameni care cred în mod natural că modalitatea de a face modele mai bune este prin cercetare, dar există o mulțime de dovezi că modele mai mari sunt modele mai bune în ceea ce privește calitatea predicțiilor pe care le fac și din perspectiva afacerii, returnul la scară este mult mai previzibil decât returnul la cercetare.

Cred că concentrarea pe scară este atât

Într-un mediu la scară, bineînțeles, efortul principal este obținerea/producerea/refinarea datelor, care este destul de departe de ceea ce am lucrat la. În afară de concentrarea incompatibilă, a fost o mulțime de dovezi că ei pur și simplu nu ne-au vrut cu adevărat. E o situație dificilă în care să te găsești.

Cred că concentrarea pe scară este la fel de greșit și amuzant.

Înțelegebil, calea de a eșua este simplă și este obișnuit ca oamenii să renunțe la un compromis între mai multe ideale concurente (cum ar fi inovația și dimensiunea) prin îmbrățișarea cu nerăbdare a uneia în întregime și renunțarea la cealaltă. Dar rezultatele cercetării sunt reale și semnificative.

De exemplu, experimentele Bytedance sugerează că o variantă Transformer cu lățime de bandă completă poate fi comparabilă cu un model de două ori mai mare, implicând economii semnificative în formare și deducere pentru aceeași capacitate.

Cât merită să se reducă la jumătate costurile de formare și inferență, având în vedere că industria are investiții de aproape un trilion de dolari? Așa că mi-am pus părinții cât am putut și am plecat.

Sunt destul de norocos că există mulți alți oameni în lume care pot vedea valoarea cercetării și a inovației, care este centrul meu intrinsec de interes.

Fiecare membru al echipei de conducere fondatoare a FIA pare să fi ajuns la o concluzie similară. Asta lasă o întrebare: de ce nu te întorci la MSR? Am vorbit puțin cu oamenii, dar nu am putut scăpa de două obstacole serioase. Primul este că nu mă simt confortabil să fiu într-o companie.