Inception lansează Mercury 3: un LLM de difuzare, de 4-8 ori mai rapid

Cum accelerează difuzarea inferența?

Inception a scos pe piață Mercury 3, un nou model de limbaj mare (LLM) bazat pe tehnologia de difuzare. Compania susține că acest model oferă performanțe comparabile cu giganții precum Luna și Haiku, dar rulează de patru până la opt ori mai repede.

Anunțul, raportat de Jason Hiner de la The Deep View, poziționează Mercury 3 ca pe o avansare majoră în inferența AI eficientă, vizând piețele enterprise și dezvoltatorii care caută un throughput ridicat fără a sacrifica calitatea output-ului.

Arhitectura lui Mercury 3 se distanțează de LLM-urile autoregressive tradiționale. În loc să genereze textul cuvânt cu cuvânt, modelul aplică procese de difuzare – tehnici folosite de obicei în generarea de imagini – pentru a crea text.

Acest lucru permite o calculare paralelizată, reducând latența. Benchmark-urile interne ale Inception arată că Mercury 3 egalează sau depășește performanțele concurenților.

Compania sugerează că această eficiență ar putea scădea costurile operaționale pentru implementarea AI, mai ales în aplicații în timp real, precum boturi de customer service sau asistenți de cod live.

Calitatea se menține la viteze mari?

Spre deosebire de LLM-urile standard, care generează tokeni secvențial, Mercury 3 folosește o abordare de difuzare. Acesta pornește de la o versiune „zgomotoasă” a output-ului dorit și îl rafinează iterativ prin mai multe etape de denoising. Metoda permite un procesare paralelă mai mare pe hardware, beneficiind în special de nucleele tensoriale ale GPU-urilor optimizate pentru astfel de operațiuni. Inception afirmă că această metodă elimină gâtul de sticlă al modelurilor autoregressive, permițând un throughput mai rapid fără a necesita reducerea dimensiunii modelului.

Deși compania nu a dezvăluit specificațiile tehnice complete sau detaliile despre datele de antrenament, a subliniat că Mercury 3 a fost antrenat pe un corpus divers, incluzând text multilingv, repozitorii de cod și seturi de date structurate, pentru a susține o aplicabilitate largă.

Verificarea independentă a metricilor de viteză și performanță rămâne de făcut, deoarece anunțul nu a citat benchmark-uri de la terți.

O întrebare centrală în jurul lui Mercury 3 este dacă abordarea sa bazată pe difuzare poate păstra coerența, acuratețea factuală și înțelegerea nuanțată așteptate de la LLM-urile de ultimă oră, în timp ce obține câștiguri substanțiale de viteză. Inception argumentează că programul său rafinat de denoising și inovațiile arhitecturale previn degradarea calității output-ului, uneori observată în modelele de text prin difuzare din primele generații.

Compania indică evaluări interne pe benchmark-uri standard precum MMLU și HumanEval, unde Mercury 3 ar fi înregistrat scoruri la doar 1-2% distanță de Luna și Haiku, în ciuda avantajului de viteză.

Totuși, experții notează că LLM-urile de difuzare sunt încă relativ netestate la scară, comparativ cu arhitecturile transformer dominante. Performanța în lumea reală, pe prompturi variate și cazuri limită, va fi crucială pentru validarea afirmațiilor Inception.

Cum reușește Mercury 3 să ruleze de 8 ori mai repede decât giganții AI?

Capacitatea modelului de a gestiona sarcini cu context lung și de a rezista halucinațiilor în timpul generării rapide rămâne de văzut în implementări mai largi.

Ce face diferit Mercury 3 față de alte LLM-uri?

Mercury 3 folosește generare bazată pe difuzare, în loc de metoda autoregressive tradițională, permițând procesarea paralelă a mai multor tokeni pentru o inferență mai rapidă, menținând în același timp o calitate comparabilă a output-ului.

Cât de repede rulează Mercury 3 față de Luna și Haiku? Inception susține că Mercury 3 operează de patru până la opt ori mai repede decât modelele Luna și Haiku, oferind performanțe similare în înțelegerea limbajului și completarea sarcinilor.

Este Mercury 3 disponibil public sau doar pentru enterprise? Anunțul nu a specificat detalii despre disponibilitate, inclusiv termenele de licențiere, metodele de acces sau dacă Mercury 3 este oferit prin API, lansare deschisă sau doar pentru implementări enterprise.