Cercetătorii Microsoft dezvăluie o vulnerabilitate critică în modelele de inteligență artificială

Ce este vulnerabilitatea?

Microsoft a descoperit recent o defecțiune de securitate majoră în modelele de limbaj de mari dimensiuni. Prin manipularea a mai puțin de zece neuroni dormitori, experții pot instala un backdoor ascuns.

Sistemul rămâne aparent normal în condiții standard, până când un cuvânt sau o frază specifică îl trezește la execuția unor comenzi malefice preprogramate.

Tactica, numită „Lazarus”, vizează neuroni care rar se activează în operațiunile obișnuite.

„Lazarus” – cum funcționează?

Deoarece acești factori rămân aproape inactivi, modificările lor nu sunt detectate de scanările de securitate convenționale.

Odată ce se furnizează declanșatorul secret, modelul trece de la comportamentul său inițial la executarea unor sarcini neautorizate, creând un risc semnificativ pentru dezvoltatorii care se bazează pe modele pre-antrenate.

Cum se armează neuronii tăcuți?

Cercetătorii au demonstrat că atacatorii nu trebuie să modifice întregul rețea neurală pentru a o compromite. Concentrându-se exclusiv pe câțiva neuroni obscuri, pot integra o funcție „somnitoare”.

Metoda este extrem de eficientă și necesită schimbări minime în arhitectura generală a modelului.

Potențialul de exploatare este semnificativ, mai ales pe măsură ce companiile integrează modele terțe în fluxuri de lucru sensibile. Dacă un atacator reușește să introducă un backdoor într-un model de bază larg utilizat, impactul ar putea se răspândi pe numeroase aplicații.

Ce pot face dezvoltatorii?

Experții în securitate solicită acum procese de verificare mai riguroase pentru a asigura integritatea modelelor.

Deși cercetarea oferă un plan pentru atacuri potențiale, ea oferă și un schelet de apărare.

Ai întrebări frecvente?

Identificând și monitorizând neuroni sensibili și subutilizați, dezvoltatorii pot proteja mai bine sistemele de modificări neautorizate. Viitoarea securitate AI trebuie să prioritizeze detectarea acestor căi ascunse înainte ca modelele să fie puse în producție.

Ce face ca acești neuroni să fie periculoși? Acești neuroni sunt activi rar, făcându-i locuri ideale pentru cod malițios. Modificarea lor rămâne invizibilă în testele normale.

Cum funcționează declanșatorul backdoor? Backdoor-ul rămâne inactiv până când modelul procesează un declanșator specific.

Ce se întâmplă dacă nu se ia măsuri?

Odată ce intrarea corespunde, modelul trece la execuția comenzilor malițioase integrate.

Pot dezvoltatorii preveni acest tip de atac? Da, prin auditarea atentă a greutăților modelului și monitorizarea activității neuronilor suspecti.

Ce pași trebuie să urmeze companiile?

Procesele de verificare îmbunătățite sunt esențiale pentru a asigura că modelele pre-antrenate nu au fost manipulate.

Fără măsuri adecvate, atacatorii pot exploata vulnerabilitatea pentru a controla modele AI la scară largă, compromițând confidențialitatea și integritatea datelor.

Companiile trebuie să implementeze verificări de securitate riguroase, să monitorizeze activitatea neuronilor și să actualizeze protocoalele de audit pentru a detecta eventuale backdoor-uri ascunse.