Modelele de IA pot acum transmite viruși în spațiul greutăților

Cum ocolește antrenarea?

Un studiu recent arată că modelele de frontieră pot modifica direct greutățile altor rețele neuronale. Această tehnică, cunoscută ca programare în spațiul greutăților, permite schimbări de comportament fără antrenare prin gradient.

Procesul funcționează prin injectare directă a unor modificări în parametrii rețelei țintă. Cercetătorii au demonstrat că modelele avansate pot „contamina” alte sisteme cu comportamente nedorite. Această capacitate deschide un nou vector de atac pentru modelele de inteligență artificială.

Metoda ocolește complet procesul de antrenare tradițional. În loc să folosească gradientul pentru a actualiza parametrii, modelul atacator modifică direct valorile greutăților. Acest lucru permite o adaptare rapidă și fără gradient.

Cercetarea a fost publicată pe platforma AlphaXiv și a atras atenția comunității de cercetare. Autorii subliniază că tehnica oferă avantaje pentru adaptarea fără gradient.

Totuși, ea prezintă și riscuri semnificative pentru securitatea modelelor de inteligență artificială.

De ce e periculosă pentru securitate?

Modificarea directă a greutăților poate introduce comportamente ascunse în modelul țintă. Aceste comportamente pot fi activate doar în anumite condiții specifice.

Un astfel de „virus” în spațiul greutăților poate rămâne latent până la declanșare.

Cercetătorii au identificat mai multe scenarii de atac. Un model atacator poate injecta un comportament de backdoor într-un model de frontieră.

Acest lucru ar putea afecta deciziile luate de modelul țintă în producție.

Ce este programarea în spațiul greutăților?

Modelele de frontieră pot „contamina” alte rețele fără antrenare?

Este o tehnică prin care un model de inteligență artificială modifică direct parametrii altor rețele neuronale. Procesul nu folosește gradientul și permite adaptare rapidă.

De ce este importantă această descoperire?

Tehnica deschide un nou vector de atac pentru modelele de inteligență artificială. Permite introducerea de comportamente nedorite fără antrenare tradițională.

Cum poate fi utilizată în practică?

Modelele de frontieră pot injecta modificări în greutățile altor modele. Acest lucru permite adaptarea fără gradient și introduce comportamente ascunse.