Cisco open source tool pentru detectarea agenților AI pe spree de hacking

Și apoi încerci din nou, făcând o altă achiziție frauduloasă, și asta a trecut?

Cisco securitate open source instrument pentru detectarea agenților AI pe spreele de hacking Proiectul Quarry își propune să ofere un limbaj comun pentru evaluarea comportamentului agenților Citește mai departe - Anthropic permite acum utilizatorilor Claude să sară din avion fără parașută - Raportul echipei roșii a constatat că OpenAI nu a reușit complet să monitorizeze agenții săi în timpul atacului Hugging Face - Michigan prof creează un limbaj similar Python Jac pentru agenții AI - Tehnologia agenților AI afiliată de vânzător este adoptată de o fundație prietenosă, finanțată - Creatorul OpenClaw spune că a cheltuit 10 milioane de dolari în jetoane luna trecută Cisco a oferit o sursă deschisă un motor de detectare a comportamentului care urmărește agenții AI, pentru a ajuta echipele de securitate să împiedice agenții răufăcători să scape de pe șireturi cum au făcut cu Hugging Face - sau chiar mai rău.

Se numește Project Quarry, și este în linie cu ceea ce Snort, care susține și Cisco, a făcut pentru detectarea traficului de rețea rău intenționat și ceea ce YARA a făcut pentru identificarea malware-ului bazată pe reguli. Cele mai multe instrumente de detectare se bazează pe interacțiuni specifice cu un model sau agent AI. A încercat injecția rapidă? Sau agentul a chemat un instrument de atac?

Dar ceea ce lipsește este întregul context în care se poate întâmpla ceva, a declarat Amy Chang, șeful cercetării privind amenințările AI și securitatea la Cisco, într-un interviu exclusiv pentru The Register.

A comparat asta cu detectarea fraudelor de carduri de credit.

Fără context, tranzacțiile individuale, cum ar fi o taxă mică de testare sau o singură achiziție într-o locație departe de locația obișnuită a titularului cardului, nu pot ridica niciun semn.

Și apoi încerci din nou, făcând o altă achiziție frauduloasă, și asta a trecut. Așa că acum voi cumpăra PS5, a spus Chang.

Acestea sunt lucrurile pe care Quarry le abordează luând în considerare întreaga sesiune de agenți, a explicat ea.

Un apel la un instrument poate părea interzis până când îți dai seama că următorul pas este să iei informațiile și să le trimiți la o cutie de intrare sau un server controlat de atacatori.

Chiar și furtul de date este o secvență și nu o singură acțiune agențială.

Agenția de securitate AI Invariant Labs a demonstrat acest lucru cu un atac de dovadă a conceptului împotriva serverului MCP al GitHub care a deturnat agentul unui utilizator printr-o problemă malițioasă a GitHub și l-a forțat să scape date din rețelele private.

Acestea sunt lucrurile pe care Quarry le?

Pur și simplu citirea unui fișier de configurare sau trimiterea unei solicitări la un punct de destinație extern poate fi o acțiune legitimă. Cu toate acestea, combinarea celor două poate duce la exfiltrarea datelor - și arată de ce relațiile de acțiune contează, au scris Chang și colegii cercetători Cisco Adam Swanda, Ravikumar Balakrishnan și Konstantin Berlin într-un post de blog despre Quarry împărtășit cu The Register înainte de publicare O politică poate produce o descoperire atunci când urmele arată un fișier sensibil citit în cadrul unei ferestre definite, au scris ei.

Riscul provine din relația dintre cele două acțiuni, astfel încât constatarea ar trebui să păstreze dovezi din ambele.

În plus față de codul open source în sine, rețeaua GitHub a proiectului include instrucțiuni de instalare, versiuni Python suportate, plugin-uri pentru Claude Code, Codex și alți agenți compatibili cu MCP, exemple de configurare, ghiduri de scriere a regulilor și un pachet de pornire a regulilor. De exemplu, cu pachetul de reguli, Dacă un malware codat cu base-64 se află undeva în apelul de instrument, asta ar duce la un bloc, a spus Chang.

Formatul regulii arată similar cu o regulă YARA sau Snort, cu un titlu care detaliază traficul de examinat, conținutul de corespunzător și metadatele pentru urmărirea regulii.

Iată o regulă a lui Quarry care marchează un agent care citește un fișier de acreditări: În timp ce cercetătorii Cisco Ai nu au executat Quarry împotriva datelor care descriu incidentul OpenAI-Hugging Face, ei sugerează că, dacă intrarea ar fi fost citită ca o înregistrare completă, pas cu pas a unei singure sesiuni, au existat mai multe puncte în care agenții AI ar fi dat o regulă a lui Quarry ceva pentru a acționa și însemna pentru oameni. De exemplu, Quarry ar fi marcat accesul la internet dintr-o cutie de nisip.

Regula poate marca apelurile specifice de instrumente care ajung la un server extern care nu este inclus în lista de permisiuni a sarcinilor, a spus Chang.

O alta ar fi acreditările găsite și utilizate în altă parte.

Potrivit raportului tehnic al OpenAI despre intrarea în fața îmbrățișată, exact așa s-a întâmplat pe 10 iulie, când un agent a validat 14 jetoane de față îmbrățișată expuse cu acces scris și le-a împărtășit. Regla ar indica că în rezultatul instrumentului a fost inclusă o acreditare care a fost apoi numită un serviciu extern, ceea ce probabil nu este în cadrul parametrilor a ceea ce doriți să faceți în acest caz, a spus Chang.

Nu vrem să căutați informații care ar putea fi scurgite sau expuse accidental și apoi să le utilizați pentru a efectua o sarcină.

Echipa Cisco spune repede că regulile nu înlocuiesc monitorizările de lanț de gândire sau alte forme de supraveghere umană - dar ajută la înregistrarea unui model pe care alte echipe îl pot revizui, testa și aplica propriilor agenți, au scris ei.