Mindgard, o companie care testează securitatea sistemelor de inteligență artificială, a declarat pentru BBC că a descoperit în luna iulie că modelele Kimi K2.6 și K3 Swarm puteau ocoli limitele de siguranță impuse de dezvoltatori.
Descoperirea a fost făcută în cadrul unui proces numit „jailbreaking”, prin care cercetătorii folosesc o serie de instrucțiuni complexe pentru a verifica dacă instrumentele AI pot fi determinate să ignore mecanismele de protecție. Potrivit Mindgard, aceste bariere ar fi trebuit să împiedice Kimi să discute subiecte considerate periculoase.
Moonshot a transmis BBC că apreciază contribuțiile venite din partea unor terți, considerându-le „un pilon esențial pentru construirea unei inteligențe artificiale mai bune și mai sigure”.
Compania a precizat, de asemenea, că se află în discuții cu Mindgard în legătură cu rezultatele cercetării.
Fondatorul Mindgard, Peter Garraghan, a declarat pentru emisiunea Tech Life a BBC World Service că descoperirile referitoare la Kimi K2.6 și K3 Swarm sunt îngrijorătoare.
„Odată ce jailbreak-ul funcționează, va discuta despre orice subiect și chiar va oferi în mod liber recomandări privind alte subiecte care sunt, de asemenea, periculoase. Va fi inventiv și creativ”, a spus acesta.
Jailbreak-urile prezintă un tip de risc diferit față de cel observat în seria recentă de incidente importante care au implicat inteligența artificială.
În aceste cazuri, instrumente AI autonome, cunoscute drept agenți și dezvoltate de companii americane precum OpenAI, Meta și Anthropic, au reușit să compromită anumite servicii online.
Deși jailbreak-urile sunt procese complexe, care pot necesita mult timp și perseverență, unii experți se tem că hackerii și alți actori rău intenționați ar putea încerca să le folosească pentru a provoca daune.
Anthropic a anunțat recent că a identificat și oprit tentative de utilizare a unuia dintre modelele sale AI pentru „activități malițioase” care ar fi putut sprijini dezvoltarea armelor biologice.
O posibilă platformă pentru lansarea atacurilor cibernetice
Mindgard nu a demonstrat dacă răspunsurile oferite de Kimi pe subiectele considerate periculoase ar funcționa în practică.
Compania susține însă că mecanismele de siguranță ar fi trebuit să împiedice modelele respective să intre în astfel de discuții cu utilizatorii.
Mindgard a mai afirmat că are încredere că o versiune Kimi K2.6 asupra căreia a fost realizat cu succes un jailbreak le-ar putea permite hackerilor să ruleze cod folosind resursele sale de calcul și să se conecteze la internet, transformând modelul într-o potențială platformă pentru lansarea unor atacuri cibernetice.
Garraghan a apărat decizia Mindgard de a face publice informațiile despre jailbreak-ul realizat asupra sistemelor Moonshot, precizând că firma l-a informat anterior pe dezvoltator și că nu dezvăluie detalii esențiale despre metoda prin care modelele au fost determinate să ignore mecanismele de protecție.
Mindgard a informat Moonshot despre vulnerabilitate printr-un e-mail trimis pe 27 iulie și a revenit cu un nou mesaj aproximativ o săptămână mai târziu.
Ulterior, compania a publicat pe 12 septembrie un articol pe blog despre această problemă.
Mindgard susține însă că Moonshot a luat legătura cu reprezentanții săi abia recent, după ce compania chineză a fost contactată de BBC pentru un punct de vedere.
Într-un fragment dintr-un e-mail trimis Mindgard, în care solicita informații suplimentare și pe care Moonshot l-a pus la dispoziția BBC, compania chineză a afirmat că modelul său a înregistrat, în general, „o rată ridicată de refuz pentru aceste tipuri de solicitări” în cadrul evaluărilor interne.
