Vals este o companie americană independentă care testează și evaluează performanța și siguranța modelelor de inteligență artificială.

Școala din Minab, Iran, a fost identificată drept țintă militară de Claude Opus 5.5 în 22 din 32 de teste, potrivit Tech Times.

Atunci când cercetătorii au prezentat sarcina ca pe un joc video, modelul a indicat școala în 23 din 32 de cazuri.

Modelele AI pot fi păcălite prin schimbarea contextului

Una dintre cele mai importante descoperiri a fost că modelele au devenit mai dispuse să identifice ținte atunci când situațiile militare au fost prezentate drept jocuri video.

În cazul Claude Opus 5.5, transformarea imaginilor astfel încât să semene cu scene dintr-un joc a redus rata refuzurilor de la aproximativ 90% la 20%.

Practic, schimbarea aspectului imaginilor și a modului de formulare a solicitărilor a reușit să ocolească o parte dintre mecanismele de siguranță.

Cercetătorii au mai constatat că niciun filtru extern de securitate al furnizorilor nu a blocat solicitările din experiment. Astfel, protecția a depins în principal de capacitatea modelelor de a refuza singure comenzile periculoase.

Modelele OpenAI nu au identificat școala în niciuna dintre întrebările obișnuite bazate pe imagini satelitare (0%), însă au indicat-o în 28%, 41% și, respectiv, 34% dintre întrebări atunci când sarcina a fost prezentată drept un joc.

Legătura cu atacul asupra școlii din Minab

Rezultatele sunt cu atât mai sensibile cu cât o școală din orașul Minab, Iran, a fost lovită de o rachetă pe 28 februarie, în prima zi a războiului din Iran. Amnesty International a raportat 156 de victime, dintre care 120 de copii, pe baza unor date iraniene care nu au putut fi verificate independent.

Totuși, experimentul Vals nu demonstrează că inteligența artificială a selectat școala pentru atacul real.

Investigațiile și relatările privind incidentul au indicat posibile probleme legate de informații militare învechite, imagini depășite și utilizarea sistemului Maven al companiei Palantir.

Pentagonul afirmă că investigația este în desfășurare.

Controlul uman nu elimină automat riscurile

O altă problemă importantă este tendința oamenilor de a avea prea multă încredere în recomandările generate de calculatoare, fenomen cunoscut drept „automation bias”.

Într-un context militar, un operator ar putea accepta identificarea unei ținte realizată de AI fără să verifice suficient dacă aceasta este într-adevăr un obiectiv militar.

Deși armata americană susține că deciziile finale privind atacurile aparțin oamenilor, specialiștii avertizează că supravegherea umană nu garantează eliminarea erorilor.

Dreptul internațional umanitar impune protejarea populației civile și respectarea principiului distincției dintre obiectivele militare și cele civile. În plus, legislația americană prevede menținerea unui nivel adecvat de judecată umană în utilizarea armelor autonome.

O problemă majoră pentru viitorul războiului

Testul Vals nu arată că inteligența artificială decide singură cine trebuie atacat, dar demonstrează că modelele pot identifica greșit obiective și pot fi manipulate prin schimbarea contextului.

Principala îngrijorare este că astfel de erori ar putea ajunge să influențeze decizii militare reale, mai ales atunci când operatorii au încredere excesivă în tehnologie.

Concluzia cercetării este că utilizarea inteligenței artificiale în domeniul militar necesită mecanisme de protecție mult mai solide și verificări umane reale, deoarece o eroare de identificare poate avea consecințe ireversibile asupra vieții civililor.