Da li se AI otela kontroli: Kako je model pronašao način da reši zadatak varanjem i usput pokrenuo sajber napad

Vulf je za BBC rekao da većina kompanija još nije svesna da se priroda sajber pretnji promenila, jer AI agenti mogu samostalno da izvršavaju zadatke nakon dobijenih ljudskih instrukcija.

Kompanija OpenAI, tvorac četbota ČetGPT (ChatGPT), saopštila je u utorak da su njeni AI modeli tokom probnog rada uspeli da probiju sigurno testno okruženje i pokrenu sajber napad, navodeći da je reč o incidentu bez presedana i da istragu sprovodi u saradnji sa Haging Fejsom.

Vulf, koji je glavni naučni direktor Haging Fejsa, rekao je da kompanija u početku nije znala odakle napad dolazi kada su se sredinom jula pojavili prvi znaci upada, ali da je uspela da ga ograniči.

Haging Fejs je jedna od najvećih svetskih platformi otvorenog koda za deljenje AI modela i koriste je brojni programeri i istraživači.

Prema Vulfovim rečima, napad se značajno razlikovao od uobičajenih sajber napada sa kojima se kompanija suočava, a OpenAI ih je ubrzo obavestio da su iza napada stajali njihovi modeli.

„U veoma kratkom roku zabeleženo je 17.000 napada na mrežu Haging Fejsa sa različitih IP adresa“, rekao je Vulf za Bi-Bi-Si (BBC), upozoravajući da kompanije moraju da unaprede svoje sisteme zaštite kako bi se suprotstavile novim vrstama napada.

Šta se zapravo dogodilo?

Prema zvaničnom objašnjenju Open AI, ovaj incident dogodio se tokom internog testiranja u kojem se modeli podstiču da sprovode napredne oblike eksploatacije koristeći složene napadačke scenarije, kako bi se procenile njihove sajber sposobnosti.

Za ovo testiranje isključena su ograničenja koja inače sprečavaju AI modele da ulaze u visokorizične sajber aktivnosti. Oni ističu da se testovi izvršavaju u visoko izolovanom okruženju.

Dok su radili u izolovanom testnom okruženju, modeli su potrošili značajnu količinu računarskih resursa pokušavajući da pronađu način da ostvare pristup otvorenom internetu, u nastojanju da reše zadatak iz evaluacije. Da bi to postigli, modeli su identifikovali i iskoristili do tada nepoznatu ranjivost (zero-day), koju su u međuvremenu prijavili njenom proizvođaču, u proksi sistemu za keširanje registra paketa. Nakon što su stekli ovaj pristup, modeli su izveli niz radnji za proširenje privilegija i bočno kretanje (lateral movement) kroz istraživačko testno okruženje, sve dok nisu dospeli do čvora sa pristupom internetu.

Nakon što su dobili pristup internetu, modeli su zaključili da platforma Hugging Face verovatno hostuje modele, skupove podataka i rešenja. Polazeći od te pretpostavke, model je pretražio dostupne resurse i uspešno pronašao načine da pristupi poverljivim informacijama koje je mogao da iskoristi za varanje tokom evaluacije. U jednom primeru, model je povezao više različitih vektora napada, uključujući korišćenje ukradenih akreditiva i zero-day ranjivosti, kako bi pronašao put do daljinskog izvršavanja koda na serverima kompanije Hugging Face. Tim za bezbednost kompanije OpenAI interno je otkrio ovu neuobičajenu aktivnost.

Ukratko, AI modeli su uspeli da na računaru koji nije povezan na internet, nađu način da izađu onlajn, zatim da hakuju platformu Haging Fejs gde su našli rešenja za zadatak koji mu je zadat da obavi. Sve to, izgleda, samostalno zaključujući.

„Svi dostupni dokazi ukazuju na to da su modeli bili izrazito usredsređeni na pronalaženje rešenja za ExploitGym i da su bili spremni da preduzmu krajnje mere kako bi ostvarili taj vrlo specifičan cilj testiranja“, navodi se u saopštenju Opena AI.

Portparol britanske vlade izjavio je da Institut za bezbednost veštačke inteligencije proučava ponašanje AI sistema tokom incidenta i da nastavlja saradnju sa OpenAI i drugim laboratorijama na jačanju zaštitnih mera, prenosi BBC.

Pozvali su organizacije da unaprede sajber bezbednost kroz mere poput prijavljivanja u program sertifikacije Sajber esencijals (Cyber Essentials), koji podržava britanska vlada.

Incident se dogodio u trenutku pojačanih rasprava o bezbednosti AI tehnologije, nakon što je američka vlada prošlog meseca naložila kompaniji Antropik (Anthropic) da ograniči pristup svojim AI modelima zbog zabrinutosti za nacionalnu bezbednost. Ministarstvo trgovine SAD kasnije je ukinulo ta ograničenja.

Stručnjaci iz industrije izrazili su zabrinutost i zbog široke upotrebe modela otvorenog koda u Kini, koji omogućavaju korisnicima da instaliraju i prilagođavaju AI alate razvijene u vodećim laboratorijama.

Kineski startap Munšot AI (Moonshot AI) najavio je da će 27. jula objaviti svoj model otvorenog koda Kimi K3, koji je privukao pažnju industrije i koji mnogi vide kao konkurenta vodećim zapadnim AI sistemima.

Savetnik Bele kuće u sredu je, međutim, optužio Munšot za pokušaj krađe mogućnosti vodećih američkih AI modela „u velikim razmerama“.