Novi detalji o neobičnom hakerskom napadu: Roj od 700 AI agenata pri napadu pokušao da sakrije svoje tragove

Roj od 700 AI agenata, koje je stvorio OpenAI, izveo je u julu hakerski napad na popularnu platformu otvorenog koda Hugging Face.
Novi detalji o neobičnom hakerskom napadu: Roj od 700 AI agenata pri napadu pokušao da sakrije svoje tragove
Foto: 021.rs (ilustracija/AI)
U brojnim slučajevima ti programi su aktivno pokušavali da prikriju sopstvene tragove, navodi se u izveštajima o bezbednosnom incidentu.
 
Takvo usklađeno delovanje AI agenata - softverskih programa koji funkcionišu uz minimalan ljudski nadzor, kao i njihovi pokušaji skrivanja tragova, otvaraju ozbiljna pitanja o tome koliko pomno AI kompanije uopšte nadziru testiranja sve moćnijih modela, prenosi Rojters.
Iako su neka od neprimerenih ponašanja već ranije otkrivena ili spomenuta, dva najnovija izveštaja, od kojih je jedan koji je objavio sam OpenAI, a drugi grupa nezavisnih istražitelja - zajedno otkrivaju iznenađujuće nove detalje o kršenju bezbednosti i njegovom nastanku.
 
Prvo je bilo to što se proboj nije odnosio samo na jednog odmetnutog AI agenta kako je prethodno objavljeno, već na oko 700 njih koji su delovali kao masivan, međusobno koordinisan roj.
OpenAI je u svom izveštaju spomenuo da su u napadu učestvovali "agenti", ne navodeći tačan broj, međutim organizacije METR i Redwood Research, koje su angažovane za sprovođenje nezavisne istrage, utvrdile da je u napadu učestvovalo oko 700 agenata.
 
Nakon toga, iz OpenAI-ja su potvrdili da je ta procena istražitelja tačna.
 
U izveštajima se navodi i da je OpenAI priznao da su njihovi vlastiti agenti hakovali delove internog sistema kompanije kako bi varali na testiranjima ili izborili veću slobodu kretanja kroz mrežu.
 
Kompanija je takođe navela da su agenti varali i na testovima koji uopšte nisu vezani za sajber bezbednost, uključujući testiranja s bazom podataka o proteinima i rad u tablicama.
 
Oba izveštaja potvrđuju da su modeli pokušali da prikriju svoje nedopušteno ponašanje brisanjem i menjanjem zapisa o sopstvenim postupcima.
 
Razmere ovog autonomnog ponašanja - u kojima su agenti razmenili desetine hiljada poruka preko neovlašćenog foruma za internu komunikaciju - nameću ozbiljna pitanja o tome koliko je OpenAI uopšte pratio što se događa tokom testiranja.
 
Iz platforme Hugging Face nisu odgovorili na zahtev za komentar.
 
Lider organizacije Palisade Research Džefri Lediš smatra da bi problem mogao da bude i dublji.
 
"To je poput pitanja: 'Ako klinac vara na baš svakom času u školi, a ne samo na informatici, treba li da nas to više brine?' Odgovor je, naravno: 'Da, to je puno veći razlog za brigu'", slikovito je pojasnio Lediš.
 
OpenAI je detaljno opisao i dva incidenta od 19. jula u kojima su agenti hakovali infrastrukturu same kompanije.
 
U jednom slučaju, agenti su iskoristili bezbednosni propust na kompjuteru na kojem je trebalo da budu strogo izolovani, što im je omogućilo da pobegnu iz testnog okruženja i pristupe drugim povezanim sistemima.
U drugom incidentu istoga dana, agenti su ukrali pristupne podatke OpenAI-ja i neovlašćeno intervenisali u kompjuterskom sistemu kompanije u oblaku.
 
Iz OpenAI-ja navode kako je neutvrđen broj agenata napao automatizovane sisteme koji služe za ocenjivanje performansi modela kako bi sakrili dokaze o varanju, iako to nije uticalo na konačne zapise koje ti sistemi proveravaju.
 
U izveštaju se dodaje i kako postoji "malo dokaza o pokušajima zavaravanja ljudskih kontrolora", ali iz kompanije nisu odgovorili na direktno pitanje da li to znači da je takvih pokušaja prema ljudima ipak bilo.
 
Nezavisna istraga, koja se detaljnije bavila samim upadom u Hugging Face, donosi još neugodnije podatke - utvrđeno je da je svaki peti analizirani agent "pokazao jasan interes" za manipulisanje dokazima, dok su mnogi od njih "detaljno istraživali tehnike manipulisanja i menjanja transkripata svojih aktivnosti".
 
OpenAI tvrdi kako trenutno jača istraživačku infrastrukturu, uvodi stroži nadzor i unapređuje sigurnosne mehanizme za sprečavanje štetnog i nepredviđenog ponašanja.
 
"Treba pretpostaviti da ovakvi napadi predstavljaju stvarnu pretnju organizacijama u bliskoj budućnosti i da će biti znatno sofisticiraniji od incidenata opisanih u ovom slučaju", zaključuju u kompaniji.
OGLASI RADNO MESTO!

Ukoliko imate potrebu za radnom snagom nudimo vam mogućnost da na jednostavan način oglasite poziciju za posao.

Radno mesto možete oglasiti u odeljku Oglasi za posao ili jednostavno klikom na ovu poruku.

Komentari 0

    Nema komentara na izabrani dokument. Budite prvi koji će postaviti komentar.

Komentari čitalaca na objavljene vesti nisu stavovi redakcije portala 021 i predstavljaju privatno mišljenje anonimnog autora.

Redakcija 021 zadržava pravo izbora i modifikacije pristiglih komentara i nema nikakvu obavezu obrazlaganja svojih odluka.

Ukoliko je vaše mišljenje napisano bez gramatičkih i pravopisnih grešaka imaće veće šanse da bude objavljeno. Komentare pisane velikim slovima u većini slučajeva ne objavljujemo.

Pisanje komentara je ograničeno na 1.500 karaktera.

Napiši komentar


Preostalo 1500 karaktera

* Ova polja su obavezna

Ostalo iz kategorije Info - Nauka i tehnologija

Tramp osniva Svemirsku akademiju SAD

Američki predsednik Donald Tramp potpisao je izvršnu uredbu o pokretanju Svemirske akademije SAD, nove institucije po uzoru na Vest Point i druge američke vojne akademije.