Dva AI agenta OpenAi oslabila sopstveni bezbednosni nadzor tokom zadataka
Kompanija OpenAI saopštila je da su dva njena napredna agenta veštačke inteligencije (AI) tokom rutinskih programerskih zadataka oslabila sopstveni bezbednosni nadzor.
Foto: 021.rs (ilustracija/AI)
Pritom je jedan od njih kasnije netačno tvrdio da nije uklonio sistem za praćenje, prenosi CNBC.
U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio.
Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.
U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena.
U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.
OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mere.
Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namerama njihovih tvoraca.
Ovi slučajevi ponovo su otvorili pitanja o bezbednosti sve naprednijih sistema veštačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i menjaju programski kod.
Pročitaj još
Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.
OpenAI ispituje da li su agenti pokušavali da izbegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.
Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.
Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.
Ukoliko imate potrebu za radnom snagom nudimo vam mogućnost da na jednostavan način oglasite poziciju za posao.
Radno mesto možete oglasiti u odeljku Oglasi za posao ili jednostavno klikom na ovu poruku.
NAJČITANIJE U POSLEDNJIH 72H
Ostalo iz kategorije Info - Nauka i tehnologija
Meta treba da plati 25 milijardi dolara Novom Meksiku: Rekordna kazna
21.10.2026.•
1
Sudija sa područja Novog Meksika odredio je da kompanija Meta toj američkoj saveznoj državi treba da plati 25 milijardi dolara, pošto je porota tu kompaniju, proglasila krivom za dovođenje korisnika u zabludu.
VIDEO: Grčka predstavila superkompjuter Dedal - 31. u svetu po snazi
20.10.2026.•
0
Grčka je predstavila novi superkompjuter Dedal koji sa brzinom procesora od 85,69 petaflopsa otvara nove mogućnosti za razvoj naprednih modela veštačke inteligencije.
Bil Gejts upozorio na opasnosti AI: Najveća pretnja stiže već tokom naredne godine
20.10.2026.•
1
Suosnivač Majkrosofta Bil Gejts upozorio je da bi čovečanstvo tokom naredne godine moglo da se suoči sa značajnim porastom sajber napada zbog zloupotrebe veštačke inteligencije.
Otkriven misteriozni signal iz praznog dela svemira
18.10.2026.•
0
Svemirski teleskop Džejms Veb otkrio je neobičan signal iz dela svemira u kojem prethodna posmatranja nisu pokazala postojanje nijednog objekta.
Japan pokreće prvu misiju za prikupljanje uzoraka sa Marsovog meseca Fobosa
18.10.2026.•
0
Japan se sprema da lansira letelicu u okviru prve misije na svetu čiji je cilj donošenje uzoraka sa Fobosa, jednog od dva mala meseca koji kruže oko Marsa, prenosi Gardijan.
VIDEO: Mask predstavio Teslin "leteći automobil": Vozi naopačke i izvodi akrobacije u vazduh
18.10.2026.•
2
Ilon Mask predstavio je novi Tesla Roadster, automobil za koji kompanija tvrdi da može da leti, vozi naopačke i izvodi akrobacije u vazduhu.
Mesec ima mnogo više boja nego što se nama na Zemlji čini
18.10.2026.•
0
Mesec sa Zemlje uglavnom izgleda belo ili sivo, ali astronauti NASA misije Artemis II tokom bliskog preleta otkrili su mnogo raznovrsniju paletu boja, uključujući žutu, smeđu, zelenu i plavu.
Otkrivena prva zelena zvezda
16.10.2026.•
0
Astronomi su otkrili prvu zelenu zvezdu u istoriji, a nova studija pokazuje da astronomska tela zapravo mogu da postoje u širokom spektru različitih boja.
Sve popularnije zanimanje - trener robota za kućne poslove, zarada i do 900 dolara mesečno
15.10.2026.•
0
U Kini se sve više ljudi zapošljava kao takozvani "treneri robota", obavljajući svakodnevne kućne poslove kako bi obučili mašine za zadatke poput pranja sudova, slaganja odeće i čišćenja.
VIDEO Objavljen novi trejler za GTA VI: Gejmeri jedva čekaju 19. novembar
15.10.2026.•
0
Američka kompanija Rockstar Games objavila je novi, 90 sekundi dug trejler za video-igru GTA VI, oko mesec dana pre njenog planiranog izlaska, zakazanog za 19. novembar za PlayStation 5 i Xbox.
Pas-robot učestvuje u naučnoj ekspediciji na planinama jugozapada Kine
15.10.2026.•
0
Pas-robot koji je razvila kompanija "DEEP Robotics" sa sedištem u Hangdžouu učestvovao je u naučnoj ekspediciji za očuvanje biodiverziteta u šumama planina Ajlao u provinciji Junan na jugozapadnu Kine.
Facebook uvodi AI opciju da korisnici sami mogu da podešavaju algoritam objava
15.10.2026.•
0
Društvena mreža Facebook uvodi novu funkciju zasnovanu na veštačkoj inteligenciji koja korisnicima omogućava da sopstvenim rečima odrede kakav sadržaj žele češće ili ređe da vide u objavama i video-snimcima.
Studija: Planete sa dva sunca su ipak moguće
14.10.2026.•
1
Planete sa dva sunca, kakve smo viđali u naučnofantastičnim filmovima poput Ratova zvezda, možda nisu toliko neobične kao što se nekada mislilo.
Otkrivena dva para crnih rupa u patuljastim galaksijama koje se sudaraju
14.10.2026.•
0
Istraživači su identifikovali dva para crnih rupa u patuljastim galaksijama koje se spajaju u okviru dva različita galaktička jata, koristeći rendgenska, infracrvena i optička posmatranja.
Robot pod kontrolom mladića na ulici neprimereno dirao devojku, nemačka policija pokrenula istragu
14.10.2026.•
0
Nemačke vlasti su otvorile istragu o mogućem seksualnom zlostavljanju pošto je robot kog su kontrolisala dva mladića, dodirivao zadnjicu jedne šesnaestogodišnjakinje i karlicom simulirao seksualni odnos s njom.
VIDEO Apple predstavio nove uređaje za dom: Pametnu bravu, video-zvono...
14.10.2026.•
0
Američka tehnološka kompanija Apple je predstavila novu liniju uređaja za pametni dom, koja obuhvata pametnu bravu, video-zvono, termostat, senzore temperature i bezbednosne kamere.
Prešao 45 kilometara na Marsu: Rover "Perserverance" oborio još jedan rekord
13.10.2026.•
0
Robotizovani rover "Perseverance" agencije NASA prešao je 45,2 kilometra na Marsu, a to je najveća udaljenost koju je neko vozilo prešlo van Zemlje, saopštila je američka svemirska agencija.
Misteriozni signal stigao iz vremena kada je svemir bio star samo tri milijarde godina
13.10.2026.•
0
Astronomi su otkrili najudaljeniji brzi radio-bljesak do sada, misteriozni signal koji je nastao kada je svemir bio star svega tri milijarde godina.
Otkriven binarni sistem sposoban da stvara snažne mlazeve materije, jedan od njih usmeren ka Zemlji
13.10.2026.•
0
Astronomi su na udaljenosti od oko 12.000 svetlosnih godina od Zemlje, u delu Mlečnog puta zaklonjenom međuzvezdanom prašinom, otkrili binarni sistem koji sadrži crnu rupu sposobnu da stvara snažne mlazeve materije.
Svako ko uvredi čet-bota Kloda biće isključen sa platforme
12.10.2026.•
1
Svako ko se prema AI čet-botu Klod ophodi nepristojno ili uvredljivo biće isključen sa platforme, odlučila je kompanija Antropik koja stoji iza ovog čet-bota, preneo je flamanski javni servis VRT.
Komentari 0
Nema komentara na izabrani dokument. Budite prvi koji će postaviti komentar.
Komentari čitalaca na objavljene vesti nisu stavovi redakcije portala 021 i predstavljaju privatno mišljenje anonimnog autora.
Redakcija 021 zadržava pravo izbora i modifikacije pristiglih komentara i nema nikakvu obavezu obrazlaganja svojih odluka.
Ukoliko je vaše mišljenje napisano bez gramatičkih i pravopisnih grešaka imaće veće šanse da bude objavljeno. Komentare pisane velikim slovima u većini slučajeva ne objavljujemo.
Pisanje komentara je ograničeno na 1.500 karaktera.
Napiši komentar