ChatGPT napisao Ustav SAD-a i Bibliju?

Tekst članka se nastavlja ispod banera

Alati za detektiranje teksta kojeg je napisao ChatGPT, nisu više nepoznanica. S njima se koriste ponajviše nastavnici i profesori, ne bi li tako provjerili jesu li njihovi učenici ili studenti koristili ovaj popularni AI chatbot za pisanje seminarskih radova, eseja, sastavaka i slično.

No, čini se da takvi alati nisu baš pouzdani. Upravo je to dokazao novinar portala Ars Technica, Benj Edwards, koji je kroz jedan takav alat, GPTZero, provukao Ustav Sjedinjenih Američkih Država i dobio rezultat da je 92,15 posto tog teksta napisao – AI.

Isto to, samo u nešto manjem postotku, pokazali su i ostali alati za detekciju teksta kojeg je generirao AI, pa čak i sam ChatGPT.

Zanimljivo je da se ista stvar događa i kad se kroz takve alate provuku tekstovi iz Biblije, javlja Bug.

Razlog zbog kojeg su različiti detektori pisanja AI-ja pokazali ovakav rezultat, leži upravo u njihovoj metodi detekcije.

Naime, takvi sustavi mjere složenost teksta pomoću dva indikatora, kompliciranosti (perplexity) i raspršenosti (burstiness). Kompliciranost mjeri složenost teksta, dok raspršenost uspoređuje varijacije rečenice.

Dakle, ako je GPTZero ili neki drugi alat „zbunjen“ pojedinim tekstom zbog toga što je kompliciraniji, to je veća šansa da ga je napisao čovjek, a ne AI.

S druge strane, raspršenost se mjeri prema dužini i složenosti rečenica. No, ako rečenice odgovaraju jezičnim modelima kojeg je ChatGPT koristio pri učenju, iako ih je napisao čovjek, za njih će se smatrati da ih je napisao AI.