Az OpenAI új GPT-je bukkanhatott fel névtelenül a vadonban, de az a különös helyzet, hogy okos ugyan, de a várt új generációtól elmarad a tudása. A cég hallgat.
Egy titokzatos csevegőroboton kezdett pörögni a szakértő közönség múlt héten, miután egy „gpt2-chatbot” nevű program jelent meg az LMSYS robotarénájában. A robotaréna egy online felület, ahol a nagy nyelvi modellek összemérhetik az erejüket. A felhasználó itt egy kérdésre két választ kap, amelyek közül kiválaszthatja, hogy melyiket találja jobbnak (vagy két győztest és két vesztest is hirdethet).
A válaszadás után derül ki, hogy melyik választ mely modell adta. A felhasználók döntései alapján a rendszer egy ranglistát állít fel. A ranglistát a cikk írásakor az OpenAI GPT-4-Turbója vezette, de dobogós helyen volt az Anthropic által készített Claude 3 Opus és a Google-féle Gemini 1.5 Pro.
Az arénát üzemeltető LMSYS a Berkeley Egyetemen működő, nyílt forrású, nyelvi modelleket fejlesztő szervezet. A titokzatos gpt2 név minden bizonnyal biccentés az OpenAI 2019 februárjában bemutatott GPT-2 modelljének. Ez a kortárs GPT-modellek korai előfutára volt. Természetesen rögtön fellángolt az izgalom, hogy a rejtélyes csevegő talán az OpenAI várva várt új modellje, a GPT-5 nyilvános tesztje, esetleg egy átmeneti GPT-4.5.
Sam Altman, a cég vezérigazgatója korábban kifejtette, hogy a mai irtó erős GPT-4-re nemsokára úgy fogunk emlékezni, hogy gyenge volt. Most az Ars Technica kérdésére sejtelmesen csak annyit válaszolt, hogy a GPT-2 mindig is a szíve csücske volt. Az OpenAI egyébként nem kívánta kommentálni a történetet.
A hirtelen feltámadt érdeklődés nyomán a csevegő robotot túl sokan kezdték tesztelni, ezért ahogy jött, el is tűnt. Később újra felbukkant „egy-jó-gpt2-vagyok” néven (ezt Altman is megosztotta az X-en). Közben megjelent egy új példány, ami az „én-szintén-egy-jó-gpt2-vagyok” nevet választotta. Utóbbival vagy egy konkurencia kontrázott, vagy az OpenAI tesztel egy másik terméket.
A megfigyelők szerint bár a történtek körül mindenfelé felfedezhetők az OpenAI nyomai, szinte biztos, hogy nem a GPT-5 tesztjét látjuk.
A gpt2 csevegőrobot jó, nagyon jó, de ha ez a gpt-4.5, az nagy csalódás
– írta róla Matt Shumer, a HyperWrite vezérigazgatója.
A Pennsylvania Egyetem munkatársa, Ethan Mollick szerint az új robot képességei egy GPT-4 szintjének megfelelőek, ugyanakkor sokkal ügyesebb nehéz matematikai kérdések megoldásában és ASCII-artok rajzolásában.
Az LMSYS aréna szabályzata megengedi a készülő nyelvi modellek anonim tesztelését, ezeket a ranglistán sem szerepeltetik. A szakértők szerint az eset ebben a formában leginkább az aréna népszerűsítésére volt jó, de arra, hogy a mesterséges intelligencia területe megbízhatónak vagy átláthatónak tűnjön, semmiképp.