Különös jelenséget produkál az o1 értelmező modell: gondolatmeneteit különböző nyelveken bonyolítja, bár aliga tud valamit arról, hogy különböző nyelvek léteznek.
Egyre több jelzés érkezik a felhasználóktól arról, hogy az o1 mesterséges intelligencia kínai, perzsa és más nyelveken gondolkodik, attól függetlenül, hogy angolul kérdezik. Az OpenAI modellje alig pár hónapos, a nagyközönség 2024 decemberétől használhatja. Az o1 a cég meghatározása szerint egy érvelő modell, amely válaszait lépésről lépésre gondolja át.
Egy beszámoló szerint arra a kérdésre, hogy „Hány r betű van az eper szóban?” az érvelési lépések során kínai nyelvre váltott, mielőtt az angolul feltett kérdésre angolul válaszolt volna. Más esetben egy nehezebb, szintetikus biológiával kapcsolatos kérdésnél váltott kínaira. A jelenségre az OpenAI nem adott magyarázatot, és más reakcióval sem szolgált. A területet közelebbről ismerők így az X-en közölt bejegyzésekben találgatnak. A legkézenfekvőbb megfejtés, hogy mindez a modell betanításának az eredménye.
A Google DeepMind kutatója, Ted Xiao szerint a kínai nyelvi hatás onnan jön, hogy az OpenAI partnerekkel szerződött a betanításnál használt adathalmazok címkézésére.
Az OpenAI és az Anthropic harmadik fél által biztosított címkézési szolgáltatásokat használ a PhD-szintű tudományos, matematikai és programozási érvelési adatoknál. A szaktudás és a költségek miatt nagyon sok ilyen szolgáltató Kínában működik
– írta Xiao.
Az annotációk, címkék és kulcsszavak a gépi intelligenciának segítenek az adatok feldolgozásában. Egy ábra esetében például ezek írják le a képen látható személyeket, dolgokat és helyet. A lényeg, hogy nem a világpolitikai vagy gazdasági versenyről van szó, vagy arról, hogy Kína konkurens nagyhatalomként betette volna lábát egy Amerikában fejlesztett mesterséges intelligenciába.
Ami azt illeti, Kína ezen a területen erősen indult, később azonban az informatikai szektor túlhatalma miatti feszültségek, illetve a kényszeres cenzúra miatt az OpenAI áttörése idején már egyértelműen lemaradtak. A visszakapaszkodásnak és a mögötte húzódó stratégiának azóta már vannak jelei. A héten a hangcsoui székhelyű Deep Seek jelentette be, hogy nyílt forrású modellje, az R1 azonos szinten teljesít a szóban forgó o1-gyel. A nyílt forrás itt is egy potenciális versenyelőny, ami azt jelenti, hogy bárki ingyen beszállhat a fejlesztésbe. Az OpenAI viszont a neve ellenére már hosszú évek óta zárt ebből a szempontból.
A különböző nyelveken szóló o1-re visszatérve: nem minden szakértő ért egyet azzal, hogy a kínai címkézés eredményét látjuk. Szerintük a modellel ugyanennyire előfordul, hogy hindi, thai nyelven gondolkodik, vagy ha zenéről kérdezik, franciául.
A modell nem tudja, hogy mi egy nyelv, és mi a különbség a nyelvek között. Számára minden csak szöveg
– mutatott rá Matthew Guzdial, az Albertai Egyetem adjunktusa a TechCrunchnak.
A Hugging Face mérnöke, Tiezhen Wang szerint az o1 viselkedése a szöveg természetéből fakad. A nyelvi modellek a szöveget úgynevezett tokenekként kezelik, ami egy olyan egység, ami lehet egész szó, annak szótagjai és betűi is – ez a felbontás segíti, hogy hatékonyan megragadja a rendszer, hogy mi az adott szövegben a logikusan következő megfelelő elem.
Wang szerint ugyanúgy, ahogy ő, személy szerint kínaiul számol és angolul gondolkodik, a gép is a működése hatékonysága kedvéért vált más nyelvre.
A Microsoft alapító Paul Allen által még 2014-ben alapított Allen Institute for AI munkatársa, Luca Soldaini szerint a lényeg, hogy nem tudjuk az o1 viselkedésének okát, mivel a mesterséges intelligenciák működése általában nem transzparens. Soldaini kiemelte, ez az eset is amellett szól, hogy a mesterségesintelligencia-rendszerek fejlesztésének is átláthatóvá kell válnia.