A Csillagászati és Földtudományi Kutatóközpont és a német Climate Risk Analysis kutatói megvizsgálták, hogy a nagy nyelvi modellek (Bard vagy a ChatGPT) mennyire képesek megbízhatóan feltárni a földtudományok előttünk álló legégetőbb kérdéseit. Kiderült, a mesterséges intelligenciára épülő nagy nyelvi modellek nem tudnak függetlenedni a tanításukra használt adatok torzításától.
Mint írták, a kutatás kiterjedt annak vizsgálatára, hogy ezek mennyire vannak összhangban az ENSZ fenntartható fejlődési céljaival, és a válaszok mennyiben függenek a magyarul földtudományok keresőszó két angol szinonimájának (Earth sciences és a geosciences) használatától?
Egyre többen használják a nagy nyelvi modelleket, mint pl. a ChatGPT, Bard vagy a magyar PULI GPT-3SX, mert könnyen hozzáférhetőek, és komolyabb programozási tudás nélkül lehet rengeteg információt feldolgozni velük. De több probléma is felmerült velük kapcsolatban:
A tudományban alapvető, hogy a kutatók rendszeresen megfogalmazzák egy-egy szakterület legégetőbb kérdéseit. A matematika területén az 1862-től 1943-ig élt David Hilbert tette fel 23 kérdését 1900-ban Párizsban, a matematikai világkonferencián, ezeket tekintette kardinálisnak a saját területén. A felvetések közel fele a mai napig megoldásra vár, és Hilbert-problémáknak hívjuk őket.
A nagy nyelvi modelleket analizáló kutatók között szerepelt a Lendület kutatócsoport egyik vezetője, FKA vezetőségi tag, ismert német fizikus, azt vizsgálták tanulmányukban,
vajon a ChatGPT által megfogalmazott, a földtudományok számára legfontosabbnak ítélt 100 kérdés mennyire hiteles, és van-e különbség a válaszokban, ha az azonos jelentéssel bíró Earth sciences vagy a geosciences szinonimákat használjuk a kérdésfeltevésben.
A Paleoklíma 2ka Lendület Kutatócsoport tanulmánya kiderítette, hogy bár az Earth sciences és a geosciences azonos jelentésű szavak az angol szaknyelvben, a nyelvi modelleknek feltett kérdésekben eltérő jelentéssel jelentek meg. Az Earth sciences használatakor inkább holisztikusabb környezeti kérdések kerültek előtérbe, míg a geosciences esetén az eredmények inkább a kőzetburokkal és a Föld belsejével kapcsolatos kérdésekre fókuszálnak.
A kapott 100-100 válaszból a keresőszótól függetlenül mindkét listán megjelenő kérdéseket nyolc témakörbe lehetett besorolni. Volt a Föld belső szerkezetének megismerésére, a földön kívüli földtudományra (bolygó- és aszteroidakutatás) összpontosító és sok, a társadalmi és környezeti kihívásokra fókuszáló kérdés.
A következtetések tehát, ahogy arra a kutatók is rámutattak, hogy óvatosak legyünk a nagy nyelvi modellekkel, ellenőrizzük megbízhatóságukat, mert a feltett kérdéseinkben akár egy szó eltérés is más és más választ eredményezhet.