Fogalmakat tanul a PaLM-2, ezért kevesebb paraméterrel is van olyan jó, mint a GPT-4.
Bár a Google évek óta a generatív mesterséges intelligenciák és a nyelvi modellek úttörőjeként ismert, tavaly év végén sikeresen támadta oldalba őket a Microsoft az OpenAI GPT modelljén alapuló csevegőrobotjával, a Bing keresőbe integrált ChatGPT-vel. A történethez tartozik, hogy egy ideje a Google is dolgozott csevegő mesterséges intelligencián, ez volt a LaMDA, amivel kapcsolatban pont egy éve különös (és a jelent kicsit előrevetítő) közjáték alakult ki, amikor a cég egyik munkatársa azt állította, hogy öntudatra ébredt.
Az MI-verseny az elmúlt hónapok során kiélesedett. A ChatGPT közvetlen versenytársát, a Google Bardot eddig a LaMDA szolgálta ki – a Google 2023-as fejlesztői konferenciáján bejelentették, hogy érkezik az új nyelvi modell, a PaLM-2 .
A PaLM név a pathways language model szavakat takarja, ami lényegében az intelligencia alatt ketyegő Pathways (Útvonal) architektúrára utal. Ennek egyik fontos tulajdonsága, hogy többcélúan alkalmazható, tehát nem csak írogat, hanem később általános mesterséges intelligenciává fejlődhet.
A Pathways sokrétű modellezést tesz lehetővé, amibe a vizuális, hangzó és nyelvi megértés egyaránt beletartozik. Ha a modell a leopárd szót dolgozza fel, vagy azt, ahogy valaki a leopárd szót kimondja, vagy egy futó leopárdot ábrázoló videót, a reakció egy dologhoz kapcsolódik belül: a leopárd fogalmához. Ez olyan modellt eredményez, ami sokkal lényeglátóbb, kevésbé részrehajló és kevesebbet téved
– áll a cég blogbejegyzésében.
A PaLM-2-ről 92 oldalas technikai jelentést is kiadtak, amiből kiderült, hogy a LaMDA 137 milliárd paramétert, PaLM első változata 540 milliárd paramétert kezelt, a PaLM-2 jóval szerényebb 14,7 milliárdtól 100 milliárd paraméterig terjed. Ez több okból is furcsa: egyrészt kisebb számokat látunk, másrészt több számot is. Ez azért van, mert a PaLM-2 különböző méretű változatokban létezik, ezeket gekkónak, vidrának, bölénynek és unikornisnak nevezték el.
Az architektúra emellett kevesebb paraméterrel dolgozik, de nagyon hatékonyan. A GPT-4-ről ugyan nem kerültek nyilvánosságra egzakt adatok, de a becslések szerint ezermilliárd paramétert kezel.
A teljesítmény tesztelése során a PaLM-2 versenyképesnek mutatkozott a sokkal nagyobb PaLM és GPT-4 modellekkel, a híradások szerint a GSM8K matematikai érvelési próbán felül is múlták a GPT-4-et. Ez utóbbi csak egy cseresznye a tortán, mert az új modell a Google MI-stratégiájának a megtestesülése is egyben. Itt pedig azt látjuk, hogy a modellek számítási- és energiaétvágya terén igyekeznek előnybe kerülni. A fent említett méretváltozatok közül a például a gekkó mobileszközökön offline módban működő PaLM-2 lesz.
A modell emellett nem csak eszközhöz skálázható, de alkalmazási környezethez is igazodik: a PaLM-2 nemcsak száz nyelvet ismer, de készült belőle egy egészségügyi környezetre szakosodott Med-PaLM-2, és egy másik, kiberbiztonsági környezetre specializált Sec-PaLM is. Ha nem is alakul minden hibátlanul, látható, hogy a Google a teljes riadó és a tudósokkal teli különböző alosztályaik egyetlen rohamosztagos csoporttá szervezése után konszolidálta a csapásirányt, és egyszerre igyekszik védeni az üzleti modell központját képező internetes keresést és próbál támadásba lendülni olyan területeken, mint a mobileszközök.