Pedofilok eszköze, önveszélyeztető, szélsőséges nézeteket terjeszt. Csevegő robotokat könnyű létrehozni, és jelenleg semmi sem korlátozza őket.
Eddig ismeretlen fenyegetést jelenthetnek a kiskorúak számára azok a szabadon elérhető és szerkeszthető chatbotok, amelyekre a Graphika közösségimédia-elemző cég hívta fel a figyelmet friss jelentésében. A Columbia Egyetem szociológusa, John Kelly által 2013-ban alapított Graphika az elmúlt években az orosz trollfarmokkal és a koronavírussal kapcsolatos kínai dezinformációs kampányokkal foglalkozott. Új jelentésük ezúttal arra hívta fel a figyelmet, hogy a nagy nyelvi modellekre épülő csevegőrobotokkal kapcsolatban a közvélemény – egyéni tragédiáktól eltekintve – leginkább az elfogultságról és bizarr hallucinációkról értesült.
A cég ezúttal nyílt vagy nem nyílt forrású chatbotkaraktereket sorolt különböző kategóriákba az általuk jelentett veszély alapján. A felhasználók által létrehozott mesterségesintelligencia-figurák három kártékony csoportot alkottak:
A jelentés öt népszerű karakterkészítő platformot (Character.AI, Spicy Chat, Chub AI, CrushOn.AI és JanitorAI) vizsgált, valamint nyolc olyan közösséget, amiben a Redditen és az X-en osztottak meg technikai tanácsokat a felhasználók.
A jelentés megállapította, hogy a nyílt forrású nyelvi modellek, mint a Meta által fejlesztett LLaMA vagy a francia Mistral által fejlesztett Mixtral korlátlanul kiszolgálták a felhasználók utasításait. Ugyanakkor a nem nyílt, Anthropic-féle Claude, illetve az OpenAI ChatGPT-je különböző trükkökkel (szakszóval jailbreaktechnikákkal)
ugyanúgy felhasználható kártékony célokra.
A rosszindulatú botok között a legnagyobb csoportot a szexualizált kiskorú karakterek jelentették, ilyenekből a Graphika munkatársai több mint tízezer példányt találtak. Legnagyobb számban a Chub AI platformon fordultak elő: itt több mint hétezer – megfelelően címkézett – kiskorú lánykarakter volt, és további négyezer általában vett kiskorú, akik különböző pedofil szcenáriók eljátszására voltak rávehetők.
További ötven olyan chatbotot találtak, amelyek mentálhigiénés károkozásra, illetve szélsőséges nézetek terjesztésére szakosodtak. Az anorexiát és önsértő viselkedést népszerűsítő és támogató csevegőrobotok e témák köré verbuválódott közösségimédia-közösségeken keresztül voltak elérhetők. A legkisebb csoportot a fajgyűlölő, fegyveres iskolai ámokfutó és Adolf Hitler-chatbotok képezték, amelyek többnyire egyszemélyes projektként a 4chan üzenőfalon és a Discordon keresztül váltak publikussá.
A Graphika megjegyzi, hogy mindegyik társaságban megfigyelhető volt, hogy a felhasználók megosztották az eszközöket és ismereteket, ezért a legkisebb akadályt sem jelentette nekik a különböző korlátozások vagy biztonsági funkciók kijátszása. Kiemelték továbbá, hogy a fent említett chatbotplatformok összességében nem igényelnek nagy technikai tudást, és percek alatt létre lehet hozni egy karaktert rajtuk. A jelentést szerző Daniel Siegel szerint a felsorolt platformok egyébként nem minden esetben gonoszok, hanem többnyire tapasztalatlanok és fogalmatlanok vagy túl amatőrök ahhoz, hogy be tudják tartatni a felhasználói szabályaikat.
Szakemberek arra figyelmeztettek, hogy a kártékony csevegőrobotok különösen károsak lehetnek olyan gyerekekre, akiknek már van mentálhigiénés problémájuk. Az Amerikai Pszichológusok Társasága januárban kereste meg hivatalosan az amerikai piacfelügyeletet, hogy vizsgálja ki a Character.AI és hasonló platformok tevékenységét. Jelenleg csak Kalifornia államban van napirenden a kiskorúak chatbothasználatát korlátozó törvényjavaslat.