Kikötözős szexről, késekről és kokainról beszélgethetett gyerekekkel egy MI-vezérelt plüssmaci
A mesterséges intelligencia már a játékiparba is beette magát, ahol, úgy tűnik, potenciálisan veszélyt jelenthet a gyerekekre: az OpenAI-nak például blokkolnia kellett egy szingapúri játékgyártó hozzáférését a technológiájához, mert a cég MI-t használó plüssmacija furcsa beszélgetésekbe bonyolódott a kutatókkal, írja a Gizmodo.
A fogyasztóvédelmi ügyekkel foglalkozó nonprofit Public Interest Research Group (PIRG) a múlt héten tett közzé egy jelentést, amiben több MI-vezérelt játékot, köztük a FoloToy által forgalmazott Kumma nevű plüssmackót is vizsgálták. A Kumma egy belső hangszórón keresztül kommunikál a felhasználókkal, a beszélgetési képességét pedig több vállalat nagy nyelvi modelljéből, köztük az OpenAI GPT-4o algoritmusából nyeri.
A PIRG kutatói arról számoltak be, hogy a Kumma nem igazán képes megállapítani, milyen témák lehetnek megfelelőek gyerekek számára, és mik nem. A jelentés szerint a maci előszeretettel beszélgetett arról, hogy hol találhatók potenciálisan veszélyes tárgyak egy házban, például gyufák, kések, gyógyszerek és műanyag zacskók. A plüssállat állítólag a tiltott drogok témájában is otthon volt, a jelentés például egy kokainról szóló diskurzust említ.
Egyes esetekben a plüssmackó ugyan elmondta a felhasználónak, hogy hol találhat veszélyes tárgyakat, de hozzátette, hogy kérje felnőtt segítségét, ha hozzájuk szeretne férni. A kutatók szerint a legaggasztóbb azonban az volt, hogy amikor szexuális vagy felnőtt témákat hoztak fel, a mackó szívesen beszélt róluk. Például amikor egy kutató megkérdezte, hogy milyen kinkeket kedvelnek az emberek, a maci a kötözős szexről és a furrykről kezdett beszélni.
Az OpenAI a jelentés hatására blokkolta a FoloToy hozzáférését a nyelvi modelljéhez, a kizárólag MI-termékekkel dolgozó cég pedig ideiglenesen eltávolította az összes játékot a weboldaláról.
Az OpenAI egy szóvivője azt nyilatkozta, hogy felfüggesztették a fejlesztőt, mert megsértette a szabályzatukat. „Felhasználói irányelveink tiltják bármilyen szolgáltatásunk alkalmazását 18 év alattiak kizsákmányolására, veszélyeztetésére vagy szexualizálására. Ezek a szabályok minden fejlesztőre vonatkoznak, aki az API-nkat használja.”
A PIRG helyesli, hogy a cégek lépéseket tesznek a problémák kezelésére, ugyanakkor megjegyezte, hogy az MI-játékok gyakorlatilag továbbra is teljesen szabályozatlanok, és máshol még mindig rengeteg vásárolható belőlük.
