Nem biztos, hogy érdemes ChatGPT-vel megíratni a házi feladatot

Az MIT friss kutatása szerint a mesterséges intelligenciás csetbotok használata leronthatja a felhasználó kritikus gondolkodási képességét – írja a Time Magazine. A kutatásból készült tanulmány egyelőre nem esett át a szakmai lektoráláson.

Az egyetem kutatói 54, 18-39 év közötti bostoni tesztalanyt három csoportba osztottak: mindenkinek ugyanazokat az érettségi-esszéket kellett megírniuk, de volt, akinek ChatGPT-t kellett használni, volt, aki csak a Google-lel kereshetett, és volt, aki semmilyen segítséget nem használhatott.

A kutatók a válaszadás során az alanyok agyának 32 részét vizsgálták EEG-vel, és az eredményeik alapján az MI-s csetbotot használók használták legkevésbé az agyukat, és minden esetben rosszabbul teljesítettek mind agyi, mind nyelvi, mind viselkedési szinteken. Ahogy teltek a hónapok, a ChatGPT-s alanyok egyre lustábbak lettek, ahogy az esszéket írták, egyre nagyobb részleteket átmásolva az MI válaszából.

A tanulmány alapján a ChatGPT-hez hasonló eszközök használata nemhogy nem növeli a produktivitást, hanem kiöli az emberekből a gondolkodási és tanulási készséget, főleg a fiatalabbak körében. A kutatók is belátják, hogy viszonylag kevés résztvevővel dolgoztak, de mivel egyre többen használnak nagy nyelvi modelleket (LLM-eket) a mindennapokban, fontosabbnak tartották megosztani az adataikat.

„Az motivált arra, hogy a szakmai lektorálás előtt kiadjuk, hogy attól félek, hogy 6-8 hónapon belül egy törvényhozó úgy fog dönteni, hogy »csináljunk GPT-s óvodát«. Szerintem az rendkívül káros lenne. A fejlődő agyak magasabb kockázatnak vannak kitéve”

– mondta Nataliya Kosmyna, a tanulmány első szerzője. Ez az első kutatása, amit pre-print állapotban kiadott.

Az MIT Médialaborja idén több kutatásban is vizsgálta az MI emberre gyakorolt hatását. Korábbi tanulmányukból kijött például, hogy minél több időt tölt valaki a ChatGPT-vel, annál magányosabbnak érzi magát. A kutatást a ChatGPT-t fejlesztő OpenAI-jal közösen végezték.

Kosmynáék azért voltak kíváncsiak az iskolai feladatok megoldására, mert egyre több diák használ ChatGPT-t. Épp ezért irattak a tesztalanyokkal 20 perces dolgozatokat többek között a jótékonykodásról és a túl sok választási lehetőség okozta nehézségekről.

Ahogy a mi érettségis tesztjeinken is kijött, az MI-t használók nagyon, nagyon hasonló dolgozatokat adtak be, amikből hiányoztak a saját, eredeti gondolatok, és ugyanazokat a kifejezéseket, alapvetéseket használták. Az EEG-mérés azt mutatta, hogy az MI-vel esszét írók alacsonyszinten használták a végrehajtó funkcióikat és kevésbé figyeltek oda. A harmadik feladatra már többen is csak úgy válaszoltak, hogy megíratták a géppel az egészet, néhány részt finomíttattak az MI-vel, majd beadták a dolgozatot.

A legnagyobb agyteljesítményt azok nyújtották, akik csak a saját tudásukból dolgozhattak. Sokkal lelkesebbek és kíváncsibbak voltak, sokkal inkább magukénak érezték a dolgozatot és elégedettebbek is voltak a munkájukkal.

A google-ös csoport szintén elégedettebb volt, és az agyuk is aktívabb volt, mint a ChatGPT-seké. Ez fontos különbség, mert ma már sokan a keresőmotorok helyett inkább az MI-s csetbotokat használják netes kutatásra.

Miután az alanyok megírtak három-három esszét, a következő feladat az volt, hogy írjanak újra egy korábbi dolgozatot. Azonban aki használhatott MI-t, az ebben az esetben már csak fejből dolgozhatott, és aki korábban csak az agyára hagyatkozhatott, használhatott ChatGPT-t. Akik korábban használtak MI-t, nem igazán emlékeztek a korábbi beadandóra, és gyengébb alfa és théta agyhullámokat generáltak. Ez arra utalhat, hogy megkerülték a memóriájukat. Tehát hiába végezték el az első feladatot hatékonyan és kényelmesen, szinte semmit nem tanultak belőle, amit elraktározhattak volna a memóriájukba.

A másik csoport viszont jól teljesített, az EEG-n kimutatott minden frekvenciasávon emelkedett agyi aktivitásuk megemelkedett. Ez azt jelentheti, hogy ha az MI-t megfelelően használják, akkor akár még segíthet is a tanulásban.

A lektorálás akár nyolc vagy több hónapot is igénybe vehet, ezért adták már most ki a tanulmányukat. Ez nem azt jelenti, hogy az eredményeik hibásak lennének, de akadémiai körökben egy kutatás megbízhatóbb, ha megfelelően leellenőrizték. Azonban Kosmynáék fontosnak tartják kihangsúlyozni, hogy az agynak szüksége van egy analóg tanulási folyamatra ahhoz, hogy megfelelően fejlődjön, és ehhez szerintük szükség van olyan jogszabályi környezetre, amik miatt először meg kéne vizsgálni ezeket az új eszközöket, mielőtt bekerülnek – például – az osztálytermekbe vagy óvodákba.

Zishan Khan pszichiáter gyerekekkel és fiatalokkal dolgozik, és ő is azt tapasztalja, hogy egy páciense minél inkább LLM-ekre támaszkodik, annál kevésbé tud tanulni. Itt nemcsak a konkrét praktikákra kell gondolni, hanem arra, hogy az agyukban nem alakulnak ki, vagy gyengébbek azok a kapcsolatok, amik segítenek felidézni és megtartani a begyűjtött információt.

A kutatók tudták, hogy a tanulmány megjelenésekor sokan egyszerűen bedobják majd egy csetbotba, hogy elég legyen egy rövidebb változatot átfutniuk. Épp ezért több MI-csapdát is elhelyeztek a tanulmányban, például utasításokat arra, hogy az LLM átugorjon egyes ábrákat, így az MI nem tudja átadni a teljes eredményt.

A kutatócsoport most egy olyan vizsgálaton dolgozik, amiben azt nézik meg, hogy a szoftverfejlesztőkre milyen hatása van az MI-nek. Kosmyna nem ment részletekbe, csak annyit mondott, hogy az eredmények rosszabbak, mint az esszéknél.