YouTube-videókat nézve tanulta meg a valósághű szájmozgást egy humanoid robot

A Columbia Egyetem mérnöki laboratóriumában egy humanoid robot annyira valósághű szájmozgást tanult el, amire eddig még nem volt példa. A Creative Machines Lab projektje az első olyan eset, amikor egy rendszer kizárólag vizuális tanulás révén sajátította el a beszédhez és énekléshez szükséges természetes szájmozgást – írja a Techspot.

Nagy lépés ez a humanoid robotoknál, az eddigi kísérleteknél a természetellenesnek tűnő arckifejezések okozták az egyik problémát. Míg a robotika jelentős fejlődésen ment keresztül a járás, a fogás és általában az ügyesség terén, az arckifejezések – különösen a beszédhez kapcsolódó szájmozgás – továbbra is túlságosan művi maradt. Még a legfejlettebb humanoidok is hajlamosak merev, bábszerű szájmozgásokra, az emberek viszont rendkívül érzékenyek az ilyen apróságokra.

A kutatók most egy új tanulási módszert alkalmaztak. Ahelyett, hogy minden magánhangzóra vagy fonémára külön szabályokat alkalmaztak volna, a robot kísérletezés és utánzás útján tanulta meg a száját mozgatni. Arcát 26 miniatürizált motorra feszített puha szintetikus bőr alkotja, így képes a beszéd alapját képező finom izommozgásokat utánozni.

A robotot először egy tükör elé helyezték, hogy megfigyelhesse több ezer saját, véletlenszerű arckifejezését. Ebből a folyamatból megtanulta, hogy a motoros mozgások hogyan alakulnak különböző látható formákká – ezt a szakaszt a kutatók önfelfedezésnek nevezik.

Miután a robot megértette saját mozgásmechanikáját, tanulmányozta az emberi beszédet. Sok órányi YouTube-videót nézettek meg vele beszélő, éneklő emberekről. Így megértette, az ajkak hogyan kapcsolódnak a hangokhoz. A hangképzés folyamatát megismerve a hangokat közvetlenül motoros parancsokká alakítja, így külön fonetikai programozás nélkül is valósághű mozgásokat tud előállítani. Bővebb információk a tanulmányban.