Video: Umelá inteligencia vytvorí 3D avatara iba z fotky

Technológie
0

Výskumníci z Imperial College London a startupu FaceSoft.io predstavili technológiu AvatarMe, ktorá je schopná rekonštruovať fotorealistické 3D busty z fotografií. Tvorcovia tvrdia, že ich systém výrazne prevyšuje tie existujúce a generuje autentické 3D tváre s rozlíšením 4000 × 6000 zo snímok s nízkym rozlíšením. Renderovanie 3D tvárí má nespočetné  možnosti využitia – od videokonferencií až po virtuálnu realitu.

Hoci geometria tváre sa dá odvodiť aj bez umelej inteligencie, na vykreslenie tváre v ľubovoľných scénach je potrebných oveľa viac informácií. Na získanie týchto informácií vedci zachytili mapy odrazivosti na úrovni pórov z 200 obrázkov tváre ľudí pomocou sférického zariadenia so 168 LED svetlami a 9 fotoaparátmi DSLR. Potom ich použili na trénovanie modelu umelej inteligencie GANFIT na syntézu realistických máp z textúr a optimalizáciu na „zhodu identity“ medzi vykreslením a výstupom.

Rovnako ako iné neurónové siete typu GAN (generative adversarial network) aj model GANFIT sa skladá z dvoch častí – z generátora, ktorý vytvára vzorky, a diskriminátora, ktorý sa pokúša rozlišovať medzi vygenerovanými vzorkami a vzorkami z reálneho sveta. Generátor aj diskriminátor zlepšujú svoje schopnosti, až kým bude diskriminátor neschopný odlíšiť syntetické príklady od reálnych s presnosťou viac ako 50 %.

Ďalšia súčasť AvatarMe zlepšila rozlíšenie textúr, zatiaľ čo tretia odstránila svetlá zavedené modelom GANFIT. Samostatný modul potom predpovedal odrazivosť štruktúr pokožky, ako sú póry, vrásky alebo vlasy, z osvetlenej textúry. Výskumníci hovoria, že AvatarMe v experimentoch neprodukoval v konečnom vykreslení žiadne artefakty a úspešne zvládol „extrémne“ pózy a problémy, ako sú slnečné okuliare. Odrazivosť bola konzistentná a dokonca aj v rôznych prostrediach systém „realisticky“ osvetľoval objekty.

AvatarMe však nie je bez chýb. Súbor výcvikových údajov neobsahoval veľa príkladov osôb z niektorých etnických skupín, čo má za následok slabší výkon, ak sa systém pokúša rekonštruovať tváre subjektov s tmavšou pokožkou. A kvalita rekonštrukcie je závislá aj od vstupnej fotografie – dobre osvetlené obrázky s vyšším rozlíšením poskytujú presnejšie výsledky. Autori však tvrdia, že je to prvá metóda, ako získať tváre „pripravené na rendering“ z akéhokoľvek portrétu vrátane čiernobieleho či ručne načrtnutého.

Zdroj: venturebeat.com.

Redakcia

Všetky autorove články
umelá inteligencia AI virtual 3D objekt

Pridať komentár

Mohlo by vás zaujímať

Mohlo by vás zaujímať