EMO projekat: generiranje video zapisa sa fotografije osobe

Emo

Sa čuđenjem počinjemo da viđamo neke od stvari koje je veštačka inteligencija sposobna da uradi primenjene na naše svakodnevne uređaje. Rezultati su zaista iznenađujući, a to je samo vrh ledenog brega. Dobar primjer je EMO projekat, koji se sastoji od generiranja izražajnih video zapisa iz fotografija i portreta.

Drugim riječima: to je tehnologija koja daje život statičnim fotografijama, dajući im zvuk i pokret. U ovom postu ćemo objasniti od čega se sastoji ova ideja uz nekoliko zanimljivih primjera.

Šta je EMO projekat?

EMO je akronim za Portrait Alive Emote, projekat koji su razvili Linrui Tian, ​​Qi Wang, Bang Zhang i Liefeng Bo, tri inženjera iz Institut za inteligentno računarstvo, koji je dio kineskog tehnološkog i poslovnog konglomerata Alibaba.

Po rečima njegovih kreatora, reč je o ekspresivnom generacijskom sistemu za audio vođene video portrete. To je prilično gruba definicija onoga za šta je projekat EMO sposoban: uzeti sliku osobe i dati joj izraz, glas i pokret. Izgleda kao magija.

Ovo nisu jednostavni trikovi animacije koje bi svaka aplikacija mogla učiniti, već prije pedantan i precizan rad što se ogleda u širokom spektru izraza lica, kao i pokretima glave i usana. Tome se dodaje i zvuk, koji također određuje oblik ovih pokreta.

S druge strane, generirani video zapisi mogu imati neograničeno trajanje. One zapravo zavise od dužine videa na kojem su zasnovane.

Kako to funkcioniše?

Rad ovog nevjerovatnog alata detaljno je objašnjen na samoj stranici. web stranica projekta. Metoda je strukturirana u dvije različite faze:

    1. Početna faza kodiranja u kojem se proučavaju svi aspekti početne (ili referentne) slike, kako bi se bolje razumjelo koji se pokret i animacija mogu primijeniti na nju.
    2. Faza obrade. U njemu, prethodno obučeni audio enkoder obrađuje audio embedding, dok se primjenjuje sloj ili maska ​​za generiranje slike lica.

Neke detalje ovog procesa treba istaknuti, fokusirati se na eliminaciju buke i očuvanje identiteta lika. S druge strane, drugi temporalni moduli se koriste za podešavanje trajanja videa i brzine kretanja.

Rezultati koje ćemo predstaviti u nastavku (bilo da svaki portret priča ili čak pjeva) mogu se definirati samo kao spektakularni. AI intervencija služi za postizanje visoki nivoi realizma koji nas mogu potpuno prevariti. Što je i dalje uznemirujuće, zaista.

EMO projekat. Neki primjeri:

Pokažimo neke primjere šta ova tehnologija može postići. Kao što ćete vidjeti, možemo koristiti sliku stvarnog lika ili sliku koju generiše AI. Možemo ga natjerati da se kreće i gestikulira, da govori jezikom koji želimo (govori ono što želimo da kaže), pa čak i da pjeva. Prava čuda.

Ovo su neki video snimci fotografija o kojima govori EMO projekat. Glumica Audrey Hepburn oživljava da nam priča o pravu ljudi da plaču i izražavaju svoja osjećanja:

Također možete učiniti da likovi koji nisu od krvi i mesa govore. Ovdje imamo Mona Liza, Leonarda da Vinčija, kome je EMO Project udahnuo život da recituje Rosalindin monolog u predstavi "Kako hoćeš" od Williama Shakespearea:

Zanimljivo je da možemo snimiti i prave glumce i natjerati ih da kažu bilo šta. U ovom slučaju, vidimo Rafael Phoenix u svojoj čuvenoj ulozi Džoker, ali izgovaranje teksta koji odgovara drugom filmu, Mračni vitez.

A sada da pređemo na svet muzike. U sljedećem primjeru, AI generiran znak pod nazivom SORA izvesti pesmu «Ne počinji sada» de Dua Lipa. Rezultat je zapanjujuće ljudski:

Konačno predstavljamo vrlo mladog Leonardo DiCaprio pjevanje filmske teme Godzilla komponovao reper Eminem:

Etička i pravna razmatranja

Upotreba (tačnije, zloupotreba) veštačke inteligencije trenutno je u središtu debate. disruptivnu tehnologiju čije granice i mogućnosti još ne možemo sagledati i koji bi, zloupotrebljen, mogao imati negativne posljedice u mnogo različitih aspekata.

Da pokriju leđa, na stranici EMO projekta vrlo jasno navode da su svi njihovi testovi i kreacije namijenjeni isključivo akademskom istraživanju i demonstraciji efekata. Nema potrebe tražiti skrivene motive. Međutim, tehnologija koja može postići toliki stepen preciznosti i realizma predstavlja stvarnu opasnost za svakoga ko želi da je koristi za vršenje prijevare, krađe identiteta i drugih zločina.


Ostavite komentar

Vaša e-mail adresa neće biti objavljena. Obavezna polja su označena sa *

*

*

  1. Za podatke odgovoran: Miguel Ángel Gatón
  2. Svrha podataka: Kontrola neželjene pošte, upravljanje komentarima.
  3. Legitimacija: Vaš pristanak
  4. Komunikacija podataka: Podaci se neće dostavljati trećim stranama, osim po zakonskoj obavezi.
  5. Pohrana podataka: Baza podataka koju hostuje Occentus Networks (EU)
  6. Prava: U bilo kojem trenutku možete ograničiti, oporaviti i izbrisati svoje podatke.