Proiect EMO: generare de videoclipuri din fotografia unei persoane

emo

Începem să vedem cu uimire unele dintre lucrurile pe care Inteligența Artificială este capabilă să le facă aplicate dispozitivelor noastre de zi cu zi. Rezultatele sunt cu adevărat surprinzătoare și acesta este doar vârful aisbergului. Un bun exemplu este Proiectul EMO, care constă în generarea de videoclipuri expresive din fotografii și portrete.

Cu alte cuvinte: este o tehnologie care dă viață fotografiilor statice, dându-le sunet și mișcare. În această postare vom explica în ce constă această idee cu câteva exemple interesante.

Ce este proiectul EMO?

EMO este acronimul pentru Emote Portret în viață, un proiect dezvoltat de Linrui Tian, ​​​​Qi Wang, Bang Zhang și Liefeng Bo, trei ingineri de la Institutul de calcul inteligent, care face parte din conglomeratul chinez de tehnologie și afaceri Alibaba.

În cuvintele creatorilor săi, este un sistem de generare expresiv pentru portrete video conduse de audio. Este o definiție destul de grosieră a de ce este capabil Project EMO: luați imaginea unei persoane și oferiți-i expresie, voce și mișcare. Pare magie.

Acestea nu sunt simple trucuri de animație pe care le-ar putea face orice aplicație, ci mai degrabă lucru meticulos și de înaltă precizie care se reflectă într-o gamă largă de expresii faciale, precum și în mișcările capului și buzelor. La aceasta se adaugă și sunetul, care determină și forma pe care o iau aceste mișcări.

Pe de altă parte, videoclipurile generate pot avea o durată nelimitată. Ele depind de fapt de lungimea videoclipului pe care se bazează.

Cum funcționează?

Funcționarea acestui instrument incredibil este explicată în detaliu pe pagina însăși. site-ul proiectului. Metoda este structurată în două etape diferite:

    1. Faza inițială de codare în care sunt studiate toate aspectele imaginii de pornire (sau de referință), pentru a înțelege mai bine ce mișcare și animație i se pot aplica.
    2. Faza de procesare. În acesta, un codificator audio pre-antrenat procesează încorporarea audio, în timp ce se aplică stratul sau masca de generare a imaginii faciale.

Ar trebui evidențiate câteva detalii ale acestui proces, concentrate pe eliminarea zgomotului și păstrarea identității personajului. Pe de altă parte, alte module temporale sunt folosite pentru a regla durata videoclipului și viteza de mișcare.

Rezultatele pe care le vom prezenta mai jos (fie ca fiecare portret să vorbească sau chiar să cânte) pot fi definite doar ca fiind spectaculoase. Intervenția AI servește la atingere niveluri ridicate de realism capabile să ne înșele complet. Ceea ce este încă deranjant, într-adevăr.

Proiectul EMO. Cateva exemple:

Să arătăm câteva exemple de ce poate realiza această tehnologie. După cum veți vedea, putem folosi imaginea unui personaj real sau cea a unuia generată de AI. Îl putem face să se miște și să gesticuleze, să vorbim în limba pe care o dorim (spunând ceea ce vrem să spună) și chiar să o facem să cânte. Adevărate minuni.

Acestea sunt câteva videoclipuri cu fotografii pe care Proiectul EMO le face să vorbească. Actrita Audrey Hepburn prinde viață pentru a ne spune despre dreptul oamenilor de a plânge și de a-și exprima sentimentele:

De asemenea, puteți face să vorbească personaje care nu sunt făcute din carne și oase. Aici avem Mona Lisa, de Leonardo da Vinci, căruia Proiectul EMO i-a suflat viață pentru a recita monologul Rosalindei în piesă "Cum doriți" de William Shakespeare:

În mod curios, putem face și imagini cu actori adevărați și îi putem face să spună orice. În acest caz, vedem Rafael Phoenix în celebrul său rol de Joker, dar pronunțând un text care corespunde unui film diferit, Cavalerul intunecat.

Acum să trecem la lumea muzicii. În exemplul următor, un personaj generat de AI numit SORA interpretează cântecul „Nu începe acum” de Dua Lipa. Rezultatul este uimitor de uman:

În cele din urmă vă prezentăm un foarte tânăr Leonardo DiCaprio cântând tema filmului Godzilla compus de rapper Eminem:

Considerații etice și juridice

Utilizarea (sau mai bine zis, utilizarea greșită) a Inteligenței Artificiale se află în prezent în centrul dezbaterii. o tehnologie disruptivă ale cărei limite şi posibilităţi încă nu le putem întrevede şi care, folosit greșit, ar putea avea consecințe negative în multe aspecte diferite.

Pentru a-și acoperi spatele, pe pagina Proiectului EMO ei indică foarte clar că toate testele și creațiile lor sunt destinate exclusiv cercetării academice și demonstrarii efectelor. Nu este nevoie să căutați motive ascunse. Cu toate acestea, o tehnologie care poate atinge un asemenea grad de precizie și realism constituie un pericol real pentru oricine dorește să o folosească pentru a comite fraude, furt de identitate și alte infracțiuni.


Lasă comentariul tău

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *

*

*

  1. Responsabil pentru date: Miguel Ángel Gatón
  2. Scopul datelor: Control SPAM, gestionarea comentariilor.
  3. Legitimare: consimțământul dvs.
  4. Comunicarea datelor: datele nu vor fi comunicate terților decât prin obligație legală.
  5. Stocarea datelor: bază de date găzduită de Occentus Networks (UE)
  6. Drepturi: în orice moment vă puteți limita, recupera și șterge informațiile.