Čo je DALL·E 2?

DALL·E 2 je program umelej inteligencie, ktorý vytvára obrázky z textových popisov, ktoré vo štvrtok odhalila výskumná spoločnosť OpenAI.

Používa 12-miliardovú verziu modelu transformátora GPT-3 na trénovanie parametrov na interpretáciu vstupov prirodzeného jazyka a generovanie zodpovedajúcich obrázkov. Napríklad, keď bola poskytnutá veta „čiernobiela fotografia malého psa“, vytvorila správne čiernobiely obrázok čivavy.

Systém nie je dokonalý – niekedy vytvára obrázky, ktoré sa ťažko interpretujú alebo sú úplne mimo. Napríklad, keď sme požiadali o vytvorenie obrazu „človeka jazdiaceho na jednokolke na lane nad sopkou“, vytvorilo sa (podľa môjho názoru krásny), ale úplne nesúvisiaci obraz západu slnka nad vodou s malou postavou v popredí. .

Napriek tomu sú výsledky pôsobivé a OpenAI hovorí, že DALL·E 2 „je prvý model AI, ktorý generuje obrázky z textových popisov, ktoré môžu konkurovať kvalite profesionálnych ľudských umelcov“.

Systém bol trénovaný na dátovom súbore párov text-obrázok, ktorý pozostával z približne 1,3 milióna obrázkov a titulkov z internetu, ktoré boli zoškrabané a spravované OpenAI. Tréningové dáta sa potom použili na doladenie modelu GPT-3 tak, aby mohol generovať obrázky z textových popisov.

OpenAI hovorí, že systém dokáže generovať „vysokokvalitné“ obrázky zo širokej škály textových popisov vrátane tých, ktoré sú abstraktné, konkrétne alebo dokonca poetické.

Okrem príkladu Chihuahua, medzi ďalšie príklady obrázkov vytvorených DALL·E 2 patrí správne vykreslený portrét Adolfa Hitlera, obrázok draka vyrobený zo zeleniny a obrázok Mony Lisy vyrobený z toastu.

Systém je tiež schopný generovať obrazy vecí, ktoré neexistujú, ako napríklad „floof“ (vymyslené zviera) alebo „tulpa“ (forma myšlienok).

Celkovo sú výsledky pôsobivé a OpenAI hovorí, že systém „otvára nové možnosti na generovanie obrázkov z textových popisov“.

OD E2 Toto CLIP-systém prevádza textové informácie na vizuálne informácie. Toto je paradigma kódovač-dekodér, čo znamená, že keď je poskytnutý vstupný text, je najprv konvertovaný na strojový vstup, potom spracovaný systémom a nakoniec odovzdaný dekodéru, ktorý prevedie zakódované dáta na obrázok.

Čo je DALL·E 2?

Toto je najnovšia generácia DALL·E, generatívneho jazykového modelu, ktorý používa frázy na vytváranie úplne nových vizuálnych efektov. DALL E 2 je obrovský 3,5V model, aj keď nie taký masívny ako GPT-3. Zaujímavosťou je, že je tiež ľahší ako jeho predchodca (12B). Pokiaľ ide o zarovnanie popisu a fotorealizmus, DALL·E 2 je o 70 % lepší ako DALL·E 2 napriek svojej väčšej veľkosti.

DALL.E 2- vysvetlenie pre začiatočníkov s príkladmi

Konkrétne, DALL·E 2 je hierarchický podmienený model syntézy obrázkov textu, ktorý kombinuje hlboké učenie na spracovanie prirodzeného jazyka s počítačovým videním na generovanie obrázkov. Jeho cieľom je trénovať dva modely a cvičebná súprava pozostáva zo spárovaných obrázkov a popisov. Prvým je a priori, že po zadaní písaného názvu možno trénovať na generovanie vloženia obrázka CLIP. Potom máme dekodér, ktorý pri vkladaní obrázka CLIP (a titulku, ak je prítomný) dokáže vygenerovať natrénovaný obrázok.

DALLE 2 je trénovaný pomocou stoviek miliónov fotografií s titulkami z internetu a niektoré z týchto obrázkov sú odstránené a premiešané, aby sa zmenilo to, čo sa modelka naučila. Načítava viacero možností obrázkov CLIP príloh a potom ho použiť dekodér prejsť každým z nich. Potom vytvorí zaujímavý mix všetkých týchto informácií na základe vstupu používateľa.

Príklad DALL IS 2

Poďme si zahrať malú hru na pochopenie DALL·E. Rozdeľme si to na ďalšie tri kroky.

1. Predstavte si dúhy, oblaky a jednorožce lietajúce na modrej oblohe. Predstavte si, aký by mohol byť obrázok vo vašej fantázii. Ľudia sú tým najbližším, čo máme k dokonalej analógii vloženého obrázka, a obrázok, ktorý sa vám práve objavil v hlave, je toho dokonalým príkladom. Môžete len hádať o konečnom produkte, ale máte dobrú predstavu o tom, čo by malo byť zahrnuté. Apriórny model prevedie čitateľa od slov vo fráze k scéne v jeho predstavách.
2. Teraz môžete začať kresliť. Čo robí unCLIP, je previesť váš mentálny obraz na skutočný náčrt. Teraz môžete presne vytvoriť ďalšiu postavu z rovnakého popisu, s rovnakými základnými štatistikami, ale s úplne novým vizuálnym štýlom. DALL·E 2 môže tiež generovať jedinečné obrázky z existujúceho obrázka vloženého týmto spôsobom.
3. Venujte pozornosť náčrtu, ktorý ste urobili. Toto sa stane, keď načrtnete opis 'jednorožca uprostred oblakov a dúha stúpa proti oblohe.' Teraz preskúmajte obrázok a text, aby ste určili, čo najlepšie ilustruje toho druhého (slnko, dom, strom atď.) a čo najlepšie ilustruje predmet, štýl, farby atď. CLIP robí kódovanie charakteristík. text a obrázky.

Teraz, keď vieme, čo je DALL-E, prejdime k ďalšej časti a pochopme jeho vlastnosti.

Tip: Ako vytvárať realistické obrázky so službou DALL-E-2 AI

Vlastnosti DALL E 2

Nižšie sú uvedené špecifikácie DALL·E 2.

1. Variácie
2. Farbenie
3. Textové rozdiely

Povedzme si o nich podrobne.

ako vytvoriť vizitky v programe Word 2010

1] Variácie

DALL·E 2 ide nad rámec jednoduchého prekladu vety do obrazu. OpenAI môže experimentovať s generatívnym procesom a produkovať rôzne výsledky pre daný podpis vďaka robustným zabudovaniam CLIP. To, čo CLIP „vidí“ vo svojej „mysli“, je to, čo považuje za dôležité zo vstupu (zostáva rovnaké pre všetky obrázky) a čo možno nahradiť (čo sa pri rôznych obrázkoch mení). Kedykoľvek je to možné, DALL·E 2 si zachová „zmysluplné informácie... aj estetické aspekty“.

2] Farbenie

DALL·E 2 dokáže upravovať existujúce fotografie pomocou automatického dopĺňania. V nasledujúcom príklade je ľavý obrázok pôvodný obrázok a na strednej a pravej fotografii je prvok nakreslený na rôznych miestach. DALL·E 2 priraďuje k štýlu Picture Style ďalší prvok. Aktualizuje tiež textúry a odrazy, aby odrážali nový prvok.

Čítať : Čo môžete robiť s ChatGPT

3] Textové rozdiely

DALL·E 2 konvertuje obrázky pomocou rozdielov v texte. DALL·E 2 má tiež pokročilé možnosti interpolácie, ktoré vám umožňujú upravovať objekty. Jednému používateľovi Twitteru sa podarilo „zničiť“ svoj iPhone. twitter.com aby ste to skontrolovali.

Ak sa vám tieto funkcie páčia, všetko, čo musíte urobiť, je prejsť na openai.com a potom sa zaregistrujte. Na registráciu si môžete vytvoriť nový účet alebo použiť svoje existujúce účty Microsoft alebo Google. Keď to urobíte, získate nejaké bezplatné kredity, ak chcete viac, musíte si za to zaplatiť.

Toto sú niektoré z funkcií DALL·E 2, má veľa skvelých prípadov použitia, avšak vždy sa odporúča nespoliehať sa príliš na nástroje AI. Koniec koncov, nie sú nič iné ako nástroje používané na vykonanie práce, nikdy nemôžu nahradiť emocionálnu inteligenciu človeka.

Prečítajte si tiež: Najlepšie Deepfake aplikácie, softvér a webové stránky.