Hypnogram luo kuvia annettujen sanojen perusteella.<\/p>\n\n\n\n
<\/p>\n\n\n\n
”Ihan alkuun, t\u00e4\u00e4lt\u00e4 n\u00e4kee ”modifier” sanoja, jotka pit\u00e4is toimia luotettavasti, eli tuottavat aina saman tyylist\u00e4.<\/p>\n\n\n\n
Esim. pelkk\u00e4 ”mushroom” tuottaa satunnaisia normikyrveleit\u00e4, ”mushroom pencil drawing” vet\u00e4\u00e4 kyrvelit yhden filtterin l\u00e4pi ja ”mushroom pencil drawing anime” kahden filtterin. T\u00e4m\u00e4 ihan peruskauraa varmaankin kaikille.<\/p>\n\n\n\n
Tuo itse saitti on viel\u00e4 koko internetsille mysteeri, ett\u00e4 kuka siell\u00e4 on taustalla. Vahvimmat veikkaukset n\u00e4ytt\u00e4is olevan, ett\u00e4 on joku ML\/AI startup jolla ylim\u00e4\u00e4r\u00e4isi\u00e4 euroja leikki\u00e4 hetki t\u00e4mm\u00f6sell\u00e4 anonyymill\u00e4 t\u00e4ysin avoimella sivulla. Toinen veikkaus on, ett\u00e4 joku haluaa tehd\u00e4 NFT massia n\u00e4ill\u00e4 generoiduilla kuvilla.<\/p>\n\n\n\n
Taustalla on Googlen pilvipalvelu. Ei tee suoraan livehakuja Googlen kuvahakuun, vaan k\u00e4ytt\u00e4\u00e4 Googlen rakentamaa valmista tietokantaa jossa on miljardeja kuvia metatiedoilla. Tuohon kantaan p\u00e4\u00e4see sitten k\u00e4siksi helpoiten Googlen omalta Colab alustalta. Luultavasti se miksi tuo kest\u00e4\u00e4 ja kest\u00e4\u00e4, niin jotkut Colab limitit paukkuu ja siell\u00e4 ollaan sitten hetki aina jonossa sen oman perversionsa kanssa.<\/p>\n\n\n\n
T\u00e4m\u00e4nkin saitin koodi\u00a0 Koodia voi ajella omallakin koneella, ei siis ole varsinaisesti sidottu tuohon Colab himmeliin. Se on vaan valmis Python koodin ajoalusta. Paras ohje omalla koneella ajettavana lienee t\u00e4m\u00e4 nerdyrodent\/VQGAN-CLIP: Just playing with getting VQGAN+CLIP running locally, rather than having to use colab. (github.com)<\/a> .<\/p>\n\n\n\n Itse tekniikka, eli se koodi mik\u00e4 sitten varsinaisen magiikan suorittaa on nimelt\u00e4\u00e4n GAN itsess\u00e4\u00e4n on jo wanha juttu. ”VQ” on sitten hyvin lyhyesti k\u00e4yt\u00e4nn\u00f6ss\u00e4 sen optimointia uusien n\u00e4yttisten arkkitehtuureille, jolloin samassa vanhassa suoritusajassa voidaan tehd\u00e4 taas lis\u00e4\u00e4 uusia taikoja .<\/p>\n\n\n\n N\u00e4iden lis\u00e4ksi on GANista seuraavaa modernimpaa ainakin jo VAE-GAN, VQ-VAE ja ihan tuoreimpana ilmeisesti VQ-VAE-2. En l\u00e4hde sit\u00e4 kaninkoloa t\u00e4ss\u00e4 enemp\u00e4\u00e4 avaamaan. N\u00e4iss\u00e4kin v\u00e4h\u00e4n sama kun lohkoketjuissa, ett\u00e4 ostaja\/k\u00e4ytt\u00e4j\u00e4puolella kukaan ei oikeasti ymm\u00e4rr\u00e4 kyseist\u00e4 teknologiaa ja sitten on helppo kaupitella k\u00e4rmes\u00f6ljyt. Mahtaako ymm\u00e4rt\u00e4\u00e4 edes itse tekniikkaa k\u00e4ytt\u00e4v\u00e4t propellihatut.<\/p>\n\n\n\n CLIP on tuorein tulokas. Tammikuussa julkaistu ja aiheuttanut ilmeisen p\u00f6hin\u00e4n ML\/AI piireiss\u00e4. CLIP-softan taustalla on OpenAI<\/a>. CLIP on se taika jolla Googlen pilvi ymm\u00e4rt\u00e4\u00e4 meid\u00e4n h\u00f6p\u00f6ttelyt ja osaa kaivella kuvakannasta halutut kohteet, eli se on ”text-to-image<\/a>” tulkki v\u00e4liss\u00e4. T\u00e4ll\u00e4 hetkell\u00e4 osaa vain englantia hyvin.<\/p>\n\n\n\nn\u00e4ytt\u00e4isi pohjautuvan<\/s>\u00a0pohjautuu (mainittiinkin jo Tips-sivulla) huhtikuussa julkaistuun\u00a0Katherine Crowsonin<\/a> valmiiseen softaan<\/a>\u00a0joka on rakennettu juuri tuolla Colab alustalla.\u00a0Katherinella<\/a>\u00a0on oma\u00a0NFT kauppa<\/a>\u00a0t\u00e4mm\u00f6sille kuville…\u00a0<\/p>\n\n\n\n
VQGAN = Vector Quantized Generative Adversarial Network
ja
CLIP = Contrastive Language\u2013Image Pre-training<\/p>\n\n\n\n