Menetelmät

Stable Diffusionia voidaan käyttää usealla eri tavalla. Usein, kun tekoälytaiteesta puhutaan, niin tällä tarkoitetaan tekstistä kuvaksi menetelmää, mutta tämä ei suinkaan ole ainoa tapa. Erona erilaisilla menetelmillä on se, että minkälaisista lähtökohdista generointia lähdetään suorittamaan.

Teksti kuvaksi

Teksti kuvaksi menetelmässä kuvan lähtökohtana on työkalulle annettu kehote, joka ohjaa sitä minkälainen lopputulos tulee olemaan. Kuvanluonti aloitetaan täydestä satunnaisuudesta ja tekoäly parhaansa mukaan luo kehotteen mukaista sisältöä. Teksti kuvaksi menetelmä on yleensä se, mitä tarkoitetaan, kun puhutaan tekoälyn generoimista kuvista.

Työkaluissa teksti kuvaksi on yleensä nimeltään txt2img tai text-to-image.

Kuva kuvaksi

Kuva kuvaksi menetelmässä uuden kuvan lähtökohtana on mikä tahansa kuva. Kuvan ei tarvitse olla tekoälyllä tuotettu, se voi olla vaikka esimerkiksi mikä tahansa valokuva. Uusi kuva rakennetaan vanhan päälle sopivalla kehotteella, muutetaan halutuilta osin takaisin kuvakohinaksi ja rakennetaan uudelleen. Kuva kuvaksi tekniikkaa voidaan käyttää esimerkiksi kuvien tyylin muuttamiseksi tai vaikkapa valokuvan muuttamiseksi jonkun taidesuunnan mukaiseksi.

Työkaluissa kuva kuvaksi on yleensä nimeltään img2img tai text-to-image.

Sisäänmaalaus (inpainting)

Sisäänmaalaus tekniikkaa käytetään yksityiskohtien lisäämiseksi ja muokkaamiseksi. Nimensä mukaisesti haluttu alue “maalataan” ja maalatun alueen sisälle generoidaan teksti kuvaksi menetelmällä kehotteen pohjalta sisältöä. Maalatulle alueelle generoitu kuva sulautetaan sitten alkuperäiseen kuvaan.

Sisäänpäin maalauksen haasteena on se, että välillä generointi ei osaa luoda haluttua yksityiskohtaa pelkästään kehotteen avulla, vaan se tarvitsee jonkinlaisen kontekstin kuvasta, jonka pohjalta yksityiskohta generoidaan. Tämä konteksti voidaan lisätä esimerkiksi käsin kuvankäsittelyllä, jonka jälkeen alue maalataan ja muutetaan. Toinen vaihtoehto on käyttää yksinkertaisia luonnostyökaluja, jolla haluttu yksityiskohta piirretään mahdollisimman yksinkertaisesti kuvaan ja annetaan näin yksityiskohdalle konteksti.

Ulosmaalaus (outpainting)

Ulosmaalauksessa olemassa olevaa kuvaa jatketaan generoimalla kuvasta ulospäin. Ulosmaalauksessa tarkat kehotteet ovat tärkeitä, koska muuten tekoäly ei ymmärrä miten sen kuvaa tulisi jatkaa. Ulosmaalauksen haasteena onkin, että alkuperäisen kuvan ja jatketun kuvan väliin muodostuu keinotekoinen raja, joka ei häivyty miellyttävästi.

Ulosmaalaus on myös yksi tekniikka, jolla kuvan resoluutiota voidaan kasvattaa alkuperäisestä.

ControlNet

ControlNet voidaan nähdä teksti kuvaksi tai kuva kuvaksi menetelmän osana. Esimerkiksi AUTOMATIC1111-sovelluksessa ControlNet on lisättävä lisäosana sovellukseen.

ControlNet tarjoaa kuvan generointiin erilaisia hallintamenetelmiä. Sen mukana tulee erilaisia käsittelijöitä, jotka esimerkiksi tunnistavat sille syötetyistä mallikuvista ihmishahmoja, rakennusten muotoja tai syvyyskarttoja. Näitä esikäsittelijöiden tuottamia pohjakuvia voidaan sitten käyttää uusien kuvien generoimiseen. Voidaan ajatella pohjakuvat täydentävät kehotetta siten, että kaikkea ei tarvitse sen avulla manuaalisesti kuvata.

Skaalaaminen

Skaalaaminen ei ole yksinomaan Stable Diffusionin menetelmä, mutta se on yhdistettynä joihinkin sen toimintoihin. Kuvien resoluutiota voidaan erilaisilla menetelmillä kasvattaa suuremmiksi hyödyntämällä kuvien skaalaamiseen erikoistuneita tekoälymalleja. Skaalaamalla voidaan saavuttaa kuvia, joilla on alkuperäistä suurempi resoluutio, ilman että kuvan luomiseen tarvitaan suuret määrät näytönohjaimen prosessointitehoa ja muistia.