Razumevanje diskriminatorja za obliž GAN-patch
Understanding Patchgan Patch Discriminator
Glej: razumevanje popravka GAN-obliž diskriminator in različni tenzorji
https://github.com/ChengBinJin/V-GAN-tensorflow
【Papir】 Pretvorba slike iz pix2pix v ciklično GAN
Ta oddelek deli dva članka o metodi GAN za pretvorbo slik, in sicer pix2pix GAN in Cycle GAN. Oba članka sta v bistvu ista avtorjeva progresivna serija. Članek ni najnovejši, vendar ni star. Več kot pol leta kasneje je zgodnji članek, ki uporablja GAN za pretvorbo slik. Ta del bo podrobno razložil postopek njegove izvedbe.
Pretvorba slike ali pretvorba sloga slike, kot že ime pove, se nanaša na operacijo pretvorbe ene slike A glede na način / slog druge slike B, kot so 'dan-> noč', 'sončno-> deževen dan' itd. .
Nekatere metode
Po široko uporabljeni metodi globokega učenja je treba z uporabo CNN okvira to storiti razmeroma dobro z uporabo metode globokega učenja, ki je članek 2016cvpr. . Prav tako je bilo vroče, ko je izšel, in obstaja nekaj načinov za izboljšanje takšnih metod.
Z nastankom mrežne strukture, ki je že sama po sebi močna pri ustvarjanju slik (GAN), je uporaba metode GAN za ustvarjanje slik postala priljubljena metoda. Naštejte nekaj metod, ki temeljijo na trenutni uporabi GAN:
pix2pix GAN (1611)
CycleGAN (1703)
DiscoGAN (1703)
PAN (zaznavna kontradiktorna omrežja) Zaznan GAN (1706)
StarGAN (1711)
Končni rezultat teh metod je lahko pretvorba slik, izvedba obrazca je drugačna. Vključno z nedavnim StarGAN.
Najprej si oglejte vsako vrsto metode za učinek:
Metoda, ki temelji na globoki konvolucijski nevronski mreži
..................
2. O osnovni teoriji GAN in cGAN
Raziskovanje metod preoblikovanja slik, ki temeljijo na GAN, najprej zahteva določeno razumevanje osnovnih načel GAN. Za načelo GAN se lahko sklicujete na prejšnji spletni dnevnik:
Preprosto razumevanje in eksperimentalna generacija v omrežju GAN
Na kratko tukaj, GAN vemo, da je njegova ideja dvočlanska igra z ničelno vsoto, ki je sestavljena iz dveh delov: generator G + diskriminator D, v katerem mora generator ustvariti resnične lažne vzorce
Razločevalnik se uporablja za določanje resničnih in neresničnih vzorcev. Splošni GAN lahko predstavimo z naslednjo sliko:
Poskus s popravkom slike
Druga majhna strukturna točka v tem članku je način eksperimentiranja s PatchGAN, torej za generator ali diskriminator, ne kot vhod v celotno sliko celotne slike, temveč kot majhen Obliž prihaja. Po razdelitvi slike na popravke N * N se za vsak blok izvede zgornja operacija. Ugotovimo lahko, da je N = 1 enakovredno slikovnim pikam. Ko je N = 256 (velikost slike je 256), gre za delovanje ene slike in ene slike. Seveda je poskus v članku ugotovil, da je pri N = 70 učinek najboljši.
Pravzaprav je ena največjih prednosti, ko je N fiksni blok, ta, da lahko iz majhnih slik ustvarite velike slike, saj na njih vseeno delate. Na primer, vaša izvirna slika je 256 * 256, vsakih 70 * 70 en blok. Izurjeni model, če je treba pretvoriti sliko 1000 * 1000, jo lahko pretvori, pretvori le 1000 v več 70 blokov, vsak blok je mogoče pretvoriti posebej.