在“一句話生成照片”這件事上，英偉達(dá)又一次突破了大伙的想象力。

他們最新的AI模型GauGAN2，不僅能根據(jù)字詞生成逼真風(fēng)景照，還能實(shí)時(shí)用文字P圖!

輸入一句“海浪擊打岸邊石”，立刻輸出一張逼真照片：

從單詞到短語(yǔ)，這只AI全都能get!

那感覺(jué)，簡(jiǎn)直是要山得山，要水得水：

要是覺(jué)得哪部分你不喜歡，直接打字就能“P圖”：

上面這些效果，都是英偉達(dá)這個(gè)叫做“GauGAN2”的模型做出來(lái)的，而它的“完整版”功能，還遠(yuǎn)不止這些。

從草圖到文字，都能生成風(fēng)景照

GauGAN2的繪制模式，一共分為三種。

第一種，打字生成圖片。

我們先試了一下單個(gè)詞組，“陽(yáng)光(sunshine)”，生成如下圖片：

加上限定詞in the forest后，AI立刻就將場(chǎng)景換到了樹(shù)林里，變成光灑在樹(shù)林中的場(chǎng)景：

再多來(lái)點(diǎn)限定詞也沒(méi)問(wèn)題。

像“冬日樹(shù)林中的陽(yáng)光”，輸入in winter后，眼前本來(lái)郁郁蔥蔥的樹(shù)林立刻“全禿了”，換成了雪景下的一幕：

這效果，u1s1(有一說(shuō)一)確實(shí)不錯(cuò)。

還能輸出不同style的風(fēng)景圖，例如輸入“大山(mountain)”一詞，立刻要山有山，還能給你換不同風(fēng)格：

當(dāng)然，這些不同的風(fēng)景照也都能繼續(xù)生成新細(xì)節(jié)，在mountain后加上“beside a river”就能生成山水：

第二種，“打字P圖”，直接用文字編輯部分圖像。

只需要把想替換掉的部分圈出來(lái)，輸入你想要的東西，就能立刻造出各種新穎的風(fēng)景圖：

嗯……英偉達(dá)給出的這個(gè)demo，思路也是非常清奇了，“浮在空中的城堡”：

第三種，用涂鴉生成風(fēng)景照。

這是上一代GauGAN2(2019年英偉達(dá)推出的GauGAN)的看家本領(lǐng)。

例如，要是想實(shí)現(xiàn)下面這樣的“一片天空兩個(gè)太陽(yáng)”，就完全可以在通過(guò)文本生成的圖像上，自己手動(dòng)再加一個(gè)。

這幾種玩法疊加在一起，簡(jiǎn)直讓網(wǎng)友們腦洞大開(kāi)。

像外媒ZDNet就惡搞出來(lái)了一種神奇的玩法，在已有的風(fēng)景上畫(huà)個(gè)人頭：

然后讓GauGAN2根據(jù)已有的畫(huà)面，再重新生成圖畫(huà)，就會(huì)得到如下“人頭海島”的神奇景觀：

不過(guò)這可能也對(duì)個(gè)人畫(huà)技有所要求，在我們的靈魂畫(huà)風(fēng)下，效果看上去就有些……不太聰明的亞子。

那么，生成這一系列風(fēng)景照的GauGAN2，背后究竟用了什么原理?

它與OpenAI今年發(fā)布的DALL·E和CLIP，又究竟有什么區(qū)別?

與DALL·E有什么不同?

2019年，英偉達(dá)GauGAN2的“前身”GauGAN正式開(kāi)源。

當(dāng)時(shí)的它，還只擁有其中一個(gè)能力，就是將涂鴉直接變成風(fēng)景畫(huà)，就像「神筆馬良」一樣，還推出了對(duì)應(yīng)的軟件Canvas：

當(dāng)然，這時(shí)GauGAN已經(jīng)能隨意改變畫(huà)面風(fēng)格了，從白天黑夜到春夏秋冬的氣質(zhì)都能穩(wěn)穩(wěn)“拿捏”：

據(jù)英偉達(dá)介紹，GauGAN采用了一種基于空間適應(yīng)標(biāo)準(zhǔn)化(SPADE)算法。

SPADE算法不僅使用隨機(jī)的輸入圖像，還采用了一種被稱(chēng)作“分割圖”的圖像。在分割圖中，每一個(gè)像素都會(huì)被歸類(lèi)，來(lái)生成更接近于真實(shí)的圖像，這種模式被稱(chēng)作“圖對(duì)圖翻譯”。

△GauGAN的技能點(diǎn)(狗頭)

現(xiàn)在，英偉達(dá)將GauGAN升級(jí)成了GauGAN2，后者一共采用了1000萬(wàn)張高質(zhì)量的圖片、在英偉達(dá)Selene超算上進(jìn)行訓(xùn)練，這臺(tái)超算在Green500排行榜上排到世界第二。

生成這些風(fēng)景畫(huà)的效果和“手法”，是不是感覺(jué)有點(diǎn)熟悉?

沒(méi)錯(cuò)，大多數(shù)人看到GauGAN2的第一眼，可能都會(huì)覺(jué)得它和OpenAI的DALL·E+CLIP有點(diǎn)像。

今年年初，OpenAI用DALL·E和CLIP兩個(gè)模型，做了個(gè)“圖像版”GPT-3，同樣能用一句話生成圖片。

不過(guò)，這兩個(gè)模型生成的內(nèi)容其實(shí)不太一樣。

GauGAN2專(zhuān)注于生成風(fēng)景照，DALL·E+CLIP則更多地生成具體的物體，例如一把椅子或者一個(gè)鬧鐘等。

這與它們的原理差異也有關(guān)系，GauGAN2更加注重“單詞與視覺(jué)效果”之間的關(guān)系，例如“冬天”這種模糊的狀態(tài)詞給照片帶來(lái)的效果;DALL·E+CLIP則更注重“文字-圖像”這種有明確對(duì)應(yīng)關(guān)系的物體效果。

據(jù)英偉達(dá)介紹，GauGAN2不同于“文本-圖像”和“分割圖像-圖像”一類(lèi)的模型，它所能產(chǎn)生的照片種類(lèi)更多，質(zhì)量也會(huì)更高。

不過(guò)，偶爾也會(huì)出現(xiàn)點(diǎn)bug…

比如給出“沙灘(beach)”一詞后，有些生成的畫(huà)面中出現(xiàn)了語(yǔ)言無(wú)法描述的事物。

對(duì)此，英偉達(dá)表示，他們?cè)谟?xùn)練中“完全沒(méi)有用到任何人像照片”。(所以可能是偶然?)

但這樣一來(lái)，網(wǎng)友想要的“瑞克搖(Rick roll)”和“鬼畜視頻生成”，GauGAN2大概也是沒(méi)辦法實(shí)現(xiàn)了。

但是能生成仿佛夢(mèng)境中才能見(jiàn)到的畫(huà)面，也吸引了不少人來(lái)試玩。

這不，有人就曬出了自己生成的抽象畫(huà)大作，并表示自己非常喜歡這個(gè)模型：

還有人表示，GauGAN2給出了一些建筑設(shè)計(jì)的新idea啊。

也有網(wǎng)友覺(jué)得這種能夠自動(dòng)生成景觀的功能，未來(lái)Adobe可能也會(huì)用上。

或許就是下一個(gè)畫(huà)手利器?

最后，GauGAN2在瀏覽器上就能試玩，歡迎大家留言討論自己的體驗(yàn)感受~