來源:Github
發布者:yuanxiaosc
上周,又一AI偏門應用DeepNude爆出,一鍵直接“脫掉”女性的衣服,火爆全球。
應用也很容易上手,只需要給它一張照片,即可借助神經網絡技術,自動“脫掉”衣服。原理雖然理解門檻高,但是應用起來卻毫不費力,因為對于使用者來說,無需任何技術知識,一鍵即可獲取。
據發布者表示,研發團隊是個很小的團隊,相關技術顯然也還很不成熟,多數照片(尤其是低分辨率照片)經過DeepNude處理后,得出的圖像會有人工痕跡;而輸入卡通人物照片,得出的圖像是完全扭曲的,大多數圖像和低分辨率圖像會產生一些視覺偽像。
當然,目標“圖片”還是各種女性,較早曝光這一應用的科技媒體Motherboard表示,他們通過幾十張的照片測試,發現如果輸入《體育畫報泳裝特輯》(Sports Illustrated Swimsuit)的照片,得到的裸體照片最為逼真。
海外媒體Motherboard測試圖片
這一應用瞬間引發了社區的各類聲討,表示是對AI利用的反例。
連吳恩達也出面發聲,聲討這一項目。
該應用在一片討伐聲中很快下線,但是,余震猶存。
尤其是對這一應用背后技術的探討還一直在持續。
本周,一個名為“研究DeepNude使用的圖像生成和圖像修復相關的技術和論文“的GitHub升至一周熱榜,獲得了不少星標。
項目創始人顯然對于這一項目背后的技術很有研究,提出了其生成需要的一系列技術框架,以及哪些技術可能有更好的實現效果。文摘菌在此進行轉載,希望各位極客在滿足技術好奇心的同時,也可以正確使用自己手中的技術力量。
以下為原文內容和來源鏈接:
https://github.com/yuanxiaosc/DeepNude-an-Image-to-Image-technology
接下來我會開源一些image/text/random-to-image的神經網絡模型,僅供學習交流之用,也歡迎分享你的技術解決方案。
Image-to-Image Demo圖像到圖像demo
DeepNude軟件主要使用Image Inpainting for Irregular Holes Using Partial Convolutions 中提出的Image-to-Image技術,該技術有很多其它的應用,比如把黑白的簡筆畫轉換成色彩豐富的彩圖,你可以點擊下方的鏈接在瀏覽器中嘗試Image-to-Image技術。
https://affinelayer.com/pixsrv/
在左側框中按照自己想象畫一個簡筆畫的貓,再點擊pix2pix按鈕,就能輸出一個模型生成的貓。
Deep Computer Vision in DeepNude
Image Inpainting圖像修復
論文NVIDIA 2018 paper Image Inpainting for Irregular Holes Using Partial Convolutions and Partial Convolution based Padding.
代碼 Paper code partialconv。
效果
在Image_Inpainting(NVIDIA_2018).mp4視頻中左側的操作界面,只需用工具將圖像中不需要的內容簡單涂抹掉,哪怕形狀很不規則,NVIDIA的模型能夠將圖像“復原”,用非常逼真的畫面填補被涂抹的空白。可謂是一鍵P圖,而且“毫無ps痕跡”。該研究來自Nvidia的Guilin Liu等人的團隊,他們發布了一種可以編輯圖像或重建已損壞圖像的深度學習方法,即使圖像穿了個洞或丟失了像素。這是目前2018 state-of-the-art的方法。
Pix2Pix(need for paired train data)
DeepNude mainly uses this Pix2Pix technology.
論文 Berkeley 2017 paper Image-to-Image Translation with Conditional Adversarial Networks.
主頁 homepage Image-to-Image Translation with Conditional Adversarial Nets
代碼code pix2pix
Run in Google Colab pix2pix.ipynb
Image-to-Image Translation with Conditional Adversarial Networks是伯克利大學研究提出的使用條件對抗網絡作為圖像到圖像轉換問題的通用解決方案。
CycleGAN(without the need for paired train data)
論文:Berkeley 2017 paper Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
代碼:code CycleGAN
Run in Google Colab cyclegan.ipynb
效果
CycleGAN使用循環一致性損失函數來實現訓練,而無需配對數據。換句話說,它可以從一個域轉換到另一個域,而無需在源域和目標域之間進行一對一映射。這開啟了執行許多有趣任務的可能性,例如照片增強,圖像著色,樣式傳輸等。您只需要源和目標數據集。
未來
可能不需要Image-to-Image。我們可以使用GAN直接從隨機值生成圖像或從文本生成圖像。
Obj-GAN
微軟人工智能研究院(Microsoft Research AI)開發的新AI技術Obj-GAN可以理解自然語言描述、繪制草圖、合成圖像,然后根據草圖框架和文字提供的個別單詞細化細節。換句話說,這個網絡可以根據描述日常場景的文字描述生成同樣場景的圖像。
效果
模型
StoryGAN
進階版神筆:只需一句話、一個故事,即可生成畫面
微軟新研究提出新型GAN——ObjGAN,可根據文字描述生成復雜場景。他們還提出另一個可以畫故事的GAN——StoryGAN,輸入一個故事的文本,即可輸出「連環畫」。
當前最優的文本到圖像生成模型可以基于單句描述生成逼真的鳥類圖像。然而,文本到圖像生成器遠遠不止僅對一個句子生成單個圖像。給定一個多句段落,生成一系列圖像,每個圖像對應一個句子,完整地可視化整個故事。
效果
現在用得最多的Image-to-Image技術應該就是美顏APP了,所以我們為什么不開發一個更加智能的美顏相機呢?
實習/全職編輯記者招聘ing
加入我們,親身體驗一家專業科技媒體采寫的每個細節,在最有前景的行業,和一群遍布全球最優秀的人一起成長。坐標北京·清華東門,在大數據文摘主頁對話頁回復“招聘”了解詳情。簡歷請直接發送至zz@bigdatadigest.cn