這是一系列關(guān)于 NVIDIA 研究人員如何改進(jìn)和加速擴(kuò)散模型采樣的方法的一部分,擴(kuò)散模型是一種新穎而強(qiáng)大的生成模型。 Part 2 介紹了克服擴(kuò)散模型中緩慢采樣挑戰(zhàn)的三種新技術(shù)。
生成模型是一類機(jī)器學(xué)習(xí)方法,它可以學(xué)習(xí)所訓(xùn)練數(shù)據(jù)的表示形式,并對數(shù)據(jù)本身進(jìn)行建模。它們通?;谏顚?a href="http://srfitnesspt.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)。相比之下,判別模型通常預(yù)測給定數(shù)據(jù)的單獨(dú)數(shù)量。
生成模型允許您合成與真實(shí)數(shù)據(jù)不同但看起來同樣真實(shí)的新數(shù)據(jù)。設(shè)計(jì)師可以在汽車圖像上訓(xùn)練生成性模型,然后讓生成性人工智能計(jì)算出具有不同外觀的新穎汽車,從而加速藝術(shù)原型制作過程。
深度生成學(xué)習(xí)已成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究領(lǐng)域,并有許多相關(guān)應(yīng)用。生成模型廣泛用于圖像合成和各種圖像處理任務(wù),如編輯、修復(fù)、著色、去模糊和超分辨率。
生成性模型有可能簡化攝影師和數(shù)字藝術(shù)家的工作流程,并實(shí)現(xiàn)新水平的創(chuàng)造力。類似地,它們可能允許內(nèi)容創(chuàng)建者高效地為游戲、動(dòng)畫電影或 metaverse 生成虛擬 3D 內(nèi)容。
基于深度學(xué)習(xí)的語音和語言合成已經(jīng)進(jìn)入消費(fèi)品領(lǐng)域。醫(yī)學(xué)和醫(yī)療保健等領(lǐng)域也可能受益于生成性模型,例如生成對抗疾病的分子候選藥物的方法。
當(dāng)神經(jīng)網(wǎng)絡(luò)被用于不同的生成性學(xué)習(xí)任務(wù)時(shí),尤其是對于不同的生成性學(xué)習(xí)任務(wù),神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)也可以被用于合成。
生成性學(xué)習(xí)三位一體
為了在實(shí)際應(yīng)用中得到廣泛采用,生成模型在理想情況下應(yīng)滿足以下關(guān)鍵要求:
High-quality sampling :許多應(yīng)用程序,尤其是那些直接與用戶交互的應(yīng)用程序,需要高生成質(zhì)量。例如,在語音生成中,語音質(zhì)量差是很難理解的。類似地,在圖像建模中,期望的輸出在視覺上與自然圖像無法區(qū)分。
模式覆蓋和樣本多樣性 :如果訓(xùn)練數(shù)據(jù)包含復(fù)雜或大量的多樣性,一個(gè)好的生成模型應(yīng)該在不犧牲生成質(zhì)量的情況下成功捕獲這種多樣性。
快速且計(jì)算成本低廉的采樣 :許多交互式應(yīng)用程序需要快速生成,例如實(shí)時(shí)圖像編輯。
雖然目前大多數(shù)深層生成性學(xué)習(xí)方法都注重高質(zhì)量的生成,但第二和第三個(gè)要求也非常重要。
忠實(shí)地表示數(shù)據(jù)的多樣性對于避免數(shù)據(jù)分布中遺漏少數(shù)模式至關(guān)重要。這有助于減少學(xué)習(xí)模型中不希望出現(xiàn)的偏差。
另一方面,在許多應(yīng)用程序中,數(shù)據(jù)分布的長尾巴特別有趣。例如,在交通建模中,人們感興趣的正是罕見的場景,即與危險(xiǎn)駕駛或事故相對應(yīng)的場景。
降低計(jì)算復(fù)雜度和采樣時(shí)間不僅可以實(shí)現(xiàn)交互式實(shí)時(shí)應(yīng)用。它還通過降低發(fā)電所需的總功率使用量,減少了運(yùn)行昂貴的深層神經(jīng)網(wǎng)絡(luò)(發(fā)電模型的基礎(chǔ))所造成的環(huán)境足跡。
在本文中,我們將這三個(gè)需求帶來的挑戰(zhàn)定義為 生成性學(xué)習(xí)三位一體 ,因?yàn)楝F(xiàn)有方法通常會(huì)做出權(quán)衡,無法同時(shí)滿足所有需求。
圖 1 生成性學(xué)習(xí)三位一體
基于擴(kuò)散模型的生成性學(xué)習(xí)
最近,擴(kuò)散模型已經(jīng)成為一種強(qiáng)大的生成性學(xué)習(xí)方法。這些模型,也被稱為去噪擴(kuò)散模型或基于分?jǐn)?shù)的生成模型,表現(xiàn)出驚人的高樣本質(zhì)量,通常優(yōu)于生成性對抗網(wǎng)絡(luò)。它們還具有強(qiáng)大的模式覆蓋和樣本多樣性。
擴(kuò)散模型已經(jīng)應(yīng)用于各種生成任務(wù),如圖像、語音、三維形狀和圖形合成。
擴(kuò)散模型包括兩個(gè)過程:正向擴(kuò)散和參數(shù)化反向擴(kuò)散。
前向擴(kuò)散過程通過逐漸擾動(dòng)輸入數(shù)據(jù)將數(shù)據(jù)映射為噪聲。這是通過一個(gè)簡單的隨機(jī)過程正式實(shí)現(xiàn)的,該過程從數(shù)據(jù)樣本開始,使用簡單的高斯擴(kuò)散核迭代生成噪聲較大的樣本。也就是說,在這個(gè)過程的每一步,高斯噪聲都會(huì)逐漸添加到數(shù)據(jù)中。
第二個(gè)過程是一個(gè)參數(shù)化的反向過程,取消正向擴(kuò)散并執(zhí)行迭代去噪。這個(gè)過程代表數(shù)據(jù)合成,并經(jīng)過訓(xùn)練,通過將隨機(jī)噪聲轉(zhuǎn)換為真實(shí)數(shù)據(jù)來生成數(shù)據(jù)。它也被正式定義為一個(gè)隨機(jī)過程,使用可訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對輸入圖像進(jìn)行迭代去噪。
正向和反向過程通常使用數(shù)千個(gè)步驟來逐步注入噪聲,并在生成過程中進(jìn)行去噪。
圖 2 擴(kuò)散模型處理數(shù)據(jù)和噪聲之間的移動(dòng)
圖 2 顯示,在擴(kuò)散模型中,固定前向過程以逐步方式逐漸擾動(dòng)數(shù)據(jù),使其接近完全隨機(jī)噪聲。學(xué)習(xí)一個(gè)參數(shù)化的反向過程來執(zhí)行迭代去噪,并從噪聲中生成數(shù)據(jù),如圖像。
在形式上,通過x0表示一個(gè)數(shù)據(jù)點(diǎn),例如圖像,通過xt表示時(shí)間步長t的擴(kuò)散版本,正向過程由以下公式定義:
雖然離散時(shí)間擴(kuò)散模型和連續(xù)時(shí)間擴(kuò)散模型看起來可能不同,但它們有一個(gè)幾乎相同的生成過程。事實(shí)上,很容易證明離散時(shí)間擴(kuò)散模型是連續(xù)時(shí)間模型的特殊離散化。
在實(shí)踐中使用連續(xù)時(shí)間擴(kuò)散模型基本上要容易得多:
它們更通用,可以通過簡單的時(shí)間離散化轉(zhuǎn)換為離散時(shí)間模型。
它們是用 SDE 描述的, SDE 在各個(gè)科學(xué)領(lǐng)域都得到了很好的研究。
生成性 SDE 可以使用現(xiàn)成的數(shù)值 SDE 解算器進(jìn)行求解。
它們可以轉(zhuǎn)換為相關(guān)的常微分方程( ODE ),這些方程也得到了很好的研究,并且易于使用。
如前所述,擴(kuò)散模型通過遵循反向擴(kuò)散過程生成樣本,該過程將簡單的基本分布(通常為高斯分布)映射到復(fù)雜的數(shù)據(jù)分布。在生成 SDE 表示的連續(xù)時(shí)間擴(kuò)散模型中,由于神經(jīng)網(wǎng)絡(luò)逼近分?jǐn)?shù)函數(shù)
,這種映射通常很復(fù)雜。
用數(shù)值積分技術(shù)解決這個(gè)問題需要調(diào)用 1000 次深層神經(jīng)網(wǎng)絡(luò)來生成樣本。正因?yàn)槿绱?,擴(kuò)散模型在生成樣本時(shí)通常很慢,需要幾分鐘甚至幾小時(shí)的計(jì)算時(shí)間。這與生成性對抗網(wǎng)絡(luò)( GANs )等競爭性技術(shù)形成了鮮明對比,后者只需對神經(jīng)網(wǎng)絡(luò)進(jìn)行一次調(diào)用即可生成樣本。
總結(jié)
盡管擴(kuò)散模型實(shí)現(xiàn)了較高的樣本質(zhì)量和多樣性,但不幸的是,它們在采樣速度方面存在不足。這限制了擴(kuò)散模型在實(shí)際應(yīng)用中的廣泛采用,并導(dǎo)致了從這些模型加速采樣的研究領(lǐng)域的活躍。在 Part 2 中,我們回顧了 NVIDIA 為克服擴(kuò)散模型的主要局限性而開發(fā)的三種技術(shù)。
關(guān)于作者
Arash Vahdat 是 NVIDIA research 的首席研究科學(xué)家,專攻計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)。在加入 NVIDIA 之前,他是 D-Wave 系統(tǒng)公司的研究科學(xué)家,從事深度生成學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)。在 D-Wave 之前,阿拉什是西蒙·弗雷澤大學(xué)( Simon Fraser University , SFU )的一名研究人員,他領(lǐng)導(dǎo)了深度視頻分析的研究,并教授大數(shù)據(jù)機(jī)器學(xué)習(xí)的研究生課程。阿拉什在格雷格·莫里( Greg Mori )的指導(dǎo)下獲得了 SFU 的博士和理學(xué)碩士學(xué)位,致力于視覺分析的潛變量框架。他目前的研究領(lǐng)域包括深層生成學(xué)習(xí)、表征學(xué)習(xí)、高效神經(jīng)網(wǎng)絡(luò)和概率深層學(xué)習(xí)。
Karsten Kreis 是 NVIDIA 多倫多人工智能實(shí)驗(yàn)室的高級研究科學(xué)家。在加入 NVIDIA 之前,他在 D-Wave Systems 從事深度生成建模工作,并與他人共同創(chuàng)立了變分人工智能,這是一家利用生成模型進(jìn)行藥物發(fā)現(xiàn)的初創(chuàng)公司??ㄋ闺隈R克斯·普朗克光科學(xué)研究所獲得量子信息理論理學(xué)碩士學(xué)位,并在馬克斯·普朗克聚合物研究所獲得計(jì)算和統(tǒng)計(jì)物理博士學(xué)位。目前,卡斯滕的研究重點(diǎn)是開發(fā)新的生成性學(xué)習(xí)方法,以及將深層生成模型應(yīng)用于計(jì)算機(jī)視覺、圖形和數(shù)字藝術(shù)等領(lǐng)域的問題。
審核編輯:郭婷
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4817瀏覽量
102637 -
人工智能
+關(guān)注
關(guān)注
1789文章
46356瀏覽量
236525
發(fā)布評論請先 登錄
相關(guān)推薦
評論