3月8日 消息:華為近日發(fā)布了一項(xiàng)名為 PixArt-\Sigma 的圖像生成模型，該模型采用了 DiT 架構(gòu)，可以直接生成4K 分辨率的圖像。相比于其前身 PixArt-\alpha，PixArt-\Sigma 在圖像保真度上有了明顯的提升，并改善了與文本提示的一致性。
PixArt-\Sigma 的一個(gè)關(guān)鍵特點(diǎn)是其訓(xùn)練效率。借助 PixArt-\alpha 的基礎(chǔ)預(yù)訓(xùn)練，它通過整合更高質(zhì)量的數(shù)據(jù)，從”較弱”的基線逐步演變?yōu)?#8221;較強(qiáng)”的模型，這個(gè)過程被稱為”弱到強(qiáng)訓(xùn)練”。PixArt-\Sigma 的進(jìn)步主要體現(xiàn)在兩個(gè)方面:高質(zhì)量的訓(xùn)練數(shù)據(jù)和高效的 Token 壓縮。PixArt-\Sigma 結(jié)合了更高質(zhì)量的圖像數(shù)據(jù)，配對(duì)更精確和詳細(xì)的圖像標(biāo)題，同時(shí)在 DiT 框架內(nèi)提出了一個(gè)新的注意力模塊，可以壓縮鍵（Key）和值(Value)，顯著提高效率，促進(jìn)超高分辨率圖像的生成。
由于這些改進(jìn)，PixArt-\Sigma 以較小的模型規(guī)模（6億參數(shù)）實(shí)現(xiàn)了優(yōu)于現(xiàn)有文本到圖像擴(kuò)散模型(如 SDXL(26億參數(shù))和 SD Cascade(51億參數(shù)))的圖像質(zhì)量和用戶提示遵從能力。
此外，PixArt-\Sigma 能夠生成4K 圖像，為創(chuàng)建高分辨率海報(bào)和壁紙?zhí)峁┝酥С?，有效地增?qiáng)了電影和游戲等行業(yè)中高質(zhì)量視覺內(nèi)容的制作。
