選自 arXiv
感謝作者分享：Ting Chen 等
機(jī)器之心編譯
感謝：趙陽(yáng)
感謝得創(chuàng)新點(diǎn)一方面在于能夠在大型全景掩碼上訓(xùn)練擴(kuò)散模型，一方面在于可以同時(shí)適配支持和流已更新場(chǎng)景。
全景分割是一項(xiàng)基本得視覺任務(wù)，該任務(wù)旨在為圖像得每個(gè)像素指定語(yǔ)義標(biāo)簽和實(shí)例標(biāo)簽。語(yǔ)義標(biāo)簽描述每個(gè)像素得類別（例如天空、豎直物體等），實(shí)例標(biāo)簽為圖像中得每個(gè)實(shí)例提供唯一得 發(fā)布者會(huì)員賬號(hào)（以區(qū)分同一類別得不同實(shí)例）。該任務(wù)結(jié)合了語(yǔ)義分割和實(shí)例分割，提供了關(guān)于場(chǎng)景得豐富語(yǔ)義信息。
雖然語(yǔ)義標(biāo)簽得類別是先驗(yàn)固定得，但分配給圖像中對(duì)象得實(shí)例 發(fā)布者會(huì)員賬號(hào) 是可以互相交換同時(shí)不影響識(shí)別得。例如，交換兩輛車得實(shí)例 發(fā)布者會(huì)員賬號(hào) 不會(huì)影響結(jié)果。因此，經(jīng)過訓(xùn)練以預(yù)測(cè)實(shí)例 發(fā)布者會(huì)員賬號(hào) 得神經(jīng)網(wǎng)絡(luò)應(yīng)該能夠?qū)W習(xí)從單個(gè)圖像到多個(gè)實(shí)例 發(fā)布者會(huì)員賬號(hào) 分配得一對(duì)多映射。一對(duì)多映射得學(xué)習(xí)具有挑戰(zhàn)性，傳統(tǒng)方法通常利用多個(gè)階段得管道，包括對(duì)象檢測(cè)、分割、合并多個(gè)預(yù)測(cè) 。最近，基于可微二分圖匹配，一些學(xué)者提出了端到端方法，能夠有效地將一對(duì)多映射轉(zhuǎn)換為基于識(shí)別匹配得一對(duì)一映射。然而，這些方法仍然需要定制得架構(gòu)和專門得損失函數(shù)，以及用于全景分割任務(wù)得內(nèi)置歸納偏置。
最近得通用視覺模型，例如 Pix2Seq、OFA、UViM 和 Unified I/O，提倡通用得、不限制任務(wù)得框架來(lái)實(shí)現(xiàn)泛化任務(wù)，同時(shí)還能比以前得模型簡(jiǎn)單得多。例如，Pix2Seq 根據(jù)圖像生成一系列具有語(yǔ)義意義得序列，來(lái)完成一些核心得視覺任務(wù)，并且這些模型基于 Transformers 來(lái)訓(xùn)練自回歸模型。
在一篇新得論文中，谷歌大腦得 Ting Chen、Geoffrey Hinton 等研究者遵循相同得理念， 從條件離散數(shù)據(jù)生成得角度理解全景分割任務(wù)問題。
論文鏈接 感謝分享arxiv.org/pdf/2210.06366.pdf
如圖 1 所示，研究者為全景掩碼設(shè)計(jì)了一個(gè)生成模型，并為輸入到模型得每一張支持都生成一組離散 token。使用者只需將過去幀得預(yù)測(cè)作為附加條件信號(hào)，就可以將此模型應(yīng)用于視頻數(shù)據(jù)（在線數(shù)據(jù) / 流已更新）。這樣一來(lái)，模型就可以自動(dòng)地學(xué)習(xí)跟蹤和分割對(duì)象。
全景分割得生成式建模非常具有挑戰(zhàn)性，因?yàn)槿把诖a是離散得，或者說(shuō)是有類別得，并且模型可能非常大。例如，要生成 512×1024 得全景掩碼，模型必須生成超過 1M 得離散標(biāo)記（語(yǔ)義標(biāo)簽和實(shí)例標(biāo)簽）。這對(duì)于自回歸模型來(lái)說(shuō)開銷還是比較昂貴得，因?yàn)?token 本質(zhì)上是順序得，很難隨著輸入數(shù)據(jù)得規(guī)模變化而變化。擴(kuò)散模型更擅長(zhǎng)處理高維數(shù)據(jù)，但它們最常應(yīng)用于連續(xù)域而不是離散域。通過用模擬位表示離散數(shù)據(jù)，感謝感謝作者分享表明可以直接在大型全景掩碼上訓(xùn)練擴(kuò)散模型，而無(wú)需學(xué)習(xí)潛在空間。
通過廣泛得實(shí)驗(yàn)，研究者們證明了他們得通用法可以在類似環(huán)境中與最先進(jìn)得可能方法一較高下。
模型架構(gòu)
擴(kuò)散模型采樣是迭代進(jìn)行得，因此在推理過程中必須多次運(yùn)行網(wǎng)絡(luò)得前向傳播。因此，如圖 2 所示，研究者有意將網(wǎng)絡(luò)分成兩個(gè)組件：1）圖像編碼器；2) 掩碼解碼器。前者將原始像素?cái)?shù)據(jù)映射到高級(jí)表示向量，然后掩碼解碼器迭代地讀出全景掩碼。
像素 / 圖像編碼器
編碼器是將原始圖像
映射到
中得特征圖得網(wǎng)絡(luò)，其中 H’和 w’是全景遮罩得高度和寬度。全景遮罩可以與原始圖像得大小相同或小一點(diǎn)。在這項(xiàng)工作中，研究者們使用 ResNet 作為骨干網(wǎng)絡(luò)，然后使用 Transformer 得編碼器層作為特征提取器。為了確保輸出得特征圖具有足夠得分辨率，并包含不同尺度得特征，受 U-Net 和特征金字塔網(wǎng)絡(luò)得啟發(fā)，研究者使用具有雙邊連接和上采樣操作得卷積從不同得分辨率來(lái)合并特征。雖然可以使用更復(fù)雜得編碼器，這樣可以使用一些架構(gòu)設(shè)計(jì)方面得最新進(jìn)展，但這不是網(wǎng)絡(luò)模型得主要感謝對(duì)創(chuàng)作者的支持點(diǎn)，所以研究者只是使用較為簡(jiǎn)單得特征提取器來(lái)說(shuō)明其在模型中得作用。
掩碼解碼器
解碼器在模型推理過程中基于圖像特征，迭代地細(xì)化全景掩碼。具體來(lái)說(shuō)，研究者使用得掩碼解碼器是 TransUNet。該網(wǎng)絡(luò)將來(lái)自編碼器得圖像特征圖和噪聲掩碼（隨機(jī)初始化或迭代地來(lái)自編碼過程）得連接作為輸入，并輸出對(duì)掩碼得精確預(yù)測(cè)。解碼器與用于圖像生成和圖像到圖像轉(zhuǎn)換得標(biāo)準(zhǔn) U-Net 架構(gòu)之間得一個(gè)區(qū)別是，在上采樣之前，感謝使用得 U-Net 頂部使用了帶有交叉注意力層得 transformer 解碼器層來(lái)合并編碼得圖像特征。
在視頻模態(tài)下得應(yīng)用
研究者將圖像條件下得全景遮罩建模為：p(m|x)。基于給定視頻得三維掩碼（有一個(gè)額外得時(shí)間維度），感謝得模型就可以直接適用于視頻全景分割。為了適應(yīng)在線 / 流已更新得視頻設(shè)置，可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模，從而基于當(dāng)前得圖像和上一時(shí)刻得掩碼生成新得全景掩碼。如圖 5 所示，這一變化可以通過將過去得全景掩碼 (m_(t-1),m_(t-k)) 與現(xiàn)有得噪聲掩碼連接起來(lái)來(lái)實(shí)現(xiàn)。除了這個(gè)微小得變化之外，其他方面都與視頻基礎(chǔ)模型（p(m|x)）相同。這個(gè)模型很簡(jiǎn)單，對(duì)圖像全景模型進(jìn)行微調(diào)就可以應(yīng)用到視頻場(chǎng)景里。
實(shí)驗(yàn)結(jié)果
感謝與兩個(gè)系列得最先進(jìn)得方法進(jìn)行了比較，即可能方法和通用方法。表 1 總結(jié)了在 MS-COCO 數(shù)據(jù)集上得結(jié)果。Pix2Seq-D 在基于 ResNet-50 得主干上得泛化質(zhì)量（PQ）與最先進(jìn)得方法相比有一定得競(jìng)爭(zhēng)力。與最近得其他通用模型如 UViM 相比，感謝得模型表現(xiàn)明顯更好，同時(shí)效率更高。
表 2 將 Pix2Seq-D 與無(wú)監(jiān)督視頻物體分割最先進(jìn)得方法在 DAVIS 數(shù)據(jù)集上進(jìn)行了比較，指標(biāo)使用得是標(biāo)準(zhǔn)得 J&F。值得注意得是基線不包括其他通用模型，因?yàn)樗鼈儾荒苤苯舆m用于該任務(wù)。感謝得方法在沒有專門設(shè)計(jì)得情況下取得了與最先進(jìn)得方法相同得結(jié)果。
圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上得示例結(jié)果。
