豐富的色彩來(lái)自?shī)W菲斯| QbitAI的量子位報(bào)告，微信官方賬號(hào)

很多3D人體模型很厲害，但是“裸奔”總是不可避免的。

像打造一個(gè)真正的人類“頭像”模型，衣服和頭發(fā)缺一不可。

然而，這些元素的精確3D數(shù)據(jù)非常稀少且難以獲得。

三星AI中心(莫斯科)和其他團(tuán)隊(duì)的技術(shù)人員一直致力于這項(xiàng)研究，最后他們開發(fā)了這樣一個(gè)模型:

生成的3D人物，穿著他們?cè)瓉?lái)的衣服和發(fā)型，也毫無(wú)保留的呈現(xiàn)出來(lái)。

乍一看，“像個(gè)真人”。

更好的是，不用模特示范，模型可以“舉一反三”，擺出各種姿勢(shì)！

效果是這樣的:

模型名為StylePeople。

讓我們看看是怎么發(fā)生的！模型(神經(jīng)修整模型)

其實(shí)不僅僅是“裸奔”，很多3D人體還是“剛性”的:模特?cái)[什么姿勢(shì)，模型就跟什么姿勢(shì)。

就像之前一樣，隱函數(shù)生成的三維人體模型可以高度還原模特的著裝和發(fā)型，但是人物的姿勢(shì)還是不夠靈活，只能從原模特的幾個(gè)特定視角生成。

贊美詩(shī)也是這個(gè)團(tuán)隊(duì)的研究成果。

所以在為3D人體模型還原衣服的顏色、褶皺、發(fā)型的同時(shí)，還需要保證人物的姿勢(shì)能夠舉一反三。

因此，研究者采用多邊形實(shí)體網(wǎng)格建模和神經(jīng)紋理相結(jié)合的方法。

多邊形負(fù)責(zé)控制和建模人體的粗略幾何姿態(tài)，神經(jīng)渲染負(fù)責(zé)添加衣服和頭發(fā)。

首先，他們?cè)O(shè)計(jì)了一個(gè)神經(jīng)包扎模型模型，它結(jié)合了可變形網(wǎng)格建模和神經(jīng)渲染，如下圖所示。

左欄顯示了可視化的前三個(gè)PCA成分。

第二列和第三列是疊加在SMPL-X建模的人體網(wǎng)格上的“人體頭像”的紋理

列4和列5是通過(guò)光柵化渲染網(wǎng)絡(luò)渲染的結(jié)果。

能優(yōu)雅地處理寬松的衣服和長(zhǎng)發(fā)以及復(fù)雜的穿衣結(jié)構(gòu)！

接下來(lái)，基于上述神經(jīng)敷料模型，研究人員創(chuàng)造了一個(gè)可以生成“芬布迪”的3D人體模型。

最終一代架構(gòu)是StyleGANv2和神經(jīng)敷料的結(jié)合。

在StyleGAN部分，神經(jīng)紋理由反向傳播算法生成，然后疊加在SMPL-X網(wǎng)格上，由神經(jīng)渲染器渲染。

在對(duì)抗性學(xué)習(xí)中，鑒別者將每一對(duì)圖像視為同一個(gè)人。提高從視頻和少量圖像生成3D人體模型的技術(shù)水平。

在對(duì)神經(jīng)包扎方法效果的驗(yàn)證中，研究人員首先基于視頻資料對(duì)3D模型生成結(jié)果進(jìn)行了評(píng)估。

如文章開頭的圖片所示，左邊是樣本源幀，其余圖片是左邊視頻人物的“頭像”。在簡(jiǎn)單的增強(qiáng)現(xiàn)實(shí)程序背景下，呈現(xiàn)出模型之前從未擺過(guò)的各種姿勢(shì)。

接下來(lái)，基于小樣本圖像資料評(píng)估神經(jīng)包扎效果。

研究人員使用只有兩個(gè)人的人物快照數(shù)據(jù)集，將他們的神經(jīng)包扎方法與其他方法(如360度等)進(jìn)行比較。，請(qǐng)參見表)。

衡量生成模型質(zhì)量的指標(biāo)有LPIPS(感知相似度)、SSIM(結(jié)構(gòu)相似度)、FID(真實(shí)樣本與生成樣本在特征空間的距離)、IS(清晰度和多樣性評(píng)分)。

結(jié)果表明，該方法在各項(xiàng)指標(biāo)上都有優(yōu)勢(shì)，

除了IS，影響不大，因?yàn)楹鸵曈X質(zhì)量的相關(guān)性最小。

最后，團(tuán)隊(duì)表示，他們的模型生成效果(如下圖)仍然受到當(dāng)前樣本數(shù)據(jù)規(guī)模和質(zhì)量的限制，未來(lái)的工作將致力于提高這種模型的數(shù)據(jù)利用率。

有興趣的同學(xué)可以隨時(shí)關(guān)注團(tuán)隊(duì)的研究進(jìn)展。

參考鏈接:

[1]https://arxiv . org/ABS/2104.08363

—結(jié)束—

量子qbitai頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲悉前沿科技動(dòng)態(tài)。