SceneGraphNet用于3D室內(nèi)場(chǎng)景增強(qiáng)的神經(jīng)信息傳遞

　　抽象在SceneGraphNet用于3D室內(nèi)場(chǎng)景增強(qiáng)的神經(jīng)信息傳遞中，我們提出了一種神經(jīng)消息傳遞方法，以通過(guò)匹配周圍環(huán)境的新對(duì)象來(lái)增強(qiáng)輸入的3D室內(nèi)場(chǎng)景。給定一個(gè)輸入，可能不完整的3D場(chǎng)景和一個(gè)查詢位置，我們的方法將預(yù)測(cè)一個(gè)非常適合該位置的對(duì)象類型的概率分布。通過(guò)以密集圖傳遞學(xué)習(xí)到的消息來(lái)預(yù)測(cè)我們的分布，密集圖的節(jié)點(diǎn)表示輸入場(chǎng)景中的對(duì)象，邊緣表示空間和結(jié)構(gòu)關(guān)系。通過(guò)注意力機(jī)制對(duì)消息進(jìn)行加權(quán)，我們的方法將學(xué)習(xí)重點(diǎn)放在最相關(guān)的周圍場(chǎng)景上下文上，以預(yù)測(cè)新的場(chǎng)景對(duì)象。我們發(fā)現(xiàn)，根據(jù)SUNCG數(shù)據(jù)集中的實(shí)驗(yàn)，在正確預(yù)測(cè)場(chǎng)景中丟失的對(duì)象方面，我們的方法明顯優(yōu)于最新方法。

　　數(shù)字。在臥室場(chǎng)景的SceneGraphNet中用于神經(jīng)消息傳遞的圖形結(jié)構(gòu)示例。
 

　　要求
 

　　1、Python 3
 

　　2、Python套件： pip install -r requirements.txt
 

　　torchfold(嘗試更換torchfold.py由該如有錯(cuò)誤)
 

　　數(shù)據(jù)集
 

　　SUNCG數(shù)據(jù)集 在該項(xiàng)目中用于培訓(xùn)和測(cè)試。[不幸地倒下了：(]
 

　　我們解析了原始的房間結(jié)構(gòu)，并在此處創(chuàng)建了相應(yīng)的場(chǎng)景圖數(shù)據(jù)集。圖形節(jié)點(diǎn)和邊的定義通常如SceneGraphNet用于3D室內(nèi)場(chǎng)景增強(qiáng)的神經(jīng)信息傳遞所述。詳細(xì)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行了說(shuō)明這里。
 

　　下載我們的數(shù)據(jù)集或根據(jù)我們的數(shù)據(jù)結(jié)構(gòu)創(chuàng)建自己的數(shù)據(jù)集，并在以下位置更改數(shù)據(jù)集目錄 utils/default_settings.py
 

　　訓(xùn)練
 

　　我們?cè)?種類型各異的房間(臥室，浴室，辦公室，客廳)中訓(xùn)練/測(cè)試我們的方法。臥室類別預(yù)測(cè)的示例火車命令是
 

　　python main.py --name YOUR_TRAIN_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　臥室類別預(yù)測(cè)的評(píng)估命令示例為
 

　　python main.py --test --load_model_name YOUR_TRAIN_JOB_NAME --name YOUR_TEST_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

　　可以通過(guò)添加其他參數(shù)解析器來(lái)調(diào)整某些變體和超參數(shù)。有關(guān)main.py詳細(xì)信息，請(qǐng)參見(jiàn)中的幫助。
 

　　引文
 

　　如果您使用此代碼進(jìn)行研究，請(qǐng)引用我們的論文：

　　@inproceedings{zhou2019scenegraphnet,

　　title={SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation},

　　author={Zhou, Yang and While, Zachary and Kalogerakis, Evangelos},

　　booktitle={IEEE Conference on Computer Vision (ICCV)},

　　year={2019},

　　}
 

　　致謝
 

　　該項(xiàng)目與Wayfair Next Research團(tuán)隊(duì)(現(xiàn)為Wayfair計(jì)算機(jī)視覺(jué)團(tuán)隊(duì)和Applied Tech團(tuán)隊(duì))部分合作。我們要感謝麗貝卡·佩里(Rebecca Perry)和蒂姆·張(Tim Zhang)在整個(gè)項(xiàng)目過(guò)程中提供的專家建議和鼓勵(lì)。
 

　　這項(xiàng)研究由NSF(CHS-161733)資助。我們的實(shí)驗(yàn)是在馬薩諸塞州技術(shù)合作組織管理的合作基金下獲得的UMass GPU集群中進(jìn)行的。