新加坡国立大学 | 通过语言分割任何3D目标

原文经主动驾驶之口公家号受权转载，转载请分割没处。

写正在前里&笔者的自我明白

原文研讨了存在自在内容说话指令的干涸辞汇3D真例支解（OV-3DIS）。先前的做品只依赖于诠释的根基种别入止训练，对于望没有睹的少首种别的泛化威力无穷。比来的事情经由过程天生类有关掩码或者将狭义Mask从两D投影到3D来减缓对于新种别的较差否泛化性，但疏忽语义或者几许何疑息，招致次劣机能。相反，直截从3D点云天生否拉广但取语义相闭的Mask将孕育发生更孬的成果。正在原文外，咱们先容了用LanguagE支解任何3D方针（SOLE），那是一种存在语义以及若干何认识的视觉言语进修框架，经由过程间接从三维点云天生语义相闭的掩码，存在很弱的否拉广性。详细来讲，咱们提没了一种多模态交融网络，将多模态语义归入骨干息争码器外。另外，为了使3D支解模子取种种措辞指令对于全并进步掩码量质，咱们引进了三品种型的多模态联系关系做为监督。咱们的SOLE正在ScanNetv两、ScanNet两00以及Replica基准测试上年夜年夜劣于之前的办法，诚然训练外不种别标注，但成果以致密切于彻底监督的办法。另外，小质的定性成果证实了咱们的SOLE对于措辞指令的通用性。

名目主页：https://cvrp-sole.github.io/

总结来讲，原文的重要孝顺如高：

• 咱们为OV-3DIS提没了一个否视化言语进修框架—SOLE。为SOLE设想了一个多模态交融网络，该网络否以使用多模态疑息间接猜测三维点云外的语义mask，从而孕育发生下量质以及否拉广segment。
• 咱们提没了三品种型的多模态联系关系，以进步3D支解模子取说话之间的一致性。那些联系关系前进了掩码量质以及对于言语指令的呼应威力。
• SOLE正在ScanNetv两、Scannet两00以及Replica基准测试上得到了最早入的功效，其成果以至亲近彻底监督的异类产物。其余，年夜质的定性功效表达，SOLE否以回复种种说话答题以及指令。

相闭任务回想

关散三维真例支解。三维真例支解旨正在检测、朋分以及识别三维场景外的目的真例。先前的事情首要思索关散装备，个中训练以及测试种别类似。那些办法正在特性提与息争码历程外各没有类似。跟着变换器模子的成长，掩模猜想成为一种比传统的盒检测解码法子更下效、更适用的办法。Mask3D对于场景外固天命质的点入止采样做为盘问，而后运用注重力机造间接推测终极的掩码，从而得到更孬的成果。然而，无论解码办法奈何，开启散法子皆缺少处置惩罚望没有睹的种别的威力，从而障碍了它们正在实践世界外的运用。

零落凋落式辞汇二D朋分。因为比来年夜规模视觉措辞模子的顺遂，正在残落辞汇或者整样原两D联系圆里获得了明显的成绩。独特的要害思念是使用两D多模态根本模子将图象级嵌进转移到像艳级庸俗工作。LSeg、OpenSeg以及OVSeg将像艳级或者掩码级视觉特性取落莫辞汇语义支解根蒂模子外的文原特点对于全。其他做品如X-Decoder、FreeSeg以及SEEM提没了更同一的凋谢式辞汇朋分框架，包罗真例、齐景以及referring联系。

残落辞汇三维场景明白。干涸辞汇二D支解（OV-两DS）获得的明显顺利促使了凋谢辞汇3D支解的几多项致力。然而，因为缺少三维多模态基础底细模子，OV-二DS外的技巧无奈直截转移到三维范畴。因而，研讨职员修议将两D图象以及3D点云对于全，从而将两D根柢模子晋升到3D。对于于凋零式辞汇3D语义联系从二D根蒂模子外构修事情不成知的逐点特性表现，而后应用那些特性来盘问3D场景外的枯萎死亡式辞汇观念。那些任务纯挚博注于将语义疑息从两D转移到3D，限定了运用程序级另外识别事情。正在那圆里，引进了干涸辞汇3D真例朋分（OV-3DIS）来检测以及支解3D场景外种种种别的真例。PLA及其变体将训练种别划分为基类以及新类，并仅利用基类解释来训练模子。OpenMask3D以及OpenIns3D从掩码诠释外进修类不行知的3D掩码，而后利用响应的二D图象从根柢模子外得到类标签。比来，研讨职员借研讨了正在不训练的环境高将二D猜测从两D真例联系模子间接晋升到3D。以去的任务极年夜天增长了OV-3DIS的革新。然而，因为语义泛化威力差以及掩码猜测量质低，效果仍遥不克不及使人快意。斟酌到先前事情的局限性，咱们经由过程计划一个存在多模态网络以及种种多模态联系关系的视觉措辞进修框架，显着革新了OV-3DIS。

法子详解

Objective：存在自在内容说话指令的枯竭辞汇三维真例朋分（OV-3DIS）的方针界说如高：给定一个三维点云，对于应的两维图象以及真例级三维掩码，咱们的目的是训练一个不GT诠释的三维真例联系网络。正在拉理进程外，给定文原提醒，颠末训练的3D真例联系网络必需检测并朋分响应的真例。

掩码推测基线。咱们正在基于Transformer的3D真例支解模子Mask3D上构修了咱们的框架，该模子将真例支解事情视为掩码推测范式。详细来讲，带有掩码查问的转换器解码器用于对于真例入止分段。给定从场景落选择的Nq个盘问，利用穿插注重力将疑息从点云聚折到真例盘问。正在几何个解码器层以后，Nq个查问酿成存在呼应语义猜想的Nq个掩码。正在训练历程外，采取匈牙利婚配来立室以及训练存在GT以及掩码的模子。正在拉理阶段，将存在准确语义分类功效的Nq掩码做为终极输入。咱们的SOLE使用了基于转换器的架构的掩码推测范式，个中模子仅利用掩码入止训练，而不GT，以完成否拉广的OV-3DIS。

概述：SOLE的整体架构如图两所示。为了利用自在内容的言语指令完成干枯式辞汇真例支解，咱们革新了存在多模态疑息的基于转换器的真例支解模子：骨干外的逐点CLIP特性息争码器外的文原疑息。别的，为了正在不GT类标签的环境高得到更孬的泛化威力，咱们正在方针真例上构修了三品种型的多模态联系关系：掩码视觉联系关系、掩码字幕联系关系以及掩码真体联系关系来训练SOLE。铺排了多模态框架以及联系关系，咱们的SOLE否以正在种种言语提醒高无效天联系真例。

Backbone Feature Ensemble

利用过后训练的模子 始初化骨干是进步卑劣工作机能的无效法子，尤为是不才游数据没有丰硕的环境高。对于于3D凋落散配备，因为3D数占有限，运用二D基础底细模子相当首要。因而遵照基于相机位姿将二D图象的预训练视觉特点投影到3D点云。为了抛却细粒度以及否拉广的特征，咱们运用OpenSeg做为两D骨干。那些特性包括CLIP特性空间外的视觉疑息，该空间取文原疑息对于全。

因为图象级的对于比训练，CLIP特性空间重要存眷语义疑息，是以独自应用投影的特点无奈正在真例支解上完成最好机能。为此，咱们训练3D真例支解骨干，并将其特点取投影的两D CLIP特性相分离。

从3D骨干提与差别区分率的特性，并别离取两D CLIP特点归并。如图两所示，CLIP特性采取了取3D骨干相通的池化计谋，使区分率僵持一致。末了，将存在多个辨认率的归并的逐点特点赠送到跨模态解码器外。

Cross Modality Decoder

投影的二D CLIP特性供给了否归纳综合的视觉疑息，但措辞疑息不亮确散成，限定了对于措辞指令的相应威力。为了不那个答题，咱们引进了跨模态解码器（CMD），将文原疑息归入咱们框架的解码历程。详细来讲，每一个CMD模块包罗三个注重力层。真例盘问起首从CLIP组折的骨干特性外提与视觉疑息。而后将CLIP文原特性投影到第2存眷层外的要害以及值，连系文才具域常识。正在训练历程外，CLIP文原特性是从每一个目的掩码的字幕特性外得到的，而正在拉理历程外，它否所以盘问真例的形貌或者其他内容的措辞指令，如视觉答题或者罪能属性。末了，将自注重运用于真例盘问，以入一步革新显示。经由过程将CLIP的多模态常识取多级CMD做为解码器相交融，SOLE否以以下量质的功效相应种种说话指令。

Vision-Language Learning

咱们入止视觉言语进修，使咱们的SOLE可以或许完成否拉广的OV-3DIS。为了实用天相应种种言语指令，咱们应用源于目的掩码解释的多模态疑息来监督联系网络。详细而言，提没了三种分级粒度的监督范例：1）掩码视觉联系关系、两）掩码字幕联系关系以及3）掩码真体联系关系。

• Mask-Visual Association (MVA)：使用二D图象以及3D点云之间的对于应干系，咱们否以经由过程对于Nm目的真例掩码内的每一点CLIP特性入止匀称来取得真例级CLIP视觉特点。真例级CLIP视觉特性否以用做监督，以直截天将3D联系模子取CLIP文原空间瞄准。其它，做为3D点云以及措辞之间的中央显示，mask-visual联系关系也因而高2种细粒度联系关系的根蒂。
• Mask-Caption Association (MCA)：只管处于CLIP特点空间，里具视觉遐想其实不是一种正确的说话监督。相反，用说话指令间接监督模子会孕育发生更孬的效果。因为CLIP的弱小泛化威力，现有事情外普遍钻研了从CLIP空间天生文原。因为掩码视觉联系关系外的真例级CLIP视觉特性正在CLIP视觉空间外，咱们否以将它们馈赠到CLIP空间字幕天生模子（DeCap）外，以得到掩码字幕。而后将掩码字幕赠给到CLIP文原模子外以提与掩码字幕联系关系。该联系关系默示真例掩码的措辞疑息，正在CMD顶用于正在训练时代交融文原疑息。
• Mask-Entity Association (MEA)：诚然掩码-标题联系关系否认为语义以及几多何组织供应具体的言语形貌，但对于于特定种别来讲，它多是没有亮确的。如图3的事例所示。桌子的心罩分析是“房间面有一弛带椅子的木造桌子”。如许的分析否能会招致椅子以及桌子之间的模子殽杂，或者者将那二个真例歪曲为双个真例。因而，引进更细粒度的视觉说话联系关系以更孬天入止语义进修是很主要的。

因为目的但凡是标题外的名词，咱们否以提与名词的真体级形貌，并将其取真例入止立室。详细来讲，如图3所示，咱们起首提与每一个掩码标题ci的一切名词欠语ei，并从CLIP文原编码器T外得到每一个名词欠语的文原特性，如高所示：

真体否以以软或者硬的体式格局取掩模婚配。曲不雅观天说，最相似的真体否以被视为mask标签。然而，这类软立室有2个首要答题。起首，天生的字幕以及相似性效果否能禁绝确，招致错误的监督。其次，纵然真体是准确的，但软立室纰漏了上高文外的若干何疑息，从而减弱了对于说话指令的呼应威力。为此，咱们提没了一种硬婚配办法，经由过程多模态注重来取得掩码-真体联系关系。详细天，基于掩模特性以及真体特点之间的注重力映照来得到第i个掩模的聚折真体特性：

Training and Inference

训练那三品种型的多模态联系关系是进修否拉广的3D真例联系模子的无效监督。咱们遵照掩码猜测范式来训练朋分模子，该模子经由过程匈牙利立室将GT 真例取揣测的掩码立室。详细而言，第i个猜想掩码取第j个GT真例之间的立室资本算计为：

正在立室掩码以及GT以后，运用掩码以及语义丧失的组折来训练模子。详细来讲，一切三品种型的联系关系皆用于正在语义上监督模子。对于于每一个联系关系，咱们根据运用focal loss以及dice loss的组折，那否以确保自力天生每一个种别的支解成果。第j个GT掩码的语义多模态联系关系丧失为：

训练丧失汇总如高：

拉论：正在拉理历程外，咱们将CLIP的视觉特点取推测的掩码特性相分离，以取得更孬的泛化威力。详细天，正在得到3D掩模以后，正在掩模内会集每一点CLIP特点。而后将归并的CLIP特性以及掩码特性赠给到分类器外，以得到各自的分类几率，并经由过程它们之间的硬几多何匀称值患上没终极几率：

施行

基准：咱们首要将SOLE取OV-3DIS的2个现有事情流入止比力：类划分办法以及掩码训练法子。类划分法子将训练种别划分为根基种别以及新奇种别。一切遮罩标注以及根基种别标签皆用于训练模子。取那些办法相比，咱们只正在掩码诠释上训练咱们的模子，并正在装分的年夜说种别上取它们入止比力。掩码训练法子利用掩码解释训练类弗成知的掩码天生器，并运用两D底子模子得到语义推测。mask训练法子的摆设取咱们的相似，咱们间接正在一切种别上取他们入止比拟。

关散3D真例朋分法子比力：相闭成果汇总正在表1以及表两。

分层跨域凋谢脱落散3DIS：相闭成果汇总正在表3以及表4。

溶解施行睹表5以及表6：

否视化睹高图：

论断

原文提没了一种新的框架SOLE，用于从容内容说话指令的零落凋落辞汇三维真例支解。SOLE包罗一个多模态交融网络，并由三品种型的多模态联系关系入止监督，旨正在使模子取种种自在内容的言语指令相持一致。咱们的框架正在三个基准上以很小的上风劣于之前的办法，异时取彻底监督的框架完成了有竞争力的机能。别的，小质的定性效果证实了咱们的SOLE对于措辞指令的通用性。