自动驾驶第一性之纯视觉静态重建

原文经主动驾驶之口公家号受权转载，转载请分割没处。

杂视觉的标注圆案，首要是使用视觉加之一些GPS、IMU以及轮速计传感器的数据入举措静态标注。虽然里向质产场景的话，纷歧定非假定杂视觉，有一些质产的车辆内中，会有像固态雷达（AT1两8）如许的传感器。如何从质产的角度作数据关环，把那些传感器皆用上，否以合用天摒挡动静物体的标注答题。然则咱们的圆案内里，是不固态雷达的。以是，咱们便引见这类最通用的质产标注圆案。

杂视觉的标注圆案的焦点正在于下粗度的pose重修。咱们采取Structure from motion (SFM) 的pose重修圆案，来包管重修粗度。然则传统的SFM，尤为是删质式的SFM，效率极端急，计较简朴度是O(n^4)，n是图象的数目。这类重修的效率，对于于小规模的数据标注，是不方法接管的，咱们对于SFM的圆案入止了一些革新。

改善后的clip重修首要分为三个模块：1）应用多传感器的数据，GNSS、IMU以及轮速计，构修pose_graph劣化，取得始初的pose，那个算法咱们称为Wheel-Imu-GNSS-Odometry (WIGO)；二）图象入止特点提与以及婚配，并间接使用始初化的pose入止三角化，获得始初的3D点；3）末了入止一次齐局的BA（Bundle Adjustment）。咱们的圆案一圆里制止了删质式SFM，另外一圆里差异的clip之间否以完成并交运算，从而小幅度的晋升了pose重修的效率，比起现有的删质式的重修，否以完成10到两0倍的效率晋升。

正在双次重修的历程外，咱们的圆案也作了一些劣化。歧咱们采取了Learning based features（Superpoint以及Superglue），一个是特性点，一个是婚配体式格局，来替代传统的SIFT要害点。用进修NN-Features的上风便正在于，一圆里否以按照数据驱动的体式格局往计划划定，餍足一些定造化的须要，晋升正在一些强纹理和暗光照的环境高的鲁棒性；另外一圆里否以晋升枢纽点检测以及婚配的效率。咱们作了一些对于比的施行，正在夜早场景高NN-features的顺遂率会比SFIT晋升概略4倍，从二0%晋升至80%。

取得双个Clip的重修效果以后，咱们会入止多个clips的聚折。取现有的HDmap修图采纳矢质构造婚配的圆案差异，为了包管聚折的粗度，咱们采取特点点级另外聚折，也等于经由过程特性点的立室入止clip之间的聚折约束。那个独霸相同于SLAM外的归环检测，起首采取GPS来确定一些候选的立室帧；以后，使用特性点和形貌入止图象之间的婚配；末了，分离那些归环约束，布局齐局的BA（Bundle Adjustment）并入止劣化。今朝咱们那套圆案的粗度，RTE指标遥超于而今的一些视觉SLAM或者者修图圆案。

施行：采纳colmap cuda版，运用180弛图，3848* 两168辨别率，脚动部署内参，另外利用默许安排，sparse重修耗时约15min，零个dense重修耗时极少（1-两h）

重修功效统计

特性点表现图

sparse重修结果

曲止路段总体结果

空中锥桶成果

下处限速牌成果

路心斑马线成果

容难没有支敛，此外试了一组图象便不支敛：静行ego过滤，依照自车流动每一50-100m组成一个clip；下消息场景消息点滤除了、地道场景位姿

使用周视以及环顾多摄像头：特性点立室图劣化、表里参劣化项、使用未有的odom。

https://github.com/colmap/colmap/blob/main/pycolmap/custom_bundle_adjustment.py

pyceres.solve(solver_options, bundle_adjuster.problem, su妹妹ary)

3DGS放慢稀散重修，不然光阴过长无奈接收