訂閱
糾錯
加入自媒體

自動駕駛相機-激光雷達深度融合的綜述及展望

2020-04-15 15:08
智車科技IV
關注

本文是加拿大滑鐵盧大學CogDrive實驗室對當前最新的基于深度學習的相機-激光雷達融合(camera-LiDAR Fusion)方法的綜述。

本篇綜述評價了基于相機-激光雷達融合的深度補全,對象檢測,語義分割和跟蹤方向的最新論文,并根據其融合層級進行組織敘述并對比。最后討論了當前學術研究與實際應用之間的差距和被忽視的問題。基于這些觀察,我們提出了自己的見解及可能的研究方向。

01.背景

基于單目視覺的感知系統以低成本實現了令人滿意的性能,但卻無法提供可靠的3D幾何信息。雙目相機可以提供3D幾何信息,但計算成本高,且無法在高遮擋和無紋理的環境中可靠的工作。此外,基于視覺的感知系統在光照條件復雜的情況下魯棒性較低,這限制了其全天候能力。而激光雷達不受光照條件影響,且能提供高精度的3D幾何信息。但其分辨率和刷新率低,且成本高昂。

相機-激光雷達融合感知,就是為了提高性能與可靠性并降低成本。但這并非易事,首先,相機通過將真實世界投影到相機平面來記錄信息,而點云則將幾何信息以原始坐標的形式存儲。此外,就數據結構和類型而言,點云是不規則,無序和連續的,而圖像是規則,有序和離散的。這導致了圖像和點云處理算法方面的巨大差異。在圖1中,我們比較了點云和圖像的特性。

圖1.點與數據和圖像數據的比較

圖2. 論文總體結構

02.趨勢,挑戰和未來研究方向

無人駕駛汽車中的感知模塊負責獲取和理解其周圍的場景,其輸出直接影響著下游模塊(例如規劃,決策和定位)。因此,感知的性能和可靠性是整個無人駕駛系統的關鍵。通過攝像頭-激光雷達融合感知來加強其性能和可靠性,改善無人駕駛車輛在復雜的場景下的感知(例如城市道路,極端天氣情況等)。因此在本節中,我們總結總體趨勢,并討論這方面的挑戰和潛在影響因素。如表IV所示,我們將討論如何改善融合方法的性能和魯棒性,以及與工程實踐相關的其他重要課題。如下是我們總結的圖像和點云融合的趨勢:

2D到3D:隨著3D特征提取方法的發展,在3D空間中定位,跟蹤和分割對象已成為研究的熱點。

單任務到多任務:一些近期的研究[64] [80]結合了多個互補任務,例如對象檢測,語義分割和深度完成,以實現更好的整體性能并降低計算成本。
信號級到多級融合:早期的研究經常利用信號級融合,將3D幾何圖形轉換到圖像平面以利用現成的圖像處理模型,而最近的模型則嘗試在多級融合圖像和點云(例如早期融合,晚期融合)并利用時間上下文。

表I. 當前的挑戰

A.與性能相關的開放研究問題

1)融合數據的(Feature/Signal Representation)特征/信號表示形式:

融合數據的Feature/Signal Representation是設計任何數據融合算法的基礎。當前的特征/信號表示形式包括:

a) 在RGB圖像上的附加深度信息通道(RGB-D)。此方法由于可以通過現成的圖像處理模型進行處理,因此早期的信號級融合常使用這種表達形式。但是,其結果也限制于2D圖像平面,這使其不適用于自動駕駛。

b) 在點云上的附加RGB通道。此方法可以通過將點投影到像平面進行像素點關聯來實現。但是,高分辨率圖像和低分辨率點云之間的分辨率不匹配會影響此方式的效率。

c) 將圖像和點云特征/信號均轉換為(intermediate data representation)其他的數據表示形式。當前的intermediate data representation包括:(voxelized point cloud)體素化點云[75],(lattice)晶格[88]。未來的研究可以探索其他新穎的中間數據結構,例如(graph)圖,(tree)樹等,從而提高性能。

2)(Encoding Geometric Constraint)加入幾何約束:

與其他三維數據源(如來自立體相機或結構光的RGBD數據)相比,LiDAR有更長的有效探測范圍和更高的精度,可提供詳細而準確的3D幾何形狀。幾何約束已成為圖像和點云融合流程中的常識,其提供了額外的信息來引導深度學習網絡實現更好的性能。將點云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法,但是點云的稀疏性會產生空洞。深度補全和點云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預測深度信息以及在連續幀之間引入自我監督學習,也有望緩解這個問題。但是,如何將這種幾何信息加入到融合流程中仍是當前研究實踐中尚需解決的問題。

3)(Encoding Temporal Context)加入時間上下文:

還有一些工程問題阻礙了無人駕駛汽車的實際部署,例如LiDAR與攝像頭之間的時間不同步,LiDAR的低刷新率導致車速高時的點云變形,LiDAR傳感器測距誤差。這些問題將導致圖像與點云,點云與實際環境之間的不匹配。根據深度補全方面的經驗,可以采用連續幀之間的時間上下文來改善姿態估計,從而改善特征融合的性能并使得下游的的header網絡受益。在自動駕駛中,準確估算周圍車輛的運動狀態至關重要,時間上下文有助于獲得更平滑,更穩定的結果。此外,時間上下文可能有益于在線自校準。因此,應對加入時間上下文進行更多的研究。 

4)深度學習網絡結構設計:

要回答這個問題,我們首先需要回答點云的最佳深度學習網絡結構是什么。對于圖像處理,CNN是最佳選擇,并已被廣泛接受。但點云處理仍然是一個開放的研究問題。同時沒有點云深度學習網絡的設計原則,被廣泛的接受或被證明是最有效的。當前大多數傳感器融合網絡都是基于對應的圖像的網絡結構,或者是基于經驗或實驗來進行設計的。因此,采用神經網絡結構搜索(NAS)[95]的方法可能會帶來進一步的性能提升。

1  2  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續

暫無評論

暫無評論

文章糾錯
x
*文字標題:
*糾錯內容:
聯系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號

电竞投注竞彩app <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>