精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

自動(dòng)駕駛系統(tǒng)中傳感器的性能基本上取決于傳感器校準(zhǔn)的質(zhì)量。必須將傳感器準(zhǔn)確地標(biāo)定到車(chē)體坐標(biāo)系下，才能夠提供有價(jià)值的定位和環(huán)境感知結(jié)果。然而，雖然目前已經(jīng)提出了許多在線(xiàn)校準(zhǔn)的方法來(lái)實(shí)現(xiàn)傳感器之間的外參校準(zhǔn)，但很少有研究集中在傳感器與車(chē)體坐標(biāo)系之間的校準(zhǔn)。為此，作者提出了SensorX2car，一個(gè)用于在線(xiàn)校準(zhǔn)道路場(chǎng)景中傳感器與車(chē)體坐標(biāo)系之間關(guān)系的校準(zhǔn)工具箱。它包含四種常用的傳感器：IMU（慣性測(cè)量單元）、GNSS（全球?qū)Ш叫l(wèi)星系統(tǒng)）、LiDAR（激光雷達(dá)）、相機(jī)和毫米波雷達(dá)。我們分別為每個(gè)傳感器設(shè)計(jì)了一種方法，并主要校準(zhǔn)了其相對(duì)于車(chē)體的旋轉(zhuǎn)。在實(shí)際路測(cè)和模擬實(shí)驗(yàn)中證明了所提出方法的準(zhǔn)確性和泛化能力。同時(shí)，相關(guān)代碼已經(jīng)開(kāi)源以造福社區(qū)。據(jù)我們所知，SensorX2car是第一個(gè)開(kāi)源的傳感器與車(chē)體校準(zhǔn)工具箱。

代碼已開(kāi)源：https://github.com/OpenCalib/SensorX2car。

目前有一些與傳感器校準(zhǔn)相關(guān)的開(kāi)源項(xiàng)目，但大多數(shù)都是用于兩個(gè)或多個(gè)傳感器之間的校準(zhǔn)。對(duì)于傳感器與車(chē)之間的校準(zhǔn)方法仍然非常少。因此，基于之前的OpenCalib[1]校準(zhǔn)研究和項(xiàng)目經(jīng)驗(yàn)，作者提出了一種基于道路場(chǎng)景的多傳感器在線(xiàn)校準(zhǔn)方法SensorX2car。本文的貢獻(xiàn)如下： 

• 提出了一種基于道路幾何特征的相機(jī)與車(chē)體坐標(biāo)系之間的校準(zhǔn)方法，可以用單張圖像進(jìn)行實(shí)時(shí)校準(zhǔn)。 

• 提出了一種基于LiDAR的在線(xiàn)校準(zhǔn)方法，可用于任意駕駛路線(xiàn)并實(shí)時(shí)運(yùn)行。該方法可以準(zhǔn)確估計(jì)旋轉(zhuǎn)和z軸位移。

•  通過(guò)選擇最可能直接在車(chē)輛前方的靜止物體和使用基于道路場(chǎng)景中靜態(tài)物體的最小二乘優(yōu)化擬合的新型校準(zhǔn)優(yōu)化方法，引入了一種Radar的在線(xiàn)校準(zhǔn)方法。 

• 提出了一種從姿態(tài)傳感器到車(chē)輛的道路場(chǎng)景在線(xiàn)校準(zhǔn)方法，可在直線(xiàn)或非直線(xiàn)行駛條件下實(shí)施。 

• 所提出的校準(zhǔn)方法在我們的模擬和真實(shí)數(shù)據(jù)集上表現(xiàn)出良好的性能，同時(shí)，相關(guān)代碼已經(jīng)開(kāi)源以惠及社區(qū)。

A. 坐標(biāo)系定義

本文中的參考坐標(biāo)系都是以圖1中定義的車(chē)輛和其他傳感器參考坐標(biāo)系，使用(φ; θ; ψ)來(lái)表示橫滾角、俯仰角和偏航角。

圖1. 車(chē)輛和傳感器的參考坐標(biāo)系：z軸向上，x軸向前，y軸向左。

B. 相機(jī)標(biāo)定 

相機(jī)標(biāo)定的總體過(guò)程如圖2所示，首先通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)從單張圖像中估計(jì)消失點(diǎn)和水平線(xiàn)的角度，假設(shè)相機(jī)的內(nèi)參已知，可以計(jì)算出相機(jī)和路面之間的三個(gè)旋轉(zhuǎn)角度，當(dāng)車(chē)輛直行時(shí)，車(chē)輛的方向可以視為路面的方向。因此，可以得到了相機(jī)和車(chē)輛之間的旋轉(zhuǎn)，需要注意的是，車(chē)輛不需要一直直行，我們?cè)谒惴ㄖ惺褂孟c(diǎn)位置的穩(wěn)定性作為判斷條件來(lái)提取有用的圖像片段。

 圖2，相機(jī)標(biāo)定的流程

1）檢測(cè)網(wǎng)絡(luò)：網(wǎng)絡(luò)概述如圖3所示，對(duì)于輸入圖像估計(jì)消失點(diǎn)位置和水平線(xiàn)角度，使用Transformer作為基本結(jié)構(gòu)，并將提取的線(xiàn)特征饋送到解碼器層，使用堆疊的Hourglass網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)來(lái)生成特征圖，因?yàn)樗梢栽跀U(kuò)大感知范圍的同時(shí)保留局部細(xì)節(jié)，在原始Hourglass網(wǎng)絡(luò)之前和之后添加MaxPool層，以降低特征圖的分辨率，以適應(yīng)Transformer編碼器輸入。對(duì)于輸入圖像，來(lái)自骨干網(wǎng)絡(luò)的高維特征圖（W; H; W）被展平（W; H×W），并饋送到編碼器層，然后特征被編碼并傳遞到解碼器層。

圖3，消失點(diǎn)和地平線(xiàn)檢測(cè)網(wǎng)絡(luò)綜述

設(shè)置了兩個(gè)可學(xué)習(xí)的查詢(xún)對(duì)象作為解碼器層的輸入，以估計(jì)消失點(diǎn)的位置和水平線(xiàn)的角度。使用反正切投影將線(xiàn)和點(diǎn)表示在高斯球上。圖像幀中的點(diǎn)p =（u; v）可以在高斯球上表示為：

此外，通過(guò)LSD提取線(xiàn)特征，并在卷積網(wǎng)絡(luò)之后將其輸入解碼器，線(xiàn)可以表示為兩個(gè)端點(diǎn)的叉積：

在解碼器的輸出端為每條線(xiàn)形成一個(gè)分類(lèi)任務(wù)，以區(qū)分其是否通過(guò)消失點(diǎn)。通過(guò)這種方式，網(wǎng)絡(luò)被迫更加關(guān)注朝向消失點(diǎn)的線(xiàn)條，我們?cè)O(shè)置一個(gè)閾值來(lái)標(biāo)記距離消失點(diǎn)的線(xiàn)條是否為正樣本或負(fù)樣本。

其中d_i是線(xiàn)段l_i和消失點(diǎn)p之間的距離。

最終的損失函數(shù)包含三個(gè)部分：消失點(diǎn)位置的余弦相似度、地平線(xiàn)角度的絕對(duì)值誤差和線(xiàn)分類(lèi)的二元交叉熵?fù)p失(BCE loss)。

其中，c_i 是第 i條線(xiàn)的標(biāo)簽，s_i是第i條線(xiàn)的 SoftMax 網(wǎng)絡(luò)的輸出。

2）旋轉(zhuǎn)推導(dǎo)： 這里推導(dǎo)從VP位置和水平線(xiàn)角度到相機(jī)坐標(biāo)系和路面坐標(biāo)系之間的旋轉(zhuǎn)過(guò)程，當(dāng)車(chē)輛直行時(shí)，我們可以得到相機(jī)到車(chē)輛的旋轉(zhuǎn)矩陣， 對(duì)于針孔相機(jī)，從三維空間P（X，Y，Z）到圖像平面p（u，v）的投影可以描述為：

由于消失點(diǎn)是在無(wú)窮遠(yuǎn)處的平行線(xiàn)的交點(diǎn)，因此Z_vp=1。這里我們用p1表示圖像平面上的消失點(diǎn)，用R3表示旋轉(zhuǎn)矩陣R的第三列,通過(guò)使用方程式9的齊次性，我們可以得到：

可以從 R3 推導(dǎo)出偏航角和俯仰角：

橫滾角就是水平線(xiàn)的角度。

3）手動(dòng)標(biāo)定：如上所述作者還設(shè)計(jì)了一種手動(dòng)工具，通過(guò)使用消失點(diǎn)、水平線(xiàn)和旋轉(zhuǎn)角度之間的關(guān)系來(lái)進(jìn)行相機(jī)標(biāo)定，在這個(gè)工具中用戶(hù)可以手動(dòng)逐步改變角度。圖像將通過(guò)您調(diào)整的新外參數(shù)進(jìn)行重投影：

這里的T_WC表示從世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換，T_M是我們手動(dòng)添加的轉(zhuǎn)換矩陣，一旦T_M = T_WC的逆，消失點(diǎn)就變成了：

其中，cx和cy是K中的內(nèi)參，因此，調(diào)整目標(biāo)是使你自己估計(jì)的消失點(diǎn)與光心重合，并使水平線(xiàn)看起來(lái)更加水平。這個(gè)工具的精度取決于你估計(jì)的消失點(diǎn)和水平線(xiàn)的質(zhì)量。

C. LiDAR 標(biāo)定 

對(duì)于 LiDAR，需要校準(zhǔn)它的旋轉(zhuǎn)和高度（離地高度），具體而言，首先通過(guò)提取地平面來(lái)校準(zhǔn)俯仰、橫滾和高度，然后通過(guò)分析相應(yīng)時(shí)間戳處軌跡方向和速度方向的差異來(lái)估計(jì)偏航角。 

1）俯仰和橫滾角估計(jì)：為了估計(jì)俯仰、橫滾和 LiDAR 高度，基本上通過(guò) RANSAC 算法提取地平面實(shí)現(xiàn)。該算法重復(fù)多次，使用隨機(jī)的初始點(diǎn)，并對(duì)結(jié)果進(jìn)行平均，以獲得最終平面參數(shù)。然而，如果地面非常不平坦，RANSAC 可能無(wú)法找到足夠的點(diǎn)來(lái)擬合平面。然后，這里作者采用 LPR [42] 作為替代方案，使用確定性分配的種子點(diǎn)迭代地提取地面表面。它首先按 z 軸值對(duì)點(diǎn)進(jìn)行排序，并選擇若干個(gè)具有最小 z 值的點(diǎn)來(lái)計(jì)算初始平面。然后它區(qū)分內(nèi)點(diǎn)并進(jìn)行迭代擬合平面。提取的平面可以由其法向量 np 和截距 dp 表示：

然后可以得到旋轉(zhuǎn)向量和旋轉(zhuǎn)角度：

激光雷達(dá)的旋轉(zhuǎn)R和高度z導(dǎo)出為：

其中Z^垂直水平面的法向量.

2）偏航角估計(jì)：在獲取了俯仰角和橫滾角之后，我們進(jìn)行點(diǎn)云旋轉(zhuǎn)，使得點(diǎn)云的 z 軸垂直于地面平面，通過(guò)SLAM 算法可以在每個(gè)時(shí)間戳獲得 6 自由度位姿，并且 LiDAR 在地面上的 2D 軌跡可以通過(guò)位置 (xei，yei) 獲得。接下來(lái)分析軌跡方向和速度方向之間的差異來(lái)估計(jì)偏航角，具體來(lái)說(shuō)，使用一個(gè)長(zhǎng)度為 3 的滑動(dòng)窗口，在每個(gè)時(shí)間戳上計(jì)算當(dāng)前和前兩個(gè)時(shí)間戳的位置差分和速度差分，然后使用這些差異來(lái)計(jì)算速度方向和軌跡方向的夾角，這就是 LiDAR 的偏航角。

在實(shí)驗(yàn)中，我們選擇FAST-LOAM [43]作為算法，因?yàn)樗軌蛲瑫r(shí)實(shí)現(xiàn)實(shí)時(shí)性能和良好的準(zhǔn)確性。然后使用B樣條插值來(lái)根據(jù)t x(t)，y(t) 擬合x(chóng)、y曲線(xiàn)，并獲取它的導(dǎo)數(shù)。

n是B樣條的次數(shù)。方向速度可以計(jì)算為：

其中v_i可以看作時(shí)間戳i時(shí)車(chē)輛的前進(jìn)方向，e_i是時(shí)間戳i時(shí)LiDAR的方向。因此這兩個(gè)角度之間的差異就是我們需要校準(zhǔn)的偏航角偏差。此外根據(jù)兩個(gè)條件過(guò)濾掉一些會(huì)產(chǎn)生較差估計(jì)的數(shù)據(jù)點(diǎn)，因?yàn)槲覀兪褂脤?dǎo)數(shù)來(lái)計(jì)算速度，當(dāng)車(chē)輛速度較低甚至靜止時(shí)，計(jì)算出的方向容易產(chǎn)生顯著的誤差。因此需要設(shè)置一個(gè)最小值來(lái)刪除移動(dòng)速度過(guò)慢的數(shù)據(jù)點(diǎn)，由于算法的性能高度依賴(lài)于曲線(xiàn)擬合的效果，則需要?jiǎng)h除曲率大的數(shù)據(jù)點(diǎn)，這意味著車(chē)輛有很大的加速度或者進(jìn)行了急轉(zhuǎn)彎。雖然我們的算法通常可以在曲線(xiàn)路徑上正常工作，但建議使用直行駕駛數(shù)據(jù)以獲得更準(zhǔn)確的結(jié)果。

最終的偏航角是通過(guò)對(duì)每個(gè)有效時(shí)間戳的 vi 和 ei 的差異進(jìn)行平均計(jì)算得出的。

D. 毫米波雷達(dá)校準(zhǔn)

毫米波雷達(dá)校準(zhǔn)一般只需要校準(zhǔn)雷達(dá)的偏航角，這個(gè)過(guò)程分為三步，包括粗略校準(zhǔn)、靜止物體識(shí)別和曲線(xiàn)擬合。毫米波雷達(dá)測(cè)量包含物體在雷達(dá)參考系下的相對(duì)速度、角度和距離，在這里還需要其他傳感器的幫助，比如GNSS或者輪速計(jì)來(lái)獲取車(chē)輛的速度，如果物體靜止，則表示為：

其中theta是雷達(dá)坐標(biāo)系到車(chē)輛坐標(biāo)系的偏航角，是需要進(jìn)行求解的值，這個(gè)公式在圖4中有解釋。

圖4，物體靜止時(shí)的速度關(guān)系

• 偏航角校準(zhǔn)：在偏航角校準(zhǔn)階段，首先將速度接近當(dāng)前車(chē)速的目標(biāo)點(diǎn)作為靜止物體，通過(guò)分析具有最多靜止物體的方向得到初始的偏航角度估計(jì)。

• 靜止物體識(shí)別：使用當(dāng)前的偏航角度估計(jì)可以找出滿(mǎn)足式子（24）的靜止物體。

• 曲線(xiàn)擬合：找到所有幀的靜止物體后，可以擬合cos函數(shù)曲線(xiàn)來(lái)更新偏航角度估計(jì)，步驟2和3以迭代的方式進(jìn)行，以?xún)?yōu)化校準(zhǔn)結(jié)果。

E. 位姿-傳感器校準(zhǔn)

在位姿傳感器校準(zhǔn)中，估計(jì)IMU和車(chē)輛的偏航角以校正前向方向的傳感器的安裝誤差，有兩個(gè)分支：

1）直行：如果已知車(chē)輛直行，使用RANSAC算法將GNSS軌跡擬合成一條直線(xiàn)，并將其視為車(chē)輛的方向，表示為v。然后使用所有時(shí)間戳處的IMU測(cè)量Ii，并計(jì)算v和Ii之間的差異：

其中S_l是直線(xiàn)路徑的集合。

2）非直行駕駛：該過(guò)程類(lèi)似于LiDAR校準(zhǔn)方法，計(jì)算車(chē)輛行駛方向與IMU測(cè)量的偏差角度，車(chē)輛行駛路線(xiàn)由GNSS測(cè)量得到，在局部參考框架中表示為（xiG; yiG; ziG）,然后采用B樣條方法平滑行駛路線(xiàn)，并在每個(gè)時(shí)間戳獲取方向，表示為vi,IMU測(cè)量中的偏航角度表示為iI,通過(guò)刪除行駛方向快速變化的數(shù)據(jù)，例如急轉(zhuǎn)彎，可以獲得實(shí)時(shí)真實(shí)偏航角的精確近,校準(zhǔn)公式可以描述為：

由于 GNSS 軌跡不是非常精確和可靠，因此建議直接記錄直線(xiàn)行駛數(shù)據(jù)進(jìn)行校準(zhǔn)。

A. 相機(jī)標(biāo)定 

為了訓(xùn)練和評(píng)估我們的檢測(cè)網(wǎng)絡(luò)，首先標(biāo)注了一個(gè)數(shù)據(jù)集，其中包含消失點(diǎn)和地平線(xiàn)的注釋。據(jù)我們所知，很少有開(kāi)源數(shù)據(jù)集包含消失點(diǎn)和水平線(xiàn)標(biāo)注，適用于自動(dòng)駕駛場(chǎng)景。在基于KITTI [44]構(gòu)建了自己的數(shù)據(jù)集。每幀的地平線(xiàn)通過(guò)IMU的絕對(duì)姿態(tài)和KITTI提供的IMU與相機(jī)之間的相對(duì)姿態(tài)自動(dòng)生成。對(duì)于消失點(diǎn)，使用半自動(dòng)方式，我們首先使用Neurvps估計(jì)一個(gè)大致的消失點(diǎn)。該算法在許多情況下可能失敗，例如彎曲的道路或光照變化等。因此，需要人工手動(dòng)檢查并糾正它們。最終數(shù)據(jù)集包含43195幀，包括城市、住宅區(qū)、高速公路、校園、山區(qū)等不同場(chǎng)景。圖5展示了一些示例，該數(shù)據(jù)集大致分為70％，15％和15％用于訓(xùn)練，驗(yàn)證和測(cè)試。

 圖5，不同場(chǎng)景下標(biāo)注的KITTI數(shù)據(jù)集示例

將我們的方法分別與消失點(diǎn)檢測(cè)網(wǎng)絡(luò)和水平線(xiàn)估計(jì)網(wǎng)絡(luò)進(jìn)行了比較，對(duì)于消失點(diǎn)，將我們的方法與Neurvps [21]進(jìn)行比較，對(duì)于地平線(xiàn)，我們將其與TCHL 進(jìn)行比較。結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明，我們的方法具有競(jìng)爭(zhēng)性能和相對(duì)較高的推理速度。

B. LiDAR校準(zhǔn) 

在幾個(gè)現(xiàn)實(shí)場(chǎng)景和模擬數(shù)據(jù)集上測(cè)試了算法。

1.定性結(jié)果: 為了定性地證明我們算法的有效性，可視化了車(chē)輛方向vi從軌跡中推導(dǎo)出來(lái)的，以及LiDAR方向vi在所有時(shí)間戳上的情況。如果這兩條曲線(xiàn)具有相同的趨勢(shì)，并且只有固定的偏移量不同，則意味著擬合效果是可靠的，如圖6所示。

圖6，車(chē)輛偏航角與激光雷達(dá)偏航角的比較

圖7，虛擬環(huán)境中的2D激光雷達(dá)路線(xiàn)1

2. 定量結(jié)果：對(duì)于模擬數(shù)據(jù)，我們有旋轉(zhuǎn)角的真實(shí)值，表2展示了估計(jì)結(jié)果與真實(shí)值之間的差異，虛擬世界中車(chē)輛的路徑如圖7所示，對(duì)于真實(shí)世界的數(shù)據(jù)可以使用不同幀結(jié)果的一致性作為評(píng)估指標(biāo)。

此外還有一個(gè)粗略的初始校準(zhǔn)結(jié)果，該結(jié)果是在校準(zhǔn)房間中獲得的，可以用作參考，結(jié)果如表3所示，在真實(shí)世界的數(shù)據(jù)集中，路徑是任意的，包含曲線(xiàn)和直線(xiàn)。

C. 毫米波雷達(dá)校準(zhǔn)

1.定性結(jié)果：為了定性評(píng)估，可視化了公式 24 中的余弦曲線(xiàn)擬合，如圖 8 所示，大多數(shù)數(shù)據(jù)點(diǎn)都很好地?cái)M合了余弦曲線(xiàn)，證明了該方法的有效性。

2.定量結(jié)果：對(duì)于定量評(píng)估，使用數(shù)據(jù)一致性和擬合優(yōu)度指標(biāo)，一個(gè)真實(shí)世界的雷達(dá)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果如表4所示。

D.姿態(tài)傳感器校準(zhǔn)

1.定性結(jié)果：我們?cè)趫D9中可視化了B樣條曲線(xiàn)擬合的效果，GNSS軌跡的原始偏航角度波動(dòng)很大，使用B樣條插值后，曲線(xiàn)得到了平滑，可以發(fā)現(xiàn)，盡管存在固定的偏移量，但兩個(gè)曲線(xiàn)具有相似的趨勢(shì)。

圖9，毫米波雷達(dá)定標(biāo)中的余弦擬合

2.定量結(jié)果：使用RANSAC擬合的得分和直線(xiàn)條件下的速度投影驗(yàn)證來(lái)評(píng)估結(jié)果，RANSAC得分是通過(guò)內(nèi)點(diǎn)數(shù)與總數(shù)據(jù)點(diǎn)數(shù)的比例計(jì)算得出的，速度投影是使用校準(zhǔn)后的偏航角計(jì)算得到的徑向速度分量，較小的速度分量表示更準(zhǔn)確的偏航角估計(jì)，至于自由行駛條件，使用所有幀估計(jì)的數(shù)據(jù)一致性來(lái)衡量結(jié)果。

本文提出了SensorX2car，這是第一個(gè)開(kāi)源的實(shí)現(xiàn)傳感器車(chē)體坐標(biāo)系系標(biāo)定工具箱，其中包含了四種常用傳感器的標(biāo)定方法：相機(jī)、激光雷達(dá)、毫米波雷達(dá)和姿態(tài)傳感器(IMU+GNSS)，這些方法是無(wú)需目標(biāo)的，可以在常見(jiàn)的路況下工作，通過(guò)在模擬和真實(shí)場(chǎng)景數(shù)據(jù)集上驗(yàn)證了這些方法的實(shí)用性和有效性，我們的工作仍有一些改進(jìn)的空間，未來(lái)將進(jìn)一步優(yōu)化這些方法，并進(jìn)行更詳細(xì)的實(shí)驗(yàn)，以系統(tǒng)地評(píng)估它們。

更多詳細(xì)內(nèi)容后臺(tái)發(fā)送“知識(shí)星球”加入知識(shí)星球查看更多。