對于交通控制、自動駕駛等任務(wù)來說,大規(guī)模的高分辨率與更新頻率的地圖至關(guān)重要。
現(xiàn)有的地圖構(gòu)建方法多依賴地面采集數(shù)據(jù),這種方法的精度固然較高,但在覆蓋范圍、更新頻率卻存在限制,測繪成本也相當(dāng)高昂。
相比之下,使用衛(wèi)星圖像構(gòu)建地圖顯然在覆蓋范圍和構(gòu)建效率方面具有更大優(yōu)勢。只是不可避免的,衛(wèi)星圖像數(shù)據(jù)集的分辨率與精度普遍較低,常見的 19 級衛(wèi)星圖像的分辨率為每像素 30 厘米,幾乎無法辨認(rèn)出 20 厘米寬的車道線。因此,現(xiàn)有的衛(wèi)星圖像數(shù)據(jù)集很難有效支持現(xiàn)代城市復(fù)雜道路結(jié)構(gòu)的精細(xì)化解析和地圖構(gòu)建。
此前,已經(jīng)有一部分方法在嘗試解決這一問題,比較有代表性的有 MIT 團(tuán)隊此前提出的 RoadTracer,它利用迭代圖構(gòu)造方式檢測衛(wèi)星影像中的路網(wǎng),提高了測繪的準(zhǔn)確率,但依然有所不足 [1]。
圖丨相關(guān)論文(來源:IEEE Xplore)
現(xiàn)有數(shù)據(jù)集的圖像分辨率最高僅為 0.3 米/像素,不足以準(zhǔn)確感知車道線,無法滿足精細(xì)化需求。此外,標(biāo)注不夠精細(xì)、數(shù)據(jù)規(guī)模小、與自動駕駛數(shù)據(jù)集不匹配等,也是它們存在的局限。
在此背景下,中國科學(xué)院自動化研究所等機(jī)構(gòu)與騰訊地圖合作推出了一種名為 OpenSatMap 的細(xì)粒度、高分辨率衛(wèi)星數(shù)據(jù)集,旨在解決目前基于衛(wèi)星圖像的地圖構(gòu)建過程中遇到的精度和數(shù)據(jù)量問題。
圖丨 OpenSatMap 數(shù)據(jù)集的演示(來源:arXiv)
OpenSatMap 的數(shù)據(jù)主要通過 Google Maps 的靜態(tài) API 進(jìn)行采集。團(tuán)隊根據(jù)各地的地理分布,選擇了全球 60 座城市、19 個國家中的代表性位置,涵蓋了不同的道路類型、地理特征和交通規(guī)則,共 38,000 多張 1024×1024 分辨率的衛(wèi)星影像,并標(biāo)注了近 45 萬個實(shí)例。這使得 OpenSatMap 成為當(dāng)前規(guī)模最大、覆蓋最廣的高分辨率衛(wèi)星影像數(shù)據(jù)集之一
并且,為了提高精度,研究團(tuán)隊收集了數(shù)據(jù)分辨率為 0.15 米/像素(Level-20)的圖像,這是當(dāng)前所有公開數(shù)據(jù)集中最高的分辨率。在部分區(qū)域無法獲取 Level-20 分辨率的情況下,團(tuán)隊會選取 Level-19 影像(0.3 米/像素)作為補(bǔ)充。
在數(shù)據(jù)標(biāo)注階段,團(tuán)隊雇用了 50 名遙感影像標(biāo)注員和 7 名質(zhì)檢員,采用實(shí)例級的標(biāo)注方式對圖像中的道路進(jìn)行詳細(xì)的標(biāo)記。每條道路線(包括車道線、路緣線和虛擬線等)被向量化為折線(polyline)形式,以確保準(zhǔn)確表示線條的曲率和方向。
此外,每條線條被分配了八個屬性,包括顏色(如白色或黃色)、線型(如實(shí)線或虛線)、功能(如停車區(qū)域或公交車專用道)、雙向?qū)傩、邊界?biāo)記、遮擋情況和清晰度等。這些屬性標(biāo)注通過實(shí)例間屬性變化(如實(shí)線轉(zhuǎn)虛線、雙車道變單車道等)實(shí)現(xiàn)不同實(shí)例的劃分,從而更精準(zhǔn)地表達(dá)復(fù)雜路況。
圖丨標(biāo)注示例(來源:arXiv)
標(biāo)注過程中還特別考慮了遮擋情況,如遮擋、分叉和多層立交橋等,確保圖像細(xì)節(jié)的準(zhǔn)確性。特別是對于遮擋情況,團(tuán)隊根據(jù)不同遮擋程度將其分為無遮擋、部分遮擋和完全遮擋三類標(biāo)注,并制定了嚴(yán)格的標(biāo)注規(guī)則,以保證數(shù)據(jù)集的完整性和一致性。
為了驗(yàn)證 OpenSatMap 在實(shí)例級線條檢測任務(wù)中的有效性,研究團(tuán)隊開發(fā)了一個簡單的基線方法,針對平均交并比(mIoU)和平均精度(AP)指標(biāo)進(jìn)行了評估。結(jié)果表明,實(shí)例級線條檢測比傳統(tǒng)的語義分割要困難得多。
圖丨團(tuán)隊所采用的基線方法(來源:arXiv)
在語義級別的評估中,基線模型的平均交并比表現(xiàn)相對較高,但在實(shí)例級檢測中,AP 和 mIoU 指標(biāo)的得分較低,尤其是在復(fù)雜的路況下,如線條類型變化和線條分叉合并的情況等。其原因在于,實(shí)例級檢測需要識別帶有精細(xì)屬性的道路元素,而語義分割只涉及一些基礎(chǔ)的類別。
雖然從視覺效果上來說,基線模型能夠相對準(zhǔn)確地預(yù)測線條實(shí)例。然而,由于一些線條細(xì)節(jié)無法精確檢測(例如線條邊緣的定義不清晰、線條連接處的錯誤分割等),導(dǎo)致 AP 指標(biāo)相對較低。
圖丨 OpenSatMap19(前兩行)和 OpenSatMap20(后兩行)測試分割的定性結(jié)果
這些結(jié)果表明,該基準(zhǔn)本身具有較高的難度,這有助于推動更有效的端到端方法的探索。
值得一提的是,為了確保其在自動駕駛領(lǐng)域的實(shí)用性,OpenSatMap 還與 nuScenes 和 Argoverse 2 等主流自動駕駛數(shù)據(jù)集進(jìn)行了對齊,使其能夠?yàn)樽詣玉{駛系統(tǒng)提供精確的地圖信息,讓自動駕駛算法在訓(xùn)練過程中可以直接利用這些衛(wèi)星影像數(shù)據(jù)構(gòu)建高精度的環(huán)境感知模型。
不過,由于 OpenSatMap 的數(shù)據(jù)來源于 Google Maps,而這些影像并非實(shí)時更新,這意味著其數(shù)據(jù)可能在某些地區(qū)無法反映當(dāng)前的道路狀況,可能會影響在快速變化的城市環(huán)境中的應(yīng)用效果。
再加上部分地區(qū)的高分辨率圖像缺失,以及多標(biāo)注者的差異可能導(dǎo)致標(biāo)注的不一致性。直接在 OpenSatMap 上訓(xùn)練自動駕駛模型可能存在一定的安全風(fēng)險。因此,在將其用于自動駕駛應(yīng)用時,還需要進(jìn)一步驗(yàn)證和補(bǔ)充數(shù)據(jù)。
相關(guān)論文以《OpenSatMap:用于大規(guī)模地圖構(gòu)建的細(xì)粒度高分辨率衛(wèi)星數(shù)據(jù)集》(OpenSatMap: A Fine-grained High-resolution Satellite Dataset for Large-scale Map Construction)為題發(fā)表在預(yù)印本網(wǎng)站 arXiv 上 [2]。
相關(guān)代碼也已經(jīng)在 GitHub 開源(項目地址:https://opensatmap.github.io)。
圖丨相關(guān)論文(來源:arXiv)
參考資料:
1.https://ieeexplore.ieee.org/document/8578594?signout=success
2.https://arxiv.org/abs/2410.23278
3.https://opensatmap.github.io/
運(yùn)營/排版:何晨龍