摘要
在基于車聯(lián)網(wǎng) (C-V2X) 的車路協(xié)同應(yīng)用中，路側(cè)感知設(shè)備獲取的交通目標與交通環(huán)境信息由路側(cè)邊緣計算設(shè)備進行分析處理，生成各類I2V (Infrastructure-to-Vehicle) 消息，并由路側(cè)單元（RSU）通過無線鏈路發(fā)送給各類道路交通參與者（包括聯(lián)網(wǎng)車輛和弱勢交通參與者），用于提升交通安全與交通效率。作為路側(cè)感知設(shè)備的激光雷達，由于其3D成像和精確測距等卓越性能，受到越來越廣泛的應(yīng)用�；�英特爾架構(gòu)的路側(cè)邊緣計算設(shè)備，在處理激光雷達生成的3D點云中（無論是深度學(xué)習(xí)還是傳統(tǒng)計算機視覺），都顯示出了卓越的性能。本文介紹了基于第11代英特爾酷睿處理器和英特爾OpenVINO工具套件分發(fā)版的集和誠路側(cè)MEC設(shè)備，用于支持基于深度學(xué)習(xí)的3D點云處理和鐳神雷視一體機（激光雷達與攝像頭）的感知融合計算。我們?yōu)檐嚶?lián)網(wǎng)產(chǎn)業(yè)界提供了高性價比的路側(cè)感知和路側(cè)邊緣計算解決方案。
背景：中國的智能交通基礎(chǔ)設(shè)施的快速發(fā)展
近幾年，國家有關(guān)部門出臺多項產(chǎn)業(yè)政策支持智能交通發(fā)展，如《交通強國建設(shè)綱要》、《國家綜合立體交通網(wǎng)規(guī)劃綱要》和《國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》
等，均強調(diào)全方位布局交通感知系統(tǒng)是實現(xiàn)交通基礎(chǔ)設(shè)施智能化的重要步驟。
車聯(lián)網(wǎng)作為半導(dǎo)體、智能計算、無線通信、汽車制造和交通運輸?shù)刃袠I(yè)深度融合的新型產(chǎn)業(yè)形態(tài)，在提升交通安全與交通效率方面擁有巨大的潛能。隨著人工智能、邊緣計算和移動組網(wǎng)等技術(shù)的快速發(fā)展，車聯(lián)網(wǎng)的功能與性能也不斷的完善和提升之中，將在未來的智能交通系統(tǒng)中將發(fā)揮重要的作用。我國高度重視車聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展，相繼出臺了《車聯(lián)網(wǎng)（智能網(wǎng)聯(lián)汽車）產(chǎn)業(yè)發(fā)展行動計劃》和《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》等系列政策文件。中國產(chǎn)業(yè)界一直在積極推動圍繞C-V2X技術(shù)構(gòu)建的車路協(xié)同技術(shù)路線。
路側(cè)基礎(chǔ)設(shè)施是車聯(lián)網(wǎng)新基建的重要組成部分，其技術(shù)與標準體系正在持續(xù)完善之中，而相關(guān)的細分產(chǎn)業(yè)鏈（包括路側(cè)感知、路側(cè)邊緣計算和路側(cè)通信等）也在加速形成。2020年8月出臺的《關(guān)于推動交通運輸領(lǐng)域新型基礎(chǔ)設(shè)施建設(shè)的指導(dǎo)意見》 明確指出要讓泛在感知設(shè)施深度覆蓋交通運輸行業(yè)。 2021年9月，中國IMT-2020 (5G) 推進組所轄的C-V2X工作組發(fā)布研究報告《基于邊緣計算的路側(cè)感知融合系統(tǒng)研究》系統(tǒng)性地介紹了路側(cè)感知融合的技術(shù)和產(chǎn)業(yè)發(fā)展現(xiàn)狀[1]。
作為全球最領(lǐng)先的芯片廠商，英特爾也與包括鐳神與集和誠在內(nèi)的國內(nèi)廣大合作伙伴，加速研發(fā)相關(guān)的產(chǎn)品與解決方案，促進基于車聯(lián)網(wǎng)的車路協(xié)同早日實現(xiàn)商用。
車路協(xié)同中的路側(cè)感知與路側(cè)邊緣計算
如圖1所示，車路協(xié)同依靠路側(cè)感知設(shè)備（包括攝像頭、激光雷達和毫米波雷達在內(nèi)的各類交通傳感器）采集交通目標的原始信息（包括2D視頻圖像和3D點云等），交給路側(cè)邊緣計算設(shè)備進行分析計算（包括目標檢測與目標分類）以及與感知融合，生成結(jié)構(gòu)化數(shù)據(jù)用以表示交通目標的屬性（例如車輛的速度與航向、交通事件的類別與影響范圍等）。這些結(jié)構(gòu)化數(shù)據(jù)被進一步處理成V2X消息，準確地說是I2V消息。這些I2V消息被RSU (路側(cè)單元) 經(jīng)由PC5無線空中接口、或者5G/4G基站經(jīng)由Uu無線空中接口發(fā)送給包括機動車和行人在內(nèi)的道路交通參與者。
圖1. 車路協(xié)同的系統(tǒng)概念
車路協(xié)同的路側(cè)系統(tǒng)架構(gòu)由圖2所示，可分為路側(cè)感知（包括攝像頭、激光雷達和毫米波雷達在內(nèi)的各種交通傳感器）、路側(cè)邊緣計算（包括路側(cè)MEC計算設(shè)備）和路側(cè)通信（包括RSU）三大部分。本文主要涉及路側(cè)感知和路側(cè)邊緣計算這兩個部分。
圖2. 車路協(xié)同的路側(cè)系統(tǒng)架構(gòu)
路側(cè)感知
在車路協(xié)同的路側(cè)感知領(lǐng)域，常用的傳感器包括攝像頭、激光雷達與毫米波雷達。本文中介紹的技術(shù)方案涉及前兩種，下面我們分別介紹它們的技術(shù)特點。
攝像頭
攝像頭是最為常見的交通路側(cè)傳感器，基于對其所采集的圖像和視頻的分析，能夠獲得豐富的色彩、紋理和語義信息，實現(xiàn)精細化的交通目標的分類。但其局限性也比較突出，主要體現(xiàn)在受夜晚弱光或惡劣天氣條件的影響較大，難以對交通目標進行有效可靠的感知。攝像頭作為交通傳感器的性能優(yōu)缺點總結(jié)于表1中。
激光雷達
激光雷達正在成為智能交通領(lǐng)域越來越重要的一種傳感器。它主動向待測空間區(qū)域發(fā)射激光光束，并接收反射回來的信號并將其與發(fā)射信號進行比較生成3D點云，經(jīng)過進一步的處理，可獲得目標物體的距離、方位、速度、3D尺寸及類別等精確信息。
激光雷達按照其內(nèi)部激光掃描機構(gòu)的工作原理可以分為以下大、小類別：
◆ 機械式
● 整體旋轉(zhuǎn)式
● 棱鏡旋轉(zhuǎn)式
◆ 非機械式
● Flash
● 光學(xué)相控陣
● 以微機電(MEMS)鏡式為主
● 混合固態(tài)式
● 固態(tài)式
激光雷達作為交通傳感器的性能優(yōu)缺點總結(jié)于表1中。
表1. 攝像頭與激光雷達的優(yōu)缺點對比
感知融合：基于激光雷達與攝像頭
感知融合指的是兩種或兩種以上傳感器互相配合共同完成對目標的檢測與分類。由于在性能上“取長補短”，感知融合比單種傳感器具有更全面的感知能力和更優(yōu)秀的性能�；诩す饫走_和攝像頭組合的感知融合在發(fā)揮激光雷達精確測距性能優(yōu)勢的同時，可以依靠攝像頭來識別目標顏色、交通標志和交通信號等信息。也就是說，感知融合可以通過攝像頭與激光雷達的“分工”，將攝像頭用于目標分類而激光雷達用于目標檢測。在這種情況下，3D點云的處理可以使用PCL (Point Cloud Library) [2][3]等非深度學(xué)習(xí)的方法，從而降低了算法的整體復(fù)雜度及相應(yīng)的硬件成本，使得高性價比的解決方案成為可能。
路側(cè)邊緣計算：促進感知融合在車路協(xié)同中的應(yīng)用
基于英特爾架構(gòu)的路側(cè)邊緣計算設(shè)備可對2D視頻圖像和3D點云信息，分別進行基于深度學(xué)習(xí)的推理或基于傳統(tǒng)計算機視覺的分析，并將兩者得到的結(jié)果進行融合。
系統(tǒng)架構(gòu)
在車路協(xié)同的應(yīng)用中，MEC發(fā)揮著無可替代的重要作用。根據(jù)部署的位置和對時延與算力的具體需求，MEC可以有多種形式，包括路側(cè)MEC和網(wǎng)絡(luò)邊緣MEC等（如圖2所示）�；谟⑻貭柤軜�(gòu)的各種MEC設(shè)備[4][5]為實現(xiàn)車路協(xié)同的各種用例提供強大可靠的通用和AI算力支持，從而使得我們能夠?qū)碜圆煌N類傳感器的信息進行實時的高效分析并將結(jié)果融合，顯著提升了智能交通系統(tǒng)的安全與效率。
面向交通安全的車路協(xié)同應(yīng)用對于端到端時延有著比較嚴格的要求，部署地點靠近路側(cè)感知設(shè)備和路側(cè)通信設(shè)備（RSU）的路側(cè)MEC對于降低時延有著更好的保障。
第11代英特爾酷睿處理器 (產(chǎn)品代號：Tiger Lake)
針對于包括車路協(xié)同在內(nèi)的眾多垂直行業(yè)應(yīng)用，英特爾發(fā)布了第11代酷睿系列處理器，在具備強大通用計算與AI加速運算能力的同時，功耗很低、散熱設(shè)計容易，是路側(cè)邊緣計算設(shè)備非常理想的高性價比和高能效比計算平臺。這一系列處理器中的很多型號還支持寬溫工作以及對設(shè)備進行遠程管理維護的英特爾博銳平臺技術(shù)。
本文中的性能評估基于以下兩款第11代英特爾酷睿處理器，其配置如表2中所示。
● 英特爾酷睿i7-1185GRE處理器
● 英特爾酷睿i7-1165G7處理器
兩款處理器的最高性能詳見產(chǎn)品技術(shù)規(guī)格[6][7]。
表2. 第11代英特爾酷睿處理器 (Tiger Lake) 配置
集和誠路側(cè)MEC設(shè)備
基于上述兩款第11代英特爾酷睿處理器，集和誠開發(fā)了全新的KMDA-3301型路側(cè)MEC設(shè)備（如圖3所示）。其主要特點包括：無風(fēng)扇散熱、IO接口豐富、鋁型材質(zhì)、機身纖薄、減震設(shè)計等，非常適合部署在路側(cè)等嚴苛環(huán)境，為車路協(xié)同應(yīng)用提供穩(wěn)定可靠的高算力保障。產(chǎn)品規(guī)格詳見集和誠公司網(wǎng)站[8]。
圖3. 集和誠路側(cè)MEC設(shè)備（KMDA-3301型）
英特爾OpenVINO工具套件分發(fā)版 （以下簡稱OpenVINO）
OpenVINO是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件，用于加速高性能計算機視覺和深度學(xué)習(xí)豐富多樣的應(yīng)用開發(fā)[9][10]。其顯著的三個特點是：高性能深度學(xué)習(xí)推理，非常易于使用的簡化開發(fā)流程，一次編寫可任意部署。
具體來說，OpenVINO支持快速開發(fā)豐富多樣的應(yīng)用和解決方案，來模擬人類的視覺。它能顯著提升視頻分析的準確度，加速推理，并節(jié)約算力資源。該工具套件基于卷積神經(jīng)網(wǎng)絡(luò) (CNN: Convolutional Neural Network)，支持直接異構(gòu)執(zhí)行，可在多種英特爾芯片平臺中擴展計算機視覺和深度學(xué)習(xí)的工作負載，實現(xiàn)卓越性能。套件中的英特爾Media SDK 支持在英特爾核芯顯卡上進行高性能的視頻編碼和解碼。OpenVINO支持多種操作系統(tǒng)（包括Windows、Linux和macOS）和編程語言（包括Python和C++）。
OpenVINO免費提供超過280個經(jīng)預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型和參考代碼，支持模型的量化和調(diào)優(yōu)，加速深度學(xué)習(xí)的推理運算。
操作系統(tǒng)與軟件配置
本文的性能實測部分所涉及的操作系統(tǒng)與軟件采用表3中所列的配置。
表3. 操作系統(tǒng)與軟件配置
基于英特爾架構(gòu)的激光雷達3D點云處理方案
作為車路協(xié)同中的路側(cè)感知設(shè)備，激光雷達可以作為獨立的傳感器使用，也可和攝像頭配合形成感知融合的技術(shù)方案。這兩種方案中信息處理所需要的算力，均由MEC設(shè)備中最核心的英特爾處理器來承載。下面，我們分別介紹這兩種方案所需解決的技術(shù)挑戰(zhàn)、基于英特爾架構(gòu)的解決方案和性能實測效果。
激光雷達作為獨立傳感器
基于英特爾架構(gòu)的解決方案
在這種方案中，交通目標的檢測基于對激光雷達生成的3D點云進行深度學(xué)習(xí)的推理，對算力的要求非常高。在實際的交通應(yīng)用中，處理速度需要達到至少10幀/秒。通過優(yōu)化基于深度學(xué)習(xí)的3D點云處理流程[11][12]來提升處理速度，對于提升基于部署于路側(cè)的MEC平臺的性價比和能效比，至關(guān)重要。
我們使用OpenVINO對開源3D點云深度學(xué)習(xí)模型PointPillars [12]做了優(yōu)化。如圖4所示，藍色模塊依然沿用原生代碼的Python實現(xiàn)，而綠色模塊則使用了OpenVINO中的模型優(yōu)化工具 (Model Optimizer) 進行了加速，具體細節(jié)詳見[13][14]。
圖4. 基于英特爾酷睿處理器 (Tiger Lake) 實現(xiàn)的PointPillars模型
性能實測效果
我們采用KITTI數(shù)據(jù)集[15]中的訓(xùn)練集來測試性能。相對于OpenVINO優(yōu)化之前的PyTorch格式模型，OpenVINO優(yōu)化之后IR格式模型可以顯著提升吞吐率與處理時延性能（如表4所示）。
表4. 吞吐率與處理時延（基于深度學(xué)習(xí)的3D點云處理）
感知融合：激光雷達與攝像頭
鐳神雷視一體機
鐳神雷視一體機及其實際部署場景如圖5所示。該設(shè)備采用攝像頭和鐳神CH128X1型激光雷達相結(jié)合的方式，獲取交通目標與交通環(huán)境的原始數(shù)據(jù)，通過以太網(wǎng)將其傳遞給基于第11代英特爾酷睿處理器的集和誠路側(cè)MEC設(shè)備進行分析處理。
圖5. 鐳神雷視一體機（激光雷達與攝像頭）及實際部署場景
鐳神CH128X1型激光雷達的激光源不動，通過棱鏡旋轉(zhuǎn)來掃描空間區(qū)域，實現(xiàn)對水平120°區(qū)域的掃描。其具體規(guī)格參數(shù)如下表5所示。
表5. 鐳神CH128X1激光雷達規(guī)格參數(shù)表
基于英特爾架構(gòu)的解決方案
為了兼顧處理效率與準確性的需求，鐳神和英特爾共同提出了基于傳統(tǒng)算法和深度學(xué)習(xí)相結(jié)合的目標級感知融合方案，其處理流程如圖6所示。其中，對于激光雷達所采集的3D點云數(shù)據(jù)，我們采用PCL [2][3]中的聚類和追蹤算法來獲取目標的的位置距離和速度等信息；對于攝像頭所采集的2D圖像數(shù)據(jù)，我們采用基于Yolo-v5神經(jīng)網(wǎng)絡(luò)和OpenVINO的深度學(xué)習(xí)算法來獲取目標的類別信息。
我們將3D點云數(shù)據(jù)聚類得到的目標中心點投影到2D圖像上，判斷該點與基于深度學(xué)習(xí)算法得出的2D圖像中目標位置中心的距離是否小于某一閾值：若是，則確定激光雷達和攝像頭分別檢測到的目標為同一物體，并將該兩種傳感器獲取的目標級結(jié)果進行融合。如圖6所示，融合的結(jié)果包括目標的類別、位置距離和速度等信息，可根據(jù)需要顯示在2D圖像或者3D點云中。
圖6. 激光雷達與攝像頭的目標級感知融合
性能實測效果
我們使用采集自鐳神CH128X1型激光雷達的3D點云數(shù)據(jù)集，其數(shù)據(jù)文件包含多幀點云數(shù)據(jù)，每個點的參數(shù)包括3D坐標（x, y, z）和反射率（r）。3D點云經(jīng)過處理之后生成圍繞目標的3D框，其檢測結(jié)果的標注采用類似于KITTI數(shù)據(jù)集所采用的格式。我們使用集和誠KMDA-3301型路側(cè)MEC設(shè)備[8]和OpenVINO[9][10]，對于感知融合方案進行了測試，其性能如表6所示。
表6. 感知融合方案的實測性能
實測性能表明，激光雷達無論是作為獨立的傳感器使用，還是和攝像頭配合形成感知融合的技術(shù)方案，基于英特爾架構(gòu)的激光雷達3D點云處理可實現(xiàn)優(yōu)異的性能。
結(jié)語與展望
5G在中國已經(jīng)大規(guī)模商用，為終端設(shè)備的互聯(lián)互通奠定了高速率、低時延和廣泛連接的網(wǎng)絡(luò)基礎(chǔ)。作為 5G 垂直行業(yè)應(yīng)用中最受矚目的應(yīng)用場景之一，車聯(lián)網(wǎng)也將在此基礎(chǔ)上加速發(fā)展�；� 5G 新空口的蜂窩車聯(lián)網(wǎng)標準已經(jīng)于 2020 年 6 月完成制定，大規(guī)模試驗和測試即將展開�；谟⑻貭柤軜�(gòu)的激光雷達3D點云處理和感知融合方案為車聯(lián)網(wǎng)積極賦能，使能豐富多樣的智能交通場景，顯著提升交通安全與效率。
以數(shù)據(jù)為中心的英特爾公司以世界領(lǐng)先的端到端 AI 與計算機視覺技術(shù)以及性能強大、功能完善的硬件與軟件產(chǎn)品組合，聯(lián)合產(chǎn)業(yè)界伙伴，為全球車聯(lián)網(wǎng)產(chǎn)業(yè)的加速發(fā)展奠定了堅實的基礎(chǔ)。
PDF文檔下載
中文版
https://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov.html
英文版
ttps://www.intel.cn/content/www/cn/zh/internet-of-things/lidar-3d-point-cloud-perception-fusion-in-iov-en.html
參考文獻
[1] IMT-2020(5G)推進組C-V2X工作組，“基于邊緣計算的路側(cè)感知融合系統(tǒng)研究”，2021年9月.
[2] "Point Cloud Library", URL: https://pointclouds.org/
[3] R. B. Rusu and S. Cousins, "3D is here: Point Cloud Library (PCL)," in Proc. 2021 IEEE International Conference on Robotics and Automation (ICRA).
[4] 雷鳴，程加鋼，姜榮華，“基于英特爾架構(gòu)的集和誠MEC設(shè)備加速車聯(lián)網(wǎng)的商用部署”，Intel解決方案白皮書，2020年12月.
[5] 雷鳴，周長軍，姜榮華，“基于英特爾AI計算機視覺的新創(chuàng)中天智能交通路側(cè)視頻邊緣計算設(shè)備”，Intel解決方案白皮書，2020年9月.
[6] "IntelCorei7-1185GRE Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208082/intel-core-i7-1185gre-processor-12m-cache-up-to-4-40-ghz.html
[7] "IntelCorei7-1165G7 Processor", URL: https://ark.intel.com/content/www/us/en/ark/products/208662/intel-core-i7-1165g7-processor-12m-cache-up-to-4-70-ghz.html
[8] “集和誠KMDA-3301產(chǎn)品規(guī)格”，URL: http://www.jhctech.com.cn/pro_show.php?id=91
[9] "OpenVINOToolkit Overview", URL: https://docs.openvinotoolkit.org/latest/index.html
[10] OpenVINO Chinese Community, URL: https://zhuanlan.zhihu.com/p/225441633
[11] C. R. Qi, H. Su, K. Mo and L. J. Guibas, "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation," in Proc. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
[12] A. H. Lang, S. Vora, H. Caesar, L.-B. Zhou, J. Yang and O. Beijbom, “PointPillars: Fast Encoders for Object Detection From Point Clouds,” in Proc. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
[13] Q. Xu, S.-X. Liu, H. Ma, J. Du, M. Lei and Y. Wang, “Optimization of PointPillars by using IntelDistribution of OpenVINOToolkit,” online article: https://software.intel.com/content/www/us/en/develop/articles/optimization-of-pointpillars.html, Aug. 2021.
[14] S.-X. Liu, Q. Xu, H. Ma, J. Du, M. Lei, J. Tao and J.-L. Bao, “Optimization of PointPillars (A Deep Learning Network for LiDAR-based 3D Object Detection) on Intel Platform,” in Proc. IEEE International Conference on Power, Intelligent Computing and Systems 2021 (ICPICS 2021), Shenyang, China, July 2021.
[15] "KITTI 3D detection dataset," URL: http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d
