2023年8月30日，由西安交通大學(xué)中國工程院院士鄭南寧團隊與中信科移動通信技術(shù)股份有限公司（簡稱“中信科移動”）聯(lián)合創(chuàng)建的網(wǎng)聯(lián)協(xié)同智能實驗室（簡稱“聯(lián)合實驗室”）在西安舉行揭牌儀式，并在會上首次發(fā)布了聯(lián)合實驗室研究的三項成果：基于通信網(wǎng)絡(luò)的多模態(tài)融合數(shù)據(jù)集、融合感知系統(tǒng)和超低時延相機。
中國工程院院士、西安交通大學(xué)教授、聯(lián)合實驗室學(xué)術(shù)委員會主任鄭南寧，中信科移動總經(jīng)理孫曉南，西安交通大學(xué)科研院常務(wù)副院長邵金友，西安交通大學(xué)人工智能學(xué)院執(zhí)行院長、教授、聯(lián)合實驗室理事、主任辛景民，以及來自西安交通大學(xué)人工智能學(xué)院的師生、中信科移動的領(lǐng)導(dǎo)專家等30余人出席揭牌儀式。
中信科移動總經(jīng)理孫曉南在致辭中指出，此次合作是中信科移動與西安交通大學(xué)的一次重要戰(zhàn)略合作，也是雙方在產(chǎn)學(xué)研合作領(lǐng)域的一次深度探索。通過聯(lián)合實驗室的建立，實現(xiàn)優(yōu)勢互補，在人才培養(yǎng)、技術(shù)創(chuàng)新、成果轉(zhuǎn)化等方面開展全方位合作，共同推動科技創(chuàng)新和產(chǎn)業(yè)發(fā)展。
鄭南寧院士在會上表示，聯(lián)合實驗室將以 5G 網(wǎng)絡(luò)智能應(yīng)用為基礎(chǔ)，以多模態(tài)融合感知、邊緣計算、算力網(wǎng)絡(luò)、數(shù)據(jù)模型管理平臺、數(shù)據(jù)融合、數(shù)據(jù)交互、自動駕駛決策系統(tǒng)以及數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范等方面為主要研究方向，致力于打造國際一流的科研創(chuàng)新平臺，推動科技成果轉(zhuǎn)化和產(chǎn)業(yè)化。同時，鄭院士也指出，人工智能技術(shù)和產(chǎn)業(yè)的發(fā)展，需要產(chǎn)學(xué)研進(jìn)一步協(xié)同，優(yōu)勢互補，在算力、算法、數(shù)據(jù)三個核心層面持續(xù)創(chuàng)新，共同探索通信和計算深度融合的新機制，以及更加完善且具有實際應(yīng)用價值的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范。
中信科移動5G智能應(yīng)用研發(fā)總監(jiān)、聯(lián)合實驗室理事張巖在會上首次公布了網(wǎng)聯(lián)協(xié)同智能實驗室的規(guī)劃布局，并展示了實驗室的最新三大研究成果：基于通信網(wǎng)絡(luò)的多模態(tài)融合數(shù)據(jù)集、融合感知系統(tǒng)、超低時延相機。
基于通信網(wǎng)絡(luò)的多模態(tài)融合數(shù)據(jù)集
在西安交通大學(xué)鄭南寧院士指導(dǎo)下，中信科移動與北京大學(xué)、西安交通大學(xué)、香港科技大學(xué)等多所知名院校聯(lián)合發(fā)布基于通信網(wǎng)絡(luò)的多模態(tài)融合數(shù)據(jù)集，具備多車端、多路端多視角、多模態(tài)感知信息、多類型標(biāo)注多場景采集、多種通信條件等完備性特征。可用于智能導(dǎo)航規(guī)劃，車輛多感知決策；民用無人駕駛航空試驗、智能融合空地系統(tǒng)建設(shè)等低空經(jīng)濟產(chǎn)業(yè)；實時地圖構(gòu)建與更新，智能AGV規(guī)劃與導(dǎo)航等多種垂直行業(yè)應(yīng)用。
融合感知系統(tǒng)
中信科移動依托自主研發(fā)的視覺2D/3D目標(biāo)檢測算法、雷達(dá)目標(biāo)檢測算法、融合感知算法以及定制化事件檢測算法，聯(lián)合西安交通大學(xué)鄭南寧院士團隊共同打造出業(yè)內(nèi)領(lǐng)先的融合感知系統(tǒng)。分別適配激光雷達(dá)、毫米波雷達(dá)和相機等多傳感器的多模態(tài)數(shù)據(jù)，可在X86、ARM及ASIC等多種異構(gòu)計算平臺上靈活部署。雙方持續(xù)緊密合作，通過以數(shù)據(jù)為中心的AI閉環(huán)不斷迭代，結(jié)合非線性優(yōu)化與高斯濾波及環(huán)境先驗分布，相比于業(yè)界通用方案，進(jìn)一步降低對時空標(biāo)定的強依賴，實現(xiàn)更優(yōu)的時空同步，實時輸出更可信且可靠的感知數(shù)據(jù)，可在實際場景中為輔助駕駛、高級別自動駕駛等提供可用感知數(shù)據(jù)，解決長尾問題，突破應(yīng)用瓶頸。
超低時延相機
中信科移動聯(lián)合舜宇光學(xué)研究院定制化開發(fā)了超低時延相機、ISP算法和自研系統(tǒng)平臺，實現(xiàn)更低延時和更高幀率的圖像輸出；相機內(nèi)置GPS高精度定位，支持與外部傳感器（激光雷達(dá)、相機）的時間同步，進(jìn)一步將融合感知的確定性時延大幅降低，真正滿足數(shù)據(jù)融合的需求，降低端到端全鏈路時延，數(shù)據(jù)響應(yīng)更加及時可靠，可用于多種時延敏感性視覺應(yīng)用場景。
聯(lián)合實驗室將充分發(fā)揮產(chǎn)學(xué)研聯(lián)合創(chuàng)新的優(yōu)勢，在AI核心三要素算力、算法和數(shù)據(jù)層面持續(xù)突破，深度融合5G網(wǎng)絡(luò)和人工智能應(yīng)用，依托算力基站、邊緣計算單元等構(gòu)建智能化算力網(wǎng)絡(luò)，利用算力節(jié)點的動態(tài)調(diào)度，實現(xiàn)大規(guī)模數(shù)據(jù)應(yīng)用場景中算力和通信帶寬的動態(tài)均衡，最大化數(shù)據(jù)閉環(huán)的效能，為智能物流、智慧工廠、智慧礦山、智慧交通、智慧能源等垂直行業(yè)提供更高級別的智能化應(yīng)用及服務(wù)，同時共享更具實際應(yīng)用價值的數(shù)據(jù)集以及數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范。
未來，中信科移動將與西安交通大學(xué)一起，共同探索產(chǎn)學(xué)研合作的新模式、新機制，推動科技創(chuàng)新和產(chǎn)業(yè)發(fā)展，為國家重大戰(zhàn)略及經(jīng)濟社會發(fā)展做出更大的貢獻(xiàn)。
