ECCV 2024：開放視覺語義理解領域領航者，中科視語卓越技術再獲全球第一
中科視語，卓越技術實力再獲國際權威認可！
不久前，2024計算機視覺領域的頂級學術會議ECCV在全球目光注視中順利落幕，ECCV的全稱是European Conference on Computer Vision（歐洲計算機視覺國際會議），是兩年一度的全球計算機視覺領域與模式識別領域最頂尖的學術會議。其與CVPR(IEEE/CVF Computer Vision and Pattern Recognition Conference)、ICCV(IEEE/CVF International Conference on Computer Vision)一起并稱為計算機視覺領域的三大最高級別的頂級會議。本次會議上，備受關注的開放世界魯棒語義分割挑戰賽BRAVO 2024 (a unified Benchmark for Robustness in Autonomous Vehicles in the Open-world，簡稱BRAVO)也在同期結束了“巔峰對決”，在本次比賽中，中科視語AI團隊以62.6的出色成績，從全球17個國家和地區，百余支頂尖AI團隊中脫穎而出，摘下桂冠。這也是中科視語在2024年登頂工業異常檢測挑戰賽桂冠后，面向圖像語義分割技術的又一次實力展示。
中科視語AI團隊斬獲 多域圖像語義分割 賽道(BRAVO 2024）賽道第一名
開放世界魯棒語義分割挑戰賽BRAVO
自動駕駛汽車需要在極其復雜的開放世界中運行，保障乘客安全極其重要。因此，自動駕駛系統不僅需要在其已知域中表現出色，而且必須對對抗性攻擊、極端天氣條件、未知域環境、或罕見但可能具有災難性的駕駛情況，具有非常高的魯棒性。BRAVO比賽旨在開發、測試以及評估自動駕駛感知模型的魯棒性，以應對以下以安全自動駕駛為目標的挑戰：a）模型輸出的校準及其不確定性的估計；b）檢測域外目標或者區域；c）評估逐漸偏離預期已知域的域偏移程度。
BRAVO比賽旨在對城市場景中各種形式的自然條件和逼真的損壞模擬，對圖像語義分割模型進行基準測試。本次BRAVO比賽分為兩個賽道：
1.單域訓練：僅在 Cityscapes 數據集上訓練模型，評估模型在有限監督和地理多樣性下，面對現實場景中意外損壞時的魯棒性。
2.多域訓練：在多個混合數據集上訓練模型，包括自然域和合成域，評估分割模型在多域數據集條件下對未知域的魯棒性。
BRAVO比賽需要模型在測試階段，能夠（1）對訓練時“特定的環境”下對“已知類別”進行語義分割；（2）對訓練階段“未知的環境”下對“已知類別”進行語義分割；（3）對訓練時“特定的環境”下對“異常類別”進行語義分割；（4）對訓練階段“未知的環境”下對“異常類別”進行語義分割。BRAVO比賽要求模型具有極高的魯棒性和泛化能力。
BRAVO四種測試數據類型示意圖
基于不確定度度量學習的圖像語義分割方法UBANet
為了有效識別出異常類別，同時能夠提高模型的泛化能力，研究團隊提出了基于不確定度度量學習的圖像語義分割方法UBANet，通過對模型預測的不確定度進行建模和函數近似，從而優化模型預測的不確定度，提高模型對于已知類別和未知類別的區分度，進一步增強模型的泛化能力。
UBANet 結構圖
先驗引導結構設計的FastSAM 細粒度分割方法
為了進一步優化語義分割的邊緣準確性，研究團隊采用FastSAM來對模型的預測結果進行邊緣平滑。FastSAM包括兩個階段，即全實例分割和提示引導選擇階段。前一個階段是基礎階段，第二個階段本質上是面向任務的后處理。整體方法引入了與視覺分割任務相匹配的先驗知識，可以在較少的參數數量下更快地收斂。
FastSAM 結構圖
圖像語義分割有效助力智慧交通和智慧工業實現應用落地
中科視語AI團隊通過在圖像語義分割領域多年的深耕，積累了豐富的研究經驗與眾多應用落地案例。
在智慧交通領域，中科視語展現出強大的實力，高效地完成了從先進技術到商業化落地的轉化。智慧交通拳頭產品借助圖像語義分割技術，對交通場景實施實時監控，精準識別車輛、行人、交通標志等，為交通管理部門提供可靠決策依據。同時，該技術還具備交通流量統計、事故預警等強大功能，為智慧交通的蓬勃發展提供堅實技術支撐。
在道路瑕疵檢測方面，圖像語義分割再度彰顯關鍵作用。通過中科視語先進算法，實現對道路圖像進行精細分析，自動識別裂縫、坑洼等各類瑕疵，準確區分道路不同部分并定位瑕疵位置。這一技術大幅提升檢測效率，降低人工巡檢成本與時間，實現實時監測，及時發現道路問題，為道路維護提供精準信息，有力推動交通基礎設施不斷完善。
除此之外，圖像語義分割在無人駕駛領域發揮著至關重要的作用。它能夠對車輛周圍的環境進行精確分析，區分道路、車輛、行人、交通標志等不同元素。通過圖像語義分割技術，無人駕駛汽車可以準確識別行駛路徑，及時避開障礙物，極大地提高行駛的安全性。同時，該技術還能幫助車輛更好地理解交通場景，輔助決策。圖像語義分割為無人駕駛的實現提供了強大的技術支持，推動著無人駕駛技術不斷向前發展。
在工業領域，圖像語義分割同樣價值巨大。在工業安全生產方面，實現對工廠環境實時監測分析，準確識別設備運行狀態、人員操作行為及潛在安全隱患區域，及時發出預警，有效降低安全事故發生概率。在工業質檢環節，更是大顯身手，精確區分產品不同部位，快速檢測出表面瑕疵、尺寸偏差等問題，提高質檢效率與準確性，減少人為誤差，確保產品質量一致性與可靠性，為工業領域的安全生產與高質量發展提供強大支撐。
比賽鏈接：
[1] https://uncertainty-cv.github.io/2024/challenge/
[2] https://benchmarks.elsa-ai.eu/?ch=1&com=evaluation&task=2
參考文獻：
[1] Tuan-Hung Vu, Eduardo Valle, Andrei Bursuc, Tommie Kerssies, Daan de Geus, Gijs Dubbelman, Long Qian, Bingke Zhu, Yingying Chen, Ming Tang, Jinqiao Wang, Tomás Vojír, Jan Sochman, Jirí Matas, Michael Smith, Frank P. Ferrie, Shamik Basu, Christos Sakaridis, Luc Van Gool: The BRAVO Semantic Segmentation Challenge Results in UNCV2024. CoRR abs/2409.15107 (2024)
[2] Yuanbing Zhu, Bingke Zhu, Yingying Chen, Jinqiao Wang: Uncertainty-Aware Boundary Attention Network for Real-Time Semantic Segmentation. PRCV (3) 2023: 388-400
[3] Xu Zhao, Wenchao Ding, Yongqi An, Yinglong Du, Tao Yu, Min Li, Ming Tang, Jinqiao Wang: Fast Segment Anything. CoRR abs/2306.12156 (2023)
