本文源于:長安汽車智能化研究院

業(yè)務(wù)場景介紹

1.?公司簡介:長安汽車，全稱“重慶長安汽車股份有限公司”，是中國領(lǐng)先的汽車制造商之一，以廣泛的產(chǎn)品線和創(chuàng)新技術(shù)而聞名。長安汽車不僅提供多種乘用車和商用車，還在智能網(wǎng)聯(lián)汽車技術(shù)方面處于行業(yè)前沿，特別是在車聯(lián)網(wǎng)平臺的開發(fā)上。

車聯(lián)網(wǎng)平臺是長安汽車智能化戰(zhàn)略的核心組成部分，該平臺利用云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)和人工智能等技術(shù)，實現(xiàn)車輛與外部環(huán)境、其他車輛以及交通基礎(chǔ)設(shè)施的互聯(lián)互通。其核心平臺VOT實現(xiàn)了萬級車輛實時在線、毫秒級通訊互聯(lián)、完整的生態(tài)接入能力，并在此基礎(chǔ)上提供實時數(shù)據(jù)采集、海量數(shù)據(jù)分析計算、實時預(yù)警車輛故障、保證車輛安全駕駛等功能，顯著提升了用戶的用車體驗。

2.?業(yè)務(wù)全景介紹:長安汽車智能化研究院承擔(dān)了長安汽車智能化轉(zhuǎn)型的重要角色，其車聯(lián)網(wǎng)平臺是公司智能化戰(zhàn)略的重要組成部分，該平臺借助大數(shù)據(jù)、云計算和人工智能等先進(jìn)的數(shù)字技術(shù)，為消費者提供更安全、更舒適、更便捷的智能駕駛體驗。主要包含的業(yè)務(wù)如下:

車聯(lián)網(wǎng)核心平臺VOT:公司基于超大規(guī)模云原生架構(gòu)下設(shè)計的車云核心服務(wù)，業(yè)務(wù)涵蓋車輛遠(yuǎn)控、車況、事件通訊、服務(wù)編排、規(guī)則引擎等核心能力，通過物聯(lián)網(wǎng)時序數(shù)據(jù)庫IoTDB實現(xiàn)了萬級的車輛穩(wěn)定接入、千萬點每秒的數(shù)據(jù)并發(fā)處理以及超高的終端接入兼容性，是長安汽車所有車輛的云上大腦。

數(shù)據(jù)分析平臺:公司基于Apache Doris升級了車聯(lián)網(wǎng)數(shù)據(jù)分析平臺，支持單日百億級別數(shù)據(jù)的實時處理，并能實現(xiàn)十億級別數(shù)據(jù)查詢的秒級響應(yīng)。該平臺為長安汽車在提升用戶用車體驗、實時預(yù)警車輛故障、保證車輛安全駕駛等方面帶來顯著成果。

云器Lakehouse大數(shù)據(jù)平臺:公司建設(shè)了基于云器Lakehouse的車聯(lián)網(wǎng)大數(shù)據(jù)平臺，面對超大規(guī)模數(shù)據(jù)量和業(yè)務(wù)的飛速發(fā)展，解決了成本高、用數(shù)難、運維煩等挑戰(zhàn)。

車聯(lián)網(wǎng)業(yè)務(wù)整體架構(gòu)圖

3.?平臺時序數(shù)據(jù)管理能力建設(shè):伴隨著長安汽車旗下主要品牌（包括阿維塔、深藍(lán)、啟源等）的迅猛擴(kuò)張以及智能網(wǎng)聯(lián)汽車的數(shù)量呈指數(shù)級增長，車聯(lián)網(wǎng)平臺迎來了比較罕見的壓力。這種增長不僅給車聯(lián)網(wǎng)平臺帶來了數(shù)據(jù)并發(fā)處理的挑戰(zhàn)，也導(dǎo)致了平臺海量數(shù)據(jù)處理成本的上升、效率的下降以及實時和歷史數(shù)據(jù)存儲費用的增加。

具體來看，車況信息作為眾多車輛數(shù)據(jù)中的核心數(shù)據(jù)，海量的連接數(shù)量導(dǎo)致數(shù)據(jù)上報量也呈指數(shù)級增長。在當(dāng)前的日活躍用戶數(shù)下，每日實時上行的車況數(shù)據(jù)量已達(dá)到驚人的200T。

IoTDB作為長安汽車車聯(lián)網(wǎng)平臺的核心數(shù)據(jù)存儲引擎，扮演著至關(guān)重要的角色，不僅支持高并發(fā)的讀寫操作，還負(fù)責(zé)歷史數(shù)據(jù)的長期存儲。

業(yè)務(wù)需求痛點

1.?海量并發(fā)寫入性能低。當(dāng)前，在長安汽車閑時活躍用戶量約200萬的情況下，車聯(lián)網(wǎng)平臺實時上傳的車況數(shù)據(jù)并發(fā)量已經(jīng)穩(wěn)定在數(shù)十萬級別。由于不同車型導(dǎo)致的車況模板信息需求差異，動態(tài)存儲成為了一個迫切需要解決的問題。

同時，相比傳統(tǒng)汽車，智能汽車領(lǐng)域單個智能汽車的數(shù)據(jù)交互量呈現(xiàn)出數(shù)十倍的增長。以長安汽車近千萬的日活躍用戶量計算，長安汽車車聯(lián)網(wǎng)平臺長期承受著每秒超過50萬次的數(shù)據(jù)傳輸壓力。如此海量數(shù)據(jù)壓力下，傳統(tǒng)數(shù)據(jù)庫面臨著服務(wù)器資源高負(fù)載和寫入性能的雙重挑戰(zhàn)。

2.?存儲與查詢靈活性差。在面對這些挑戰(zhàn)時，長安汽車現(xiàn)有車況數(shù)據(jù)存儲引擎HBase表現(xiàn)出明顯的劣勢:原數(shù)據(jù)存儲引擎數(shù)據(jù)模型基于行鍵、列族和時間戳，所有的數(shù)據(jù)訪問模式都必須圍繞該模型設(shè)計。若數(shù)據(jù)訪問模式與 HBase 的數(shù)據(jù)模型不匹配，可能會導(dǎo)致查詢效率降低。

而且，HBase 不支持像傳統(tǒng)關(guān)系型數(shù)據(jù)庫般的聯(lián)結(jié)操作和復(fù)雜的事務(wù)處理。因此在需要進(jìn)行復(fù)雜查詢的應(yīng)用場景中，HBase 可能并不是理想選擇。

此外，HBase 的查詢通常涉及全表掃描，這在大型表中會消耗大量資源和時間。盡管這一問題可以通過使用過濾器來減少掃描的數(shù)據(jù)量，但仍然是一個需要考慮的性能瓶頸。

3.?歷史數(shù)據(jù)存儲成本高。HBase 作為一種基于列的存儲解決方案，雖然適合存儲稀疏數(shù)據(jù)，但在處理高頻更新和小批量隨機(jī)讀寫操作時效率并不理想。同時，盡管 HBase 支持 GZIP、Snappy 等多種壓縮算法以有效減少存儲空間占用，但這些操作可能會增加 CPU 使用率，并降低數(shù)據(jù)的讀寫性能，從而無法滿足大數(shù)據(jù)量下數(shù)據(jù)實時處理的需求。

4.?中心計算資源緊張。長安汽車原有的車況數(shù)據(jù)架構(gòu)基于純云端的 HBase 存儲，強烈依賴于 Hadoop 生態(tài)計算架構(gòu)，這種計算架構(gòu)并非輕量級，其所有計算成本都緊密圍繞著建立的生態(tài)系統(tǒng)。這種依賴性，對云核心的負(fù)載造成了極大壓力。

此外，HBase 基于單個主節(jié)點的集群架構(gòu)，在面臨故障時雖然可以繼續(xù)連接其他區(qū)域（region），但主節(jié)點的恢復(fù)時間較長，從而導(dǎo)致計算鏈路性能下降，這也意味著所有計算壓力都集中在云端，單就HBase而言其復(fù)雜的架構(gòu)難以在邊緣節(jié)點上部署。

選型 IoTDB 原因

1.?支持動態(tài)模板的海量并發(fā)處理能力。IoTDB基于時間序列的存儲結(jié)構(gòu)優(yōu)化與Hbase針對基于時間序列的固定模板不同，IoTDB的元數(shù)據(jù)模板支持動態(tài)的增刪改查，并在此基礎(chǔ)上實現(xiàn)了物理量元數(shù)據(jù)共享，優(yōu)化了存儲及使用成本。

IoTDB也支持高并發(fā)連接，單臺服務(wù)器可以處理數(shù)萬次并發(fā)連接/秒，具備高寫入吞吐的特點;單核處理寫入請求可以達(dá)到數(shù)萬次/秒，單臺服務(wù)器的寫入性能可以達(dá)到數(shù)千萬點/秒;在集群環(huán)境下，寫入性能可以線性擴(kuò)展，集群的寫入性能可達(dá)數(shù)億點/秒。

2.?實時讀寫與有效壓縮兼顧。IoTDB使用更有效的時間序列數(shù)據(jù)壓縮技術(shù)，如 Gorilla 編碼，可以在保持較高壓縮比的同時，實現(xiàn)快速的數(shù)據(jù)讀寫，既降低了歷史車況的存儲壓力，又滿足了車聯(lián)網(wǎng)下車況數(shù)據(jù)的實時使用場景。

3.?端云計算架構(gòu)。IoTDB 的輕量級架構(gòu)適用于邊緣設(shè)備，具有有效的數(shù)據(jù)管理和存儲能力。在邊緣節(jié)點，IoTDB支持低延遲的查詢，使實時數(shù)據(jù)分析成為可能;終端層的數(shù)據(jù)通過邊緣層的IoTDB進(jìn)行實時采集、處理和存儲，并進(jìn)行一系列的分析任務(wù)后，后續(xù)數(shù)據(jù)可上傳到云端IoTDB，滿足車聯(lián)網(wǎng)領(lǐng)域中大規(guī)模數(shù)據(jù)存儲、高速數(shù)據(jù)攝入和復(fù)雜數(shù)據(jù)分析的需求。

邊緣IoTDB結(jié)合IoTDB云版本，可以支持在不同環(huán)境中管理時間序列數(shù)據(jù)，提升數(shù)據(jù)質(zhì)量，降低云計算的成本。

IoTDB時序數(shù)據(jù)管理流程簡述

長安汽車車聯(lián)網(wǎng)平臺原有方案采取較為簡單的車況上報，經(jīng)由網(wǎng)關(guān)轉(zhuǎn)發(fā)后實時車況存儲在redis，歷史車況存儲在Hbase。

基于IoTDB的新方案采用端云協(xié)作計算，部分車況數(shù)據(jù)在終端進(jìn)行數(shù)據(jù)整合，也可根據(jù)特定需求（如國家采集標(biāo)準(zhǔn)的數(shù)據(jù)格式轉(zhuǎn)換、周期數(shù)據(jù)整合等）自行在終端進(jìn)行簡單計算、短期存儲。按照配置上傳云端，通過規(guī)則引擎進(jìn)行分發(fā)后，基于IoTDB實時性高的特征，同時進(jìn)行實時數(shù)據(jù)推送、實時數(shù)據(jù)redis存儲、歷史數(shù)據(jù)IoTDB落庫并提供查詢接口做數(shù)據(jù)統(tǒng)一。

車聯(lián)網(wǎng)平臺VOT完整架構(gòu)圖

應(yīng)用效果

1.?車況上報百萬并發(fā)寫入。面向長安汽車萬級在線車輛實時車況數(shù)據(jù)上報、實時存儲查詢場景，IoTDB每秒寫入能力達(dá)到800w+，并且支持水平擴(kuò)展承載更高的壓力。

當(dāng)前，長安汽車VOT平臺實時接入車輛數(shù)量達(dá)到200萬輛，每日產(chǎn)生的數(shù)據(jù)量高達(dá)1500億條記錄。在這種規(guī)模下，依托IoTDB打造的新系統(tǒng)能夠保持寫入延遲在毫秒級別，數(shù)據(jù)實現(xiàn)快速可靠寫入。

平臺單日產(chǎn)生的數(shù)據(jù)量累計約200T，在經(jīng)過IoTDB有效實時存儲處理后，數(shù)據(jù)量得以大幅壓縮，最終存儲量約為30T，實現(xiàn)了約10倍的數(shù)據(jù)壓縮比例。在當(dāng)前的數(shù)據(jù)存量（覆蓋近90天的時間范圍）下，IoTDB在大數(shù)據(jù)處理和存儲方面的卓越性能得以體現(xiàn)。

2.?歷史車況有效查詢。針對目前長安汽車的萬億級車況數(shù)據(jù)，IoTDB將查詢延遲控制在50ms內(nèi)，完全滿足所需性能。

此外，VOT平臺的數(shù)據(jù)處理架構(gòu)設(shè)計充分考慮到高并發(fā)和大數(shù)據(jù)量的挑戰(zhàn)，并基于IoTDB及其完善的生態(tài)接入能力，通過采用先進(jìn)的數(shù)據(jù)索引和查詢優(yōu)化技術(shù)，從而支持快速的數(shù)據(jù)檢索和分析。

不僅如此，平臺還集成了機(jī)器學(xué)習(xí)算法，用于智能預(yù)測和維護(hù)車輛狀態(tài)，進(jìn)一步提升數(shù)據(jù)處理的效率和準(zhǔn)確性。這些技術(shù)的應(yīng)用不僅提高數(shù)據(jù)處理的速度、降低運維成本，也為用戶提供了更加穩(wěn)定和可靠的服務(wù)體驗。

3.?平臺效果展示

啟源App首頁

車聯(lián)網(wǎng)VOT服務(wù)管理

（推廣）