在"十四五"規(guī)劃全面推進(jìn)國產(chǎn)化替代的背景下，某大型電網(wǎng)企業(yè)聯(lián)合鏡舟科技與騰訊云，基于全球領(lǐng)先的開源分析型數(shù)據(jù)庫 StarRocks 及騰訊 TBDS 大數(shù)據(jù)平臺，構(gòu)建電力行業(yè)國產(chǎn)化湖倉一體架構(gòu)。該項(xiàng)目實(shí)現(xiàn) PB 級電力數(shù)據(jù)的統(tǒng)一管理，為能源行業(yè)核心系統(tǒng)國產(chǎn)化升級提供了可復(fù)制的技術(shù)范本。

一、數(shù)字電力正面臨日益復(fù)雜的數(shù)據(jù)挑戰(zhàn)

隨著數(shù)字化轉(zhuǎn)型深入推進(jìn)，該電網(wǎng)企業(yè)作為服務(wù)超 2.5 億用戶的特大型能源企業(yè)，面臨著日益復(fù)雜的數(shù)據(jù)管理挑戰(zhàn)：

（1）數(shù)據(jù)鏈路復(fù)雜，時效性低：數(shù)據(jù)供給路徑冗長，導(dǎo)致延遲高，無法滿足實(shí)時性要求。

（2）資源瓶頸：計(jì)算集群資源緊張，CPU 和 IO 高負(fù)載，限制了性能擴(kuò)展。

（3）高并發(fā)挑戰(zhàn)：先有的業(yè)務(wù)大量使用寬表設(shè)計(jì)，查詢并發(fā)壓力劇增，現(xiàn)有架構(gòu)難以支撐。

（4）融合計(jì)算能力不足：數(shù)據(jù)分散，跨集群融合計(jì)算能力缺失，限制了個性化需求支持。

（5）數(shù)據(jù)治理難度大：全域的數(shù)據(jù)資產(chǎn)建設(shè)，沒有統(tǒng)一的主題劃分，數(shù)據(jù)分散。

二、解決方案：基于 StarRocks+TBDS 構(gòu)建統(tǒng)一數(shù)據(jù)平臺

為解決上述挑戰(zhàn)，鏡舟科技作為 StarRocks 核心商業(yè)化公司，聯(lián)合騰訊云為該電網(wǎng)企業(yè)設(shè)計(jì)了一套分層漸進(jìn)式的技術(shù)升級方案。

該方案核心在于優(yōu)化數(shù)據(jù)鏈路，通過縮短供給路徑并引入實(shí)時分析引擎，有效提升數(shù)據(jù)時效性。同時，通過擴(kuò)展集群規(guī)模提升資源利用率，解決計(jì)算資源瓶頸問題。

針對高并發(fā)查詢壓力，鏡舟團(tuán)隊(duì)對查詢引擎進(jìn)行深度優(yōu)化，增強(qiáng)緩存機(jī)制和負(fù)載均衡能力。此外，通過構(gòu)建統(tǒng)一數(shù)據(jù)平臺，實(shí)現(xiàn)跨集群數(shù)據(jù)整合和計(jì)算，滿足多樣化的分析需求，并為數(shù)據(jù)治理奠定堅(jiān)實(shí)基礎(chǔ)。

在該電網(wǎng)企業(yè)實(shí)際業(yè)務(wù)場景下的 POC 測試中，StarRocks 展現(xiàn)了顯著的性能優(yōu)勢：現(xiàn)網(wǎng)系統(tǒng)查詢耗時：1513 秒，StarRocks 查詢耗時：0.176 秒，實(shí)現(xiàn)近 8600 倍的查詢加速。

1. 基于 StarRocks+TBDS 的湖倉技術(shù)架構(gòu)

該電網(wǎng)企業(yè)的湖倉架構(gòu)包含四個關(guān)鍵層次，包含從數(shù)據(jù)采集到業(yè)務(wù)應(yīng)用的全鏈路：

（1）數(shù)據(jù)接入層：Flink 實(shí)時數(shù)據(jù)處理

（2）數(shù)據(jù)湖存儲：騰訊 TBDS（Iceberg 表格式）

（3）分析加速層：StarRocks 多集群（存算一體+存算分離）

（4）業(yè)務(wù)應(yīng)用層：SmartBI 等可視化工具

2. 關(guān)鍵技術(shù)提升整體性能

方案實(shí)施過程中，團(tuán)隊(duì)重點(diǎn)解決了三大技術(shù)難題，確保系統(tǒng)平穩(wěn)過渡的同時提升整體性能：

（1）國產(chǎn)化適配驗(yàn)證

完成包括海光芯片和麒麟 V10 操作系統(tǒng)在內(nèi)的全棧國產(chǎn)化適配驗(yàn)證，保障系統(tǒng)在國產(chǎn)化基礎(chǔ)設(shè)施上的穩(wěn)定運(yùn)行。

（2）業(yè)務(wù)平滑遷移

通過支持 Greenplum 語法兼容，成功保障了存量業(yè)務(wù)的平滑遷移，并利用多集群架構(gòu)實(shí)現(xiàn)了網(wǎng)級與省側(cè)業(yè)務(wù)有效協(xié)同。

（3）湖倉數(shù)據(jù)統(tǒng)一協(xié)同

基于騰訊 TBDS 數(shù)據(jù)湖構(gòu)建統(tǒng)一元數(shù)據(jù)目錄，同時借助 Flink 實(shí)現(xiàn)實(shí)時數(shù)據(jù)入湖，StarRocks 提供強(qiáng)大的分析加速能力，形成完整的數(shù)據(jù)流轉(zhuǎn)與處理閉環(huán)。

數(shù)據(jù)底座：電力業(yè)務(wù)騰飛的新引擎

此次升級幫助該電網(wǎng)企業(yè)進(jìn)一步構(gòu)建統(tǒng)一的基礎(chǔ)數(shù)據(jù)底座，為各業(yè)務(wù)平臺提供數(shù)據(jù)存儲、處理、治理、建模和計(jì)算分析等全數(shù)據(jù)生命周期能力服務(wù)，支撐網(wǎng)省各級單位數(shù)據(jù)應(yīng)用需求。

（1）業(yè)務(wù)連續(xù)性保障：StarRocks 兼容 Greenplum 近 10 萬條 SQL 語法。支持漸進(jìn)式改造，存算分離與存算一體混合部署模式靈活可選。

（2）架構(gòu)擴(kuò)展性提升：多集群架構(gòu)實(shí)現(xiàn)分散 MPP 集群的統(tǒng)一納管，彈性擴(kuò)縮容能力適配業(yè)務(wù)增長需求。

（3）技術(shù)自主可控：全國產(chǎn)化技術(shù)棧（海光芯片+麒麟系統(tǒng)），并與騰訊 TBDS 實(shí)現(xiàn)數(shù)據(jù)湖管理標(biāo)準(zhǔn)統(tǒng)一。

未來，鏡舟科技將持續(xù)完善 StarRocks 與騰訊 TBDS 的深度協(xié)同，為關(guān)鍵行業(yè)提供安全可靠的數(shù)據(jù)基座。

鏡舟科技：企業(yè)級數(shù)據(jù)分析基座構(gòu)建者

作為 StarRocks 開源項(xiàng)目的主要貢獻(xiàn)者及商業(yè)化領(lǐng)軍企業(yè)，鏡舟科技基于“開源+商業(yè)化”雙引擎模式，推出企業(yè)級產(chǎn)品鏡舟數(shù)據(jù)庫（Mirrorship）及 Lakehouse 解決方案：

（1）技術(shù)領(lǐng)先性，支持 PB 級實(shí)時分析的分布式數(shù)據(jù)庫，并深度參與 StarRocks 開源社區(qū)建設(shè)，并基于此給企業(yè)級用戶提供更多技術(shù)保障。

（2）行業(yè)實(shí)踐積累，在金融領(lǐng)域支撐實(shí)時風(fēng)控系統(tǒng)建設(shè)，企業(yè)級客戶已覆蓋超百家頭部企業(yè)。

（推廣）