伴隨著以“數(shù)據(jù)資產(chǎn)”與“數(shù)據(jù)安全”為核心的政策頻出,數(shù)據(jù)治理市場(chǎng)迎來(lái)高速發(fā)展。與此同時(shí),《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》等一系列立法也為企業(yè)數(shù)據(jù)采集、數(shù)據(jù)安全、數(shù)據(jù)開(kāi)放等帶來(lái)了巨大挑戰(zhàn)。
對(duì)于企業(yè)來(lái)說(shuō),數(shù)據(jù)治理是完成數(shù)字化運(yùn)營(yíng)閉環(huán)的重要基礎(chǔ),數(shù)據(jù)治理的質(zhì)量直接影響數(shù)據(jù)應(yīng)用過(guò)程中的數(shù)據(jù)價(jià)值體現(xiàn)。
一、什么是數(shù)據(jù)治理
數(shù)據(jù)治理是一個(gè)組織內(nèi)部管理和使用數(shù)據(jù)的框架和實(shí)踐的集合。它涉及到數(shù)據(jù)的創(chuàng)建、存儲(chǔ)、訪問(wèn)、共享、保護(hù)和銷(xiāo)毀等多個(gè)方面。數(shù)據(jù)治理的主要目的是確保數(shù)據(jù)的質(zhì)量、可用性、一致性、安全性和合規(guī)性。數(shù)據(jù)治理對(duì)于任何依賴數(shù)據(jù)進(jìn)行決策的組織來(lái)說(shuō)都是至關(guān)重要的,它有助于提高業(yè)務(wù)效率,降低風(fēng)險(xiǎn),并確保數(shù)據(jù)的長(zhǎng)期價(jià)值。
DAMA(國(guó)際數(shù)據(jù)管理協(xié)會(huì))認(rèn)為,數(shù)據(jù)治理指的是對(duì)數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動(dòng)集合(計(jì)劃、監(jiān)督和執(zhí)行)。
阿里研究院認(rèn)為,數(shù)據(jù)治理是建立在數(shù)據(jù)存儲(chǔ)、訪問(wèn)、驗(yàn)證、保護(hù)和使用之上的一系列程序、標(biāo)準(zhǔn)、角色和指標(biāo),以期通過(guò)持續(xù)的評(píng)估、指導(dǎo)和監(jiān)督,確保富有成效且有效的數(shù)據(jù)利用,促進(jìn)跨組織協(xié)作和結(jié)構(gòu)化決策,為企業(yè)創(chuàng)造價(jià)值。
綜合各家之言,神策數(shù)據(jù)認(rèn)為,數(shù)據(jù)治理廣義上包含所有數(shù)據(jù)事項(xiàng)決策,狹義上包含數(shù)據(jù)采集、存儲(chǔ)、質(zhì)量、管理、應(yīng)用等關(guān)鍵流程。
二、企業(yè)數(shù)據(jù)治理面臨的六大痛點(diǎn)
企業(yè)數(shù)據(jù)治理的整體目標(biāo)是持續(xù)運(yùn)營(yíng)數(shù)據(jù)價(jià)值,推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型。
目前,企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中面臨著來(lái)自業(yè)務(wù)、組織架構(gòu)、技術(shù)等方面的痛點(diǎn),總結(jié)如下:
1. 組織架構(gòu)不適配,推進(jìn)難度大
數(shù)據(jù)治理的整體運(yùn)作需要很高的數(shù)據(jù)管理統(tǒng)一性和一致性,傳統(tǒng)的企業(yè)組織架構(gòu)往往沒(méi)有單獨(dú)的數(shù)據(jù)管理部門(mén),數(shù)據(jù)治理相關(guān)業(yè)務(wù)由信息科技部門(mén)代為統(tǒng)籌,導(dǎo)致數(shù)據(jù)管理團(tuán)隊(duì)和角色比較分散,相關(guān)工作無(wú)法順利推進(jìn)。
2. 數(shù)據(jù)采集和獲取困難,數(shù)據(jù)源格式、類型均不統(tǒng)一
企業(yè)在數(shù)據(jù)治理的過(guò)程中,需要對(duì)接其現(xiàn)有的業(yè)務(wù)系統(tǒng)、自有觸點(diǎn)以及各類三方數(shù)據(jù)源。但是,當(dāng)前企業(yè)普遍存在的問(wèn)題是,數(shù)據(jù)源缺乏統(tǒng)一的標(biāo)準(zhǔn),不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)格式、類型不統(tǒng)一,導(dǎo)致整體數(shù)據(jù)獲取和對(duì)接的成本較高。
3. 數(shù)據(jù)孤島效應(yīng)嚴(yán)重,數(shù)據(jù)標(biāo)識(shí)不一致導(dǎo)致數(shù)據(jù)打通困難
企業(yè)的整體業(yè)務(wù)架構(gòu)下包含各類獨(dú)立運(yùn)作的數(shù)據(jù)系統(tǒng),每一類數(shù)據(jù)的來(lái)源都不同且離散,數(shù)據(jù)孤島情況非常嚴(yán)重,企業(yè)在數(shù)據(jù)治理過(guò)程中缺乏合適的數(shù)據(jù)模型、架構(gòu)和框架設(shè)計(jì)。同時(shí),企業(yè)普遍缺乏合適的數(shù)據(jù)模型來(lái)承載全部來(lái)源的數(shù)據(jù),數(shù)據(jù)模型本身的抽象難度較大,需要同時(shí)考慮數(shù)據(jù)屬性和業(yè)務(wù)場(chǎng)景,進(jìn)行數(shù)據(jù)盤(pán)點(diǎn),實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化和統(tǒng)一。
4. 企業(yè)數(shù)據(jù)質(zhì)量管理困難,問(wèn)題積壓嚴(yán)重
企業(yè)缺乏數(shù)據(jù)質(zhì)量的管理體系和方法論,對(duì)于數(shù)據(jù)質(zhì)量缺乏合理的評(píng)估體系,缺少打分機(jī)制,無(wú)法診斷數(shù)據(jù)質(zhì)量問(wèn)題的嚴(yán)重性,導(dǎo)致質(zhì)量問(wèn)題大量積壓對(duì)業(yè)務(wù)造成嚴(yán)重影響;另外,企業(yè)無(wú)法對(duì)數(shù)據(jù)質(zhì)量做主動(dòng)監(jiān)控,只能在發(fā)現(xiàn)問(wèn)題后亡羊補(bǔ)牢,大大增加了企業(yè)的數(shù)據(jù)維護(hù)成本。
5. 企業(yè)數(shù)據(jù)管理混亂
從宏觀來(lái)看,企業(yè)對(duì)數(shù)據(jù)的生命周期無(wú)法進(jìn)行管控,數(shù)據(jù)的熱度、數(shù)據(jù)的老化情況無(wú)法得知,數(shù)據(jù)日益臃腫,資源占用、成本日益攀升;從微觀來(lái)看,企業(yè)數(shù)據(jù)命名定義混亂,數(shù)據(jù)一致性無(wú)法得到保障,且數(shù)據(jù)之間缺少數(shù)據(jù)關(guān)聯(lián)關(guān)系、血緣情況,加大了整體數(shù)據(jù)管理的難度。
6. 數(shù)據(jù)開(kāi)放風(fēng)險(xiǎn)大,數(shù)據(jù)合規(guī)安全不可控
企業(yè)數(shù)據(jù)在對(duì)外輸出時(shí),無(wú)法提供靈活的數(shù)據(jù)使用接口,很難實(shí)現(xiàn)靈活的數(shù)據(jù)流量控制、脫敏處理,導(dǎo)致數(shù)據(jù) API 定制化程度高。與此同時(shí),企業(yè)缺乏數(shù)據(jù)合規(guī)的管理機(jī)制以及技術(shù)工具,對(duì)數(shù)據(jù)上報(bào)和數(shù)據(jù)傳輸無(wú)法進(jìn)行及時(shí)的控制和檢查。
三、詳解神策數(shù)據(jù)的數(shù)據(jù)治理完整方案
數(shù)據(jù)治理的核心目標(biāo)是幫助企業(yè)整合數(shù)據(jù)資產(chǎn),發(fā)揮數(shù)據(jù)資產(chǎn)價(jià)值,賦能企業(yè)形成數(shù)字化的業(yè)務(wù)閉環(huán),實(shí)現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型。神策數(shù)據(jù)的數(shù)據(jù)治理方案包括數(shù)據(jù)采集、數(shù)據(jù)打通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)管理、數(shù)據(jù)安全五大關(guān)鍵點(diǎn)。接下來(lái)詳細(xì)介紹。
1. 數(shù)據(jù)采集:通過(guò) SDK 等數(shù)據(jù)合規(guī)采集工具,實(shí)現(xiàn)全端數(shù)據(jù)資產(chǎn)積累
數(shù)據(jù)治理應(yīng)擁有統(tǒng)一的數(shù)據(jù)合規(guī)采集框架,并支持多種數(shù)據(jù)采集方式。企業(yè)可以通過(guò)50+ 種 SDK 靈活適配各類數(shù)據(jù)源,完成全域數(shù)據(jù)源的有效采集。
對(duì)于外部數(shù)據(jù)的接入,企業(yè)可以通過(guò)多種通道快速完成,并在數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)的分析、可視化。預(yù)置通道集成了一方業(yè)務(wù)數(shù)據(jù)庫(kù)、Excel 等數(shù)據(jù)文件、三方電商渠道、微信生態(tài)的私域數(shù)據(jù)接入。同時(shí),為了包容其他數(shù)據(jù)源,整體設(shè)計(jì)以插件化的方式進(jìn)行,企業(yè)可以快速集成其他數(shù)據(jù)通道。
2. 數(shù)據(jù)打通:通過(guò)實(shí)時(shí)一對(duì)多的 ID-Mapping,構(gòu)建全局統(tǒng)一的用戶體系
數(shù)據(jù)打通的核心是實(shí)現(xiàn)數(shù)據(jù)模型和標(biāo)準(zhǔn)的統(tǒng)一。
企業(yè)數(shù)據(jù)的存儲(chǔ)在分層基礎(chǔ)上考慮數(shù)據(jù)模型本身的設(shè)計(jì),一方面要考慮當(dāng)前數(shù)據(jù)的實(shí)際情況,另一方面考慮業(yè)務(wù)對(duì)數(shù)據(jù)的實(shí)際訴求,共同構(gòu)建整個(gè)企業(yè)統(tǒng)一的數(shù)據(jù)模型體系。
數(shù)據(jù)模型和標(biāo)準(zhǔn)完成統(tǒng)一之后,基于 ID 之間的準(zhǔn)確匹配,企業(yè)可以將兩個(gè)不同用戶在同一用戶標(biāo)識(shí)下 ID 相一致的用戶進(jìn)行關(guān)聯(lián),并以此將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行用戶 ID 打通。通過(guò) ID 之間兩兩映射關(guān)系表,打通多種 ID。
企業(yè)可以在系統(tǒng)中統(tǒng)一維護(hù)各個(gè)業(yè)務(wù)系統(tǒng)或者數(shù)據(jù)來(lái)源的用戶身份標(biāo)識(shí),并為每個(gè)用戶身份標(biāo)識(shí)設(shè)置優(yōu)先級(jí),系統(tǒng)會(huì)根據(jù)維護(hù)的用戶標(biāo)識(shí)和其對(duì)應(yīng)的 ID 優(yōu)先級(jí),自動(dòng)打通接入的數(shù)據(jù)。
3. 數(shù)據(jù)質(zhì)量:構(gòu)建數(shù)據(jù)治理監(jiān)控體系,異常數(shù)據(jù)監(jiān)控報(bào)警及在線修復(fù)
在數(shù)據(jù)質(zhì)量看板中,企業(yè)可以結(jié)合業(yè)務(wù)進(jìn)行梳理,通過(guò)可視化的形式選擇數(shù)據(jù)和字段對(duì)數(shù)據(jù)質(zhì)量規(guī)則進(jìn)行配置,定義接入數(shù)據(jù)需要滿足的質(zhì)量要求。
根據(jù)設(shè)定的數(shù)據(jù)質(zhì)量規(guī)則,所有進(jìn)入的數(shù)據(jù)都會(huì)主動(dòng)進(jìn)行規(guī)則校驗(yàn),不符合規(guī)則的數(shù)據(jù)會(huì)被異常通報(bào),實(shí)時(shí)反饋給數(shù)據(jù)使用者。同時(shí),平臺(tái)會(huì)對(duì)異常數(shù)據(jù)進(jìn)行實(shí)時(shí)修復(fù)和改正,并及時(shí)調(diào)整上游數(shù)據(jù)和規(guī)則。
4. 數(shù)據(jù)管理:打造一站式數(shù)據(jù)資產(chǎn)管理平臺(tái),隨時(shí)掌控?cái)?shù)據(jù)大盤(pán)
在數(shù)據(jù)資產(chǎn)管理過(guò)程中,企業(yè)數(shù)據(jù)管理人員可以通過(guò)可視化的數(shù)據(jù)資產(chǎn)管理平臺(tái),快速查看當(dāng)前數(shù)據(jù)大盤(pán)情況,也可以快速查詢?nèi)肟跈z索需要的數(shù)據(jù)。
數(shù)據(jù)開(kāi)放平臺(tái)通過(guò)數(shù)據(jù) API 的方式將平臺(tái)數(shù)據(jù)提供給業(yè)務(wù)部門(mén),實(shí)現(xiàn)對(duì)業(yè)務(wù)的數(shù)字賦能;數(shù)據(jù)地圖能夠按照不同的業(yè)務(wù)主體對(duì)數(shù)據(jù)進(jìn)行集中化管理,幫助不同的業(yè)務(wù)部門(mén)整理和管控整個(gè)部門(mén)所屬的數(shù)據(jù)資產(chǎn)。
5. 數(shù)據(jù)安全與合規(guī):嚴(yán)格控制數(shù)據(jù)安全分級(jí),切實(shí)遵守?cái)?shù)據(jù)相關(guān)法律法規(guī)
神策數(shù)據(jù)的數(shù)據(jù)治理方案可以面向不同的使用者提供不同數(shù)據(jù)安全級(jí)別的控制,從取數(shù)和訪問(wèn)流程對(duì)數(shù)據(jù)進(jìn)行隔離和區(qū)分,同時(shí)提供專門(mén)針對(duì)數(shù)據(jù)安全的服務(wù)控制,切實(shí)保障企業(yè)數(shù)據(jù)安全。
神策數(shù)據(jù)的數(shù)據(jù)治理方案貫穿企業(yè)整個(gè)業(yè)務(wù)流程,在合規(guī)的前提下,為企業(yè)提供實(shí)時(shí)、有效、規(guī)范化的數(shù)據(jù)接入、全域數(shù)據(jù)標(biāo)識(shí)打通以及數(shù)據(jù)質(zhì)量的把控和管理,幫助企業(yè)沉淀數(shù)據(jù)資產(chǎn),為數(shù)據(jù)應(yīng)用打下良好的數(shù)據(jù)根基。
(推廣)