大數(shù)據(jù)分析平臺安全問題及建議

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)分析平臺安全問題及建議范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)分析在各領(lǐng)域的作用也越來越重要，隨之而來的安全問題也開始凸顯。大數(shù)據(jù)系統(tǒng)具有服務(wù)分布式、數(shù)據(jù)海量和多樣化等特性，對傳統(tǒng)數(shù)據(jù)安全和網(wǎng)絡(luò)安全技術(shù)提出了新的要求。本文以人民銀行湖南省大數(shù)據(jù)分析平臺為例，從系統(tǒng)安全、網(wǎng)絡(luò)安全及數(shù)據(jù)安全三個方面入手，分析存在的問題，提出措施建議。

關(guān)鍵詞：大數(shù)據(jù)；分析平臺；安全

2017年人民銀行科技工作會議提出：“構(gòu)建以大數(shù)據(jù)為支撐的央行決策平臺、以分布式系統(tǒng)為核心的央行服務(wù)平臺、以數(shù)字貨幣探索為龍頭的央行創(chuàng)新平臺”。人民銀行“長沙中支”迅速行動，組織開展了人民銀行湖南省大數(shù)據(jù)分析平臺的建設(shè)工作。加強(qiáng)了大數(shù)據(jù)分析技術(shù)的學(xué)習(xí)和研究，對大數(shù)據(jù)分析平臺的可行性進(jìn)行了論證，召開年度信息化項目立項審批會，將“大數(shù)據(jù)分析平臺”列為年度信息化建設(shè)項目。經(jīng)過多月開發(fā)測試，人民銀行湖南省大數(shù)據(jù)分析平臺上線運(yùn)行。2017年11月至今，完成系統(tǒng)生產(chǎn)環(huán)境部署及近3年相關(guān)業(yè)務(wù)數(shù)據(jù)導(dǎo)入，平臺運(yùn)行情況良好，各項功能達(dá)到或超過設(shè)計要求。

1應(yīng)用效果

人民銀行湖南省大數(shù)據(jù)分析平臺采用大數(shù)據(jù)領(lǐng)域的先進(jìn)技術(shù)框架，順應(yīng)大數(shù)據(jù)技術(shù)發(fā)展趨勢，便于技術(shù)的跟蹤、升級。從目前來看，大數(shù)據(jù)平臺運(yùn)行效果較好，能夠滿足業(yè)務(wù)數(shù)據(jù)大規(guī)模存儲、分析、挖掘的需要。一是為海量業(yè)務(wù)數(shù)據(jù)提供了存儲空間。該平臺能夠存儲海量數(shù)據(jù)，設(shè)計存儲量可滿足未來10年幾十億條數(shù)據(jù)的存儲。二是能在海量數(shù)據(jù)下，完成快速計算、快速統(tǒng)計。目前數(shù)億數(shù)據(jù)量情況下，根據(jù)任意條件，精確、快速定位到對應(yīng)記錄，查詢時間小于5秒。用戶進(jìn)行數(shù)據(jù)統(tǒng)計生成圖表，相應(yīng)時間在2秒以下。三是提供了多種數(shù)據(jù)展示手段，讓數(shù)據(jù)可視化。根據(jù)業(yè)務(wù)需求，該平臺提供對數(shù)據(jù)的多樣化統(tǒng)計、分析，以報表、多維分析、圖表等形式進(jìn)行展現(xiàn)，為決策提供可靠的數(shù)據(jù)支持。

2存在問題

人民銀行湖南省大數(shù)據(jù)分析平臺的成功應(yīng)用，為履職提供了強(qiáng)有力的支撐，但在應(yīng)用過程中，也發(fā)現(xiàn)存在一些安全隱患。下文結(jié)合大數(shù)據(jù)安全和傳統(tǒng)數(shù)據(jù)系統(tǒng)安全之間的差異，分析人民銀行湖南省大數(shù)據(jù)分析平臺存在的安全問題。（1）缺乏全局的安全防護(hù)體系一是大數(shù)據(jù)環(huán)境下的安全模式發(fā)生改變。在傳統(tǒng)數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)來源及用途，對于安全維護(hù)人員都是可知可控的，因而可以建立起有針對性的安全保護(hù)措施。但是在大數(shù)據(jù)系統(tǒng)中，數(shù)據(jù)海量，數(shù)據(jù)來源多種多樣，一些不經(jīng)意的問題可能造成無法預(yù)料的結(jié)果。二是大數(shù)據(jù)系統(tǒng)的應(yīng)用催生了網(wǎng)絡(luò)攻擊的新手段。傳統(tǒng)網(wǎng)絡(luò)攻擊手段，主要以癱瘓數(shù)據(jù)系統(tǒng)或竊取數(shù)據(jù)為主，攻擊方式較為直接，目的性強(qiáng)。而在大數(shù)據(jù)系統(tǒng)中，可持續(xù)攻擊（APT）被運(yùn)用得更為廣泛，攻擊持續(xù)時間長，攻擊行為也更為隱蔽，給防護(hù)帶來困難。因此，大數(shù)據(jù)安全需要具有全局的思路，綜合考慮數(shù)據(jù)的傳輸、存儲和處理過程的安全，建立多角度的防護(hù)體系。目前人民銀行湖南省大數(shù)據(jù)分析平臺的安全依賴于傳統(tǒng)的安全防護(hù)策略，尚未建立針對大數(shù)據(jù)系統(tǒng)的全局安全防護(hù)體系。（2）未實施有效的網(wǎng)絡(luò)隔離方案大數(shù)據(jù)系統(tǒng)中，網(wǎng)絡(luò)安全防護(hù)體系的建設(shè)難度較傳統(tǒng)數(shù)據(jù)系統(tǒng)高。一是由于分布式的服務(wù)器和離散的數(shù)據(jù)采集，使得訪問控制的配置難度提高，容易出現(xiàn)配置漏洞，造成非授權(quán)數(shù)據(jù)訪問風(fēng)險。二是數(shù)據(jù)在網(wǎng)絡(luò)中流動非常頻繁，而傳統(tǒng)網(wǎng)絡(luò)保護(hù)的方式對于較大較復(fù)雜的網(wǎng)絡(luò)往往力不從心，無法將監(jiān)控和保護(hù)部署到每個網(wǎng)絡(luò)節(jié)點(diǎn)，數(shù)據(jù)在流動中被竊取的可能性大大提高。目前人民銀行湖南省大數(shù)據(jù)分析平臺部署集中在省級數(shù)據(jù)中心，但是為了快速提供對外服務(wù)和同原有數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)交換，大數(shù)據(jù)系統(tǒng)未同原有數(shù)據(jù)系統(tǒng)之間采取隔離措施，大數(shù)據(jù)系統(tǒng)復(fù)用了現(xiàn)有的存儲網(wǎng)絡(luò)和應(yīng)用網(wǎng)絡(luò)，未使用獨(dú)立的安全域，這給大數(shù)據(jù)系統(tǒng)帶來了網(wǎng)絡(luò)方面的安全隱患。（3）數(shù)據(jù)泄露風(fēng)險大、溯源難度高大數(shù)據(jù)系統(tǒng)中各種數(shù)據(jù)存儲在一起，如果未采取相應(yīng)的措施進(jìn)行安全等級分類，可能出現(xiàn)違規(guī)獲取的情況。另外，進(jìn)行數(shù)據(jù)分析時，由于未進(jìn)行數(shù)據(jù)細(xì)粒度權(quán)限控制，可能出現(xiàn)數(shù)據(jù)無法按需調(diào)用的情況。數(shù)據(jù)出現(xiàn)泄露情況后，由于數(shù)據(jù)來源復(fù)雜，使用量大，數(shù)據(jù)泄露的追蹤和溯源難度高。目前人民銀行湖南省大數(shù)據(jù)分析平臺數(shù)據(jù)來源于單一業(yè)務(wù)，使用人員也集中在單一部門，數(shù)據(jù)安全風(fēng)險較低。平臺擴(kuò)展后，數(shù)據(jù)來源廣，人員復(fù)雜，數(shù)據(jù)安全風(fēng)險激增，勢必需要將數(shù)據(jù)安全防護(hù)體系與大數(shù)據(jù)系統(tǒng)同步規(guī)劃、同步建設(shè)、同步使用。

3加強(qiáng)大數(shù)據(jù)平臺數(shù)據(jù)安全的措施建議

3.1加強(qiáng)大數(shù)據(jù)系統(tǒng)本身的安全防護(hù)水平

（1）建立集中審計系統(tǒng)，對Hadoop的數(shù)據(jù)訪問和使用進(jìn)行安全審計。由于Hadoop自身沒有審計系統(tǒng)，同時各組件的日志和審計記錄都分別存儲于組件內(nèi)部，想通過Hadoop自身完成全范圍的安全審計幾乎不可能?？梢酝ㄟ^建立一個集中審計系統(tǒng)，從各組件中收集日志及審計記錄，進(jìn)而集中存儲、分析，完成全系統(tǒng)安全審計。通過審計系統(tǒng)加強(qiáng)大數(shù)據(jù)系統(tǒng)責(zé)任管理，將數(shù)據(jù)安全責(zé)任落實到每個使用人身上。（2）使用加密認(rèn)證機(jī)制替代簡單認(rèn)證機(jī)制。Hadoop中簡單機(jī)制是默認(rèn)設(shè)置，根據(jù)客戶進(jìn)程的有效UID確定用戶名，只能避免內(nèi)部人員的誤操作。使用加密認(rèn)證機(jī)制替代簡單認(rèn)證機(jī)制，可更好地確保Hadoop集群的可靠性、安全性。目前，普遍采用的較為安全可靠的是Kerberos認(rèn)證機(jī)制。Kerberos認(rèn)證機(jī)制支持集群中服務(wù)器間的認(rèn)證和Client到服務(wù)器的認(rèn)證。Kerberos可以將認(rèn)證的密鑰在集群部署時事先放到可靠的節(jié)點(diǎn)上，集群運(yùn)行時，集群內(nèi)的節(jié)點(diǎn)使用密鑰得到認(rèn)證，認(rèn)證通過后的節(jié)點(diǎn)才能提供服務(wù)，企圖冒充的節(jié)點(diǎn)由于沒有事先得到密鑰信息，無法與集群內(nèi)部的節(jié)點(diǎn)通信，無法非授權(quán)使用或篡改Hadoop集群。

3.2建立有效的網(wǎng)絡(luò)隔離機(jī)制

（1）建立獨(dú)立的網(wǎng)絡(luò)安全域供大數(shù)據(jù)平臺使用。通過使用網(wǎng)絡(luò)防火墻和交換機(jī)ACL策略，結(jié)合主機(jī)自身防火墻和遠(yuǎn)程登錄配置，限制大數(shù)據(jù)平臺的外部訪問。通過防火墻映射等方式，保護(hù)大數(shù)據(jù)應(yīng)用WEB服務(wù)。（2）通過流量分析系統(tǒng)等網(wǎng)絡(luò)安全設(shè)備，建立針對大數(shù)據(jù)系統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)分析報告。通過對日志信息、流量數(shù)據(jù)等的采集、分析，可以對大數(shù)據(jù)系統(tǒng)的網(wǎng)絡(luò)流量、網(wǎng)絡(luò)行為等信息有整體的了解，從而制定針對性的網(wǎng)絡(luò)安全防護(hù)策略。

3.3對敏感數(shù)據(jù)進(jìn)行隔離監(jiān)控

（1）建立敏感數(shù)據(jù)保護(hù)視圖，加強(qiáng)數(shù)據(jù)分級。可根據(jù)數(shù)據(jù)的不同來源，在大數(shù)據(jù)平臺中建立數(shù)據(jù)保護(hù)視圖。根據(jù)用戶的等級權(quán)限和業(yè)務(wù)需求，采用分級別保護(hù)的方式讓用戶接觸不到業(yè)務(wù)需求之外的數(shù)據(jù)，當(dāng)數(shù)據(jù)使用者使用敏感數(shù)據(jù)時應(yīng)有提醒。（2）建立數(shù)字水印機(jī)制，使泄密數(shù)據(jù)可以溯源。數(shù)字水印是指將一些標(biāo)識信息直接嵌入數(shù)字載體（包括多媒體、文檔、軟件等）當(dāng)中，且不影響原載體的使用價值，也不容易被探知和再次修改。但生產(chǎn)方可以探查并通過這些標(biāo)識信息確認(rèn)數(shù)據(jù)來源。數(shù)字水印機(jī)制在數(shù)字版權(quán)保護(hù)系統(tǒng)中被廣泛使用，并被認(rèn)為是有效的。數(shù)字水印在大數(shù)據(jù)中的應(yīng)用，主要在于兩個方面：一是利用數(shù)字水印隱蔽和不可篡改的特性，判斷數(shù)據(jù)傳輸過程中是否遭到篡改；二是通過數(shù)據(jù)水印探測，對數(shù)據(jù)泄露進(jìn)行溯源?；鶎友胄写髷?shù)據(jù)平臺可在數(shù)據(jù)源和數(shù)據(jù)分析結(jié)果中使用數(shù)字水印機(jī)制，一方面保證數(shù)據(jù)源的可用性；另一方面保障數(shù)據(jù)分析結(jié)果安全，當(dāng)數(shù)據(jù)出現(xiàn)泄漏時，可及時發(fā)現(xiàn)并溯源。（3）對敏感數(shù)據(jù)進(jìn)行脫敏處理。數(shù)據(jù)脫敏是指對敏感信息通過脫敏規(guī)則對數(shù)據(jù)進(jìn)行變形，實現(xiàn)敏感數(shù)據(jù)的保護(hù)。數(shù)據(jù)脫敏的主要方法有：一是加密方法，采用標(biāo)準(zhǔn)的加密算法，加密后完全失去業(yè)務(wù)屬性；二是基于數(shù)據(jù)失真的技術(shù)，使用隨機(jī)干擾、“亂序”等方式，不可逆的打亂數(shù)據(jù)，通過這種算法可以生成“看起來很真實的假數(shù)據(jù)”;三是可逆的置換算法，兼具可逆和保證業(yè)務(wù)屬性的特征，可以通過位置變換、表映射、算法映射等方式實現(xiàn)。脫敏后的數(shù)據(jù)，既不影響大數(shù)據(jù)的分析、挖掘，又可有效地保護(hù)數(shù)據(jù)安全。當(dāng)用戶使用央行大數(shù)據(jù)平臺中的數(shù)據(jù)時，應(yīng)根據(jù)用戶權(quán)限和數(shù)據(jù)用途等，對調(diào)用的數(shù)據(jù)進(jìn)行脫敏處理，既可保證大數(shù)據(jù)的充分使用，又可防止敏感數(shù)據(jù)泄漏。

參考文獻(xiàn)：

[1]何利文，李杰，陳向東.面向大數(shù)據(jù)的軟件定義安全服務(wù)[C].第二屆CCF大數(shù)據(jù)學(xué)術(shù)會議論文集，2018.

[2]中國信息通信研究院安全研究所.大數(shù)據(jù)安全白皮書（2018）.

[3]朱建波，李萍，于炯，廖彬.改進(jìn)的kerberos協(xié)議在HDFS環(huán)境下的研究[J].計算機(jī)工程與設(shè)計，2014（10）.

[4]朱倩，李雪燕.數(shù)字水印技術(shù)在大數(shù)據(jù)安全保護(hù)中的應(yīng)用[J].軟件導(dǎo)刊，2016（15）.

作者：譚旺 單位：中國人民銀行長沙中心支行