大數(shù)據(jù)下異常通信信號智能檢測探析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)下異常通信信號智能檢測探析范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要:本文設(shè)計了基于大數(shù)據(jù)分析的通信信號智能檢測系統(tǒng)。基礎(chǔ)設(shè)施層在VM虛擬機上創(chuàng)建多個Xen虛擬機,通過數(shù)據(jù)持久化設(shè)計實現(xiàn)信息虛擬化存儲與管理,并將采集的數(shù)據(jù)通過網(wǎng)絡(luò)通信層傳輸至核心服務(wù)層,核心服務(wù)層采用大數(shù)據(jù)分析方法構(gòu)建通信信號檢測模型,通過捕捉相鄰信號之間非線性時空動作,評價相鄰行為之間工作狀態(tài)的關(guān)聯(lián)性,預(yù)測信號行為后續(xù)工作狀態(tài),實現(xiàn)通信信號檢測,并將識別結(jié)果反饋給用戶接口層實時查看。實驗結(jié)果顯示,該系統(tǒng)的通信信號檢測正確率始終高于95%,識別結(jié)果準(zhǔn)確、可靠;異常信號檢測的漏拒率較低,且識別效率高,具有全面、高效的特征。

關(guān)鍵詞:通信信號;智能檢測系統(tǒng);特征向量;大數(shù)據(jù)分析

0引言

隨著新興互聯(lián)網(wǎng)業(yè)務(wù)的迅速發(fā)展,我國對高速通信的需求日益提高。由于通信具有帶寬大、功耗低和保密性優(yōu)的特點,得到廣泛應(yīng)用。通信系統(tǒng)非線性程度高,有時會出現(xiàn)一些異常信號,對通信系統(tǒng)的安全產(chǎn)生嚴(yán)重威脅[1,2],因此通信信號檢測尤為重要。目前許多相關(guān)領(lǐng)域已經(jīng)充分認(rèn)識到通信信號檢測的重要性,如盛智勇等研究基于隨機配置網(wǎng)絡(luò)的光纖異常信號檢測系統(tǒng)[3],該系統(tǒng)有效減緩了過度擬合問題,使異常信號的識別準(zhǔn)確率提高,但系統(tǒng)識別全面性較差,常出現(xiàn)漏識情況;張俠研究深度學(xué)習(xí)網(wǎng)絡(luò)的通信入侵行為識別系統(tǒng)[4],該系統(tǒng)可實現(xiàn)高精度通信信號自動識別,誤差較低,但系統(tǒng)識別效率較低,需花費大量時間[5-7]。為了提高通信信號檢測準(zhǔn)確性,提出基于大數(shù)據(jù)分析的通信信號智能檢測系統(tǒng),以提升通信安全。

1基于大數(shù)據(jù)分析的通信信號智能檢測系統(tǒng)

1.1系統(tǒng)整體結(jié)構(gòu)

以云計算平臺為基礎(chǔ),結(jié)合現(xiàn)代化設(shè)備功能及合理網(wǎng)絡(luò)裝置,設(shè)計大數(shù)據(jù)分析的通信信號智能檢測系統(tǒng),主要由基礎(chǔ)設(shè)施層、網(wǎng)絡(luò)通信層、核心服務(wù)層和用戶接口層四部分組成,其整體結(jié)構(gòu)如圖1所示。①基礎(chǔ)設(shè)施層:創(chuàng)建多個Xen虛擬機于VM虛擬機上,可實現(xiàn)虛擬化管理工作。MySQL數(shù)據(jù)庫不僅為數(shù)據(jù)持久化提供了存儲空間,還為用戶查看歷史數(shù)據(jù)提供了保障。總而言之,基礎(chǔ)設(shè)施層為整個將基礎(chǔ)設(shè)置作為服務(wù)的系統(tǒng)提供了底層支持。②網(wǎng)絡(luò)通信層:包括人機界面、通信服務(wù)器和通信網(wǎng)關(guān),主要負(fù)責(zé)通信信號的傳輸。③核心服務(wù)層:是整個系統(tǒng)的核心,采用深度學(xué)習(xí)的通信信號檢測方法實現(xiàn)通信的異常信號檢測與監(jiān)控。④用戶接口層:用戶可查看虛擬機的異常信息,也可對虛擬機的狀態(tài)信息進(jìn)行查詢。

1.2數(shù)據(jù)持久化設(shè)計

基礎(chǔ)設(shè)施層的虛擬機信息持久化通過數(shù)據(jù)持久化設(shè)計進(jìn)行數(shù)據(jù)的實時存儲。該系統(tǒng)在節(jié)點機識別出異常信號時,會發(fā)送異常信息給主控機,主控機收到異常信息后發(fā)出警告。監(jiān)控人員在主控機端利用SSH登錄節(jié)點機可以對其各個屬性的有關(guān)信息進(jìn)行查看,并確定發(fā)生異常的位置[8-9]。數(shù)據(jù)的持久化通過MySQL數(shù)據(jù)庫實時存儲數(shù)據(jù)得以實現(xiàn),但MySQL數(shù)據(jù)庫的存儲數(shù)據(jù)空間并非無限增大,因此為刪除數(shù)據(jù)庫中超出保存周期的數(shù)據(jù),設(shè)計了數(shù)據(jù)刪除模塊。①數(shù)據(jù)存儲模塊。將節(jié)點機篩選出的數(shù)據(jù)直接存進(jìn)MySQL數(shù)據(jù)庫,統(tǒng)一全部節(jié)點機的數(shù)據(jù)庫名稱和表名為datanode和storedata,以便在主控機查詢數(shù)據(jù)[10-11]。先使用SQL語言創(chuàng)建數(shù)據(jù)庫,storedata表的結(jié)構(gòu)如表1所列,再采用C語言對shell編寫的storedata.sh進(jìn)行調(diào)用,完成數(shù)據(jù)的實時存儲。將監(jiān)控的歷史數(shù)據(jù)存進(jìn)MySQL數(shù)據(jù)庫可采用上述數(shù)據(jù)持久化的方法實現(xiàn),數(shù)據(jù)表中顯示了數(shù)據(jù)存儲時間和需要監(jiān)控的屬性值。由于數(shù)據(jù)經(jīng)過過濾、合并后存進(jìn)數(shù)據(jù)庫,會產(chǎn)生一定時間的延遲。但經(jīng)過多次驗證,數(shù)據(jù)采集時間和數(shù)據(jù)存儲時間相差不超過1s,滿足實時監(jiān)控的條件。②數(shù)據(jù)刪除模塊。為了實現(xiàn)數(shù)據(jù)的持續(xù)存儲,需要及時刪除過期、無用的數(shù)據(jù),原因是節(jié)點采集的數(shù)據(jù)量大、采集頻率快,且這些數(shù)據(jù)隨著時間推移會不斷增加,導(dǎo)致內(nèi)存利用率增大。本文設(shè)置7天為數(shù)據(jù)的保存周期,最近一周內(nèi)存儲的數(shù)據(jù)可被保存于數(shù)據(jù)庫中,其余較早的數(shù)據(jù)即可刪除。

1.3基于大數(shù)據(jù)分析的通信信號檢測方法

對通信信號的時域和頻域特征信號進(jìn)行檢測,捕捉相鄰信號之間的非線性時空動作,并將該頻率當(dāng)作一個行為,對相鄰行為之間工作狀態(tài)的關(guān)聯(lián)性進(jìn)行評價,再對行為的后續(xù)工作狀態(tài)進(jìn)行預(yù)測,最后根據(jù)行為后續(xù)工作狀態(tài)完成異常信號檢測。①捕捉相鄰行為的非線性時空動作。長短期記憶模型歸于深度學(xué)習(xí)網(wǎng)絡(luò),可以回歸行為邊界框的像素亮度和方位,設(shè)置其為輸入幀,實行逐幀監(jiān)測與追蹤。根據(jù)相干正則化對自身行為和相鄰行為狀態(tài)進(jìn)行整合,并對長短期記憶模型存儲單元狀況進(jìn)行刷新,獲取相干正則化結(jié)果。②評價相鄰行為間工作狀態(tài)關(guān)聯(lián)性。根據(jù)長短期記憶模型隱態(tài)信息獲得的相鄰行為的時變屬性,基于運行速度相關(guān)性可對相鄰行為間工作狀態(tài)的關(guān)聯(lián)性進(jìn)行評價,式(1)為相鄰行為間工作狀態(tài)關(guān)聯(lián)性的權(quán)值τi(h)表達(dá)式:式中,j和i表示相鄰行為的工作狀態(tài);uj(h)和ui(h)表示相鄰行為各自于時間h內(nèi)的速度,通過歸一化常數(shù)μ歸一化計算兩個速度值的乘積;使用∂j計算關(guān)聯(lián)權(quán)值,如果τi(h)的值和0接近,是在相鄰行為的工作狀態(tài)j和i偏差很大的情況下出現(xiàn),如果τi(h)的值和1接近,是在相鄰行為工作狀態(tài)j和i相似度較大的情況下出現(xiàn)。③預(yù)測行為后續(xù)工作狀態(tài)。采用編碼-解碼框架訓(xùn)練長短期記憶模型,對行為后續(xù)工作狀態(tài)進(jìn)行預(yù)測,具體如圖2所示。以下是預(yù)測行為后續(xù)工作狀態(tài)的具體步驟:①按照學(xué)習(xí)訓(xùn)練,根據(jù)長短期記憶模型的編碼器映射工作狀態(tài)的輸入至定長隱式向量,式(2)描述了基于編碼時期的隱式向量:kH=LSTMr(WH,kH-1)(2)式中,目前時間隱式向量用kH表示;LSTMr表示使用長短期記憶模型編碼器映射行為工作狀態(tài)的輸入值WH到前階段隱式向量kH-1中。②按照學(xué)習(xí)訓(xùn)練過程中,根據(jù)長短期記憶模型的解碼器采用定長隱式向量對行為后續(xù)工作狀態(tài)進(jìn)行預(yù)測,式(3)為隱式向量表達(dá)式:kH=LSTMa(WH,WH+1)(3)式中,LSTMa表示通過長短期記憶模型的解碼器采用定長隱式向量kH-1獲得目前時間隱式向量kH后,根據(jù)當(dāng)前時間行為狀態(tài)輸入值WH對后續(xù)時間行為工作狀態(tài)WH+1進(jìn)行預(yù)測。最后,基于預(yù)測的后續(xù)工作狀態(tài)實現(xiàn)通信信號檢測。

2仿真實驗

2.1通信信號檢測正確率對比

實驗分析通信信號檢測的正確率,并設(shè)計對比實驗,選取參考文獻(xiàn)[3]的信號檢測系統(tǒng)和參考文獻(xiàn)[4]的通信信號檢測系統(tǒng),作為本文系統(tǒng)的對比系統(tǒng),不同數(shù)據(jù)量下,3個系統(tǒng)的信號檢測正確率對比結(jié)果如圖3所示。分析圖3可得,隨著數(shù)據(jù)量增加,3個系統(tǒng)的信號檢測正確率都呈下降趨勢。在數(shù)據(jù)量小于500GB時,3個系統(tǒng)之間的正確率差距較小,均保持在80%以上;在數(shù)據(jù)量由500GB繼續(xù)增加時,3個系統(tǒng)之間的正確率差距變大,當(dāng)實驗進(jìn)行到最后,對比系統(tǒng)的正確率已低至30%左右,信號檢測效果較差。相對于對比系統(tǒng),本文系統(tǒng)的正確率下降趨勢平穩(wěn),且始終高于95%,基本不受數(shù)據(jù)量的影響。由此可見,本文系統(tǒng)的通信信號檢測具有較高的正確性和可靠性,優(yōu)勢顯著。

2.2漏拒率對比實驗分析

3個系統(tǒng)的異常信號漏拒率,結(jié)果如圖4所示。分析圖4可知,3個系統(tǒng)的異常信號檢測均出現(xiàn)漏識的情況,隨著數(shù)據(jù)量增加,本文系統(tǒng)漏拒率逐漸升高,最高約7%;隨機配置網(wǎng)絡(luò)系統(tǒng)的漏拒率最高約10%;深度學(xué)習(xí)網(wǎng)絡(luò)的漏拒率最高約18%。對比這些數(shù)據(jù)可以看出,本文系統(tǒng)的異常信號漏識別率較低,具有較高的異常信號檢測全面性。

2.3通信信號檢測效率對比

通信信號檢測效率對比如圖5所示。分析圖5可知,相對于其他兩個系統(tǒng),本文系統(tǒng)信號檢測效率始終保持最高,且大于90%;隨機配置網(wǎng)絡(luò)系統(tǒng)信號檢測效率變化相對平穩(wěn),最高可達(dá)77%;深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)的信號檢測效率起伏較大,最高為73%,最低只有45%。由此可以說明文本系統(tǒng)的通信信號檢測具有高效、穩(wěn)定的特征。

2.4通信信號檢測

MAPE對比平均絕對百分誤差(MeanAbsolutePercentageEr-ror,MAPE)表示識別結(jié)果整體上和實際結(jié)果的匹配程度。實驗根據(jù)MAPE分析通信信號檢測精度,結(jié)果如圖6所示。分析圖6可知,本文系統(tǒng)的信號檢測誤差始終低于5%,基本不受系統(tǒng)運行時間的影響,波動較弱;隨機配置網(wǎng)絡(luò)系統(tǒng)和深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)的異常信號檢測誤差都隨著系統(tǒng)運行時間的增加而上升,且深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)的識別誤差上升速度較快,當(dāng)系統(tǒng)運行45分鐘時,該系統(tǒng)的識別誤差已高達(dá)25%。由此可見,本文系統(tǒng)的通信信號檢測效果最佳。

2.5系統(tǒng)運行效果

實驗測試3種系統(tǒng)的吞吐量,分析其運行效果,結(jié)果如圖7所示。分析圖7可知,隨著數(shù)據(jù)量增加,本文系統(tǒng)的吞吐量均大于1GB/s;隨機配置網(wǎng)絡(luò)系統(tǒng)和深度學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)在數(shù)據(jù)量大于600GB時,吞吐量逐漸下降。對比這些數(shù)據(jù)可以看出,本文系統(tǒng)的吞吐量高,整體運行效果最優(yōu)。

3結(jié)語

為了及時發(fā)現(xiàn)并消除通信中的異常信號,本文設(shè)計基于大數(shù)據(jù)分析的通信信號智能檢測系統(tǒng),以云計算平臺為基礎(chǔ),大數(shù)據(jù)分析方法的長短期記憶模型實現(xiàn)異常信號檢測,該系統(tǒng)不僅提高了通信的安全性能,也為通信的研究提供了一個新方向。

作者:林統(tǒng)喜 鐘福龍 單位:廣州華商職業(yè)學(xué)院