神經(jīng)網(wǎng)絡(luò)特征重要性精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)特征重要性主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 入侵檢測；自動變速率；隨機優(yōu)化算子

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）03-0614-03

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，更現(xiàn)顯了網(wǎng)絡(luò)安全的重要性。入侵檢測技術(shù)在安全防護中是一種主動防護技術(shù)，能及時地檢測各種惡意入侵，并在網(wǎng)絡(luò)系統(tǒng)受到危害時進行響應(yīng)，因此在為安全防御體系中入侵檢測系統(tǒng)占有重要的地位。但是在現(xiàn)實的應(yīng)用中，入侵檢測系統(tǒng)沒有充分發(fā)揮其作用。這是因為，不斷變化的入侵方式要求入侵檢測模型必須具有分析大量數(shù)據(jù)的能力。無論這些數(shù)據(jù)是不完全的，是非結(jié)構(gòu)化的，或者是含有噪音的。而且，有些攻擊是由處于不同網(wǎng)絡(luò)位置上的多個攻擊者協(xié)作進行的，這就要求入侵檢測模型又必須具備處理來自非線性數(shù)據(jù)源的大量數(shù)據(jù)的能力。神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶能力、自學(xué)習(xí)能力和模糊運算的能力。因此將神經(jīng)網(wǎng)絡(luò)應(yīng)用入侵檢測中，它不僅可以識別出曾見過的入侵，還可以識別出未曾見過的入侵。該文首先介紹了一種改進的神經(jīng)網(wǎng)絡(luò)算法，然后分析了該算法在入侵檢測中的應(yīng)用，并給出試驗仿真結(jié)果。

1 BP神經(jīng)網(wǎng)絡(luò)與入侵檢測

1.1 BP神經(jīng)網(wǎng)絡(luò)的特點與不足

BP神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)模型中應(yīng)用最廣泛一種。它基于成熟的BP算法，主要有以下幾個特點：1）它能夠?qū)崿F(xiàn)自組織、自學(xué)習(xí)，根據(jù)給定的輸入輸出樣本自動調(diào)整它的網(wǎng)絡(luò)參數(shù)來模擬輸入輸出之間的非線性關(guān)系。2）在存儲上采用分布式存儲，所有的信息分布存儲在每一個神經(jīng)元中。3）它還可以實現(xiàn)并行處理，下一層的每個神經(jīng)元可以根據(jù)接收到的上一層信息同時獨立地計算。這些特點使其很適合應(yīng)用于入侵檢測技術(shù)，滿足入侵檢測的適應(yīng)性、可靠性、安全性和高效性的要求。

但是傳統(tǒng)的BP算法也存在著以下幾個方面的不足：1）局部極?。?）學(xué)習(xí)算法收斂速度慢；3）隱含層節(jié)點選取缺乏理論；4）加入新的樣本會影響已經(jīng)學(xué)完的樣本；5）每次輸入樣本特征的數(shù)目必須確定且相同。

1.2 入侵檢測技術(shù)

通過對系統(tǒng)數(shù)據(jù)的分析，當(dāng)發(fā)現(xiàn)有非授權(quán)的網(wǎng)絡(luò)訪問和攻擊行為時，采取報警、切斷入侵線路等措施來維護網(wǎng)絡(luò)安全，這被就是入侵檢測技術(shù)。采用此技術(shù)設(shè)計的系統(tǒng)稱為入侵檢測系統(tǒng)。根據(jù)采用的技術(shù)來說入侵檢測系統(tǒng)應(yīng)具有以下幾個特性：1）監(jiān)視用戶及系統(tǒng)活動；2） 分析用戶及系統(tǒng)活動；3） 異常行為模式分析；4） 識別已知的進攻活動模式并反映報警；5） 系統(tǒng)構(gòu)造和弱點的審計，操作系統(tǒng)的審計跟蹤管理；6） 評估重要的系統(tǒng)和數(shù)據(jù)文件的完整性，并識別用戶違反安全策略的行為。

目前最常用的攻擊手段有：拒絕服務(wù)、探測、非授權(quán)訪問和非授權(quán)獲得超級用戶權(quán)限攻擊。而且這些攻擊手段在實際中還有很大的變異，因此給入侵檢測帶來了一定的難度。BP神經(jīng)網(wǎng)絡(luò)的自組織自學(xué)習(xí)能力，使得經(jīng)過訓(xùn)練后的BP神經(jīng)網(wǎng)絡(luò)對以前觀察到的入侵檢測行為模式進行歸納總結(jié)，除了可以識別出已經(jīng)觀察到的攻擊，還可以識別出由已知攻擊變異出的新的攻擊，甚至是全新的攻擊。

2.3 改進的神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)在模式識別、非線性處理、信號檢測等領(lǐng)域應(yīng)用非常多，這是由于人工神經(jīng)網(wǎng)絡(luò)具有的良好的自適應(yīng)和自組織性，高度的非線性特性以及大規(guī)模并行處理和分布式信息存儲能力的特性。BP神經(jīng)網(wǎng)絡(luò)算法實質(zhì)上是非線性優(yōu)化問題的梯度算法，該算法在收斂性問題上存在限制與不足。即該算法學(xué)習(xí)的結(jié)果不能保證一定收斂到均方誤差的全局最小點，也有可能落入局部極小點，使算法不收斂，導(dǎo)致陷入錯誤的工作模式。因此本文選擇了改進的神經(jīng)網(wǎng)絡(luò)，改進主要有以下幾點：

2）自動變速率學(xué)習(xí)法

傳統(tǒng)的BP算法是以梯度為基礎(chǔ)，采用LMS學(xué)習(xí)問題的最陡下降法，學(xué)習(xí)步長是一個固定不變的較小值，不利于網(wǎng)絡(luò)的收斂。因此，選擇了基于梯度方向來自動調(diào)節(jié)學(xué)習(xí)速率的方法。利用梯度確定學(xué)習(xí)的方向，由速率決定在梯度方向上學(xué)習(xí)的步長。因此，如果相鄰兩次的梯度方向相同則說明在該方向是有利收斂的方向，如果相鄰兩次的梯度方向相反則說明此處存在不穩(wěn)定。因此，可以利用兩次相對梯度變化來確定學(xué)習(xí)步長，當(dāng)兩次梯度方向相同時則增大學(xué)習(xí)步長，加快在該方向上的學(xué)習(xí)速度；而如果兩次梯度方向相反那么減小學(xué)習(xí)步長，加快整個網(wǎng)絡(luò)的收斂速度。這種方法的自適應(yīng)速率調(diào)節(jié)公式如下：

2）引入遺忘因子

本文所采用的自適應(yīng)變速率學(xué)習(xí)法是依據(jù)相鄰兩次梯度變化來確定學(xué)習(xí)步長的算法，但單純的學(xué)習(xí)速率的變化還不能即完全地既保證收斂速度，又不至于引起振蕩。因此考慮變相的學(xué)習(xí)速率的學(xué)習(xí)。即在權(quán)值的調(diào)節(jié)量上再加一項正比于前幾次加權(quán)的量。權(quán)值調(diào)節(jié)量為：

我們將[τ]稱為遺忘因子。遺忘因子項的引入就是對學(xué)習(xí)過程中等效的對學(xué)習(xí)速率進行微調(diào)的效果。遺忘因子起到了緩沖平滑的作用，使得調(diào)節(jié)向著底部的平均方向變化。

3）隨機優(yōu)化算子

雖然采用自動變速率學(xué)習(xí)法，并引入遺忘因子的神經(jīng)網(wǎng)絡(luò)算法可以對學(xué)習(xí)速率進行微調(diào)，但是仍存在著BP神經(jīng)網(wǎng)絡(luò)的限制與不足因此引入隨機優(yōu)化算子。也就是當(dāng)網(wǎng)絡(luò)的權(quán)值誤差迭代一定的次數(shù)后，仍沒有明顯的收斂，或者系統(tǒng)誤差函數(shù)的梯度連續(xù)幾次發(fā)生改變，這說明網(wǎng)絡(luò)進入了一個比較疲乏的狀態(tài)，需要借助外界的推動力來激活網(wǎng)絡(luò)。當(dāng)發(fā)現(xiàn)上述的兩種情況時，就產(chǎn)生與權(quán)值維數(shù)相同的隨機數(shù)，并將隨機數(shù)與權(quán)值直接相加，然后判斷系統(tǒng)誤差的變化。如果誤差沒有降低，那么就再繼續(xù)產(chǎn)生隨機數(shù)來修改權(quán)值，直到誤差減少，再從新的權(quán)值開始繼續(xù)BP算法。隨機優(yōu)化算子可以令搜索方向隨機變化，從而擺脫局部極小點。

4）改進算法與傳統(tǒng)算法比較

以200個訓(xùn)練樣本為例，分別采用改進的BP神經(jīng)網(wǎng)絡(luò)和經(jīng)典BP神經(jīng)網(wǎng)絡(luò)的方法進行學(xué)習(xí)、訓(xùn)練。兩種算法的誤差收斂對比曲線如圖1所示。

3 采用改進算法的入侵檢測仿真實驗

入侵檢測系統(tǒng)進行測試和評估需要標準的、可重現(xiàn)的并包含入侵的大量數(shù)據(jù)。本仿真實驗選取DARPA數(shù)據(jù)集網(wǎng)絡(luò)連接數(shù)據(jù)集作為實驗數(shù)據(jù)。然后，對這些數(shù)據(jù)選三組特征值進行實驗，并給出實驗結(jié)果。

3.1 數(shù)據(jù)源的選取

該實驗的數(shù)據(jù)采用DARPA 1988入侵檢測評估數(shù)據(jù)庫的數(shù)據(jù)。該數(shù)據(jù)有大量的連接數(shù)據(jù)記錄。每個一記錄代表一次網(wǎng)絡(luò)連接，且每個記錄均有41個特征值，其中各個特征的含義不同，大致可分為三類：1）表示網(wǎng)絡(luò)連接內(nèi)容特征；2）表示網(wǎng)絡(luò)連接基本特征；3）表示網(wǎng)絡(luò)連接流量特征。

模擬的入侵主要有以下四種類型：DOS 、 R2L、U2R、Probing，考慮到設(shè)計的實用性分別對三類特征值用神經(jīng)網(wǎng)絡(luò)分別進行訓(xùn)練和識別。實驗選取了13000組數(shù)據(jù)進行仿真實驗，其中3000組用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，10000組用于系統(tǒng)測試。

3.2 仿真實驗結(jié)果

對三類特征組的訓(xùn)練集數(shù)據(jù)應(yīng)用改進神經(jīng)網(wǎng)絡(luò)分別訓(xùn)練出三個神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接內(nèi)容特征的神經(jīng)網(wǎng)絡(luò)，表示網(wǎng)絡(luò)連接基本特征的神經(jīng)網(wǎng)絡(luò)以及表示網(wǎng)絡(luò)連接流量的特征的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練成功時的迭代步數(shù)分別為7056，386，3030。然后再對測試集數(shù)據(jù)進行測試，結(jié)果如下：

1）表示網(wǎng)絡(luò)連接內(nèi)容特征組，利用改進神經(jīng)網(wǎng)絡(luò)進行檢測識別，結(jié)果如表1所示。

2）表示網(wǎng)絡(luò)連接基本特征組，利用改進神經(jīng)網(wǎng)絡(luò)進行檢測識別，結(jié)果如表2所示。

3）網(wǎng)絡(luò)連接流量特征組，利用改進神經(jīng)網(wǎng)絡(luò)進行檢測識別，結(jié)果如表3所示：

從表中數(shù)據(jù)可以看出對常見的四種攻擊，不同的特征分組在改進神經(jīng)網(wǎng)絡(luò)的作用下檢測各有優(yōu)勢。

4 結(jié)論

論文采用自動變速率學(xué)習(xí)法，利用遺忘因子進行微調(diào)，同時引入隨機優(yōu)化算子對BP神經(jīng)網(wǎng)絡(luò)進行了改進。改進神經(jīng)網(wǎng)絡(luò)的收斂速度比經(jīng)典BP神經(jīng)網(wǎng)絡(luò)更快，同時穩(wěn)定性也較好。并將該算法應(yīng)用于入侵檢測實驗，實驗結(jié)果顯示改進后的算法具有較好的識別攻擊的能力。

參考文獻：

[1] 肖道舉，毛輝.BP神經(jīng)網(wǎng)絡(luò)在入侵檢測中的應(yīng)用[J].華中科技大學(xué)學(xué)報，2003（5）.

[2] 汪潔.基于神經(jīng)網(wǎng)路的入侵檢測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機應(yīng)用與軟件，2013（5）.

第2篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞 經(jīng)濟活動 預(yù)測模型 人工神經(jīng)網(wǎng)絡(luò)

經(jīng)濟活動諸如商品價格走勢、生產(chǎn)活動的產(chǎn)量預(yù)測、加工的投入產(chǎn)出分析、工廠的成本控制等方面都是重要的技術(shù)經(jīng)濟層面。定量化的經(jīng)濟活動分析是經(jīng)濟學(xué)研究的必由之路，而建模是量化分析的基礎(chǔ)，這是因為模型為科學(xué)分析和質(zhì)量、成本等控制提供了理論依據(jù)。本文針對經(jīng)濟活動中大多數(shù)研究對象都具有的非線性特點，給出了用人工神經(jīng)網(wǎng)絡(luò)（Artificial Nerve Network）模型建立經(jīng)濟活動的預(yù)測模型的原理和方法，并描述了神經(jīng)網(wǎng)絡(luò)與各種先進的建模方法相結(jié)合的模型化方法，為經(jīng)濟活動的分析、預(yù)測與控制提供了理論基礎(chǔ)。

1 神經(jīng)網(wǎng)絡(luò)模型方法

現(xiàn)實的經(jīng)濟系統(tǒng)是一個極其復(fù)雜的非線性系統(tǒng)，客觀上要求建立非線性模型。傳統(tǒng)上使用回歸與自回歸模型刻畫的都是線性關(guān)系，難于精確反映因變量的變化規(guī)律，也終將影響模型的擬合及預(yù)報效果。為揭示隱含于歷史記錄中的復(fù)雜非線性關(guān)系必須借助更先進的方法———人工神經(jīng)網(wǎng)絡(luò)(ANN)方法。

人工神經(jīng)網(wǎng)絡(luò)具有并行處理、自適應(yīng)、自組織、聯(lián)想記憶及源于神經(jīng)元激活函數(shù)的壓扁特性的容錯和魯棒性等特點。數(shù)學(xué)上已經(jīng)證明，神經(jīng)網(wǎng)絡(luò)可以逼近所有函數(shù)，這意味著神經(jīng)網(wǎng)絡(luò)能逼近那些刻畫了樣本數(shù)據(jù)規(guī)律的函數(shù)，且所考慮的系統(tǒng)表現(xiàn)的函數(shù)形式越復(fù)雜，神經(jīng)網(wǎng)絡(luò)這種特性的作用就越明顯。

在各類神經(jīng)網(wǎng)絡(luò)模型中，BP（Back－Propagation誤差后向傳播）神經(jīng)網(wǎng)絡(luò)模型是最常用的也是最成熟的模型之一。本質(zhì)上，BP模型是對樣本集進行建模，即建立對應(yīng)關(guān)系RmRn,xk∈Rm,ykRn。數(shù)學(xué)上，就是一個通過函數(shù)逼近擬合曲線/曲面的方法，并將之轉(zhuǎn)化為一個非線性優(yōu)化問題來求解。

對BP神經(jīng)網(wǎng)絡(luò)模型，一般選用三層非循環(huán)網(wǎng)絡(luò)。假設(shè)每層有N個處理單元，通常選取連續(xù)可微的非線性作用函數(shù)如Sigmoid函數(shù)f(x)=1/(1+e-x)，訓(xùn)練集包括M個樣本模式{(xk,yk)}。對第P個訓(xùn)練樣本（P＝1，2，…，M），單元j的輸入總和記為apj，輸出記為Opj，則:

apj=WQ

Opj=f(apj)=1/(1+e-apj)

（1）

對每個輸入模式P，網(wǎng)絡(luò)輸出與期望輸出（dpj）間誤差為：

E=Ep=((dpj-Opj)2)

（2）

取BP網(wǎng)絡(luò)的權(quán)值修正式：

Wji(t+1)=Wji(t)+?濁?啄pj+?琢(Wji(t)-Wji(t-1))

（3）

其中，對應(yīng)輸出單元?啄pj=f’,(apj)(dpj-Opj)；對應(yīng)輸入單元?啄pj=f’,(apj)?啄pkWkj；

?濁是為加快網(wǎng)絡(luò)收斂速度而取值足夠大又不致產(chǎn)生振蕩的常數(shù)；?琢為一常數(shù)項，稱為趨勢因子，它決定上一次學(xué)習(xí)權(quán)值對本次權(quán)值的影響。

BP學(xué)習(xí)算法的步驟：初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；提供訓(xùn)練模式并訓(xùn)練網(wǎng)絡(luò)直到滿足學(xué)習(xí)要求；前向傳播過程, 對給定訓(xùn)練模式輸入，計算網(wǎng)絡(luò)的輸出模式，并與期望比較，如有誤差，則執(zhí)行下一步，否則返回第二步；后向傳播過程,計算同一層單元的誤差?啄pj, 按權(quán)值公式（3）修正權(quán)值; 返回權(quán)值計算公式（3）。BP網(wǎng)絡(luò)的學(xué)習(xí)一般均需多周期迭代，直至網(wǎng)絡(luò)輸出與期望輸出間總體的均方根誤差ERMS達到一定要求方結(jié)束。

實踐中，BP網(wǎng)絡(luò)可能遇到如下問題：局部極小點問題；迭代收斂性及收斂速度引起低效率問題。此外還有，模型的逼近性質(zhì)差；模型的學(xué)習(xí)誤差大，記憶能力不強；與線性時序模型一樣，模型網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點作用函數(shù)不易確定；難以解決應(yīng)用問題的實例規(guī)模與網(wǎng)絡(luò)規(guī)模之間的矛盾等。為克服這樣的一些問題，同時為了更好地面向?qū)嶋H問題的特殊性，出現(xiàn)了各種基于神經(jīng)網(wǎng)絡(luò)模型或與之結(jié)合的模型創(chuàng)新方法。

2 灰色神經(jīng)網(wǎng)絡(luò)模型

灰色預(yù)測和神經(jīng)網(wǎng)絡(luò)一樣是近年來用于非線性時間序列預(yù)測的引人注目的方法，兩種方法在建模時都不需計算統(tǒng)計特征，且理論上可以適用于任何非線性時間序列的建模。灰色預(yù)測由于其模型特點，更合用于經(jīng)濟活動中具有指數(shù)增長趨勢的問題，而對于其他變化趨勢，則可能擬合灰度較大，導(dǎo)致精度難于提高。

對于既有隨時間推移的增長趨勢，又有同一季節(jié)的相似波動性趨勢，且增長趨勢和波動性趨勢都呈現(xiàn)為一種復(fù)雜的非線性函數(shù)特性的一類現(xiàn)實問題，根據(jù)人工神經(jīng)網(wǎng)絡(luò)具有較好的描述復(fù)雜非線性函數(shù)能力特點，用其對季節(jié)性建模；最后根據(jù)最優(yōu)組合預(yù)測理論，建立了兼有GM（1，1）和ANN優(yōu)點的最優(yōu)組合預(yù)測模型。該模型能夠同時反映季節(jié)性時間序列的增長趨勢性和同季波動性的雙重特性，適用于一般具有季節(jié)性特點的經(jīng)濟預(yù)測。

首先，建立GM（1，1）模型，設(shè)時間序列x(0)=(x(0)(1),x(0)(2),?撰,x(0)(n))，作一階累加生成：

x(1)=(x(1)(1),x(1)(2),?撰,x(1)(n))　 （4）

其中x(1)(k)=(x(0)(i),k=1,2,?撰,n

構(gòu)造一階線性灰色微分方程并得到該方程的白化微分方程：

+ax=u

用最小二乘法求解參數(shù)a，u，得到x(1)的灰色預(yù)測模型：

(1)(k+1)=(X(0)(1)-u/a)e-ak+u/a,(k=0,1,2,?撰)

（5）

其次，根據(jù)上節(jié)方法建立BP人工神經(jīng)網(wǎng)絡(luò)模型。

第三，將兩模型優(yōu)化組合。設(shè)f1是灰色預(yù)測值，f2是神經(jīng)網(wǎng)絡(luò)預(yù)測值，fc是最優(yōu)組合預(yù)測值，預(yù)測誤差分別為:e1,e2,ec，取w1和w2是相應(yīng)的權(quán)系數(shù)，且w1+w2=1,有fc=w1f1+w2f2，則誤差及方差分別為ec=w1e1+w2e2,Var(ec)=w21Var(e1)+w22Var(e2)+2w1w2cov(e1,e2)

對方差公式求關(guān)于w1的極小值，并取cov(e1,e2)=0，即可得到組合預(yù)測權(quán)系數(shù)的值。

2 基于粗糙集理論的神經(jīng)網(wǎng)絡(luò)模型

粗糙集理論與模糊集理論一樣是研究系統(tǒng)中知識不完全和不確定問題的方法。模糊集理論在利用隸屬函數(shù)表達不確定性時，為定義一個合適的隸屬函數(shù)，需要人工干預(yù)，因而有主觀性。而粗糙集理論由粗糙度表示知識的不完全程度，是通過表達知識不精確性的概念計算得到的，是客觀的，并不需要先驗知識。粗糙集通過定義信息熵并進而規(guī)定重要性判據(jù)以判斷某屬性的必要性、重要性或冗余性。

一般來說，BP神經(jīng)網(wǎng)絡(luò)模型對模型輸入變量的選擇和網(wǎng)絡(luò)結(jié)構(gòu)確定等都基本憑經(jīng)驗或通過反復(fù)試驗確定，這種方法的盲目性會導(dǎo)致模型質(zhì)量變差。用粗糙集理論指導(dǎo)，先對各種影響預(yù)測的因素變量進行識別，以此確定預(yù)測模型的輸入變量；再通過屬性約簡和屬性值約簡獲得推理規(guī)則集；然后以這些推理規(guī)則構(gòu)造神經(jīng)網(wǎng)絡(luò)預(yù)測模型，并采用加動量項的BP的學(xué)習(xí)算法對網(wǎng)絡(luò)進行優(yōu)化。有效改善了模型特性，提高了模型質(zhì)量。其建模步驟為：由歷史數(shù)據(jù)及其相關(guān)信息歷史數(shù)據(jù)構(gòu)造決策表； 初始化； 對決策表的決策屬性變量按劃分值域為n個區(qū)域的方式離散化；采用基于斷點重要性的粗糙集離散化算法選擇條件屬性變量和斷點（分點），同時計算決策表相容度，當(dāng)決策表相容度為1或不再增加時，則選擇條件屬性變量和分點過程結(jié)束；由選擇的條件屬性變量及其樣本離散化值構(gòu)造新的決策表，并對其約簡，得到推理規(guī)則集；由推理規(guī)則集建立神經(jīng)網(wǎng)絡(luò)模型； 對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練； 若神經(jīng)網(wǎng)絡(luò)擬合誤差滿足要求，則結(jié)束， 否則，增加n。必須指出，區(qū)間分劃n太小，會使得擬合不夠，n太大，即輸出空間分得太細，會導(dǎo)致過多的區(qū)域?qū)?yīng)，使網(wǎng)絡(luò)結(jié)構(gòu)過于復(fù)雜，影響泛化（預(yù)測）能力。

3 小波神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)模型存在的網(wǎng)絡(luò)結(jié)構(gòu)及節(jié)點函數(shù)不易確定問題，結(jié)合小波分析優(yōu)良的數(shù)據(jù)擬合能力和神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)、自適應(yīng)特性建模，即用非線性小波基取代通常的非線性S型函數(shù)。

設(shè)非線性時間序列變化函數(shù)f(t)∈L2(R)，定義其小波變換為：

Wf(a,b)==f(t)?漬()dt

（6）

式中，?漬ab(t)稱為由母小波?漬t（定義為滿足一定條件的平方可積函數(shù)?漬(t)∈L2(R)如Haar小波、Morlet小波、樣條小波等）生成的依賴于參數(shù)a、b的連續(xù)小波，也稱小波基。參數(shù)a的變化不僅改變小波基的頻譜結(jié)構(gòu)，還改變其窗口的大小和形狀。對于函數(shù)f(t)，其局部結(jié)構(gòu)的分辯可以通過調(diào)節(jié)參數(shù)a、b，即調(diào)節(jié)小波基窗口的大小和位置來實現(xiàn)。

用小波級數(shù)的有限項來逼近時序函數(shù)，即：

(t)=wk?漬()

（7）

式中(t)，為時間序列y(t)的預(yù)測值序列；wk,bk,ak分別為權(quán)重系數(shù)，小波基的平移因子和伸縮因子；L為小波基的個數(shù)。參數(shù)wk,bk,ak采用最小均方誤差能量函數(shù)優(yōu)化得到，L通過試算得到。

4 模糊神經(jīng)網(wǎng)絡(luò)模型

模糊集合和模糊邏輯以人腦處理不精確信息的方法為基礎(chǔ)，而人工神經(jīng)網(wǎng)絡(luò)是以大量簡單神經(jīng)元的排列模擬人腦的生理結(jié)構(gòu)。二者的融合既具有神經(jīng)網(wǎng)絡(luò)強大的計算能力、容錯性和學(xué)習(xí)能力，又有對于不確定、不精確信息的處理能力，即同時具有底層的數(shù)據(jù)處理、學(xué)習(xí)能力和高層的推理、思考能力。

一種應(yīng)用模糊理論的方法是把模糊聚類用來確定模糊系統(tǒng)的最優(yōu)規(guī)則數(shù)，從而確定模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。這樣確定的網(wǎng)絡(luò)結(jié)構(gòu)成為四層：第一層為直接輸入層；第二層為模糊化層，對輸入做模糊化處理；第三層為模糊推理層，對前層模糊結(jié)果做模糊推理；第四層為非模糊化層，可以采用重心非模糊化法，產(chǎn)生網(wǎng)絡(luò)輸出。該網(wǎng)絡(luò)采用動態(tài)處理法，增強了其處理能力，且適用性強、精度高。

5 結(jié)語

除上述幾種結(jié)合式神經(jīng)網(wǎng)絡(luò)方法之外，人工神經(jīng)網(wǎng)絡(luò)模型在算法設(shè)計方面一直在取得巨大的進步。神經(jīng)網(wǎng)絡(luò)模型方法是一種先進的具有智能的非線性建模方法，其在自然科學(xué)、經(jīng)濟現(xiàn)象、社會活動等方面的應(yīng)用正在不斷深化，把神經(jīng)網(wǎng)絡(luò)方法引入經(jīng)濟活動的分析和預(yù)測中，并緊密聯(lián)系諸多先進的建模方法，是使工業(yè)經(jīng)濟、商業(yè)經(jīng)濟及其對經(jīng)濟本質(zhì)規(guī)律的研究等各項工作推向前進的重要理論武器。

參考文獻

第3篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞： 金融風(fēng)險；預(yù)警；模糊聚類；神經(jīng)網(wǎng)絡(luò)

一、引言

2014年中央經(jīng)濟工作會議明確提出要“高度重視財政金融領(lǐng)域存在的風(fēng)險隱患，堅決守住不發(fā)生系統(tǒng)性和區(qū)域性金融風(fēng)險的底線”。2008年國際金融危機爆發(fā)以來，世界各國應(yīng)對金融危機的經(jīng)驗表明，構(gòu)建金融體系風(fēng)險預(yù)警機制是必要且可行的。相對于整體金融風(fēng)險而言，區(qū)域性金融風(fēng)險具有更強的外部傳導(dǎo)性和可控性，且一般早于整體金融風(fēng)險爆發(fā)，在某種程度上可被視為整體金融風(fēng)險的預(yù)警信號，因此，作為金融監(jiān)管的有效補充，研究區(qū)域性金融風(fēng)險早期預(yù)警體系并進行預(yù)警分析將對金融風(fēng)險管控具有重要意義。

國外學(xué)者對于早期風(fēng)險預(yù)警體系的研究較為系統(tǒng)和成熟，且已有一些金融監(jiān)管部門建立了早期預(yù)警模型，如美聯(lián)儲的SEER評級模型、美國聯(lián)邦存款保險公司的SCOR模型、法國銀行業(yè)委員會的預(yù)期損失模型、國際貨幣基金組織的宏觀審慎評估模型等。受國際金融危機的影響，近年來國內(nèi)學(xué)者在早期金融風(fēng)險預(yù)警和管理方面的研究也越來越多，但由于預(yù)警指標選擇、風(fēng)險狀態(tài)劃分及臨界值選擇等均不盡相同，因此建立的預(yù)警模型也有所差異。本文通過借鑒國內(nèi)外對金融風(fēng)險預(yù)警指標體系的既有研究成果，綜合運用模糊聚類分析、BP神經(jīng)網(wǎng)絡(luò)建模等計量分析方法，構(gòu)建區(qū)域金融風(fēng)險預(yù)警體系，以期對區(qū)域性金融風(fēng)險的評估和防范提供客觀性依據(jù)。

二、總體分析框架及模型構(gòu)建

本文構(gòu)建的區(qū)域金融風(fēng)險早期預(yù)警體系由三部分組成：首先結(jié)合安徽區(qū)域特點，構(gòu)建包括經(jīng)濟因素、財政因素、金融因素、房地產(chǎn)發(fā)展、企業(yè)經(jīng)營狀況等的區(qū)域性金融風(fēng)險指標體系；其次利用模糊聚類分析對研究樣本進行分類，確定BP神經(jīng)網(wǎng)絡(luò)預(yù)警模型的分割點，為區(qū)域性金融風(fēng)險水平的劃分提供一種新思路；最后采用人工神經(jīng)網(wǎng)絡(luò)來預(yù)測未來金融危機發(fā)生的可能性。

（一）區(qū)域性金融風(fēng)險指標體系

區(qū)域性金融風(fēng)險指標選擇既要考慮金融風(fēng)險因素的普遍性，更要體現(xiàn)區(qū)域經(jīng)濟金融發(fā)展特點。指標選取原則：一是全面性，所選指標盡可能全面反映區(qū)域金融風(fēng)險；二是可得性，所選數(shù)據(jù)要容易獲得，且期間口徑未作調(diào)整；三是匹配性，數(shù)據(jù)收集成本與模型預(yù)測的經(jīng)濟實用性相匹配。

（二）風(fēng)險評估的模糊聚類分析

在分析一個時間序列的區(qū)域金融風(fēng)險時，我們可以把指標相似程度高的樣本聚集在一起，作為一個整體進行分析，以達到簡化的效果。傳統(tǒng)的聚類分析是一種“硬劃分”，即把每個待識別的對象嚴格劃分到某類中，具有“非此即彼”的性質(zhì)，這種分類的類別界限也是分明的。然而，在大多數(shù)情況下，風(fēng)險類別可能并沒有嚴格的界定，其類屬性方面存在中介性，適合進行“軟劃分”。模糊集理論為這種劃分提供了強有力且有效的分析工具，采用相應(yīng)的模糊聚類模型，可以取得較好的分類效果?！澳：垲悺备拍钭钤缬蒖uspini提出，之后人們利用這一概念提出了多種模糊聚類算法。本文運用神經(jīng)網(wǎng)絡(luò)來進行模糊聚類，其優(yōu)勢在于神經(jīng)網(wǎng)絡(luò)的并行處理結(jié)構(gòu)。

（三）基于人工神經(jīng)網(wǎng)絡(luò)的早期預(yù)警體系

人工神經(jīng)網(wǎng)絡(luò)ANN）是一種在生物神經(jīng)網(wǎng)絡(luò)啟示下建立的數(shù)據(jù)處理模型，其具有強大的模式識別和數(shù)據(jù)擬合能力，最為可貴的是神經(jīng)網(wǎng)絡(luò)還有自學(xué)習(xí)和自適應(yīng)性。自適應(yīng)性是指一個系統(tǒng)能夠改變自身的性能以適應(yīng)環(huán)境變化的能力，當(dāng)環(huán)境發(fā)生變化時，相當(dāng)于給神經(jīng)網(wǎng)絡(luò)輸入新的訓(xùn)練樣本，網(wǎng)絡(luò)能夠自動調(diào)整結(jié)構(gòu)參數(shù)，改變映射關(guān)系，從而對特定的輸入產(chǎn)生相應(yīng)的期望輸出。人工神經(jīng)網(wǎng)絡(luò)包括很多種，不同類型的神經(jīng)網(wǎng)絡(luò)適用于解決不同的問題，其中最為常用的一種就是BP神經(jīng)網(wǎng)絡(luò)，它是一種多層前向神經(jīng)網(wǎng)絡(luò)，其權(quán)值調(diào)整采用反向傳播學(xué)習(xí)算法。而自組織競爭神經(jīng)網(wǎng)絡(luò)則使用了與前向神經(jīng)網(wǎng)絡(luò)完全不同的思路，采取競爭學(xué)習(xí)的思想，網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭，同一時刻只有一個輸出神經(jīng)元獲勝，因此自組織神經(jīng)網(wǎng)絡(luò)主要用于解決分類、聚類問題。鑒于此，本文在進行區(qū)域金融風(fēng)險評估時，運用自組織競爭神經(jīng)網(wǎng)絡(luò)進行模糊聚類分析，得出各樣本的風(fēng)險類別；而在構(gòu)建區(qū)域風(fēng)險早期預(yù)警體系時，采用BP神經(jīng)網(wǎng)絡(luò)進行分析和預(yù)測。

三、區(qū)域性金融風(fēng)險早期預(yù)警的實證分析

（一）區(qū)域性金融風(fēng)險監(jiān)測指標的選取與標準化

金融風(fēng)險是一個綜合性、系統(tǒng)性的概念，單純選用個別指標不足以反映其真實水平。因此，根據(jù)客觀性、完備性、科學(xué)性、實用性、重要性原則，同時借鑒國內(nèi)外研究成果，本文選取了經(jīng)濟、財政、金融、房地產(chǎn)、企業(yè)經(jīng)營等方面的17個金融風(fēng)險評價指標，樣本區(qū)間為2009年至2014年一季度的安徽省季度數(shù)據(jù)，并根據(jù)指標與金融風(fēng)險的正負相關(guān)性對其進行標準化。

第4篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

摘要：目前世界超過5億人患有不同的腎臟疾病，但全社會對慢性腎臟病的知曉率尚不足10% ，腎病患者甚至一些非腎臟科的大夫?qū)β阅I臟病的危害缺乏足夠的了解，由于慢性腎臟病早期多沒有明顯癥狀，很容易被忽略，很多患者直到腎功能完全惡化導(dǎo)致尿毒癥時才去就醫(yī)。同時，針對不同慢性腎病的等級又有對應(yīng)的不同治療方向。因此，對慢性腎病進行分級預(yù)警是一個影響非常深遠的課題。在進行慢性腎病分級的過程中，腎小球濾過率對慢性腎病分級起著基礎(chǔ)與指導(dǎo)的作用，因此我們必須著重解決一個重要的問題：腎小球濾過率的評估。

本文主要針對腎小球濾過率的預(yù)測進行設(shè)計。為了達到人工智能對慢性腎病進行分級的最終目的，本文將通過MATLAB軟件平臺對腎小球濾過率的評估進行仿真。接著對于在醫(yī)院收集好的數(shù)據(jù)進行篩選，最終選出一組具有較高參考意義的數(shù)據(jù)，對其使用適當(dāng)?shù)奶幚矸椒?，并運用了BP神經(jīng)網(wǎng)絡(luò)來構(gòu)建合適的預(yù)測模型，對腎小球濾過率進行預(yù)測評估。在經(jīng)過反復(fù)的網(wǎng)絡(luò)學(xué)習(xí)，測試后，最終確定一個誤差最少，精度最高，穩(wěn)定性最好的BP神經(jīng)網(wǎng)絡(luò)評估模型。最后，根據(jù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行分級，從而最終構(gòu)建出一個實用性良好的慢性腎病分級預(yù)警模型。

關(guān)鍵詞：慢性腎病；腎小球濾過率；BP神經(jīng)網(wǎng)絡(luò)

一、前言

在眾多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，多層前饋神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛也是最成熟的一種網(wǎng)絡(luò)結(jié)構(gòu)。Rumelhart，McClelland和他們的同事洞察到神經(jīng)網(wǎng)絡(luò)信息處理的重要性，于1982年成立了一個PDP小組，在研究并行分布信息處理方法，探索人類認知的微結(jié)構(gòu)的過程中，于1986年提出了BP網(wǎng)絡(luò)(Back．PropagationNetwork，簡稱BP網(wǎng)絡(luò))模型，實現(xiàn)了Minsky的多層網(wǎng)絡(luò)設(shè)想[1]。在多層前饋神經(jīng)網(wǎng)絡(luò)MFNN中，網(wǎng)絡(luò)權(quán)值的調(diào)整是通過著名的誤差反向傳播學(xué)習(xí)算法——BP算法來進行的。BP網(wǎng)絡(luò)具有非線性映射能力、泛化能力和容錯能力，同時BP網(wǎng)絡(luò)結(jié)構(gòu)簡單，是在自動控制中是最有用的學(xué)習(xí)算法之一，也是慢性疾病分析的首選神經(jīng)網(wǎng)絡(luò)[2-5]。因此，本文選取這種網(wǎng)絡(luò)結(jié)構(gòu)作為慢性腎病分級預(yù)測的基礎(chǔ)，在后面將對它進行詳細論述。

二、基于BP神經(jīng)網(wǎng)絡(luò)的慢性腎病分級預(yù)警模型設(shè)計框架

要設(shè)計出慢性腎病的分級預(yù)警模型，關(guān)鍵在于如何把慢性腎病進行分級[6-9]。我所采用的設(shè)計框架是基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)，把從醫(yī)院獲得的臨床數(shù)據(jù)進行篩選，并對網(wǎng)絡(luò)進行初始化設(shè)置，運用BP神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)進行學(xué)習(xí)，根據(jù)不斷的誤差修正以及數(shù)據(jù)的測試，構(gòu)建起腎小球濾過率的預(yù)測模型，根據(jù)腎小球濾過率的指標最終建立起符合實際的慢性腎病分級預(yù)警模型，如圖1所示。

圖1 慢性腎病預(yù)警模型設(shè)計框架

因此，本文的整個設(shè)計重點分為兩部分：第一部分為建立腎小球濾過率的預(yù)測模型，第二部分為建立基于人工智能的慢性腎病分級預(yù)警模型。

（一）BP神經(jīng)網(wǎng)絡(luò)進行腎小球濾過率預(yù)測的原理

BP神經(jīng)網(wǎng)絡(luò)是通過對以往歷史數(shù)據(jù)的學(xué)習(xí)，找出不同測量指標對腎小球濾過率的相應(yīng)的非線性的變化關(guān)系，并將具體的資料存儲于相應(yīng)的權(quán)值與閾值之中，從而對腎小球濾過率進行預(yù)測。

（二）基于BP神經(jīng)網(wǎng)絡(luò)的腎小球濾過率預(yù)測模型

利用BP神經(jīng)網(wǎng)絡(luò)對腎小球濾過率進行預(yù)測時，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)的設(shè)計、隱層節(jié)點個數(shù)的確定、樣本數(shù)據(jù)的選取以及對原始數(shù)據(jù)、輸出數(shù)據(jù)的預(yù)處理的確定等問題，都直接影響著我們所建立的腎小球濾過率預(yù)測模型的各項性能[10-12]。

1.網(wǎng)絡(luò)拓撲結(jié)構(gòu)的設(shè)計。

由于網(wǎng)絡(luò)訓(xùn)練樣本是有限的，因此把推廣能力作為主要的要求來操作的話，則強調(diào)選擇能達到要求的最小網(wǎng)絡(luò)[13]。許多理論都表明，一個三層網(wǎng)絡(luò)可以任意逼近一個非線性連續(xù)函數(shù)。由于這種三層網(wǎng)絡(luò)簡單、易于實現(xiàn)、計算量小、并行性強得眾多特點，目前仍然是多層式網(wǎng)絡(luò)訓(xùn)練的首選網(wǎng)絡(luò)結(jié)構(gòu)之一，并且已經(jīng)被人們廣泛應(yīng)用于解決實際的問題。因此，鑒于上述提及的論點，本文采取三層網(wǎng)絡(luò)建模進行對腎小球濾過率的預(yù)測。

相比起輸入輸出層節(jié)點的選擇，隱層節(jié)點數(shù)目的選擇可謂是一個較為復(fù)雜的問題，因為沒有很好的表達式來表示。隱層節(jié)點的數(shù)目與我所需要的輸入、輸出節(jié)點數(shù)目密切相關(guān)。隱層節(jié)點數(shù)目太小，則會導(dǎo)致學(xué)習(xí)過程不能收斂，或者導(dǎo)致網(wǎng)絡(luò)實用性不強，不能識別以前所沒有遇到過的樣本；但是如果隱層節(jié)點數(shù)目過多，雖然網(wǎng)絡(luò)映射能力會增強，局部極小點會越少，且越容易收斂到全局最小點，但會使學(xué)習(xí)時間加長，同時使得網(wǎng)絡(luò)訓(xùn)練過度，這時網(wǎng)絡(luò)不但記住了訓(xùn)練樣本的一般特征，而且記住了訓(xùn)練樣本中的一些個別特征，包括隨機噪聲，這樣將會導(dǎo)致網(wǎng)絡(luò)的容錯性降低[14]。

確定一個最佳的隱層節(jié)點數(shù)的一個常用方法稱為試湊法，可先設(shè)置較少的隱層節(jié)點用以訓(xùn)練網(wǎng)絡(luò)，隨后逐漸增加隱層節(jié)點數(shù)，用同一樣本進行訓(xùn)練，從中確定出網(wǎng)絡(luò)誤差最少的時候?qū)?yīng)的隱層節(jié)點數(shù)[15]。在使用試湊法的時候，可以用一些確定隱層節(jié)點數(shù)的經(jīng)驗公式。這些公式計算出來的隱層節(jié)點數(shù)雖然只是一些粗略的估計值，但是可作為大致隱層節(jié)點數(shù)目的參考：

（3-1）

（3-2）

（3-3）

以上各式中m為隱層節(jié)點數(shù)，n為輸入層節(jié)點數(shù)，l為輸出層節(jié)點數(shù)，a為1-10之間的常數(shù)[16]。在本文中采取了式（3-1）來確定隱層節(jié)點數(shù)的大概范圍，然后將根據(jù)實驗結(jié)果反復(fù)修正具體的隱層結(jié)點個數(shù)。

對于BP網(wǎng)絡(luò)來說，為了節(jié)約訓(xùn)練網(wǎng)絡(luò)的時間，可以采用部分連接的方式，使得在合理的時間內(nèi)獲得比較好的精度。而本文將采用相鄰兩層節(jié)點全連接，而同一層的節(jié)點互不相連的連接方式構(gòu)造BP神經(jīng)網(wǎng)絡(luò)。

（三）腎小球濾過率預(yù)測模型的MATLAB實現(xiàn)。

在建立了腎小球濾過率的預(yù)測模型之后，就要開始使用MATLAB仿真軟件構(gòu)件BP神經(jīng)網(wǎng)絡(luò)，同時通過對網(wǎng)絡(luò)的不斷訓(xùn)練，以求達到最好的腎小球濾過率的預(yù)測效果。

1.BP網(wǎng)絡(luò)的MATLAB實現(xiàn)。

MATLAB是一套功能強大的工程計算及數(shù)學(xué)分析的可視化軟件。1984年，Mathwork公司將MATLAB推向市場。90年代又逐步拓展起數(shù)值計算、符號解析運算、文字處理、圖形顯示等功能，至今，MATLAB已經(jīng)成為線性代數(shù)、自動控制理論、概率論及數(shù)理統(tǒng)計、數(shù)字信號處理、時間序列分析、動態(tài)系統(tǒng)仿真等方面重要的數(shù)學(xué)計算工具[19]。它具有程序可讀性強、程序簡單等優(yōu)點，尤其是在編寫含矩陣運算的復(fù)雜程序時，能給用戶提供極大方便。

現(xiàn)在，神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了解決一些問題的手段以及方法，但利用神經(jīng)網(wǎng)絡(luò)來解決問題的時候，必定會設(shè)計到大規(guī)模的運算量，其中包括了矩陣計算的問題等，考慮到MATLAB的神經(jīng)網(wǎng)絡(luò)工具箱的特殊功能，以及效率與準確性的問題，本文選擇了專門用于了MATLAB軟件進行仿真模擬。

（1）BP神經(jīng)網(wǎng)絡(luò)的生成及初始化。

在MATLAB軟件中，我們采用newff函數(shù)來生成BP網(wǎng)絡(luò)，而newff函數(shù)的調(diào)用格式為：

（3-4）

其中PR為 維的矩陣，表示R維輸入矢量中每維輸入的最小值和最大值之間的范圍；因此，通常我們會設(shè)定 ，即設(shè)定PR為P的最小值和最大值之間的范圍； 中n表示BP神經(jīng)網(wǎng)絡(luò)所具有的層數(shù)，而Sn則表示具體第幾層具有多少個神經(jīng)元； 中各元素表示各層神經(jīng)元采用的傳遞函數(shù)；BTF則表示神經(jīng)網(wǎng)絡(luò)訓(xùn)練時所用的訓(xùn)練函數(shù)；net為生成的BP網(wǎng)絡(luò)對象。對于newff生成的BP神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)本身對各層的權(quán)值和閾值會自動進行初始化，如果用戶需要，則可以對各層網(wǎng)絡(luò)的權(quán)值和閾值的初始化函數(shù)重新定義。

（2）BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

在BP神經(jīng)網(wǎng)絡(luò)生成及初始化后，就可以開始對網(wǎng)絡(luò)進行訓(xùn)練了。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通常采用train函數(shù)來完成，在訓(xùn)練之前需要對網(wǎng)絡(luò)的訓(xùn)練參數(shù)net.trainparam進行適當(dāng)?shù)脑O(shè)置。當(dāng)設(shè)置完訓(xùn)練參數(shù)之后，就可以開始調(diào)用train函數(shù)對BP神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練了。該函數(shù)采用自適應(yīng)學(xué)習(xí)速率法，返回誤差參數(shù)。其調(diào)用格式如下：

（3-5）

其中P是輸入樣本；T是對應(yīng)的輸出樣本；等號的左右兩側(cè)的net分別用于表示訓(xùn)練得到的和訓(xùn)練之前的神經(jīng)網(wǎng)絡(luò)對象；tr存儲了訓(xùn)練過程中的步數(shù)信息以及誤差信息，并給出了網(wǎng)絡(luò)誤差的實時變化曲線。

（3）BP神經(jīng)網(wǎng)絡(luò)的仿真。

在MATLAB的應(yīng)用中，我們選用sim函數(shù)對訓(xùn)練之后所得到的網(wǎng)絡(luò)進行仿真，sim函數(shù)的調(diào)用格式如下：

（3-6）

其中，net為神經(jīng)網(wǎng)絡(luò)對象，P為輸入樣本，Pi為輸入延遲的初始狀態(tài)，Ai為層延遲的初始狀態(tài)，T為輸出樣本，Y為網(wǎng)絡(luò)的實際輸出，Pf為訓(xùn)練終止時的輸入延遲狀態(tài)，Af為訓(xùn)練終止時的層延遲狀態(tài)，E為輸出樣本和實際輸出之間的誤差，pref為網(wǎng)絡(luò)性能值。

對于本文的sim函數(shù)調(diào)用，采取了如下調(diào)用格式進行簡化：

（3-7）

（4）BP神經(jīng)網(wǎng)絡(luò)的保存。

在完成網(wǎng)絡(luò)的訓(xùn)練后，必須要對訓(xùn)練后的網(wǎng)絡(luò)進行保存，這樣才能在下次進行預(yù)測的時候沿用訓(xùn)練過的網(wǎng)絡(luò)，在MATLAB中，保存網(wǎng)絡(luò)的調(diào)用格式如下：

（3-8）

以上即為腎小球濾過率預(yù)測模型的設(shè)計流程。

2.BP神經(jīng)網(wǎng)絡(luò)進行腎小球濾過率預(yù)測的實現(xiàn)。

（1）數(shù)據(jù)樣本的選取。

為實現(xiàn)腎小球濾過率的預(yù)測模型，本文選取了廣州珠江醫(yī)院的327例慢性腎病病歷作為研究對象。

初始權(quán)值采取的是隨機數(shù)，輸入層到單隱層采用的傳遞函數(shù)為tansig函數(shù)，單隱層到輸出層采用的傳遞函數(shù)為logsig函數(shù)，訓(xùn)練函數(shù)采用trainlm函數(shù)。同時，設(shè)置300個訓(xùn)練網(wǎng)絡(luò)的樣本數(shù)據(jù)，誤差精度設(shè)置為E

BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是網(wǎng)絡(luò)是否成功的一個非常重要的環(huán)節(jié)，網(wǎng)絡(luò)訓(xùn)練的好壞直接影響到預(yù)測的準確性與穩(wěn)定性。因此，對網(wǎng)絡(luò)進行訓(xùn)練和測試的時候，必須要反復(fù)修改設(shè)置參數(shù)，方能達到最佳效果。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成之后，需要用另外的測試數(shù)據(jù)來對網(wǎng)絡(luò)進行檢驗，而這些測試的數(shù)據(jù)應(yīng)該要是獨立的數(shù)據(jù)。因此，學(xué)習(xí)與測試過程需要獨立開來，一旦BP網(wǎng)絡(luò)學(xué)習(xí)完成了，就必須要將權(quán)值保存下來，以供下次預(yù)測使用。

（四）仿真實驗及結(jié)果分析。

1.應(yīng)用腎小球濾過率預(yù)測模型建立慢性腎病分級預(yù)警模型。

上述建立腎小球濾過率預(yù)測模型的目的，正是為了建立起慢性腎病的分級預(yù)警模型。在預(yù)測到腎小球濾過率的基礎(chǔ)上，運用數(shù)據(jù)，建立起對應(yīng)的慢性腎病的分級模型。在表1中，根據(jù)歸納方法，列出了以上20組預(yù)測數(shù)據(jù)的預(yù)測分級情況與這20組數(shù)據(jù)實際的分級情況的對比。

表1 20組數(shù)據(jù)的預(yù)測分級與實際分級情況對比

序號 1 2 3 4 5 6

預(yù)測分級 5 3 2 4 5 1

實際分級 5 4 1 5 5 1

序號 7 8 9 10 11 12

預(yù)測分級 4 1 3 5 5 3

實際分級 3 1 3 5 4 3

序號 13 14 15 16 17 18

預(yù)測分級 1 3 3 2 4 3

實際分級 1 3 4 1 5 2

序號 19 20

預(yù)測分級 4 2

實際分級 5 2

從上表1可以看出，基于MATLAB的神經(jīng)網(wǎng)絡(luò)對慢性腎病的分級有較好的準確性，能較好地對慢性腎病進行分級預(yù)警，因此，具有良好的推廣性以及實用性。

三、結(jié)論

本文的工作只是一種基礎(chǔ)性的、初步的工作，涉及到BP神經(jīng)網(wǎng)絡(luò)的一些重要應(yīng)用顯得還比較淺，因此，在今后的研究里面，還需要對其中的許多性能參數(shù)進行有效的修改，方能得到理想的結(jié)果。

在今后的研究中，對BP網(wǎng)絡(luò)的算法修改是一個非常大的課題，為了能使網(wǎng)絡(luò)的預(yù)測能力最大限度地根據(jù)實際情況達到目的，必須針對現(xiàn)有的數(shù)據(jù)資料，對使用的算法進行改良。同時，為了更有效，更準確地得到預(yù)測結(jié)果，需要對樣本的數(shù)量繼續(xù)加以增加，方能達到理想的目標。

因此，以BP神經(jīng)網(wǎng)絡(luò)對醫(yī)學(xué)各個方向的預(yù)測是今后研究許多醫(yī)學(xué)問題的主要趨勢，是一個值得深入探討的重要課題。

參考文獻：

[1]程曉霞. 慢性腎病的幕后推手.疾病與營養(yǎng)。

[2]張春,鄧安國. 慢性腎臟病心血管并發(fā)癥的危險因素與防治.臨床內(nèi)科雜志，2008 25（7）。

[3]陸漢魁.中華檢驗醫(yī)學(xué)雜志. 2007 3（11） P.1211-1212。

[4]葉解明.簡化估算腎小球濾過率模型算法的參考限及臨床特性.2010,25(4)。

[5]M．Kastra．Forecasting Combining with Neural Networks．Forecast，1996，15(1)：49—61。

[6]韓力群．人工神經(jīng)網(wǎng)絡(luò)教程．北京：北京郵電大學(xué)出版社，2006。

[7]王萬森．人工智能原理及其應(yīng)用．北京：電子工業(yè)出版社，2006．27-51。

[8]T．Kohonen．The selforganizing map．Proc IEEE，1990，(78)：1464～1480。

[9]D．E．Rumelhart,GE．Hinton，R．J．Williams．Learning Representations by Back．propagating Errors．Nature，1 986，323(9)：533-536。

[10]鐘義信．智能理論與技術(shù)——人工智能與神經(jīng)網(wǎng)絡(luò)．北京：人民郵電出版社．1992：45--46。

[11]吳凌云．BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改進及其應(yīng)用．信息技術(shù)，2003，27(7)：42—44。

[12]吳耿鋒等．股票短期預(yù)測的一種非線性方法．上海投資，1999：35、37。

[13]徐麗娜．神經(jīng)網(wǎng)絡(luò)控制．哈爾濱：哈爾濱哈爾濱工業(yè)大學(xué)出版社，2006：241～256。

[14]師智斌，陳立潮，靳雁霞．基于神經(jīng)網(wǎng)絡(luò)的股票交易數(shù)據(jù)的預(yù)測研究．華北工學(xué)院學(xué)報，2003，34(6)：12～16。

[15]尹念東．BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用設(shè)計．信息技術(shù)，2003，27(6)：18～20。

[16]韓力群．人工神經(jīng)網(wǎng)絡(luò)教程．北京：北京郵電大學(xué)出版社，2006：74～75。

[17]吳佑壽，趙明生．激活函數(shù)可調(diào)的神經(jīng)元模型及其監(jiān)督學(xué)習(xí)與應(yīng)用．中國科學(xué)E輯，2001，3l(3)：263。

第5篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

【關(guān)鍵詞】計算機科學(xué)與技術(shù) 經(jīng)濟管理 應(yīng)用分析

1 計算機科學(xué)與技術(shù)在經(jīng)濟管理中所體現(xiàn)的作用

在進行經(jīng)濟管理工作的時候，需要對工作產(chǎn)生的巨大信息進行分析與處理，這些數(shù)據(jù)都是企業(yè)及事業(yè)單位的重要性資源，需要這些資源來做到對決策的分析。但是，對于經(jīng)濟管理人員來說，如何對這些信息進行處理，使得這些資源能夠更好的對決策進行服務(wù)，是經(jīng)濟管理人員需要不斷探討的問題，并且很多的研究人員在研究過程中提出了很多的方法來對數(shù)據(jù)進行處理，但是得到真正的應(yīng)用的并不是很多，人們對于決策還是憑著自己感覺來進行。但還因為計算機技術(shù)的發(fā)展，使得人們在對這些數(shù)據(jù)進行處理的過程時，有著極大的便利，因為計算機可以有效的對大量的數(shù)據(jù)進行處理、分析，因此，計算機科學(xué)與技術(shù)為經(jīng)濟管理人員在工作的過程中提供了很大的便利。

2 計算機科學(xué)與技術(shù)在經(jīng)濟管理過程中的應(yīng)用形式

2.1 運用人工神經(jīng)網(wǎng)絡(luò)的形式來對信息進行分析

在動物界的神經(jīng)傳遞過程中，兩個神經(jīng)元之間會有一個突觸，來起到對信息之間的傳遞作用。在傳遞的過程中，會使用到一些神經(jīng)遞質(zhì)來進行傳播，這些神經(jīng)遞質(zhì)具有不同的種類，在對這些神經(jīng)元進行接收的時候，在軸突上，會存在著許多的分支。神經(jīng)遞質(zhì)傳遞到受體細胞，然后再次的在神經(jīng)元內(nèi)對信息進行傳遞。這種信息的傳遞形式具有很多優(yōu)點，科研人員在受到這些啟示之后，就發(fā)明了具有自組織特征的映射算法來對信息做到有效的傳遞。

因為對于計算機技術(shù)的發(fā)展過程來說，其在對外界進行表達的時候，都是以數(shù)字向量的方式來進行的，而對于神經(jīng)系統(tǒng)來說，其在信息的傳播過程中也是將信號進行轉(zhuǎn)變。所以使用計算機技術(shù)來對信息進行處理的時候，與神經(jīng)信息傳遞之間有著很相似的地方。

2.2 這種人工神經(jīng)網(wǎng)絡(luò)的信息處理方式具備的功能

對于這種人工神經(jīng)網(wǎng)絡(luò)的信息處理方式，其是根據(jù)生物學(xué)中神經(jīng)網(wǎng)絡(luò)的形式來研究出來的，所在對于這種人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來說，其有很大一部分特點都是跟生物學(xué)的中神經(jīng)系統(tǒng)是相似的，具備一些智能的功能。首先它所體現(xiàn)出來的一種特點是在記憶方面，因為它是根據(jù)生物神經(jīng)模式來進行設(shè)計的，因此其在對信息進行儲存及分析過程中，會第一這些信息進行保留，并且還具備聯(lián)想記憶的功能。其次其具備的特點就是可以進行非線性映射。因為在很多的實現(xiàn)操作過程中，很多輸出的信息與輸入的信息之間并不能夠建立起一種線性的關(guān)系，使得很多熟悉的模型不能夠在其它信息處理系統(tǒng)中進行設(shè)計出來。但是使用人工神經(jīng)網(wǎng)絡(luò)的設(shè)計方式，就使得在信息處理的過程中能夠做到滿足非線性映射，并且還可以在設(shè)計的過程中建立起很大的非線性的數(shù)學(xué)模型，并且各個領(lǐng)域中都可以得到應(yīng)用。另外，在這種人工神經(jīng)網(wǎng)絡(luò)的信息處理模式中，還可以對輸入的信息進行識別，并做到有效的分類，這對原來在信息處理過程中存在的信息不易分離與辨別的問題做到了有效的解決。最后一項具備的功能就是它可以對輸入與輸出的信息及知識內(nèi)容進行一個有效的處理，因為人工神經(jīng)網(wǎng)絡(luò)模式具備生物學(xué)中神經(jīng)傳遞的特點，所以它可以在信息到達的時候，對其進行分析及處理，對于那些符合條件的信息加以利用，并進行儲存。這就使得在信息的處理過程中，能夠做到對數(shù)據(jù)根據(jù)其特征來進行分類與分析。

3 人工神經(jīng)網(wǎng)絡(luò)的信息處理技術(shù)在經(jīng)濟管理中的應(yīng)用

計算機科學(xué)與技術(shù)發(fā)展過程中所帶來的這種神經(jīng)網(wǎng)絡(luò)的信息處理模式，因為其具備的一些特征與功能，因此在眾多的領(lǐng)域中得到了有效的利用，解決了傳統(tǒng)信息處理過程中那些不能夠進行解決的問題，并且都取得了很好的效果。所以，目前這種信息的處理方式不僅在經(jīng)濟管理過程中得以使用，還在醫(yī)學(xué)、工程技術(shù)及其它經(jīng)濟領(lǐng)域中都得到廣泛的應(yīng)用。

3.1 在信貸分析過程中需要對這種信息處理技術(shù)加以利用

對于信貸分析工作來說，信用評估機構(gòu)是具備自己特征的，因此在信息處理過程中，因為這些企業(yè)所帶來的信息形式的不同，使得在對其信用度進行評判的過程中，帶來很大的問題，也很難對其進行判斷，使得很多時候都會帶來很多的經(jīng)濟損失。但是對這種人工神經(jīng)網(wǎng)絡(luò)信息的處理技術(shù)的使用，就會對所出現(xiàn)的問題做到有效的解決了。在對這些貸款企業(yè)進行信用評價的時候，只需要將信息轉(zhuǎn)化為編碼來輸入進去，就可以對數(shù)據(jù)進行分析，并且因為輸入的信息量比較大，使得在評價的過程中更做到具有更大的準確性。對這種技術(shù)的使用，不僅可以做到準確性，還可以避免操作人員的主觀思維形式。這是這些優(yōu)勢的存在，使得其在對企業(yè)風(fēng)險進行分析的過程中得到很廣泛的應(yīng)用。

3.2 使用這種方法可以對市場做到更準確的預(yù)測

在經(jīng)濟管理過程中，需要對市場中出現(xiàn)的一些因素做到有效的分析，并做到對未來發(fā)展趨勢進行相關(guān)的預(yù)測，使得在決策的過程中，能夠起到參考的作用，使得風(fēng)險得到降低。使用人工神經(jīng)網(wǎng)絡(luò)的信息處理技術(shù)來對市場進行預(yù)測，使得對市場中變動的價格與走勢進行考量與分析，使得一個可靠的市場模型可以得到建立。例如在期貨市場上運用這種技術(shù)，可以對其未來價格進行預(yù)測。并且這種技術(shù)在股票市場中也有所應(yīng)用。

四、結(jié)束語

隨著科學(xué)技術(shù)的發(fā)展以及電子計算機技術(shù)的日趨成熟，使得原本很復(fù)雜的工作在其處理之下都得到了很好的解決。在經(jīng)濟管理過程中，其產(chǎn)生的大量數(shù)據(jù)，使用傳統(tǒng)的方式難以進行解決，但是使用計算機科學(xué)與技術(shù)，就可以模仿人對在神經(jīng)傳遞中對信息的處理方式來進行處理，為其工作提供了很大的便利。

參考文獻

[1]李苗苗.論我國企業(yè)的經(jīng)濟管理[J].現(xiàn)代經(jīng)濟信息，2009.

[2]張信賓.高校計算機基礎(chǔ)教育的教學(xué)思路與方法研究[J].沿海企業(yè)與科技，2005.

第6篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：結(jié)構(gòu)損傷檢測結(jié)構(gòu)健康診斷/監(jiān)測 神經(jīng)網(wǎng)絡(luò) Bp網(wǎng)絡(luò) 概率神經(jīng)網(wǎng)絡(luò)

中圖分類號：TU318 文獻標識碼：A

0引言

隨著土木工程事故的頻繁發(fā)生，工程質(zhì)量的好壞引起了人們的日益重視。工程結(jié)構(gòu)中存在著表面的某種破損或缺陷，這些事肉眼可見的。但建筑材料由于荷載和環(huán)境的作用而使結(jié)構(gòu)內(nèi)部受到不同程度的損傷，這類損傷與缺陷是人們?nèi)庋劭床坏降?。結(jié)構(gòu)的缺陷與損傷嚴重地降低了結(jié)構(gòu)的安全性、適用性和耐久性，因此迫切需要對它們進行健康診斷進而更好地對它們進行維修、加固、管理和使用。

50年來，我國土木工程結(jié)構(gòu)的健康監(jiān)測經(jīng)歷了從無到有、從單項到全面、從局部構(gòu)件到整體結(jié)構(gòu)的發(fā)展過程，特別是最近20多年，結(jié)構(gòu)損傷檢測技術(shù)逐步形成了一門較為完整的新興邊緣綜合工程學(xué)科，并得到快速的發(fā)展，其應(yīng)用對象已從開始階段的單層的破舊民居擴展到建設(shè)工程中的各類結(jié)構(gòu)。結(jié)構(gòu)健康診斷技術(shù)是保證結(jié)構(gòu)安全的基本措施之一，它能對結(jié)構(gòu)損傷的發(fā)展做出早期預(yù)報，對出現(xiàn)損傷的原因做出判斷，提出對策建議，避免或減少事故的發(fā)生。如今，土木工程結(jié)構(gòu)的健康診斷與防治在國民經(jīng)濟建設(shè)中所占的比重越來越高，相應(yīng)的技術(shù)研究和應(yīng)用開發(fā)也成為一個重要方向，各國土木工程領(lǐng)域的研究開發(fā)重點已逐步轉(zhuǎn)向這一領(lǐng)域，我國的科技工作者與工程領(lǐng)域也開始廣泛關(guān)注這方面的研究。結(jié)構(gòu)健康監(jiān)測的發(fā)展與應(yīng)用對于提高建設(shè)工程的質(zhì)量起到了積極的作用，在節(jié)省國家與企業(yè)的資金、保障企業(yè)生產(chǎn)安全和人民生命財產(chǎn)的安全方面也起到了一定的作用，因此對結(jié)構(gòu)損傷檢測方法的研究是有一定的現(xiàn)實意義的。

1.結(jié)構(gòu)損傷檢測[1]

土木工程結(jié)構(gòu)的健康監(jiān)測和損傷檢測技術(shù)是一門新興的科學(xué)技術(shù)，目前正處于蓬勃的發(fā)展之中。雖然這種技術(shù)已被廣泛應(yīng)用于航空、航天精密機械等領(lǐng)域之中，但是在土木工程領(lǐng)域的研究還處于起步階段，絕大多數(shù)研究還僅僅局限于實驗階段。雖然國內(nèi)外已有一些橋梁、建筑已經(jīng)開始現(xiàn)場監(jiān)測工作，但是整個研究工作和技術(shù)的成熟還有待時日。

對結(jié)構(gòu)進行損傷（或故障）檢測、診斷與評估師一個運用數(shù)學(xué)模型建立并描述物理系統(tǒng)的過程，對于遭受不同程度破壞的結(jié)構(gòu)，其本身的某些特性往往發(fā)生變化。為了鑒定這些變化對結(jié)構(gòu)的影響程度，常進行一系列的模擬實驗，測定相關(guān)的荷載、位移、應(yīng)變及加速度等，從材料性能如強度、剛度和動力特征（如振動頻率和阻尼比）方面對結(jié)構(gòu)做出評估。

理想的結(jié)構(gòu)健康監(jiān)測與損傷識別技術(shù)應(yīng)能在結(jié)構(gòu)損傷出現(xiàn)的較早時期發(fā)現(xiàn)損傷，在傳感器精度允許的情況下確定損傷的位置，估計損傷的程度，并預(yù)測出結(jié)構(gòu)的剩余有效壽命。理想的損傷識別方法應(yīng)該具備的另一重要性能是，能夠分區(qū)分結(jié)構(gòu)建模誤差引起的偏差與結(jié)構(gòu)損傷引起的偏差間的區(qū)別。盡管近幾年出現(xiàn)了一些運用較為成功的整體監(jiān)測/檢測技術(shù)，但對于如何從量測得到的信息來解釋結(jié)構(gòu)的安全狀態(tài)及損傷情況，卻遠未建立起完善的科學(xué)理論，對復(fù)雜結(jié)構(gòu)的整體檢測仍然是土木工程領(lǐng)域面臨的一大挑戰(zhàn)。

結(jié)構(gòu)健康監(jiān)測系統(tǒng)應(yīng)包括下列幾部分：傳感系統(tǒng)、數(shù)據(jù)采集和處理系統(tǒng)、通訊系統(tǒng)、監(jiān)控中心和報警設(shè)備。

2. 結(jié)構(gòu)損傷檢測方法[2]-【4】

結(jié)構(gòu)損傷檢測的分類方法有許多，從結(jié)構(gòu)承受的荷載來分，結(jié)構(gòu)檢測方法分為靜力檢測方法和動力檢測方法；從損傷方法對結(jié)構(gòu)是否產(chǎn)生損壞，結(jié)構(gòu)檢測方法可以分為有損檢測和無損檢測；從檢測方法的智能化程度來分，分為傳統(tǒng)損傷檢測方法和基于計算智能損傷檢測方法。

（1）動力損傷檢測方法分類

由于動力損傷檢測方法對結(jié)構(gòu)物無損害，且檢測經(jīng)濟、快速而得到了土木工程界的青睞和重視。一般來說，動力損傷檢測方法按照識別區(qū)域可以分為時域法和頻域法；從研究和應(yīng)用的角度可以分為模型修正法和指紋分析法。

（2）其他無損檢測方法

除動力損傷檢測法之外，還有許多無損傷檢測法，如目測法、光譜法（Optical Radiography）、超聲波法、聲發(fā)射法、雷達法、激光全息檢測法、我留法（Eddy Current）、微波法、熱力法等。

（3）智能檢測方法

九十年代初，隨著微型計算機的發(fā)展和廣泛應(yīng)用，計算智能（在20世紀90年代中期被提出）在損傷檢測領(lǐng)域逐漸得到了廣大研究人員的重視。計算智能在損傷檢測領(lǐng)域的研究方向主要有專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、模糊理論、遺傳算法等。本文主要介紹神經(jīng)網(wǎng)絡(luò)及其在損傷檢測中的應(yīng)用。

3. 神經(jīng)網(wǎng)絡(luò)在損傷檢測中的應(yīng)用[3] [4]

神經(jīng)網(wǎng)絡(luò)應(yīng)用于結(jié)構(gòu)損傷檢測中去是近些年來十分活躍的應(yīng)用領(lǐng)域之一。由于神經(jīng)網(wǎng)絡(luò)資深所具有的功能和其信息處理的特點，在滿足結(jié)構(gòu)損傷識別算法所要求的實時性、及時性和穩(wěn)健性等方面，比基于模型的各種方法、傳統(tǒng)的模式識別方法和專家系統(tǒng)方法等傳統(tǒng)方法悠著更明顯的優(yōu)勢，而且，同其它方法相比，在先驗信息需求方面更寬松，自適應(yīng)和可學(xué)習(xí)能力更強。目前，神經(jīng)網(wǎng)絡(luò)損傷識別方法已在結(jié)構(gòu)損傷檢測方面的研究越來越深入。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network簡稱ANN）是在現(xiàn)代神經(jīng)生理學(xué)和心理學(xué)的研究基礎(chǔ)上，模仿人的大腦神經(jīng)元結(jié)構(gòu)特性而建立的一種非線性動力學(xué)網(wǎng)絡(luò)系統(tǒng)，它由大量的簡單的非線性處理單元（類似的神經(jīng)元）高度并聯(lián)、互聯(lián)而成，具有對人腦某些基本特性的簡單的數(shù)學(xué)模仿能力。人工神經(jīng)網(wǎng)絡(luò)最大的特點是適應(yīng)性，它通過自身的學(xué)習(xí)機制自動形成所要求的決策區(qū)域。

根據(jù)生物神經(jīng)元的結(jié)果、作用機制，并作進一步的簡化，構(gòu)成了神經(jīng)元模型，即人工神經(jīng)元。神經(jīng)元模型至今已發(fā)展有很多種，常見的模型有：

BP網(wǎng)絡(luò)模型

反向傳播網(wǎng)絡(luò)（Back-Propagation Network，簡稱BP網(wǎng)絡(luò)）是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò)。在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，80%~90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用BP網(wǎng)絡(luò)或它的變化形式，它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。

概率神經(jīng)網(wǎng)絡(luò)（PNN）

PNN就是將貝葉斯估計放置于一個前饋神經(jīng)網(wǎng)絡(luò)中，其實質(zhì)就是一個分類器，它根據(jù)概率密度函數(shù)的無參估計來進行貝葉斯決策而得到分類結(jié)果。

模糊神經(jīng)網(wǎng)絡(luò)（FNN）

模糊邏輯與神經(jīng)網(wǎng)絡(luò)是當(dāng)前備受關(guān)注的兩項信息處理技術(shù)，都是屬于不需要用公式數(shù)學(xué)模型的信息處理方法，都可以從數(shù)據(jù)中提煉系統(tǒng)的輸入輸出之間的規(guī)律。將神經(jīng)網(wǎng)絡(luò)與模糊邏輯技術(shù)有機地融合在一起來發(fā)揮互補優(yōu)勢，模糊神經(jīng)網(wǎng)絡(luò)隨之產(chǎn)生。

以上是幾種常見的網(wǎng)絡(luò)模型，其中最為廣泛應(yīng)用的是BP網(wǎng)絡(luò)，另外還回歸BP網(wǎng)絡(luò)、Boltzmann機網(wǎng)絡(luò)等網(wǎng)絡(luò)模型。

4. 結(jié)論與展望

結(jié)構(gòu)健康診斷技術(shù)由于其廣泛的應(yīng)用潛力近年來引起了極大的關(guān)注，它不僅在所有的智能材料與結(jié)構(gòu)的國際研討會上提出，并且已經(jīng)成為一個專門的研究課題。在國際上開展的各個關(guān)于結(jié)構(gòu)健康監(jiān)測的專題研討會上集中討論和總結(jié)了國際結(jié)構(gòu)損傷檢測領(lǐng)域的研究成果，提出了需要進一步研究和亟待解決的問題，極大地推動了結(jié)構(gòu)健康監(jiān)測技術(shù)的發(fā)展。

需要進一步研究的問題有：（1）新型傳感器和激振器的發(fā)展；（2）損傷識別和整體特征描述與評價；（3）系統(tǒng)整體性的研究；（4）結(jié)構(gòu)損傷檢測技術(shù)在民用結(jié)構(gòu)、橋梁、高速公路系統(tǒng)、大型高層建筑、電廠結(jié)構(gòu)中的進一步應(yīng)用。

李國強,李杰.工程結(jié)構(gòu)動力檢測理論與應(yīng)用[M].北京:科學(xué)出版社,2002.

姜紹飛.基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化與損傷檢測[M].北京:科學(xué)出版社,2002.

第7篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞：網(wǎng)絡(luò)安全；評價方式；應(yīng)用；探討

中圖分類號：TP393文獻標識碼：A文章編號：1007-9599 (2012) 03-0000-02

The Study of Comprehensive Evaluation of Network Security

Sui Zhenyou1,Tong Lu2

(1.Institute of Adult Education,Inner Mongolia University for Nationalities,Tongliao028043,China;2. Xingan Vocational and Technical College,Xinganmeng137400,China)

Abstract:Network security is a complex project,this is closely related to computer networks,information security issues more and more people's attention,therefore,to develop an effective and scientific network security policy is to ensure that the network information security protection,which requires network security risk assessment,development of a comprehensive evaluation of effective network security is also particularly important.Start of network security evaluation and comprehensive evaluation of the three types of network security are discussed from two aspects of the evaluation principles and evaluation model for comparison and reference.

Keywords:Network security;Evaluation methods;Application;Explore

一、引言

當(dāng)今計算機網(wǎng)絡(luò)技術(shù)迅猛發(fā)展，與此同時其網(wǎng)絡(luò)安全問題也日益凸顯，也成為計算機網(wǎng)絡(luò)技術(shù)發(fā)展所需要解決的迫切問題[1]。因此需要對網(wǎng)絡(luò)的安全狀況進行合理和有效的評價，以幫助用戶全面掌握網(wǎng)絡(luò)安全狀態(tài)，及時采取必要的防范措施，以確保網(wǎng)絡(luò)的安全。目前在對網(wǎng)絡(luò)安全的評價方法上，主要依靠查找系統(tǒng)的安全漏洞或者薄弱環(huán)節(jié)，進而對系統(tǒng)的安全性能進行測試評估。然而，計算機網(wǎng)絡(luò)安全所涉及的領(lǐng)域太廣，需要運用系統(tǒng)工程的思想方法才能對網(wǎng)絡(luò)的安全狀況做好有效的評估和得到準確的評價結(jié)果。我國在計算機網(wǎng)絡(luò)安全的評價理論和方法研究上，雖有些學(xué)者對其進行了研究，但是研究成果還比較分散，仍未形成系統(tǒng)和科學(xué)的體系。對此，針對網(wǎng)絡(luò)安全綜合評價方式的研究現(xiàn)狀，有必要對其進行梳理，為促進其深入研究提供參考。

二、三種網(wǎng)絡(luò)安全綜合評價方式探討

網(wǎng)絡(luò)安全綜合評價具體包括了三個方面的內(nèi)容，一是建立評價指標體系，二是需對評價指標實施標準化的處理，三是采用合適的評價方法。其中，評價指標選取的合適與否對綜合評價有著基礎(chǔ)性的影響，因此在對其的選取上務(wù)必要合理和科學(xué)。由于網(wǎng)絡(luò)安全評價屬于復(fù)雜工程，采用以往的定性或者定量方式都難以取得理想的評價效果，因此必須要尋找更為科學(xué)和有效的網(wǎng)絡(luò)安全綜合評價方式。

（一）基于層次分析法的網(wǎng)絡(luò)安全綜合評價方式

原理：層次分析法可以在對網(wǎng)絡(luò)安全綜合評價時把定性分析和定量分析結(jié)合起來，它的原理是：首先是對問題進行層次化分解，在該過程中對系統(tǒng)對象進行抽象化，轉(zhuǎn)化為一個層次化、有序化的結(jié)構(gòu)模型；其次是對同屬層次中的評價指標進行互相比較，創(chuàng)建判斷矩陣，產(chǎn)生評價指標相對權(quán)重；最后是計算每層指標的組合權(quán)重，獲得各個指標相對于總指標的權(quán)重比較值，并進行排序，作為決策的依據(jù)。層次分析法可以把專家知識和人的主觀判斷結(jié)合起來，用數(shù)量形式進行表達和處理，將研究對象看作一個有機聯(lián)系的整體，因而可以對系統(tǒng)進行有效的分析[2]。并且，采用層次分析法對網(wǎng)絡(luò)安全進行評價，對影響網(wǎng)絡(luò)安全的各種因素都可以充分考慮，有利于準確評價網(wǎng)絡(luò)安全的風(fēng)險狀況。

模型：在用層次分析法構(gòu)建網(wǎng)絡(luò)安全綜合評價模型前，很有必要了解與之相關(guān)的網(wǎng)絡(luò)安全評價指標體系，以利于保障信息的完整性、可用性和保密性。目前在對網(wǎng)絡(luò)安全進行安全評價的過程當(dāng)中，還沒有有效的指標體系建立方法，現(xiàn)在應(yīng)用比較多的是德爾菲法，因其結(jié)合了不少專家經(jīng)驗和主觀判斷，可在概率上對很多不能進行定量分析的因素做出估算，并把評估報告報給評估專家，從而可利用信息控制及反饋來使評價意見收斂，最終得到一個協(xié)調(diào)的結(jié)果。采用層次分析法建立網(wǎng)絡(luò)安全綜合評價模型可以分為四個步驟，首先是要建立起網(wǎng)絡(luò)安全的層次結(jié)構(gòu)模型；其次是要建立起判斷矩陣，再次是要計算指標權(quán)重，最后是要進行一次性檢驗。通常，可把網(wǎng)絡(luò)安全的綜合評價指標的層次結(jié)構(gòu)模型分為三層，把網(wǎng)絡(luò)安全定義為目標層，將管理安全、數(shù)據(jù)安全、環(huán)境安全及軟硬件安全定義為規(guī)則層，把組織體系、制度管理、入侵檢測、數(shù)據(jù)加密和數(shù)據(jù)備份等定義為措施層。判斷矩陣是由專家知識對各層次的評價指標與上一層次的功能模型相對重要性進行互相比較，從而形成的一個數(shù)據(jù)矩陣。在對指標權(quán)重的確定上，需要按照一定的順序進行，步驟如下：以專家經(jīng)驗為依據(jù)，對準則層相對于安全目標層的指標權(quán)重進行判斷，確定其最大特征值和特征向量，再進行歸一化處理，從而取得相應(yīng)的權(quán)重系數(shù)；同理，可以計算確定措施層相對于準則層的每項指標權(quán)重系數(shù)；最后把上面兩次計算出來的指標權(quán)重相乘，得到合成的權(quán)重，以表示措施層相對于安全目標層的合成權(quán)重。由于專家在各指標重要性的判斷上存在差異，因此，還很有必要根據(jù)相應(yīng)的判斷矩陣一致性指標公式對判斷矩陣實施一致性檢驗，以檢驗其一致性程度。

（二）基于模糊評價法的網(wǎng)絡(luò)安全評價方式

原理：基于模糊評價法的網(wǎng)絡(luò)安全評價方式是一種將定性分析和定量分析結(jié)合起來，綜合化程度高的網(wǎng)絡(luò)安全評價方式。所謂模糊綜合評價法屬于一種應(yīng)用模糊數(shù)學(xué)的綜合評價方法，其依據(jù)模糊數(shù)學(xué)中的隸屬度理論將定性評價轉(zhuǎn)變?yōu)槎吭u價，由模糊數(shù)學(xué)對受因素制約的對象作出總體評價，不但結(jié)果清晰和系統(tǒng)性強，而且可以有效解決一些模糊及難數(shù)量化的問題，因而在解決多種非確定性問題上具有很明顯的優(yōu)勢[3]。

模型：建立網(wǎng)絡(luò)安全的評價模型，需要做到以下幾點：一是注意評估要素。網(wǎng)絡(luò)安全的風(fēng)險是由于各種外部的威脅因素通過其漏洞對資產(chǎn)價值造成破壞，其值是資產(chǎn)價值、網(wǎng)絡(luò)脆弱等級和網(wǎng)絡(luò)威脅評估等級的函數(shù)。二是資產(chǎn)評估。通過資產(chǎn)評估，可以提供重要資產(chǎn)價值評估和確定漏洞掃描器分布等。三是威脅評估，其主要包括評估各種類型資產(chǎn)薄弱環(huán)節(jié)、可能的威脅類型、各種攻擊代價等。四是評估方法。評估方法是采用模糊數(shù)學(xué)的概念和方法，以便于得到簡單易用的評估結(jié)果。采用模糊方法對網(wǎng)絡(luò)安全進行安全評價時，首先要確定好隸屬度函數(shù)，按照某一標準對包含所有評判因子在內(nèi)的因素集合進行分組，一般把性質(zhì)相近的因素放到一起。其次是建立好關(guān)系模糊矩陣，設(shè)置每個單項指標集合和風(fēng)險級別集合，并對每個單項指標進行評價，由各自相關(guān)的隸屬度函數(shù)來求出每個單項指標相對于風(fēng)險級別的隸屬度，從而得到關(guān)系模糊矩陣。同時，還需要根據(jù)相關(guān)條件來確定權(quán)重模糊矩陣。最后是根據(jù)權(quán)重模糊矩陣與關(guān)系模糊矩陣來確定模糊綜合評價模型，通過把兩個模糊矩陣相乘，所得的矩陣即是模糊綜合評價模型。

（三）基于BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全評價方式

原理：BP神經(jīng)網(wǎng)絡(luò)是當(dāng)前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，最早由1986年的一個科學(xué)家小組提出，屬于一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練而得的多層前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)可以學(xué)習(xí)和貯存大量輸入到輸出模式的映射關(guān)系，不需先揭示描述該映射關(guān)系的數(shù)學(xué)方程。它通過使用最速下降法作為學(xué)習(xí)規(guī)則，由反向傳播不斷調(diào)整網(wǎng)絡(luò)權(quán)值和閥值，從而可使網(wǎng)絡(luò)的誤差平方和取到最小。

模型：BP神經(jīng)網(wǎng)絡(luò)一般由輸入層、隱含層及輸出層構(gòu)成。可以用BP神經(jīng)網(wǎng)絡(luò)來逼近在任意區(qū)間內(nèi)的連續(xù)函數(shù)，實現(xiàn)相關(guān)的從輸入到輸出的映射關(guān)系。BP神經(jīng)網(wǎng)絡(luò)的模型在計算時采用梯度搜索技術(shù)，計算時，輸入信號從輸入層進入，再經(jīng)隱含層單元的逐層處理，傳到輸出層，上層神經(jīng)元僅影響下層神經(jīng)元的狀態(tài)。若輸出層未能得到期望的輸出，會轉(zhuǎn)到反向傳播，把輸出信號誤差按原連接通路返回，修改每層神經(jīng)元的權(quán)重，使誤差最小[4]。

基本評價步驟：首先是對網(wǎng)絡(luò)初始狀態(tài)進行初始化，主要是對相關(guān)的連接權(quán)值和閥值賦予-1到1之間的隨機數(shù)；接著把第一個輸入樣本對輸入；接著計算中間每層神經(jīng)元的相應(yīng)輸入值和輸出值；接著計算相關(guān)的連接到輸出層單元和中間層單元的權(quán)限誤差，接著對相關(guān)連接權(quán)值和閥值進行更新；再接著輸入下一學(xué)習(xí)樣本對，到全部模式對訓(xùn)練完畢，再開始新一輪的學(xué)習(xí)訓(xùn)練，直到滿足相應(yīng)的結(jié)束條件。

在網(wǎng)絡(luò)安全評價中的應(yīng)用。由于BP網(wǎng)絡(luò)具有出色的非線性處理能力，可以有效解決在信息模糊、矛盾頻雜等復(fù)雜環(huán)境下的判斷和認知問題，在網(wǎng)絡(luò)安全的評價當(dāng)中也有廣泛的應(yīng)用。例如，有學(xué)者用BP網(wǎng)絡(luò)對投資風(fēng)險進行了評估研究，取得了良好的成果；有學(xué)者在電力系統(tǒng)中運用BP神經(jīng)網(wǎng)絡(luò)進行安全評估；也有學(xué)者將BP神經(jīng)網(wǎng)絡(luò)對地震災(zāi)害進行了評估。又如，有國外學(xué)者將BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于橋梁系統(tǒng)的性能評價當(dāng)中，證明了其在方案評價中的潛力和效率；國內(nèi)也有學(xué)者把BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于信息管理系統(tǒng)的綜合評價和多目標綜合評價當(dāng)中，取得了不少研究成果。

三、結(jié)語

網(wǎng)絡(luò)安全保障體系的建設(shè)將是一個長期和復(fù)雜的系統(tǒng)工程，不僅需要加強技術(shù)支撐和制度管理，還需要運用科學(xué)有效的網(wǎng)絡(luò)安全綜合評價方式對安全風(fēng)險進行評估，根據(jù)安全評估報告采取相應(yīng)的安全措施，從而使安全風(fēng)險在可控的范圍內(nèi)。本文主要從原理和模型方面比較具體地探討和梳理了層次分析法、模糊評價法和BP神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全綜合評價中的應(yīng)用情況，結(jié)果表明這三種方法在對網(wǎng)絡(luò)安全綜合評價中的應(yīng)用可以使評價結(jié)果更加客觀和準確。

參考文獻：

[1]許福永,神劍,李劍英.網(wǎng)絡(luò)安全綜合評價方法的研究及應(yīng)用[J].計算機工程與設(shè)計,2006,27(8):1398-1400

[2]李健宏,李廣振.網(wǎng)絡(luò)安全綜合評價方法的應(yīng)用研究[J].計算機仿真,2011,28(7):165-168

第8篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

 

 

本 科 生 畢 業(yè) 論 文（設(shè)計）

 

本 科 生 畢 業(yè) 論 文（設(shè)計）

題目 陣列化的非晶體納米硅神經(jīng)突觸器件制備與數(shù)值模擬        

 

 

姓名與學(xué)號     鄭浩 315104964    

指導(dǎo)教師        皮孝東          

合作導(dǎo)師                        

年級與專業(yè)  2015級 材料科學(xué)工程  

所在學(xué)院        材料科學(xué)工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大學(xué)本科生畢業(yè)論文（設(shè)計）承諾書

1.本人鄭重地承諾所呈交的畢業(yè)論文（設(shè)計），是在指導(dǎo)教師的指導(dǎo)下嚴格按照學(xué)校和學(xué)院有關(guān)規(guī)定完成的。

2.本人在畢業(yè)論文（設(shè)計）中除了文別加以標注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為獲得 浙江大學(xué) 或其他教育機構(gòu)的學(xué)位或證書而使用過的材料。

3.與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。

4. 本人承諾在畢業(yè)論文（設(shè)計）選題和研究內(nèi)容過程中沒有偽造相關(guān)數(shù)據(jù)等行為。

5. 在畢業(yè)論文（設(shè)計）中對侵犯任何方面知識產(chǎn)權(quán)的行為，由本人承擔(dān)相應(yīng)的法律責(zé)任。

6.本人完全了解 浙江大學(xué) 有權(quán)保留并向有關(guān)部門或機構(gòu)送交本論文（設(shè)計）的復(fù)印件和磁盤，允許本論文（設(shè)計）被查閱和借閱。本人授權(quán) 浙江大學(xué) 可以將本論文（設(shè)計）的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索和傳播，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文（設(shè)計）。

 

 

作者簽名：                         導(dǎo)師簽名：

 

簽字日期：     年   月   日      簽字日期：      年   月   日

 

 

 

致  謝

致謝內(nèi)容。（仿宋字體或Times New Roman，小四號，兩端對齊，首行縮進兩個漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息時代的來臨，人類在處理大數(shù)據(jù)與多信息的任務(wù)面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計算機思想在處理這些問題時出現(xiàn)了本質(zhì)上的不足，因此神經(jīng)網(wǎng)絡(luò)的應(yīng)用于硬件化變得十分迫切。隨著憶阻器的發(fā)現(xiàn)，類腦計算的實際應(yīng)用變得可能。本文從硬件神經(jīng)網(wǎng)絡(luò)的興起出發(fā)，闡述了硬件神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀與實現(xiàn)途徑，之后引入了生物神經(jīng)元的特征，闡述了以往關(guān)于人類神經(jīng)元建立的數(shù)學(xué)模型。之后本文提出了一種陣列化硅納米晶體神經(jīng)突觸器件的制備方法與過程，并且在基于這樣的器件上，得到相應(yīng)的LTP與STDP數(shù)據(jù)，將這些數(shù)據(jù)分別用于探究：神經(jīng)元激活函數(shù)數(shù)值模擬，有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)之tempotron算法數(shù)值模擬與STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)數(shù)值模擬，在得到結(jié)果的基礎(chǔ)上，提出了硬件化神經(jīng)網(wǎng)絡(luò)所需要的器件的基本性質(zhì)與要求。為未來的硬件化目標提出了可行性與基本方向。

關(guān)鍵詞：硬件神經(jīng)網(wǎng)絡(luò)；神經(jīng)元；神經(jīng)突觸器件；激活函數(shù)；Tempotron算法；STDP；無監(jiān)督學(xué)習(xí)

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  畢業(yè)論文（設(shè)計）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 緒論

1.1.1 硬件神經(jīng)網(wǎng)絡(luò)的興起

1.1.2 硬件神經(jīng)網(wǎng)絡(luò)的實現(xiàn)

1.3.1 生物神經(jīng)元介紹

1.3.2 人工神經(jīng)元介紹

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹

3.1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1.2 神經(jīng)元硬件化結(jié)論

3.2.1 脈沖編碼

3.2.2 權(quán)值更新

3.2.3 數(shù)值模擬結(jié)果

3.2.4 LTP權(quán)值改變法

3.2.5 STDP權(quán)值改變法

3.2.6 結(jié)論

3.3.1 理論背景與基礎(chǔ)

3.3.2 網(wǎng)絡(luò)設(shè)計

3.3.3 模擬結(jié)果

作者簡歷

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

畢業(yè)論文（設(shè)計）

第一章  緒論

11.1  硬件神經(jīng)網(wǎng)絡(luò)1.1.1  硬件神經(jīng)網(wǎng)絡(luò)的興起

21世紀進入信息時代后，計算機的普及率大大上升，計算機本身也在計算力與邏輯處理上遠遠超過了人腦，然而不足的是，在數(shù)據(jù)的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個神經(jīng)元和10^15神經(jīng)突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識別它的過程往往使視覺神經(jīng)信號與記憶信號同時作用的結(jié)果，功耗在fj量級。在使得馮-洛伊曼式計算機處理復(fù)雜指令與控制上體現(xiàn)出了根本性的缺陷?；谶@一點，神經(jīng)網(wǎng)絡(luò)的研究開始興起，在1943年，McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型后, 有關(guān)于神經(jīng)網(wǎng)絡(luò)的討論也逐漸火熱起來，但其發(fā)展的中途受到很多科學(xué)家對其的質(zhì)疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經(jīng)網(wǎng)絡(luò)，從數(shù)學(xué)上的形式，證明了這種算法的可行性，BP神經(jīng)網(wǎng)絡(luò)是一種前饋式的誤差逆向傳播網(wǎng)絡(luò)，通過訓(xùn)練集不斷縮小輸出值與目標值的差值從而達到非線性優(yōu)化的目的。由此，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理得到證明，其實在1970年神經(jīng)網(wǎng)絡(luò)存在一段低落期，也受到了很多懷疑。但是BP神經(jīng)網(wǎng)絡(luò)的興起與提出，讓科學(xué)們對于神經(jīng)網(wǎng)絡(luò)的態(tài)度再次火熱起來。21世紀隨著深度學(xué)習(xí)的提出，又掀起了一股關(guān)于人工智能的熱潮，Deep learning 是在多層感知機的基礎(chǔ)上，不斷增加隱含層的層數(shù)，這上面又出現(xiàn)了一些數(shù)學(xué)上的問題比如激活函數(shù)的梯度彌散問題，但是由于Relu激活函數(shù)替代sigmod函數(shù)的提出，這些問題逐步得到了解決，深度學(xué)習(xí)向前發(fā)展了一大步。比如IBM的“深藍”擊敗世界圍棋選手李智石等，但是實際上，“深藍”在擊敗李智石時消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個饅頭的熱量戰(zhàn)斗。也就是說，這場比賽其實并不公平。其實這反應(yīng)的是人工智能的工作效率與真正人腦的學(xué)習(xí)效率仍然有很大的差距。神經(jīng)網(wǎng)絡(luò)本質(zhì)是由多個簡單的信號處理單元組成，這些簡單的信號單元之間由一種方式連接形成網(wǎng)絡(luò)，它意在模仿人類大腦處理信息的模式，從而實現(xiàn)圖像識別，音像識別，特征提取和記憶等功能。現(xiàn)在計算機能夠從軟件上對神經(jīng)網(wǎng)絡(luò)進行實現(xiàn)，然而關(guān)于數(shù)據(jù)的存取方式仍然無法得到突破，數(shù)據(jù)的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識別圖像，獲得信息是并行的。因此硬件神經(jīng)網(wǎng)絡(luò)的開發(fā)是必要的，硬件神經(jīng)網(wǎng)絡(luò)能夠使用集成電路實現(xiàn)并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經(jīng)網(wǎng)絡(luò)的開發(fā)受到很多的關(guān)注與研究，未來人工智能和類腦計算的發(fā)展前景中，硬件神經(jīng)網(wǎng)絡(luò)的研究是必須的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當(dāng)前關(guān)于硬件化神經(jīng)網(wǎng)絡(luò)的突破，現(xiàn)狀與發(fā)展形勢。

第二章主要從人類的神經(jīng)元開始，講述人類生物神經(jīng)元的特點，講述現(xiàn)在人工神經(jīng)元的數(shù)學(xué)模型，以及硬件化神經(jīng)元需要的要求與方式

第三章主要講述制備實驗器件的技術(shù)路線，與制備的過程和使用的材料

第四章從數(shù)值模擬的角度，探究神經(jīng)元硬件化的條件是怎么樣的，數(shù)值模擬選取MNIST數(shù)據(jù)集作為樣本數(shù)據(jù)集，通過使用實驗得到的激活函數(shù)替論激活函數(shù)，觀察網(wǎng)絡(luò)的準確率，得出相關(guān)結(jié)論，探究硬件需要滿足的條件

第五章從數(shù)值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經(jīng)元不同，它是作為神經(jīng)網(wǎng)絡(luò)中存儲權(quán)值，改變權(quán)值的存在，與神經(jīng)元有本質(zhì)上的區(qū)別，數(shù)值模擬采用26個英文字母的圖片作為數(shù)據(jù)集，進行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)進行數(shù)值模擬，通過實驗硬件得到的LTP與LTD圖像進行權(quán)值更新。得到預(yù)測率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經(jīng)網(wǎng)絡(luò)硬件化的一個器件，為未來做出相關(guān)硬件網(wǎng)絡(luò)道出了一種可行性。

第六章主要是針對STDP的學(xué)習(xí)機制擴大網(wǎng)絡(luò)規(guī)模，將數(shù)據(jù)集擴展到MNIST手寫數(shù)據(jù)集，使用STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[16]對數(shù)據(jù)進行訓(xùn)練，之后再對訓(xùn)練好的神經(jīng)元進行分類。得到我們想要的結(jié)果。

第七章主要是總結(jié)本文的工作得到的結(jié)論，以及對于未來硬件神經(jīng)網(wǎng)絡(luò)的發(fā)展的一些展望與看法

 

 

1.1.2  硬件神經(jīng)網(wǎng)絡(luò)的實現(xiàn)

一般硬件神經(jīng)網(wǎng)絡(luò)的實現(xiàn)方式有三種，即采用電子學(xué)方法——依靠微電子技術(shù)實現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光電方法——依靠半導(dǎo)體光電集成技術(shù)實現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光學(xué)方法實現(xiàn)人工神經(jīng)網(wǎng)絡(luò)[18]。微電子技術(shù)應(yīng)該是通過各種電路設(shè)計，例如放大電路，差分電路等集成電路，實現(xiàn)神經(jīng)網(wǎng)絡(luò)的reference部分。依靠光電實現(xiàn)的硬件神經(jīng)網(wǎng)絡(luò)是本文的重點，利用電學(xué)元器件，憶阻器器件，或者是光電器件，模擬生物神經(jīng)元的膜電位變化曲線，與人類大腦的權(quán)重學(xué)習(xí)規(guī)則，從而實現(xiàn)神經(jīng)網(wǎng)絡(luò)的硬件化。采用光學(xué)的方法實現(xiàn)網(wǎng)絡(luò)計算的方法十分有趣，UCLA大學(xué)的研究小組發(fā)明了一種全光的深層神經(jīng)網(wǎng)絡(luò)，通過光的反射與折射傳遞信號，利用光入射的相位差記錄權(quán)值變化，實現(xiàn)了全光的神經(jīng)網(wǎng)絡(luò)，而且由于光的傳播速度是光速，在整個網(wǎng)絡(luò)的效率與速度上都十分驚人，能耗也十分低[21]。神經(jīng)網(wǎng)絡(luò)的電子學(xué)硬件實現(xiàn)方法主要有四種，其中分別是數(shù)字實現(xiàn)、模擬實現(xiàn)、混合數(shù)/模實現(xiàn)和脈沖技術(shù)實現(xiàn)等[18]。通過數(shù)字實現(xiàn)的神經(jīng)網(wǎng)絡(luò)一般精度很高[1,2]，權(quán)值易存儲也容易改變，并且能夠通過電路實現(xiàn)并行處理，克服傳統(tǒng)計算機串行處理數(shù)據(jù)的弊病，但是缺點是電路難以集成，體積很大，很難適用于計算機新型芯片這種地方。通過模擬實現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠很好克服上面的缺點[3,4,5]，但是由于突觸和神經(jīng)元器件對參數(shù)敏感，準確度下降，更關(guān)鍵是對于權(quán)值的存儲存在困難。1987年是一個轉(zhuǎn)機，即脈沖技術(shù)第一次用于了神經(jīng)網(wǎng)絡(luò)，使用VLSI技術(shù)作為實現(xiàn)，從這以后，神經(jīng)網(wǎng)絡(luò)的脈沖技術(shù)受到了很多關(guān)注[9,12]。

脈沖技術(shù)，簡單來說就是將神經(jīng)元的興奮或者抑制狀態(tài)通過一定的編碼方式轉(zhuǎn)化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號是離散的，因此一定程度上可以簡化運算電路：例如突觸電路。神經(jīng)元與一般的電路元件不同，它本身的密度很高，正如人類神經(jīng)元的密度很高一樣。這種緊密的排列方式使得脈沖信號把芯片和外圍設(shè)備的接口變得更容易連接。本文正是利用從脈沖神經(jīng)網(wǎng)絡(luò)出發(fā)，制備出硬件化的元件，通過數(shù)值模擬硬件的實際可行性，并且對于未來硬件化神經(jīng)網(wǎng)絡(luò)的方向提出一些看法

21.2  硬件神經(jīng)網(wǎng)絡(luò)研究進展當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)存在三種模式，第一種是非學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)，即網(wǎng)絡(luò)的前饋過程與權(quán)值計算過程全部由軟件進行實現(xiàn)，權(quán)值是固定不變的，只用神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)完成之后，再與實際電路結(jié)構(gòu)匹配即可。另外一種是on-chip的模式，即前饋過程通過微電子電路進行實現(xiàn)，權(quán)值的更新與計算通過計算機實現(xiàn)。還有一種off-chip模式，即是一種全自動的自主性芯片，從神經(jīng)網(wǎng)絡(luò)的前饋環(huán)節(jié)到神經(jīng)網(wǎng)絡(luò)的BP算法實現(xiàn)都一并完成。目前的研究狀況，我們已經(jīng)能夠熟練通過電路的設(shè)計實現(xiàn)非學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。在on-chip式的人工神經(jīng)網(wǎng)絡(luò)上，我們也能通過一定的模擬方式得到實現(xiàn)。現(xiàn)在的當(dāng)務(wù)之急是開發(fā)off-chip式的神經(jīng)網(wǎng)絡(luò)，使用硬件對權(quán)值的存儲與改進是必要的。自從20世紀60年代后期引入憶阻器概念以來，由于其簡單性和功能相似性，它們被認為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開拓了RRAM和憶阻器之間聯(lián)系，做出了一定的應(yīng)用之后以非易失性存儲器件和神經(jīng)突觸晶體管為代表開始成為神經(jīng)突觸器件的基礎(chǔ)。但將這些器件用于第二代神經(jīng)網(wǎng)絡(luò)（也就是多層感知機）上，取得了一定的成就，現(xiàn)在關(guān)于這方法的也在如火如荼的進行著，但是由于第二代神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)仍然是基于計算機的算力達到的深度，也就是說，加深隱含層的數(shù)目提高準確度，知識因為有著強大的計算芯片作為支持。我們需要考慮一種完全類似于人腦思考問題的神經(jīng)網(wǎng)絡(luò)與算法，于是脈沖神經(jīng)網(wǎng)絡(luò)開始興起，并且被譽為第三代神經(jīng)網(wǎng)絡(luò)，這是一種完全基于人腦計算模式的神經(jīng)網(wǎng)絡(luò)，從長程記憶可塑性LTP，時間可塑依賴性STDP等研究的深入，這一網(wǎng)絡(luò)的硬件化也成為了可能

31.3  從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)1.3.1 生物神經(jīng)元介紹

人的大腦中有超過 1011個神經(jīng)元，這些神經(jīng)元之間的連接的突觸又大約有10^15個，這些突觸使得神經(jīng)元互相連接，從而構(gòu)成了復(fù)雜多變而又有條不紊的神經(jīng)網(wǎng)絡(luò)[7]。這些神經(jīng)元的單獨處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經(jīng)元并行處理。即大量神經(jīng)元一起處理一個任務(wù)，這有些類似于計算機里的多線程并行操作算法。人類大腦的神經(jīng)元數(shù)目雖然龐大，但是它的能耗低卻是特點，我們每日攝入的熱量與一些機器的能源是不能夠比擬的，然而我們的大腦就能夠?qū)崿F(xiàn)很多計算功能，有數(shù)據(jù)顯示，腦神經(jīng)系統(tǒng)一個動作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個數(shù)量級。

人的生物神經(jīng)元有兩個部分，分別是細胞體和突起。具有處理并且整合輸入的神經(jīng)信號，然后傳出這些信息的作用。突起有樹突和軸突兩種。樹突相對較短但分枝很多，其作用是接受其他神經(jīng)元軸突傳來的沖動并傳給細胞體。軸突長而分枝少，常常出現(xiàn)在軸丘，一般為粗細均勻的細長突起，其作用是接受外來刺激，再由細胞體傳出。神經(jīng)元與神經(jīng)元之間的連接被稱為神經(jīng)突觸，兩個神經(jīng)元之間連接強度或者關(guān)聯(lián)程度體現(xiàn)在突觸的連接強度。一般而言神經(jīng)元有以下的特點[8]：

1）：可塑性：即神經(jīng)元之間的突觸可以連接，也可以取消，連接可以變強，也可以慢慢變?nèi)?，方便與人類去適應(yīng)不同的環(huán)境。

2）：興奮與抑制：神經(jīng)元受到外界刺激之后，會產(chǎn)生膜內(nèi)外滲透壓的差別從而導(dǎo)致Na+或者Ca2+的流入或者流出，這些離子的遷移會產(chǎn)生動作電位，導(dǎo)致膜電位的上升或者下降，也就對應(yīng)了人類神經(jīng)元的興奮和抑制過程。

3）：學(xué)習(xí)與遺忘：由于可塑性的存在，當(dāng)人類在長時間受到同一種刺激的時候，會產(chǎn)生我們的所說的學(xué)習(xí)功能，而這種功能其實是神經(jīng)元之間的連接得到了加強，同理，如果我們慢慢遺忘了一些東西，是因為長期不去使用從而神經(jīng)元之間的連接衰弱了。對應(yīng)的有LTP,LTD圖像來進行表征。

4）：突觸的延時和不應(yīng)期。神經(jīng)沖動的傳遞在突觸中是需要時間的，一般這個時間是1-150ms。另外，神經(jīng)元也不會在短時間內(nèi)接受兩次沖動，一般需要間隔一定的時間，這個被稱為不應(yīng)期。

從上面可以看到，想要用神經(jīng)元器件模擬人類的生物的神經(jīng)元，一定要從生物本質(zhì)和特征去進行模擬。本文后面的數(shù)值模擬會再把這些特征一一強調(diào)一次，從而達到一種仿真的目的。

1.3.2 人工神經(jīng)元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型, 神經(jīng)元可用簡單的zha值函數(shù)表示，并完成邏輯函數(shù)功能[19]。20世紀初期，美國心理學(xué)家Willian Jame 提出，一個神經(jīng)元應(yīng)該是同時接受來自不同神經(jīng)元的信號后，由于不同神經(jīng)元之間的突觸連接強度不同，神經(jīng)元相當(dāng)于是一個加權(quán)和，并且由于興奮存在一個閾值電壓，需要一定的電壓值才會fire，因此神經(jīng)元可以用一個數(shù)學(xué)模型來勾畫，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每個神經(jīng)元的輸入值，表征神經(jīng)元之間的連接強度，b代表閾值電壓。外界的f函數(shù)則是一種神經(jīng)元的處理函數(shù)。

 

圖1-1 MP 神經(jīng)元模型

Fig.1.1 Neurons model

可以看到，對于神經(jīng)元的硬件實現(xiàn)實際上是一個乘法器的實現(xiàn)以及加權(quán)和非線性處理，這個可以通過放大電路等進行實現(xiàn)。后續(xù)本文也將探究一下神經(jīng)元應(yīng)該具備怎樣的條件，或者怎么樣的器件適合作為神經(jīng)元器件。

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經(jīng)網(wǎng)絡(luò), 引起了神經(jīng)網(wǎng)絡(luò)理論在優(yōu)化學(xué)術(shù)界的轟動。然而熱潮還遠遠沒有結(jié)束。1986年，Rumelhart和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)是現(xiàn)在很多網(wǎng)絡(luò)算法的基礎(chǔ)，它是一種依靠逆向傳播輸出值與實際值誤差修正網(wǎng)絡(luò)權(quán)值的網(wǎng)絡(luò)，利用梯度下降算法或者隨機梯度下降法降低目標值與實際值的誤差，隨機梯度下降算法時為了加速算法收斂速度提出的更好的方式，現(xiàn)在很多網(wǎng)絡(luò)也應(yīng)用這種方法

 

圖 1-2 經(jīng)典的神經(jīng)BP神經(jīng)網(wǎng)絡(luò)模型

從圖中我們可以看到的是，網(wǎng)絡(luò)一般由輸入層，隱含層和輸出層三個部分構(gòu)成，其中輸入層可以是圖像的像素值，音頻信號等等，因此神經(jīng)網(wǎng)絡(luò)現(xiàn)在廣泛用于人臉識別，圖像識別，聲音識別等等領(lǐng)域。隱含層的多少是決定一個網(wǎng)絡(luò)是否是深層網(wǎng)絡(luò)的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語言描述，訓(xùn)練的精度也會逐步的提升。輸出層是網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)的輸出后往往會選擇一個損失函數(shù)，這個損失函數(shù)是用于衡量目標值與實際值的差值從而進行誤差反向傳播計算。常見的損失函數(shù)有MSE函數(shù),Cross-Entorpy函數(shù)等等。

 

圖1-3 硬件神經(jīng)網(wǎng)絡(luò)的一種實現(xiàn)[15]

基于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)MLP的硬件實現(xiàn)如上圖所示，使用電路模擬整個網(wǎng)絡(luò)的結(jié)構(gòu)，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進行權(quán)值的存儲與更新。這樣的網(wǎng)絡(luò)往往需要得到的I-V曲線是對稱的，就是說，權(quán)值的變化需要是隨著強度的增加而增加，減少而減少，呈現(xiàn)一種線性的變化，從而保證在進行BP算法時，誤差能夠不斷減小。

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹隨著在21世紀早期計算能力的顯現(xiàn)，DNN（多層感知器，深層信念網(wǎng)絡(luò)，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)等等）迅速發(fā)展，DNN的基本特征是有很多隱含層，這些神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)監(jiān)督與非監(jiān)督學(xué)習(xí)，并且能夠優(yōu)秀的完成有大量數(shù)據(jù)的任務(wù)。然而實際上，現(xiàn)在的DNN的優(yōu)秀來源于GPU的并行加速機制，是在計算機多核算力上的體現(xiàn)，在其本身的算法上，其效率遠遠不如人腦高。SNN（脈沖神經(jīng)網(wǎng)絡(luò)）最近引起了很多關(guān)注，因為它們與生物系統(tǒng)非常相似，在SNN中，輸入信號是尖峰，而不是傳統(tǒng)神經(jīng)元中的恒定饋送。 人們普遍認為能夠處理尖峰是大腦在序列識別和記憶方面如此壯觀的主要原因之一[9]。序列識別是計算中更重要的主題之一，因為它直接影響系統(tǒng)處理強烈時序依賴的刺激的能力，例如語音識別和圖像檢測[10]

 

圖1-4  STDP圖像

對應(yīng)STDP的最簡單理解是，如果前突觸神經(jīng)元的信號在后突觸神經(jīng)元的信號之前達到，有理由認為前突觸的信號導(dǎo)致后突觸神經(jīng)元的信號產(chǎn)生，那么這兩者之間的突觸連接強度應(yīng)該增加，反之就該減少。但如何保證這種訓(xùn)練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發(fā)表的文章[11]指出具有對稱反饋權(quán)重的網(wǎng)絡(luò)將具有以下特性：“輸出單元”的小擾動將向更好的預(yù)測傳播到內(nèi)部層，使得隱藏單元移動到大致遵循預(yù)測誤差J相對于隱藏單元的梯度。而STDP規(guī)則大致對應(yīng)于預(yù)測誤差的梯度下降，即STDP的規(guī)則其實和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報告的實驗已經(jīng)真實地表明這些近似值可以工作并且能夠訓(xùn)練有監(jiān)督的多層神經(jīng)網(wǎng)絡(luò)[12]。

脈沖神經(jīng)網(wǎng)絡(luò)被稱為新一代神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的神經(jīng)網(wǎng)絡(luò)不同在于它的輸入實際上不是一個連續(xù)值而是一系列脈沖，更為重要的是他的神經(jīng)元膜電位，一旦達到了膜電位的峰值，那么這個神經(jīng)元就被激活，后面的脈沖會進入一段不應(yīng)期。關(guān)于神經(jīng)元的模型，已經(jīng)提出了HH模型，Izhikevich模型與LIF模型，其中以LIF模型為例，其微分方程的表示如下：

τdVdt=?(V?Vr)+RI

                      （2-2）

 

τ

是膜的時間常數(shù)，R為膜電阻，V是膜電位，Vr是復(fù)位電位，I是注入電流，當(dāng)膜電壓超過一個閾值時，神經(jīng)元會發(fā)送一個脈沖。如果后面沒有連續(xù)的刺激，這個產(chǎn)生的脈沖信號會不斷衰退，膜電位也會恢復(fù)到復(fù)位電位后穩(wěn)定。之后再接受電流再刺激。

 

針對脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，也分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)主要以STDP為主[13,14]，有監(jiān)督學(xué)習(xí)包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個詳細的介紹：

在Tempotron算法中，考慮在閾值下，突觸前神經(jīng)元產(chǎn)生的脈沖信號，對突觸后膜電位（PSPs）的貢獻是來自所有脈沖輸入的加權(quán)和：

V(t)=∑iωi∑tiK(t?ti)+Vrest

                  （2-3）

 

ti

表示第i個神經(jīng)元的脈沖發(fā)送時間，

K（t?ti）

表示第i個脈沖對于膜電位的貢獻，即突觸前神經(jīng)元發(fā)出的脈沖對于突觸后神經(jīng)元膜電位的影響。其標準形式如下：

 

K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])

          （2-4）

 

τ,τs

是時間常數(shù)，為了保證K(t)在（0,1）之內(nèi)變動，我們需要用V_0進行歸一化處理，K(t)圖像繪制如下圖：

 

 

圖1-5 K(t)隨時間變化圖

由監(jiān)督學(xué)習(xí)的重點是要將權(quán)重更新向著誤差減少的方向進行，獲得期望的輸出脈沖，更新規(guī)則如下：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （2-5）

 

即以二分類為例，ti

為突觸前神經(jīng)元峰值的產(chǎn)生時間，這里的

tmax

設(shè)定為我們設(shè)置的時間序列的終點，默認為突觸后神經(jīng)元的峰值的產(chǎn)生時間，但這和一般的STDP不一樣，因為STDP的神經(jīng)網(wǎng)絡(luò)訓(xùn)練規(guī)則實際是不需要有監(jiān)督的，而這里有一個參數(shù)

λ

，用于控制輸出值與期望值的誤差方向，如果突觸前神經(jīng)元產(chǎn)生峰值超過閾值電壓的神經(jīng)脈沖，并且突觸后神經(jīng)元指向分類標準與前神經(jīng)元指向的分類相同，則不需要修改權(quán)值（說明這個連接正確），如果突觸前神經(jīng)元峰值未超過閾值電壓，那么需要根據(jù)上式指定

λ

>0，并且計算需要增加的權(quán)值。反之當(dāng)

λ

<0時，需要進行減小權(quán)值?？傮w看來，這是在借助有監(jiān)督學(xué)習(xí)的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線獲得修正的幅度（可以認為是學(xué)習(xí)的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監(jiān)督學(xué)習(xí)的條件下，后突出神經(jīng)元的峰值由標簽值決定，并且根據(jù)誤差值指明誤差修正放向（體現(xiàn)為

λ

的正負性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線用于有監(jiān)督學(xué)習(xí)的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  實驗部分12.1  陣列化基于硅納米晶體雜化結(jié)構(gòu)的神經(jīng)突觸器件制備2.1.1  制備技術(shù)路線在本論文里面，采用了冷等離子方法制備了摻B的Si量子點，相比于其他的摻雜方法，冷等離子法是借助了動力學(xué)的原理，從而實現(xiàn)了對硅納米晶體的高效摻雜，一定程度上避免了利用熱力學(xué)原理來摻雜的過程中出現(xiàn)的“自潔凈”現(xiàn)象。相比之下能夠?qū)崿F(xiàn)比較高濃度的摻雜。

 

圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖

使用冷等離子體法制備摻雜硅納米晶體的裝置設(shè)計示意如圖2.1所示。先準備每分鐘流量值12標準公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調(diào)節(jié)系統(tǒng)尾部的真空泵，使腔體內(nèi)的氣壓穩(wěn)定在6 mbar。石英管中間部位套有兩個銅環(huán)，分別接匹配箱和射頻發(fā)生器的正負兩級。在射頻發(fā)生器（功率約為150 w）的激發(fā)下，銅環(huán)之間的石英管內(nèi)將產(chǎn)生等離子體，混合氣體在通過等離子體區(qū)域時將會發(fā)生分解反應(yīng)，這個反應(yīng)的產(chǎn)生是因為氣體受到了高能粒子和電子的轟擊產(chǎn)生的，具體化學(xué)反應(yīng)式如下：

SiH4?Si+H2B2H6?2B+3H2

 

在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對載流子具有俘獲的性質(zhì)，首先與鈣鈦礦進行雜化形成混合容易。通過旋涂工藝制備成了太陽能電池結(jié)構(gòu)的神經(jīng)器件，器件的結(jié)構(gòu)是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au。在該結(jié)構(gòu)里面，ITO是通過光學(xué)刻蝕得到。PCBM, 鈣鈦礦與硅量子點雜化層， Spiro是通過旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子點在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發(fā)工藝得到，厚度大約為100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '這一段是不是應(yīng)該要刪掉？']2.1.1  器件制備路線

在器件制備方面，本文準備利用硅納米顆粒的光電性能與decay長的性質(zhì)，與鈣鈦礦進行雜化形成自驅(qū)動電池，在制備電池的工藝上，選擇旋涂工藝做成太陽能電池的結(jié)構(gòu)，器件結(jié)構(gòu)分別是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au，之后使用熱蒸發(fā)工藝將電極Au安裝上，設(shè)置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  數(shù)值模擬13.1 神經(jīng)元硬件化數(shù)值模擬3.1.1  神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對于神經(jīng)元的模擬，和突觸的模擬不同，神經(jīng)元的功能由上文中的MP模型已經(jīng)表述很清楚，他承擔(dān)一個乘法器和加權(quán)和、還有實現(xiàn)一個神經(jīng)元函數(shù)的功能，這個功能也是我們下面模擬要探索的。

 

圖3-1 MINST數(shù)據(jù)集對于的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

采用常用的MNIST手寫識別數(shù)據(jù)集作為整個網(wǎng)絡(luò)的輸入，先將圖像的RGB值轉(zhuǎn)換成一個單位的灰度值，設(shè)計輸入層應(yīng)該有784個節(jié)點，隱含層300個節(jié)點，輸出層設(shè)置10個節(jié)點，分別對應(yīng)0-9個數(shù)字的pattern。在實際模擬時，采用兩種方式處理，第一種是利用STDP非線性函數(shù)直接對輸入的圖像像素值進行處理，意在將灰度值轉(zhuǎn)換為強度值。再用網(wǎng)絡(luò)進行訓(xùn)練。第二張利用STDP非線性函數(shù)作為神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，意在探究神經(jīng)元的基本性質(zhì)。

訓(xùn)練模式采用SGD算法，樣本集總共55000個圖片，每張圖片28×28有784個輸入值，epoch設(shè)置掃描樣本集10次以上，損失函數(shù)使用交叉熵函數(shù)，激活函數(shù)選擇softmax函數(shù)進行激活分類，因為這個函數(shù)比較適合于多分類問題，在優(yōu)化上也得到了理論的證明。首先我們先將實驗中得到的STDP數(shù)據(jù)擬合結(jié)果如下：

 

圖3-2 STDP Positive 擬合圖像

這里故意選擇了一個與常規(guī)激活函數(shù)相關(guān)性為負的激活函數(shù)，一般的激活函數(shù)比如sigmod，relu激活函數(shù)，其強度其實和輸入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']現(xiàn)正相關(guān)的，這里選取的作為負相關(guān)的原因是想探究是否能夠作為激活函數(shù)使用。其結(jié)果如下：

 

圖 3-3 擬合的Loss與Accuracy隨訓(xùn)練次數(shù)的變化圖

可以看到上述的結(jié)果是可觀的，也就是說，激活函數(shù)的選取，與是否與輸入值正相關(guān)沒有關(guān)系。另外我比較了理論激活函數(shù)，實驗激活函數(shù)，與對輸入直接非線性處理得到結(jié)果的異同性：

 

圖3-4 三種不同方法得到Loss函數(shù)變化情況

 

圖3-5 三種方法得到的Accuracy變化情況

可以看到，理論激活函數(shù)（紅色）在準確率上仍然時最高的，最后的樣本內(nèi)準確率有98.42%，但在loss的下降速度上，實驗激活函數(shù)體現(xiàn)的更好，但實驗的激活函數(shù)最后準確率只有96.69%。

3.1.2  神經(jīng)元硬件化結(jié)論根據(jù)上面的模擬結(jié)果我們可以得到結(jié)論，對于神經(jīng)元的硬件模擬，作為激活函數(shù)，只需完成非線性這個條件即可，但是在實現(xiàn)乘法器的過程中，需要電路由很好的線性度。這個線性度的要求實際是從BP算法的推導(dǎo)中獲得的，這里簡單的推導(dǎo)一下：

Δw=?Loss?w=?Loss?y??y?output??output?w

              （3-1）

 

上式想說明的是，我們需要調(diào)節(jié)權(quán)值w使得我們計算出的loss函數(shù)達到最小值，因此我們需要求其導(dǎo)數(shù)從而獲得調(diào)整的方向，可以看到等式右邊第一項實際是損失函數(shù)對于輸入值的導(dǎo)數(shù)，第二項時激活函數(shù)對于輸入值的導(dǎo)數(shù)，這兩項在有輸入值的條件下是可以求出的。而根據(jù)神經(jīng)網(wǎng)絡(luò)的矩陣運算：

output=w?x+b

                       （3-2）

 

可以看到，output值與輸入的值時存在線性關(guān)系的，那么也就是說，我們權(quán)值變化量Δw

與輸入的x需要滿足線性關(guān)系。因此神經(jīng)元硬件化需要實現(xiàn)的線性度不僅僅影響了加權(quán)的效果，還影響到權(quán)值更新的效率性。很多關(guān)于神經(jīng)網(wǎng)絡(luò)硬件化的論文一定會提到這個線性度，因為這個線性度時實現(xiàn)神經(jīng)網(wǎng)絡(luò)算法達到收斂的基本保障。

 

 

圖3-6.a SET與RESET模式下的I-V曲線；b SET模式下的權(quán)值變化隨刺激次數(shù)的變化；c RESET模式下的權(quán)值變化隨刺激次數(shù)的變化[15]

如上圖清華大學(xué)完成的憶阻器神經(jīng)突觸器件，選取電導(dǎo)作為權(quán)值時，需要I-V曲線在第一二想象有近似的對稱值，其導(dǎo)數(shù)值(即權(quán)值)隨著固定電壓的刺激次數(shù)線性增加或者減小。一般而言，在硬件神經(jīng)網(wǎng)絡(luò)進行權(quán)值跟新的時候，會選擇一個固定更新電壓，在這個指定的電壓下，我們需要保證權(quán)值的正向更新與負向更新有近似的值，這個在圖像上體現(xiàn)為圖像的對稱。之前也有文章在圖像的對稱性上做了相關(guān)的材料探究。證明這樣的對稱性是必要的

23.2 有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.2.1  脈沖編碼脈沖神經(jīng)網(wǎng)絡(luò)與第二代神經(jīng)網(wǎng)絡(luò)最為不同的一點在于，它的輸入并不是一系列連續(xù)的值，不是像圖像像素一樣一個個數(shù)據(jù)連續(xù)計入，也沒有二值化的操作。而是離散的脈沖值，就圖像識別而言，簡單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進行標準化后作為網(wǎng)絡(luò)的輸入。而脈沖神經(jīng)網(wǎng)絡(luò)需要對于輸入進行一定的脈沖編碼處理，這個處理可以自己選擇，但轉(zhuǎn)化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發(fā)出的時間作為網(wǎng)絡(luò)的輸入。下面介紹本文中tempotron算法的編碼方式。

選取26個英文字母A-Z作為需要識別的樣本集。每一個字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會編程一個16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數(shù)組，然后我們對其進行編碼，每次隨機從256個數(shù)中隨機去8個數(shù)且不放回，組成一個32×8的新矩陣，對于每一行數(shù)，得到的是一個8位的二進制數(shù)，因此我們將其轉(zhuǎn)化成十進制數(shù)，得到一個0-255范圍的數(shù)，將原來的矩陣轉(zhuǎn)化成了32×1的矩陣。且每一行代表一個脈沖的發(fā)送時間，即將一張16×16的圖像矩陣轉(zhuǎn)化成了在不同時間一共發(fā)送32次脈沖的輸入值。

3.2.2  權(quán)值更新按照tempotron算法的權(quán)值更新規(guī)則：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （3-3）

 

我們需要設(shè)置一個時間軸，并且對于這個時間軸上進行時間窗口的劃分，等于說我們需要將這個時間軸切割成一份份來進行一個個的循環(huán)。由于之前在輸入編碼的時候，我們將16×16像素的黑白圖像轉(zhuǎn)換成了發(fā)送32次脈沖的輸入，這些輸入的脈沖的時間是0-255，也就是說，我們建立一個長度為256ms的時間軸，并且以1ms為一個時間窗口，每次檢查在當(dāng)前時間窗口前是否有脈沖輸入，并且每次都選取在當(dāng)前時間之前能夠發(fā)送脈沖的數(shù)據(jù)，認為他們發(fā)送一次脈沖，將這個脈沖與核函數(shù)相乘，作為我們膜電壓，如果膜電壓超過了我們設(shè)置的threshold電壓值，我們則認為該神經(jīng)元處于fire狀態(tài)，并且會進入一段不應(yīng)期，即shut down后面在256ms內(nèi)的所有脈沖輸入。我們輸入是5個神經(jīng)元，這是因為我們需要對26個英文字母分類，即用5個二進制數(shù)最大可以表示到0-31的每個數(shù)，于是我們用5個二進制數(shù)表示我們分類的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類推。當(dāng)神經(jīng)處于fire狀態(tài)時，它會表現(xiàn)出1的狀態(tài)，反之如果它沒有能夠達到閾值電壓，它會處于0的狀態(tài)，我們將網(wǎng)絡(luò)的輸入與我們準備好的標簽值進行對比，如果說產(chǎn)生了不同，即分類產(chǎn)生了誤差，我們就需要對其進行權(quán)值更新，從而在慢慢的訓(xùn)練過程中，獲得我們期望得到的脈沖值。

即如果網(wǎng)絡(luò)發(fā)出了脈沖，但是實際沒有發(fā)送脈沖，我們降低該脈沖產(chǎn)生的權(quán)值，從而讓其在后面慢慢變得不發(fā)出脈沖。

如果網(wǎng)絡(luò)沒有發(fā)出脈沖，但是實際輸入應(yīng)該發(fā)出脈沖，我們應(yīng)該強化該脈沖的產(chǎn)生，即增大其權(quán)值。

 

圖3.7 訓(xùn)練前脈沖與訓(xùn)練后脈沖對比圖

我們設(shè)置1.0 v為閾值電壓，可以看到，隨著訓(xùn)練次數(shù)的增大，一開始正的脈沖傾向于在后面發(fā)出超過閾值電壓的脈沖。但是一開始負的脈沖，雖然一開始超過了閾值電壓，但是由于隨著訓(xùn)練次數(shù)的增大，變得不斷被抑制，不再發(fā)出脈沖。我們的網(wǎng)絡(luò)就是基于這樣一種思路去訓(xùn)練與優(yōu)化。

3.2.3  數(shù)值模擬結(jié)果數(shù)值模擬上，本文選取了兩組實驗數(shù)據(jù)進行了權(quán)值更新法則函數(shù)的模擬，即使用實驗得到的LTP與STDP數(shù)據(jù)進行了數(shù)值模擬，并且對比了兩者在應(yīng)用于tempotron算法的差異，提出一定看法。

3.2.4  LTP權(quán)值改變法數(shù)值LTP曲線是模擬人類大腦學(xué)習(xí)時候的長程可塑性，在圖像上體現(xiàn)為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經(jīng)過一段時間再進行了衰減。表現(xiàn)的圖像如下：

 

圖3.8 LTP擬合圖像

線是得到實驗的LTP數(shù)據(jù)后，使用神經(jīng)網(wǎng)絡(luò)算法進行擬合，得到完美擬合的曲線，這樣保證了能夠使用完全的實驗數(shù)據(jù)。另外由于實驗的數(shù)據(jù)僅僅有LTP數(shù)據(jù)，然而對于我們的模擬也需要LTD數(shù)據(jù)，基于我們對于這兩個圖像的了解，他們在一定程度上是中心對稱的。我們通過對于LTP數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)擬合，外推LTD的數(shù)據(jù)，將LTD的數(shù)據(jù)應(yīng)用于模型的抑制環(huán)節(jié)，保證權(quán)值的增加與減少對稱。

將LTP的數(shù)據(jù)帶入，進行訓(xùn)練，設(shè)置最大epoch數(shù)為100次，設(shè)置閾值電壓為1 v。訓(xùn)練結(jié)果如下：

 

圖 3.9 準確率隨訓(xùn)練次數(shù)的變化圖像(LTP)

可以看到，在100 epoch下，準確率在隨訓(xùn)練次數(shù)的增加而增加，最終穩(wěn)定在89%左右。

3.2.5  STDP權(quán)值改變法人腦的學(xué)習(xí)模式是STDP已經(jīng)被大部分論文和實驗所證實，因此也許基于STDP的權(quán)值改變方法能夠更加促進學(xué)習(xí)的效率。STDP的本質(zhì)定義是說：如果突出前神經(jīng)元的峰值脈沖到達時間小于突觸后的神經(jīng)元峰值脈沖，那么認為突觸前神經(jīng)元脈沖的產(chǎn)生可能是有利于突觸后神經(jīng)元的產(chǎn)生，即這兩者之間是存在一定的聯(lián)動關(guān)系的。于是加強這兩個神經(jīng)元的連接。反之則減弱它們之間的連接。

利用實驗得到對的STDP Positive數(shù)據(jù)，波張選取375nm的光做刺激。得到光驅(qū)動下的STDP。但實驗與理論存在偏差的一點，是光刺激下的STDP圖像實際上是存在于一、二象限的，這樣意味著，無論是突出前神經(jīng)元的脈沖先到達還是后到達，產(chǎn)生的權(quán)值更新過程，都是加強該兩個神經(jīng)元之間的連接。在保證權(quán)值更新雙向?qū)ΨQ性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數(shù)據(jù)作為替代，這個數(shù)據(jù)是從電突觸元器件得到的。這里也可以得出一個設(shè)想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因為，光學(xué)突觸器件的耗能相比于電學(xué)突觸器件要節(jié)省很多。如果能夠使用光電混合信號實現(xiàn)光電STDP，也不失為一種選擇。

擬合后正向STDP函數(shù)表達式如下：

y=?0.346ln(x)+2.708

 

負向STDP函數(shù)表達式如下：       

y=0.302ln(?x)?2.546

 

根據(jù)上面的STDP函數(shù)更新法則，帶入我們的temportron算法進行求解。得到準確率變化情況如下，設(shè)置參數(shù)與LTP更新規(guī)則相同。

 

圖3.10 準確率隨訓(xùn)練次數(shù)變化情況(STDP)

可以看到，經(jīng)由STDP訓(xùn)練的網(wǎng)絡(luò)，在epoch=60左右的時候，已經(jīng)達到了準確率100%，在訓(xùn)練的準確度與效率上，高于使用LTP訓(xùn)練的結(jié)果。這也可能是為什么當(dāng)前很多的研究都著眼于STDP權(quán)重更新機制。這可能也和STDP實際上與人類大腦的學(xué)習(xí)機制十分相似，本次模擬也證明了大腦學(xué)習(xí)模式在權(quán)值調(diào)整上的優(yōu)越性，基于LTP的調(diào)制模式，更多是對于算法當(dāng)中核函數(shù)K(t)的模擬，而并非是對于本質(zhì)上人類大腦學(xué)習(xí)模式的仿真。

3.2.6  結(jié)論無論選取LTP，STDP作為權(quán)值更新的方式，神經(jīng)網(wǎng)絡(luò)的權(quán)值更新一定要是對稱，這樣在梯度下降算法過程中，才能夠有正和負梯度，使得最后的結(jié)果收斂于局部最小點。另外，在學(xué)習(xí)機制上，STDP是存在一定優(yōu)越性的。后面本文將針對SDTP學(xué)習(xí)機制，將網(wǎng)絡(luò)擴展到更大的規(guī)模，展現(xiàn)STDP學(xué)習(xí)機制的強大之處。

33.3 無監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.3.1  理論背景與基礎(chǔ)這SNN的發(fā)展之所以廣受著名，是因為它網(wǎng)絡(luò)的元器件要求是有一定硬件基礎(chǔ)的，不論是在神經(jīng)元的設(shè)計上，如LIF模型，HH模型，還是電導(dǎo)突觸，指數(shù)型的衰減機制，閾值電壓。都可以通過我們設(shè)計的電學(xué)或者光學(xué)器件進行實現(xiàn)。

本文基于2015年P(guān)eter發(fā)表的關(guān)于STDP無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的代碼基礎(chǔ)上，加上實驗得到的數(shù)據(jù)，進行數(shù)值模擬。模擬之前，先了解一下網(wǎng)絡(luò)的具體結(jié)構(gòu)與基本理論。

對于神經(jīng)元的設(shè)置，應(yīng)用integrated -and-fire model模型：

τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)

            （3-6）

 

這里V是膜電壓，Erest

是神經(jīng)元在沒有外界刺激下的一種靜息電壓。

τ

是抑制或者興奮神經(jīng)元的時間時間常數(shù)，這個常數(shù)時間上就是用于控制各種不同的STDP圖像。

galignlink

和

gexc

是抑制性神經(jīng)元和興奮性神經(jīng)元的電導(dǎo)值，這個值在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為權(quán)重，也是我們需要訓(xùn)練的東西。訓(xùn)練模式與tempotron算法類似，當(dāng)膜電壓到達閾值電壓的時候，就會發(fā)送尖峰脈沖信號，然后膜電位復(fù)位到靜息電壓。如果有神經(jīng)元的尖峰信號達到突觸，那么突觸就會提升權(quán)值，即電導(dǎo)，如果沒有，那么權(quán)值就會指數(shù)型的衰減。權(quán)值更新的模式仍然是取決于突觸前神經(jīng)元與突觸后神經(jīng)元的尖峰達到時間差。如圖3.11所示，由于前后神經(jīng)元的脈沖尖峰抵達時間差不一樣，產(chǎn)生了興奮和抑制兩種模式

 

 

圖 3.11 STDP權(quán)值更新模式圖[17]

我們需要定義興奮性神經(jīng)元與抑制性神經(jīng)元的權(quán)值改變方式。對于興奮性神經(jīng)元的電導(dǎo)更新模式如下：

τgedgedt=?ge

                      （3-7）

 

抑制性電導(dǎo)的更新模式其實只需要更換常數(shù)：

τgidgidt=?gi

                      （3-8）

 

時間常數(shù)得控制會影響STDP得學(xué)習(xí)曲線，人腦或者生物的時間常數(shù)一般是10 ms-20 ms量級。我們由實驗得到得時間常數(shù)數(shù)值也靠近這個值

然后是基于STDP的權(quán)值更新法則：

Δw=η(xpre?xtar)(wmax?w)u

               （3-9）

 

實際上，STDP的更新規(guī)則很多，還有指數(shù)型的，這里選取一種更新規(guī)則，他們大多大同小異。這里的η

是學(xué)習(xí)的速率，

Xpre

是該脈沖產(chǎn)生時的上一次脈沖值，每當(dāng)有一次脈沖到達突觸時，

Xpre

會增加1，如果沒有，它會按照指數(shù)型進行衰減。

Xtar

是前一次的突觸前神經(jīng)元產(chǎn)生的脈沖，其反應(yīng)在突觸后神經(jīng)元的目標值。這其實也是在將突觸前神經(jīng)元和后神經(jīng)元產(chǎn)生的時間在進行比較，從而正確的更新權(quán)值。

 

3.3.2  網(wǎng)絡(luò)設(shè)計脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計與普通的經(jīng)典神經(jīng)網(wǎng)絡(luò)有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數(shù)據(jù)，脈沖的頻率由圖像像素點的灰度值，即成正比關(guān)系，28×28的像素值會變成一個784×1的一維序列，每一個值代表一定頻率的脈沖信號。

 

圖3.12 SNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[16]

 

之后進入激活層，激活層放置激活神經(jīng)元，然后再進入抑制層，放置抑制層神經(jīng)元。這里可以看到，非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)是不存在標簽值的。更新完全依靠激活層與抑制層之間的關(guān)系。從圖3.12可以看到，輸入層與激活層實際上時全連接模式，即每一個像素點產(chǎn)生的脈沖序列都會再激活層有一個對應(yīng)權(quán)重。激活層與抑制層之間時一一對應(yīng)連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經(jīng)與抑制層產(chǎn)生連接的神經(jīng)元。這樣的網(wǎng)絡(luò)設(shè)計模式實際上是由理由的。這應(yīng)用的winter take all法則，即當(dāng)某個激活層的神經(jīng)元產(chǎn)生興奮后，該興奮傳遞到抑制層后，抑制層會抑制其他所有神經(jīng)元產(chǎn)生脈沖。也就是說，不斷的訓(xùn)練后，能夠產(chǎn)生脈沖的神經(jīng)元會趨向于越來越容易產(chǎn)生脈沖，而其他神經(jīng)元會越來越無法產(chǎn)生脈沖。從而達到訓(xùn)練的目的。這和傳統(tǒng)的K-means算法也有異曲同工之妙，但不同的是STDP 非監(jiān)督學(xué)習(xí)存在抑制層，從而避免了某幾個神經(jīng)元一直占據(jù)某個pattern。

3.3.3  模擬結(jié)果數(shù)值模擬將MNIST 六萬個訓(xùn)練數(shù)據(jù)編碼后作為脈沖輸入，整個訓(xùn)練集進行了6次迭代，一共是36萬張圖片，訓(xùn)練結(jié)束后學(xué)習(xí)慮被置為零，動態(tài)閾值被鎖定。之后輸入每一類的數(shù)字圖片，記錄每個神經(jīng)元對應(yīng)該類圖片的激活次數(shù)，并且選取其中激活次數(shù)最多的為該神經(jīng)元的標簽。之后使用測試集的一萬張圖片作為脈沖輸入，觀察每當(dāng)一張圖片輸入時，哪個神經(jīng)元的激活頻率最高，如果該神經(jīng)元的標簽與輸入圖片屬于同一pattern，那么認為分類正確。統(tǒng)計10000萬張圖片的平均準確率，得到網(wǎng)絡(luò)的訓(xùn)練的評價值即Accuracy。

 

圖3.13 神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣圖

這里訓(xùn)練后激活層的權(quán)值矩陣。之前提到了，當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，我們會輸入每一個圖片的pattern，以激活次數(shù)最高的神經(jīng)元作為該pattern的標簽，在這樣經(jīng)過改進后，圖5.3是激活層神經(jīng)元重組后的權(quán)值分布，可以看到，不同神經(jīng)元對于不同pattern的適應(yīng)程度不同，體現(xiàn)在顏色的深淺上。

 

圖3.14 輸入層到激活層權(quán)值矩陣可視化圖

 

圖3.15 激活層到抑制層權(quán)值矩陣可視化圖

從圖3.14我們可以看到，只有很少部分的權(quán)值很高，即呈現(xiàn)黃色小點模式，體現(xiàn)即只有少數(shù)pattern才能夠產(chǎn)生脈沖，其他的脈沖都被抑制，這個圖像很好體現(xiàn)了我們在學(xué)習(xí)過程中的winer-take-all的模式。圖3.15體現(xiàn)的更加明顯的是，因為網(wǎng)絡(luò)的設(shè)計是激活層與抑制層一對一連接，抑制層與激活層反向全連接，但除去了從激活層連接過來的神經(jīng)元，因此在權(quán)值的對角線上都是winer，而其他的神經(jīng)元都被抑制，從而達到了我們從眾多神經(jīng)元中選取出適合當(dāng)前輸入的正確pattern。

之后我們輸入10000個MNIST的test集圖片進行外推，結(jié)果是：Sum response - accuracy:  91.43  number incorrect:  857。即我們在驗證集上達到了91.43%的準確度?？偟膩碚f還是比較可觀的。

結(jié)  論本文用了三個數(shù)值模擬的方法，分別對于神經(jīng)元硬件化條件，神經(jīng)突觸硬件化條件，神經(jīng)元學(xué)習(xí)規(guī)則優(yōu)越性做了探究。在神經(jīng)元硬件化上，通過使用不同的非線性函數(shù)進行數(shù)值模擬，得到了其實在當(dāng)選取激活函數(shù)時，函數(shù)與輸入值的正相關(guān)性并不是必要的，非線性才是最為重要的基準。并且作者使用簡單的鏈式求導(dǎo)法則，證明了神經(jīng)元的硬件化需要有加權(quán)乘法器的功能，并且強調(diào)了乘法器的線性程度。也就推出了權(quán)值更新時，權(quán)值該變量與輸入值的正相關(guān)性的重要性，也可以說是正負變化的對稱性是對隨機梯度下降法達到收斂的充分條件。在SNN數(shù)值模擬上，本文先嘗試了tempotron有監(jiān)督SNN算法，并且對其權(quán)值改變的方程做出了LTP與STDP法則的兩種試探，發(fā)現(xiàn)STDP的效果更好，也不愧是貼近人類大腦的學(xué)習(xí)模式。這里也需要指出tempotron算法的缺點在于該算法只能針對單神經(jīng)元，即脈沖只能判斷單個神經(jīng)元能不能發(fā)出脈沖，泛用性不是特別強，但是將輸入改成離散的脈沖輸入，在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和理念上是一個很大的突破。接著文章以STDP學(xué)習(xí)機制更為優(yōu)秀的基礎(chǔ)上，在基于2015年P(guān)eter教授的無監(jiān)督STDP學(xué)習(xí)網(wǎng)絡(luò)[16]這篇論文的基礎(chǔ)上，使用實驗相關(guān)的數(shù)據(jù)進行了數(shù)值模擬，指出了該網(wǎng)絡(luò)的結(jié)構(gòu)，采用winter-take-all模式與IF神經(jīng)元結(jié)構(gòu)，實現(xiàn)了在沒有任何標簽和領(lǐng)域知識的無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的模擬，并且在MNIST的test數(shù)據(jù)集上達到了91.43%的正確率。從實驗上證實了STDP學(xué)習(xí)機制可以用于無監(jiān)督學(xué)習(xí)，指出了其在未來發(fā)展的巨大潛力。

最后本文提出一些對于當(dāng)前硬件神經(jīng)網(wǎng)絡(luò)研究的看法，目前實現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)的方法在緒論也有提出，主要有微電子方法、半導(dǎo)體突觸和光學(xué)實現(xiàn)。作者認為想要實現(xiàn)真正的類腦計算。我們就需要研究更與人類達到貼切的器件。盡管在微電子方面，目前的技術(shù)可以實現(xiàn)精度很高的數(shù)字模擬電路。但是實際上那也只是靠我們強大的算力與耗費了很多資源達到的結(jié)果。再說全光學(xué)的神經(jīng)網(wǎng)絡(luò)，這樣的設(shè)想只能夠用天才來形容，這樣的網(wǎng)絡(luò)耗能少，效率高，速度快。但這并不能夠算是類腦計算，只是從物理的角度對于神經(jīng)網(wǎng)絡(luò)進行了實現(xiàn)。真正的類腦計算我相信應(yīng)該是基于STDP，LTP, LTD這些與人腦大腦對于信號實際反映做出的模型之上的。近年來已經(jīng)發(fā)展了很多基于STDP或者類腦計算的算法，并且在數(shù)值模擬上都證實了其實現(xiàn)的可能性。目前的當(dāng)務(wù)之急應(yīng)該是制備出與這些理論符合的突觸器件或者神經(jīng)元元件，然后進行集成，實現(xiàn)一個結(jié)合微電子設(shè)計電路與編碼處理，從而實現(xiàn)一個從輸入，到reference，再到自動Back Propagation修改誤差的自主型芯片，真正達到off-chip模式的神經(jīng)網(wǎng)絡(luò)計算與硬件化。

參考文獻[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高麗娜 邱關(guān)源. 一種連續(xù)可調(diào)權(quán)值 CMOS 神經(jīng)網(wǎng)絡(luò). 電子學(xué)報, 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]賀靜, 基于CMOS 模擬技術(shù)的多種前饋人工神經(jīng)網(wǎng)絡(luò)硬件的研究與實現(xiàn) [D]. 湘潭大學(xué), 2014 

[8]侯媛彬,杜京義,汪梅. 神經(jīng)網(wǎng)絡(luò) [M]. 西安:西安電子科技大學(xué)出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陳瓊. 鄭啟倫.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)硬件實現(xiàn)的研究進展.[J].電路與系統(tǒng)學(xué)報.2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  錄代碼具體說明請參考github.com/zhenghaobaby/graduated_design

作者簡歷姓名：鄭浩  性別：男  民族：漢族  出生年月：1997-04-11  籍貫：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大學(xué)攻讀材料科學(xué)工程學(xué)士學(xué)位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授權(quán)專利：

[1]XXXXXX 

 

 

第9篇：神經(jīng)網(wǎng)絡(luò)特征重要性范文

關(guān)鍵詞: 特征選擇；入侵檢測；粗糙集；信息熵

中圖分類號:TN 915.08

文獻標志碼:A文章編號:1672-8513(2011)04-0292-04

Study of Intrusion Detection Feature Selection Based on Rough Set and Information Entropy

WU Ping, JIANG Yiting

( School of Information, Yunnan Normal University, Kunming 650092, China )

Abstract: Feature selection is the removing process for the smallest feature subset satisfying the needs from the collection and application of selected characteristics related with great importance. It is important in the intrusion detection. For solving the problem of the existing intrusion detection system with less prior knowledge, the paper describes the intrusion detection feature set with the rough set knowledge representation system and determines the relative importance of each feature by calculating its information entropy. Finally, it gets a streamlined feature set. As a result, it simplifies the intrusion detection training set, reduces the detection time and effectively improves the classification accuracy of the invasion.

Key words: feature selection; intrusion detection; rough set; information entropy

入侵檢測需要對大規(guī)模的網(wǎng)絡(luò)數(shù)據(jù)流或主機審計信息進行數(shù)據(jù)分析，判定攻擊類型，而網(wǎng)絡(luò)中的行為一般都可以用一些特征來描述，如：源地址、目的地址、協(xié)議類型、服務(wù)類型、端口號及連接時長等，一條網(wǎng)絡(luò)記錄是正常行為還是攻擊行為通常是由許多特征組合取不同值來表征的，但是存在著一些特征對于最后的判定起的作用很小，即這些特征的變化與否與判定結(jié)果基本無關(guān)，可以約簡.過多的特征會給計算帶來困難，占用大量的存儲空間，會降低整個網(wǎng)絡(luò)系統(tǒng)的吞吐效率，耗費大量的時間，檢測的精準率也會降低，所以在進行數(shù)據(jù)處理之前需要進行特征選擇.

特征選擇技術(shù)[1]正是從原有的龐大的數(shù)據(jù)集中選擇出滿足需要的、重要性較高的一個精簡數(shù)據(jù)集合的過程，并且該精簡數(shù)據(jù)集可以保持原有數(shù)據(jù)集的完整性，且不會影響最后判定結(jié)果的準確性.文獻［2］中采用的特征選擇方法，是對單個特征進行評價，以對評估數(shù)據(jù)檢測的正確率和時間作為度量準則，這種選擇方法可以挑出前N個最有效的單個特征，但是這N個特征放在一起卻不一定是最佳的組合，所以對于約簡后的特征屬性集合的信息完整性缺乏可靠驗證[3].

為了解決上述問題，本文基于粗糙集的知識約簡理論，采用計算信息熵的方法來選擇重要特征，在保持知識庫的分類或決策能力不變的條件下，刪除不相關(guān)或不重要知識，得到保持分類正確的最小特征子集.

1 粗糙集中的知識表達系統(tǒng)在入侵檢測特征中的描述

粗糙集(Rough Set)理論是由波蘭學(xué)者Pawlak于1982年提出的[4]，它是一種刻畫具有不完整性和不確定性信息的數(shù)學(xué)工具，其基本思想是：在保持知識庫的分類能力不變的前提下，通過知識（屬性）約簡得出問題的決策或分類規(guī)則.粗糙集的優(yōu)點是[5]：在處理問題時不需要其他先驗知識，利用定義在數(shù)據(jù)集合U上的等價關(guān)系R對U的劃分作為知識.在不丟失信息的前提下，根據(jù)知識系統(tǒng)的條件屬性與決策屬性的依賴和關(guān)聯(lián)度，通過知識約簡算法得到具有最小決策規(guī)則的分類模型.

11 網(wǎng)絡(luò)攻擊特征數(shù)據(jù)的粗糙集知識表達

粗糙集中對知識進行表達和處理的基本工具是信息表知識表達系統(tǒng)[6]，下面就本文中的研究對象網(wǎng)絡(luò)攻擊特征數(shù)據(jù)集進行粗糙集的知識表達.

攻擊特征數(shù)據(jù)的知識表達：

設(shè)五元組T=＜U,C,D,V,f＞是一個網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表知識表達系統(tǒng)，其中U是攻擊樣本的集合，C為攻擊特征（條件屬性）集合，D為攻擊類型（決策屬性）集合且D≠，V是屬性值的集合，Vr表示屬性r∈C∪D的屬性值范圍，即屬性r的值域， f:U×(C∪U)是一個信息函數(shù)，它指定U中每一個對象x的屬性值.

12 網(wǎng)絡(luò)攻擊特征的選擇

首先選定一個特征子集A，然后將其他特征屬性加入該特征子集中，如果加入的特征屬性并沒有使原有的特征的信息熵發(fā)生變化，則該屬性就是非必要特征屬性，可以對其進行約簡.可進行如下描述：

在網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞中，選定特征子集{A|AC}，將特征r∈C加入到特征子集A中，形成A′并計算A′的信息熵，如果A′的信息熵不發(fā)生變化，則說明r不能為特征子集A的分類增加信息，則A為相對于D的特征選擇.即：

H(A|C)=H(A′|C＼{r})

特征選擇的終止條件是在T中，有H(4weqqw4|A∪{r})=H(q40eewq|A)，則A為C的相對于w2uks6w的特征選擇.

13 網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表的核

對于一個網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，C中所有對gi2qy2k是必要的特征組成的集合稱為特征集合C相對于yowwekq的核，記作COREmekemmi(C).

2 信息熵的相關(guān)定義和計算模型

信息熵[7]是測量不確定性的一種度量方法，任何一個隨機變量的不確定性可以通過它的信息熵來表示.

信息熵的定義為：A為U上的一個條件屬性子集合，U/IND(A)={x1,x2,…，xn},d為u上一個決策屬性子集合,U/INDeaquggi={y1,y2,…,yn}，則決策屬性ye4kg0o相對于條件屬性子集合的信息熵為：

Entropy(DA)=－p+lb p+－p－lb p－

如果將屬性集分類進行合并[8]，在合并過程中，當(dāng)一個分類對于另一個分類的概率相等的情況下，不會導(dǎo)致信息熵發(fā)生變化，就出現(xiàn)了上面介紹過的增加一個屬性并不能為原有的屬性子集分類增加任何信息，此時就可以將之約簡.

根據(jù)以上結(jié)論可以得出，可以將核作為計算信息熵的起點，則在特征選擇的過程中，不斷地向特征子集C′中增加屬性r∈C，然后判斷信息熵H(D|C′{r})是否發(fā)生變化.如果該信息熵值是遞減的，則特征屬性r為不可約簡的特征屬性.

即對于一個網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，A為C經(jīng)過攻擊特征選擇后得到的特征集合，C0是核.如果ri∈A\\C0是任意一個不能被約簡的特征屬性，有：

H(2yeqiwu|C0)＞H(D|C0∪{ri})＞…＞H（D|C0∪{r1}∪{r2}∪…∪{ri}∪…）＞…＞H(D|A)

因為核肯定是在特征選擇的結(jié)果中，所以本文算法以核為起點，逐步向核的集合中增加特征，直到得到最后的特征選擇結(jié)果為止.

3 計算信息熵進行特征選擇的算法

攻擊特征的相對重要性[9]定義為：對于一個網(wǎng)絡(luò)攻擊特征數(shù)據(jù)決策表系統(tǒng)T=＜U,C,D,V,f＞，特征r∈C在C中對euiwa44的重要性定義為：

SGE(r,C,D)=H(D|C\\{r})-H(D|C)

所以可以看出，在C確定的情況下，SGE(r,C,y2awocc)越大，對于決策acs04wo就越重要.當(dāng)且僅當(dāng)SGE(r,C,ymq2a4y)＞0時，攻擊特征r是必要的.

網(wǎng)絡(luò)攻擊特征數(shù)據(jù)選擇的具體步驟如下：

1)計算攻擊數(shù)據(jù)決策表系統(tǒng)中的信息熵H(sgegm4e|C)：

H(4qoqooc|C)=-∑ni=1p(xi)∑mj=1p(yj|xi)log(p(yj|xi)).

2)求特征集合的核：

COREgqau24s(C)={c∈C|SGF(c,C,kwu244w)＞0}；

SGF(c,C,oyw4siw)=H(2gy4wwc|C＼{c})-H(6kcakgy|c).

則可以求出條件屬性特征集的核C0.

3)計算核的信息熵：H(w2m2wc4|COREuawscoy(C0)).

4)以核為起點，選擇使信息熵最小的特征加入特征選擇子集中.

令C0為核，A={C-C0}，設(shè)ri∈A，則依次計算信息熵H(c444yo2|C0∪{ri})，使H(ea42swa|C0∪{ri})最小的ri加入C0中，C0′={C0+ri}，若H(isuw4yk|C0′)=H(o6u2ioa|C)，則算法終止，得到了特征選擇的結(jié)果.

4 特征選擇結(jié)果分析

41 實驗數(shù)據(jù)的選取

本文選用的數(shù)據(jù)集KDDCup99[10]是一個網(wǎng)絡(luò)連接記錄集，其中包含了大量的有代表性的正常網(wǎng)絡(luò)流量和各種攻擊類型，具有很強的代表性.KDDCup99數(shù)據(jù)集中的每條數(shù)據(jù)有41維屬性特征和一個為標記正常與非正常的特征（即決策屬性）.前41維屬性特征被劃分為4個特征子集：基于TCP連接的特征屬性、基于內(nèi)容的特征屬性、基于2s時間窗的流量特征屬性、基于主機的流量特征屬性.決策屬性分為5類，即正常、DOS攻擊、Probing攻擊、U2R攻擊和R2L攻擊.

本文選取KDDCup99離線測試數(shù)據(jù)的10%子集作為實驗基本數(shù)據(jù)，其各種攻擊類型所占比例為Normal(19.68%)、DOS(62.54%)、U2R(3.43%)、Probing(6.58%)、R2L(6.92%).

42 實驗結(jié)果分析

經(jīng)過本文的算法對數(shù)據(jù)進行處理后，共約簡出21個攻擊特征，如表1~4所示.

經(jīng)過粗糙集特征選擇后，各候選特征子集所包含的特征數(shù)相比全部41個特征而言大為減少，這對于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練和入侵檢測系統(tǒng)的實時檢測而言，會有較好的性能提升.

根據(jù)特征屬性約簡的結(jié)果，對于樣本數(shù)據(jù)重新整合形成神經(jīng)網(wǎng)絡(luò)的輸入向量，約簡后的特征屬性不會影響數(shù)據(jù)連接之間的內(nèi)在聯(lián)系，且可以減少存儲空間和降低算法復(fù)雜性.在后面通過小波神經(jīng)網(wǎng)絡(luò)進行入侵分類的時候，根據(jù)選擇出的特征屬性，對樣本數(shù)據(jù)集進行輸入向量的構(gòu)建，并在訓(xùn)練之前須對數(shù)據(jù)進行數(shù)值化和歸一化處理，使它們可以適合于小波神經(jīng)網(wǎng)絡(luò)的處理，使用約簡前后的數(shù)據(jù)集對基于小波神經(jīng)網(wǎng)絡(luò)的入侵檢測系統(tǒng)進行檢測，檢測率分別為88.1%和90.4%，說明特征屬性約簡并不會影響網(wǎng)絡(luò)的分類性能，而且可以縮短網(wǎng)絡(luò)的訓(xùn)練時間.

5 結(jié)語

大量冗余特征的存在會加重入侵檢測系統(tǒng)的存儲負擔(dān)并降低網(wǎng)絡(luò)入侵檢測分類器的性能.為此本文提出了基于粗糙集和信息熵的入侵檢測特征選擇處理方法，針對于KDDCup99標準數(shù)據(jù)集，使用該算法對網(wǎng)絡(luò)入侵數(shù)據(jù)特征進行信息熵的計算、重要性的度量，完成了特征的選擇.結(jié)果表明去除冗余特征后，入侵檢測系統(tǒng)的檢測率與使用全部特征時是基本不變的，但是訓(xùn)練和測試時間卻降低了，達到了預(yù)想的效果.

參考文獻:

［1］王元龍. 模式識別在發(fā)動機故障診斷中的應(yīng)用［J］. 科技信息,2011,28(1):32-35.

［2］SUNG A H, MUKKAMALA S. Identifying important features for intrusion detection using support vector machines and neural networks ［C］ //Proceedings of the 2003 International Symposium on Applications and the Internet Technology.IEEE Computer Society Press,2003, 209-216.

［3］PAWLAK Z. Rough set theory and its applications to data analysis ［J］. Cybernetics and Systems 1998, 29(7):661-688.

［4］付磊，王金亮. 基于粗糙集理論的RBF神經(jīng)網(wǎng)絡(luò)在LUCC分類淺析［J］. 云南師范大學(xué)學(xué)報:自然科學(xué)版,2010,30(3): 28-31.

［5］耿德志.基于粗糙集和模糊聚類方法的屬性約簡算法［J］. 軟件導(dǎo)刊,2010，9（12）：81-83.

［6］蔣桂蓮,徐蔚鴻.改進粗糙集屬性約簡算法和支撐向量機的特征選擇算法［J］.微計算機信息,2010,32 (27): 235-241.

［7］孟洋,趙方.基于信息熵理論的動態(tài)規(guī)劃特征選取算法［J］. 計算機工程與設(shè)計,2010,39(17): 1542-1548.

［8］鄧林峰,趙榮珍.基于特征選擇和變精度粗集的屬性約簡算法及其應(yīng)用［J］. 機械科學(xué)與技術(shù),2010,32(10): 384-389.