神經(jīng)網(wǎng)絡(luò)優(yōu)化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

>> 基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)算法在多元非線性系統(tǒng)建模中的應(yīng)用 改進(jìn)的求解非線性方程組的迭代神經(jīng)網(wǎng)絡(luò)算法 基于非線性粒子群算法與神經(jīng)網(wǎng)絡(luò)的天氣預(yù)測 演化算法在非線性方程求解方面的應(yīng)用 基于BP神經(jīng)網(wǎng)絡(luò)的非線性函數(shù)擬合 非線性倒立擺系統(tǒng)的神經(jīng)網(wǎng)絡(luò)辨識 基于遺傳小波神經(jīng)網(wǎng)絡(luò)的非線性動態(tài)自治網(wǎng)絡(luò)故障診斷仿真算法 一種基于正交基神經(jīng)網(wǎng)絡(luò)的非線性衛(wèi)星信道預(yù)失真補償算法 神經(jīng)網(wǎng)絡(luò)在電路故障診斷方面的應(yīng)用 神經(jīng)網(wǎng)絡(luò)在鋼鐵企業(yè)質(zhì)量預(yù)測方面的應(yīng)用 BP神經(jīng)網(wǎng)絡(luò)在坐標(biāo)轉(zhuǎn)換方面的應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)在電渦流傳感器非線性補償中的應(yīng)用研究 基于神經(jīng)網(wǎng)絡(luò)的通用非線性神經(jīng)自適應(yīng)控制研究 基于BP神經(jīng)網(wǎng)絡(luò)的非線性網(wǎng)絡(luò)流量預(yù)測 改進(jìn)的基于神經(jīng)網(wǎng)絡(luò)的非線性多元回歸分析 基于徑向基神經(jīng)網(wǎng)絡(luò)的非線性系統(tǒng)辨識 基于OBF神經(jīng)網(wǎng)絡(luò)的溫度傳感器非線性補償方法 基于RBF神經(jīng)網(wǎng)絡(luò)的非線性控制系統(tǒng) 群智能算法優(yōu)化神經(jīng)網(wǎng)絡(luò)在網(wǎng)絡(luò)安全的應(yīng)用 淺談基于BP神經(jīng)網(wǎng)絡(luò)的水源熱泵在建筑節(jié)能方面的應(yīng)用 常見問題解答 當(dāng)前所在位置：中國 > 教育 > 神經(jīng)網(wǎng)絡(luò)算法非線性優(yōu)化方面的應(yīng)用 神經(jīng)網(wǎng)絡(luò)算法非線性優(yōu)化方面的應(yīng)用 雜志之家、寫作服務(wù)和雜志訂閱支持對公帳戶付款！安全又可靠！ document.write("作者： 方達(dá) 胡忠剛")

申明:本網(wǎng)站內(nèi)容僅用于學(xué)術(shù)交流，如有侵犯您的權(quán)益，請及時告知我們，本站將立即刪除有關(guān)內(nèi)容。 摘 要：文章通過神經(jīng)網(wǎng)絡(luò)算法對一類非線性優(yōu)化方面的問題進(jìn)行了分析，得到了應(yīng)用神經(jīng)網(wǎng)絡(luò)非線性優(yōu)化算法求解該類問題的具體步驟和算法方案，并給出了實例進(jìn)行驗證，證明了神經(jīng)網(wǎng)絡(luò)非線性優(yōu)化算法是有效的，具有理論意義和實用價值。 關(guān)鍵詞：：神經(jīng)網(wǎng)絡(luò)算法;MTLAB;非線性優(yōu)化最優(yōu)化

中圖分類號：G622 文獻(xiàn)標(biāo)識碼：B 文章編號：1002-7661（2014）22-002-01

人工神經(jīng)網(wǎng)絡(luò)是由簡單的處理單元所組成的大量并行分布的處理機，這種處理機具有儲存和應(yīng)用經(jīng)念知識的自然特性，它與人腦的相似之處概括兩個方面：一是通過學(xué)習(xí)過程利用神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識;二是內(nèi)部神經(jīng)元（突觸權(quán)值）用來存儲獲取的知識信息。

一、神經(jīng)網(wǎng)絡(luò)非線性優(yōu)化求解鐵路空車調(diào)度組合優(yōu)化問題

目前鐵路局對空車調(diào)度計劃是利用表上作業(yè)法，采用計算機輔助統(tǒng)計，要經(jīng)過分局管內(nèi)各主要站和各區(qū)段的車種別空車調(diào)度，分局間分界站車種別交接空車數(shù)的確定;局間分界站車種別交接空車數(shù)的確定來編制整個鐵路局的空車調(diào)度計劃.下面用神經(jīng)網(wǎng)絡(luò)優(yōu)化方法解決該問題。

空車調(diào)度問題一般指的是：設(shè)有個空車發(fā)送站，個空車到達(dá)站數(shù)的距離為，設(shè)空車產(chǎn)生站 到空車需求站的空車數(shù)為，由發(fā)出的空車數(shù)為，則應(yīng)滿足

空車需求站接受到的空車數(shù)為，則應(yīng)滿足

假設(shè)空車產(chǎn)生數(shù)等于空車的需求數(shù)，即平衡運輸，則

總的空車走行公里數(shù)為

由于神經(jīng)元的輸出值在之間，而空車數(shù)目是大于1的數(shù)，則將（ ）作為實際空車數(shù)，這樣就可以保證在（ ）之間，求為在中所占的百分比，為了用Hopfield神經(jīng)網(wǎng)絡(luò)求解空車調(diào)度問題，建立能量函數(shù)如下

式中

表示空車發(fā)送站的空車數(shù)應(yīng)等于的約束，當(dāng)且僅當(dāng)發(fā)車數(shù)為時，該項為0; 表示空車到達(dá)站所需的空車數(shù)應(yīng)等于的約束，當(dāng)且僅當(dāng)?shù)竭_(dá)的空車數(shù)為時，該項為0;

表示對空車調(diào)度的總體約束;

表示對目標(biāo)項的約束;

表示懲罰項系數(shù)，為目標(biāo)項系數(shù).

當(dāng)計算能量函數(shù) 達(dá)到最小時，對應(yīng)于空車調(diào)整計劃的一個最佳計劃方案.其算法如下

則動態(tài)迭代過程為

其中 ，分別代表迭代次數(shù)，選取0.001.

二、結(jié)束語

第2篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

[關(guān)鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡(luò) 股票 預(yù)測

一、引言

股票和股票市場對國家企業(yè)的經(jīng)濟(jì)發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復(fù)雜的，股票價格既受到多種因素，諸如:政治，經(jīng)濟(jì)，市場因素的影響，亦受技術(shù)和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數(shù)關(guān)系表達(dá)式。針對這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡(luò)引入到股票價格的預(yù)測中來，但神經(jīng)網(wǎng)絡(luò)收斂慢,易陷入局部極小點，出現(xiàn)振蕩，魯棒性差。所以有的學(xué)者用遺傳算法(ga)來優(yōu)化神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)可能獲得個別的甚至局部的最優(yōu)解,即ga早熟現(xiàn)象。本文引進(jìn)能較有效地保持種群多樣性的小生境遺傳算法(nga),采用nga優(yōu)化與用ga優(yōu)化的bp網(wǎng)絡(luò)權(quán)值進(jìn)行對比,證實了nga的判別準(zhǔn)確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)

1.bp神經(jīng)網(wǎng)絡(luò)

反向傳播(bp)算法又稱為誤差逆?zhèn)鞑バＵ椒?，它?974年p.werbos(哈佛大學(xué))提出的。133229.CoMbp算法用來訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò),屬于監(jiān)督學(xué)習(xí)算法。bp網(wǎng)絡(luò)具有結(jié)構(gòu)清晰，易實現(xiàn)，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡(luò)。但是在實際應(yīng)用中，傳統(tǒng)的bp算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺問題;泛化能力差;隱節(jié)點數(shù)和初始值的選取缺乏理論指導(dǎo);未考慮樣本選擇對系統(tǒng)學(xué)習(xí)的影響等。所以很多學(xué)者提出許多改進(jìn)的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)來預(yù)測股票價格。

2.小生境遺傳算法

小生境遺傳算法(iche genetical gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應(yīng)值大小。對適應(yīng)值較小的個體施加一個較強的懲罰，極大地降低其適應(yīng)值。也就是說，在距離l內(nèi)將只有一個優(yōu)良個體，從而既維護(hù)了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經(jīng)網(wǎng)絡(luò)連接權(quán)的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡(luò)連接權(quán)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，學(xué)習(xí)規(guī)則等，這里我們對神經(jīng)網(wǎng)絡(luò)的連接權(quán)進(jìn)行優(yōu)化，具體步驟如下：

（1）隨機產(chǎn)生一組權(quán)值分布，采用某種編碼方案對該組中的每個權(quán)值(或閾值)進(jìn)行編碼，進(jìn)而構(gòu)造出一個碼串(每個碼串代表網(wǎng)絡(luò)的一種權(quán)值分布)，在網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)規(guī)則已確定的前提下,該碼串就對應(yīng)一個權(quán)值和閾值取特定值的一個神經(jīng)網(wǎng)絡(luò)。

（2)對所產(chǎn)生的神經(jīng)網(wǎng)絡(luò)計算它的誤差函數(shù)，從而確定其適應(yīng)度函數(shù)值，誤差越大,則適應(yīng)度越小。

（3)選擇若干適應(yīng)度函數(shù)值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當(dāng)前一代群體進(jìn)行處理，產(chǎn)生下一代群體。

（5)重復(fù)（2）（3）（4），使初始確定的一組權(quán)值分布得到不斷地進(jìn)化,直到訓(xùn)練目標(biāo)得到滿足為止。

這種由小生境遺傳算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法也可以稱做混和訓(xùn)練法。將基于小生境遺傳算法的遺傳進(jìn)化方法和基于梯度下降的反傳訓(xùn)練相結(jié)合,這種訓(xùn)練方法吸取兩種方法的各自特點，所以收斂速度快。

三、股票價格預(yù)測仿真

根據(jù)經(jīng)驗選取輸入預(yù)測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為(8,5,1),即網(wǎng)絡(luò)的輸入層6個節(jié)點,隱含層9個節(jié)點,輸出層1個節(jié)點。本文選擇了“xdg 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進(jìn)行了仿真。利用matlab6.5編程，取70組訓(xùn)練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行優(yōu)化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預(yù)測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值的模型進(jìn)行股票價格的預(yù)測，都能預(yù)測出股票走向趨勢，但是，后者的預(yù)測精度顯然要比前者高。

四、結(jié)束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學(xué)問題。股票價格的中長期準(zhǔn)確預(yù)測很難。本文建立了用小生境遺傳算來優(yōu)化神經(jīng)網(wǎng)絡(luò)模型來預(yù)測股票價格，結(jié)果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)收斂速度快，預(yù)測精度高。對于股票價格預(yù)測具有較好的應(yīng)用價值。

參考文獻(xiàn):

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡(luò)的股票市場趨勢預(yù)測[j].西安電子科技大學(xué)學(xué)報(自然科學(xué)版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡(luò)與時間序列模型在股票預(yù)測中的比較[j].第27卷第6期武漢理工大學(xué)學(xué)報·信息與管理工程版.2005.9（27）:69-72

第3篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞： 高維BP神經(jīng)網(wǎng)絡(luò)； 粒子群算法； 神經(jīng)網(wǎng)絡(luò)； 結(jié)構(gòu)優(yōu)化

中圖分類號： TN711?34； TP311 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前關(guān)于高維多目標(biāo)優(yōu)化問題的理論和方法大都限于少數(shù)幾種算法，如NSGA?II算法，粒子群優(yōu)化（PSO）算法。粒子群優(yōu)化算法是Kennedy等受到飛鳥集群活動的啟發(fā)而提出的一類新興的基于集群智能優(yōu)化算法[1?5]。相比進(jìn)化算法，PSO具有易于實現(xiàn)和收斂速度快等優(yōu)勢。近年來PSO在多目標(biāo)優(yōu)化領(lǐng)域的研究上取得了較大進(jìn)展[6?9]，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練、復(fù)雜函數(shù)優(yōu)化、圖像處理、工業(yè)系統(tǒng)優(yōu)化等領(lǐng)域應(yīng)用廣泛[10]，PSO在特性的函數(shù)優(yōu)化問題上更是發(fā)揮著重要作用，這些特性函數(shù)通常具備維數(shù)高、非線性、規(guī)模大、非凸和不可微等特點，一般計算方法運算困難。針對粒子群優(yōu)化算法的優(yōu)點以及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在的諸如較慢的收斂速度、較低的學(xué)習(xí)效率，并且在計算過程中較難計算出局部極小值等問題[11?14]，提出一種基于高維粒子群算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，結(jié)合二者優(yōu)點使其更好地應(yīng)用于實際中。

1 基于高維PSO算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化

1.1 高維PSO算法簡介

粒子群算法是一種集群行為的計算方法，在不局限于二維空間，考慮高維時，即是高維PSO算法。設(shè)搜索空間為[D]維，粒子集群是由[M]個粒子組成，其中，第[i]個粒子的空間位置表示為[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飛行速度應(yīng)表示為[Vi=][vi1，vi2，…，viD。]將空間位置和飛行速度數(shù)值代入優(yōu)化目標(biāo)函數(shù)中，從而計算出用于衡量[x]優(yōu)劣的適應(yīng)值。假設(shè)粒子[i]搜索到的最優(yōu)位置為[Pi=pi1，pi2，…，piD，]整個粒子群搜索到的最優(yōu)位置記為[PK=pK1，pK2，…，pKD。]此時，對于每一代粒子，其第[d]維[1≤d≤D]的速度和位置根據(jù)式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表慣性權(quán)值數(shù)值，一般為線性慣性權(quán)值，慣性權(quán)值的作用是提高粒子群算法的全局、局部優(yōu)化能力；[t]代表現(xiàn)在的迭代次數(shù)；[itmax]代表迭代的最大次數(shù)；[c1]和[c2]代表學(xué)習(xí)因子；[r1，r2]代表在[0，1] 范圍內(nèi)變化的兩個隨機數(shù)值。

粒子位置的更新如圖1所示。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，屬于多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號前向傳遞和誤差反向傳播兩個過程。BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在各種預(yù)測模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點個數(shù)，典型的只有單個隱含層、單個輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

在圖2中，[xi=x1，x2，…，xn]代表一組BP神經(jīng)網(wǎng)絡(luò)的輸入向量；[y]代表一組BP神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出值；[wij]代表輸入層和隱含層兩層級之間的連接權(quán)值；[wj1]代表隱含層和輸出層兩層級之間的連接權(quán)值。[aj，b]分別為隱含層和輸出層的節(jié)點閾值。若設(shè)隱含層節(jié)點個數(shù)為[m，]則[j=1，2，…，m=1，]在輸入信號前向傳遞過程中，[xi]從輸入層逐層傳輸?shù)诫[含層和輸出層，由傳輸過程中各層連接權(quán)值矢量、閾值矢量和相應(yīng)的激勵函數(shù)計算，得出輸出層的預(yù)測輸出值[Y，]若預(yù)測值[y]與目標(biāo)值[Y]之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小的方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測值不斷逼近實際輸出值。

1.3 PSO算法的優(yōu)化

在實驗過程中，種群的中間粒子更容易得到全局最優(yōu)位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用慣性因子[σ，]慣性因子更容易追蹤種群中最優(yōu)粒子的位置并確保速度連續(xù)變化，即粒子下一時段的運行速度是在上一時段\行速度的基礎(chǔ)上迭代產(chǎn)生的，提高了PSO算法的性能，該優(yōu)化算法稱為帶慣性項的粒子群算法。采用慣性因子[σ]后，新的粒子速度公式為：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

優(yōu)化后的PSO算法更容易找到最優(yōu)位置。在最優(yōu)位置找尋過程中，如果粒子探索的程度是在新的方向則被稱為探測，而仍然在原始軌跡搜索則稱為開發(fā)。探測和開發(fā)是找尋最優(yōu)位置的必經(jīng)過程，調(diào)整粒子探測和開發(fā)程度可以更好地找尋最優(yōu)位置并達(dá)到優(yōu)化效果。所以，常將隨機變化的加速常數(shù)[c1]和[c2]應(yīng)用到帶慣性項的粒子群算法，代表粒子向個體極值和全局極值推進(jìn)過程中的隨機加速權(quán)值，從而動態(tài)改變探測和開發(fā)所占的比例，使其盡快找到全局最優(yōu)位置，該優(yōu)化算法稱為引入慣性項和隨機加速常數(shù)的粒子群算法。其中，加速常數(shù)[c1]和[c2]定義為：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系統(tǒng)隨機生成的數(shù)；[t，Tmax]代表當(dāng)前進(jìn)化代數(shù)和最大進(jìn)化代數(shù)。

1.4 BP網(wǎng)絡(luò)權(quán)值優(yōu)化方法

由BP網(wǎng)絡(luò)的三層結(jié)構(gòu)可知，用[ujht]代表輸入層和隱含層的網(wǎng)絡(luò)權(quán)值，[wkj（t）]代表隱含層和輸出層的網(wǎng)絡(luò)權(quán)值，[θk]代表輸出節(jié)點閾值，[θj]代表隱含層節(jié)點閾值。具體更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隱含層節(jié)點[j]的輸出信號；[Ih]代表輸入層節(jié)點[h]的輸入信號；[δk]代表輸出層節(jié)點[k]的誤差；[σj]代表隱含層節(jié)點[j]的誤差；[α， β]代表學(xué)習(xí)參數(shù)，參數(shù)取值范圍為0.1～0.9。

1.5 高維粒子群BP的算法實現(xiàn)

高維粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確定粒子搜索空間的維數(shù)，即粒子長度，以誤差均方值作為基準(zhǔn)調(diào)節(jié)BP網(wǎng)絡(luò)中的權(quán)值和閾值，以粒子群優(yōu)化的適應(yīng)度函數(shù)作為BP網(wǎng)絡(luò)誤差的反傳函數(shù)，據(jù)此建立誤差均方值與粒子群優(yōu)化的適應(yīng)度函數(shù)的對等關(guān)系，目標(biāo)函數(shù)的表達(dá)式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表總訓(xùn)練樣本數(shù)；[fi]代表目標(biāo)函數(shù)的誤差平方和；[y（k）]代表目標(biāo)函數(shù)的目標(biāo)輸出值；[ym（k）]代表目標(biāo)函數(shù)的實際輸出值。

改進(jìn)粒子群算法尋優(yōu)的具體步驟如下：

（1） 初始化粒子群參數(shù)。初始化粒子群規(guī)模、最大迭代次數(shù)[Tmax、]學(xué)習(xí)因子[c1]和[c2、]慣性權(quán)重[wmax]和[wmin]在特定位置與速度范圍內(nèi)隨機初始化位置向量和速度向量。

（2） 初始化BP神經(jīng)網(wǎng)絡(luò)。由實際情況確定BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并建立下一步運算的網(wǎng)絡(luò)模型，進(jìn)一步明確粒子維度。

（3） 輸入網(wǎng)絡(luò)訓(xùn)練樣本。通過步驟（1），步驟（2）初始化的位置向量輸入網(wǎng)絡(luò)訓(xùn)練樣本，確定網(wǎng)絡(luò)的權(quán)值和閾值，計算出期望輸出的誤差均方值和實際輸出的誤差均方值，由二者的誤差均方值可以得到粒子群的適應(yīng)度函數(shù)。在粒子群適應(yīng)度函數(shù)的基礎(chǔ)上結(jié)合位置和慣性因子可以計算粒子新的運動位置和運動速度。

（4） 迭代運算。確定每個粒子的個體極值和全局極值：粒子[i]的適應(yīng)度值[fi]與個體最優(yōu)值[Pbest]比較，如果小于[Pbest]則取代它作為當(dāng)前的個體最優(yōu)；適應(yīng)度值[fi]與全局極值[gbest]比較， 如果小于[gbest]則取代它作為當(dāng)前的全局最優(yōu)。當(dāng)停止迭代時，會得到粒子在全局的最優(yōu)位置，此時需要把該數(shù)值作為BP網(wǎng)絡(luò)的最后權(quán)重值，映射為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。

（5） 將樣本數(shù)據(jù)源中訓(xùn)練樣本輸入到已確定的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，用測試樣本做預(yù)測。

2 高維粒子群BP算法實例仿真

高維粒子群BP算法仿真實驗的實驗數(shù)據(jù)采集自沈陽市和平區(qū)易發(fā)生交通擁堵的某一路段，采集方式是在測試車輛上安裝激光測距儀和 GPS設(shè)備，采樣時間設(shè)置為2 s，采樣時間段為早、中、晚高峰期三小時的時間區(qū)間，并多次測量采集數(shù)據(jù)，選擇每組中發(fā)生事件的實驗數(shù)據(jù)為6 rain，參照上述標(biāo)準(zhǔn)共采集150組樣本數(shù)據(jù)，把樣本數(shù)據(jù)歸一化。將100組訓(xùn)練數(shù)據(jù)、50組測試數(shù)據(jù)輸入到Matlab進(jìn)行運算，電腦內(nèi)存為8 GB，利用本文的高維粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法訓(xùn)練，最后將測試樣本分類判別，檢驗最后的計算性能。部分原始樣本數(shù)據(jù)見表1。

設(shè)置高維粒子群算法的參數(shù)，其中，種群數(shù)量設(shè)置為[m=30，]維數(shù)設(shè)置為[D=12×13+13×4+4=212，]加速因子設(shè)置為[c1=c2=1.50，]慣性因子設(shè)置為[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值為5，位置最小值為?5，最大迭代次數(shù)[N=100。]當(dāng)計算循環(huán)過程達(dá)到終止迭代次數(shù)時則終止計算。

通常采用交通事件的檢測率（DR）、平均檢測時間（MTTD）、誤判率（FAR）評價交通事件自動檢測的算法效率。通過采用本文優(yōu)化的計算方法對采集到的數(shù)據(jù)進(jìn)行分類訓(xùn)練等一系列計算分析，并將最終分析結(jié)果和經(jīng)典事件檢測算法、BP神經(jīng)網(wǎng)絡(luò)算法比較。結(jié)果表明，經(jīng)過優(yōu)化后的高維粒子群BP神經(jīng)網(wǎng)絡(luò)的檢測率、算法性能均優(yōu)于經(jīng)典算法和BP神經(jīng)網(wǎng)絡(luò)算法，其中97，50個測試樣本中僅有2個測試樣本與應(yīng)該達(dá)到的數(shù)值不一致，其他樣本都滿足測試要求，并且平均優(yōu)化測試時間是傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)檢測時間的一半，結(jié)果對比見表2。

3 結(jié) 語

本文基于高S粒子群算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法，改進(jìn)了傳統(tǒng)運算方法的檢測時間長、收斂速度慢的缺點，且容易實現(xiàn)，是一種新興的群智能優(yōu)化算法，優(yōu)化全面，適用范圍廣泛，具有較高的精度和較好的擬合性能。

參考文獻(xiàn)

[1] 姚爾果，閆秋粉，南振岐，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].佳木斯大學(xué)學(xué)報（自然科學(xué)版），2012，31（1）：107?109.

[2] 謝錚桂，鐘少丹，韋玉科.改進(jìn)的粒子群算法及收斂性分析[J].計算機工程與應(yīng)用，2011，47（1）：46?49.

[3] 閏紀(jì)如.粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測中的應(yīng)用[D].杭州：浙江工業(yè)大學(xué)，2013.

[4] 劉洪波，王秀坤，孟軍.神經(jīng)網(wǎng)絡(luò)基于粒子群優(yōu)化的學(xué)習(xí)算法研究[J].小型微型計算機系統(tǒng)，2005，26（4）：638?640.

[5] 胡衛(wèi)東，曹文貴.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)在邊坡穩(wěn)定性評價中的應(yīng)用[J].湖南理工學(xué)院學(xué)報（自然科學(xué)版），2014，27（2）：71?77.

[6] 劉坤，譚營，何新貴.基于粒子群優(yōu)化的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].北京大學(xué)學(xué)報（自然科學(xué)版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[J].計算機工程與應(yīng)用，2009，45（35）：233?235.

[8] 張德慧，張德育，劉清云，等.基于粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)[J].計算機工程與設(shè)計，2015，36（5）：1322?1328.

[9] 肖俊生，任諱龍，李文濤.基于粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)漏鋼預(yù)報的研究[J].計算機測量與控制，2015，23（4）：1302?1305.

[10] 沈?qū)W利，張紅巖，張紀(jì)鎖.改進(jìn)粒子群算法對BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化[J].計算機系統(tǒng)應(yīng)用，2010（2）：57?61.

[11] 江麗，王愛平.基于粒子群與BP混合算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法[J].計算機應(yīng)用，2012，32（z2）：13?15.

[12] 徐大明，周超，孫傳恒，等.基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖水溫及pH預(yù)測模型[J].漁業(yè)現(xiàn)代化，2016，43（1）：24?30.

第4篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞：網(wǎng)絡(luò)入侵；神經(jīng)網(wǎng)絡(luò)；參數(shù)優(yōu)化；人工魚群算法

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-2163（2015）03-

Application of Back Propagation Neural Network Optimizing by Artificial Fish Swarm Algorithm in Network Intrusion Detection

LIU Chun

（Network Management Center ， Sichuan College of Architectural Technology， Deyang Sichuan 618000， China）

Abstract： In order to detect the network intrusion effectively， an artificial fish swarm （AFSA） algorithm is proposed to optimize the BP neural network （BPNN） intrusion detection model. In this paper， firstly， weights and threshold coding state of BP neural network is artificial fish of the AFSA， followed by artificial fish swarm foraging， Poly Group， rear end， which is used to optimize the parameters of BP neural network， to find the optimal parameters of the BP neural network； After that， using the establishment of optimal BP neural network model， the behavior of the network intrusion are detected. In the Windows XP operating system， on the platform of MATLAB 2012 by the KDD cup 99 data set of simulation test， compared with the traditional BP neural network model， the proposed model can significantly improve the network intrusion detection accuracy and has a more extensive application prospects.

Keywords： Network Intrusion； Neural Network； Parameter Optimization； Artificial Fish Swarm Algorithm

0 引言

隨著互聯(lián)網(wǎng)規(guī)模越來越大，網(wǎng)絡(luò)的用途越來越廣泛，在網(wǎng)絡(luò)給人們生活帶來便利的同時，其受到入侵的可能性頁隨之增加，未經(jīng)授權(quán)用戶對計算機進(jìn)行操作，可能竊取系統(tǒng)中的信息，給計算機系統(tǒng)造成一定的安全隱患，網(wǎng)絡(luò)安全問題日漸受到學(xué)界關(guān)注，在網(wǎng)絡(luò)安全防御研究領(lǐng)域，網(wǎng)絡(luò)入侵檢測已然成為迫切需要解決的一個重要課題[1-2]。

按照入侵檢測方式的不同，可將其分為誤用入侵檢測和異常入侵檢測[3]。其中，誤用入侵檢測方法主要是依據(jù)檢測知識庫，對網(wǎng)絡(luò)入侵行為進(jìn)行匹配，如果檢測知識庫不完備，則可能存在某些未知的入侵行為無法檢測。而異常入侵檢測是通過對可接受行為進(jìn)行描述，如果某項行為與正常行為存在偏差，則認(rèn)為該行為是入侵行為，異常入侵檢測方法能夠?qū)ξ粗W(wǎng)絡(luò)攻擊行為進(jìn)行有效檢測，從而成為當(dāng)前網(wǎng)絡(luò)入侵研究的熱點研究內(nèi)容[4]。

網(wǎng)絡(luò)入侵檢測是依據(jù)網(wǎng)絡(luò)行為與正常行為進(jìn)行比較，以判斷是否存在網(wǎng)絡(luò)入侵、攻擊行為，因此，可以將網(wǎng)絡(luò)入侵檢測認(rèn)為是一個數(shù)據(jù)分類問題。網(wǎng)絡(luò)入侵檢測處理的分類數(shù)據(jù)屬于大樣本數(shù)據(jù)，具有高維、復(fù)雜、非線性等特征；相應(yīng)地，傳統(tǒng)的數(shù)據(jù)分類檢測方法在實際應(yīng)用執(zhí)行時，即表現(xiàn)了計算速度慢、復(fù)雜、正確率低的結(jié)果現(xiàn)象[5]。近年來，隨著人工智能技術(shù)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)被越來越多地用于數(shù)據(jù)分類問題。神經(jīng)網(wǎng)絡(luò)有多種類型，其中，BP神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network，BPNN）結(jié)構(gòu)簡單、學(xué)習(xí)能力強，切具有非線性逼近映射能力，相較于其它類型的神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)的用途更為廣泛。但是，利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)入侵檢測，其檢測的準(zhǔn)確率與網(wǎng)絡(luò)的初始權(quán)值、閾值等參數(shù)有關(guān)，為了獲得較高的網(wǎng)絡(luò)入侵檢測正確率，就需要對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化。即在利用學(xué)習(xí)樣本對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練過程中，不是隨機產(chǎn)生BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，而是利用智能算法，如粒子群、遺傳、蟻群等算法等對BP神經(jīng)網(wǎng)絡(luò)初始權(quán)值和閾值進(jìn)行優(yōu)化，使BP神經(jīng)網(wǎng)絡(luò)避免陷入局部最優(yōu)，并且找到全局最優(yōu)參數(shù)，從而使BP神經(jīng)網(wǎng)絡(luò)分類精度更高，網(wǎng)絡(luò)入侵檢測性能也隨之提升[6-8]。在這些智能算法中，人工魚群算法（Artificial Fish Swarm Algorithm，AFSA）是近年來提出的一種新的智能仿生算法，該算法魯棒性強，可并行操作，同時便于實現(xiàn)[9]。利用AFSA算法來對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行尋優(yōu)，能夠避免BP神經(jīng)網(wǎng)絡(luò)易陷入局部極小的缺陷，實現(xiàn)了BP神經(jīng)網(wǎng)絡(luò)參數(shù)的最優(yōu)獲取，因而可知這是一種非常適合BP神經(jīng)網(wǎng)絡(luò)參數(shù)尋優(yōu)的理想方法。同時，仿真試驗又對AFSA-BPNN（人工魚群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)）模型的網(wǎng)絡(luò)入侵檢測性能進(jìn)行了有效驗證。

1 網(wǎng)絡(luò)入侵檢測數(shù)學(xué)模型

網(wǎng)絡(luò)入侵是指未經(jīng)授權(quán)的用戶實施的任何試圖以非法手段來獲取計算機資源的行為。進(jìn)行網(wǎng)絡(luò)入侵檢測，主要是通過收集網(wǎng)絡(luò)或系統(tǒng)中的若干關(guān)鍵點的未經(jīng)授權(quán)用戶的訪問、操作等信息，并對這些信息進(jìn)行對比分析，以確定系統(tǒng)中是否存在被攻擊的跡象[10]。

在計算機網(wǎng)絡(luò)中，存在兩種現(xiàn)象，一種為無入侵信號，一種為有入侵信號，用 表示無入侵信號， 表示有入侵信號，則網(wǎng)絡(luò)數(shù)據(jù)信號數(shù)學(xué)表達(dá)式：

（1）

其中， 表示收集到的所有信號， 表示在抽樣間隔中接收到的信號所有字節(jié)的長度； 表示網(wǎng)絡(luò)數(shù)據(jù)中的噪聲， 表示入侵信號。

在進(jìn)行網(wǎng)絡(luò)入侵檢測時，存在噪聲，并且，接收到的信息還存在非線性的關(guān)系，為了保護(hù)網(wǎng)絡(luò)安全，有效地防范未經(jīng)授權(quán)用戶對網(wǎng)絡(luò)安全形成的潛在隱患，有必要對這些網(wǎng)絡(luò)訪問行為進(jìn)行識別、檢測，由上可知，BP神經(jīng)網(wǎng)絡(luò)即可有效地進(jìn)行網(wǎng)絡(luò)入侵檢測。

2 AFSA優(yōu)化BPNN的網(wǎng)絡(luò)入侵檢測模型

2.1 人工魚群算法

AFSA可以地對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行全面參數(shù)尋優(yōu)，通過模擬魚群的覓食、聚群、追尾等典型行為，不斷地對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化[11]。算法中典型行為的實現(xiàn)機理如下：

（1） 覓食行為。設(shè)Xi表示人工魚當(dāng)前所處的位置，Xj表示一個隨機選擇的位置，對Xi和Xj的食物濃度進(jìn)行比較，如果Xj處的食物濃度大于Xi處的食物濃度，則向Xj處前進(jìn)，否則人工魚留在原處不動，而后，重新隨機選擇位置Xj，再對Xi和Xj的食物濃度進(jìn)行判斷，反復(fù)試探nj次后，如果選取的位置處食物濃度仍然小于初始位置的食物濃度，則人工魚隨機前進(jìn)一步。該行為的數(shù)學(xué)描述可如式（2）所示：

（2）

式中，Rand（）表示一個（0，1）之間的隨機數(shù)；Step表示人工魚移動的步長。

（2） 聚群行為。設(shè)nf表示人工魚視野范圍內(nèi)所有的伙伴數(shù)目，Xc表示所有魚群的中心位置，若Yc/nf>δYi（δ為擁擠度因子），則表明當(dāng)前人工魚所處位置的食物濃度小于伙伴處的食物濃度，人工魚便朝伙伴中心前進(jìn)一步，否則，人工魚繼續(xù)執(zhí)行覓食行為。這一行為的數(shù)學(xué)實現(xiàn)則如式（3）所示：

（3）

（3） 追尾行為。在人工魚視野范圍內(nèi)，濃度最高Yj的人工魚位置為Xmax，若Yj/nf> Yi，則人工魚群向Xj處前進(jìn)一步，否則人工魚執(zhí)行覓食行為。

（4）

（4） 隨機行為。人工魚沒有執(zhí)行明確的覓食或聚群行為，而是在視野范圍內(nèi)隨機選擇某個位置，隨后向其移動，該行為屬于人工魚覓食行為的一種缺省行為。

（5） 公告板。公告用于記錄食物濃度最高的人工魚的狀態(tài)。

2.2 BP神經(jīng)網(wǎng)絡(luò)模型

BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程如下[12]：

（1）確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。設(shè)輸入層、隱層和輸出層的神經(jīng)元數(shù)分別為N、L和M，網(wǎng)絡(luò)輸入向量為 ，隱含層輸出向量為 ，網(wǎng)絡(luò)實際輸出向量為 ，網(wǎng)絡(luò)輸入層神經(jīng)元節(jié)點 到隱含層神經(jīng)元節(jié)點 的權(quán)重系數(shù)表示為 ，隱含層神經(jīng)元節(jié)點 到輸出層神經(jīng)元節(jié)點 的權(quán)重系數(shù)表示為 ，訓(xùn)練集的目標(biāo)輸出向量為 。此外，分別用 和 來表示輸出神經(jīng)元和隱神經(jīng)元的閾值，設(shè)：

（5）

于是，得到隱含層各神經(jīng)元節(jié)點的輸出為：

（6）

同理，輸出層各神經(jīng)元節(jié)點為：

（7）

（2）將輸出神經(jīng)元 與目標(biāo)向量 進(jìn)行比較，計算出輸出誤差項：

（8）

（9）

（3）依次計算出各權(quán)重的調(diào)整量：

（10）

（11）

式中， 表示網(wǎng)絡(luò)的學(xué)習(xí)速率，其取值在0-1之間。

（4）調(diào)整網(wǎng)絡(luò)權(quán)重，公式如下：

（12）

（13）

（5）判斷是否達(dá)到最大迭代次數(shù)，如果沒有，將網(wǎng)絡(luò)輸出值與期望值進(jìn)行比較，如果大于誤差允許的范圍，返回步驟（1），繼續(xù)迭代，在每次迭代過程中，都進(jìn)行判斷，誤差是否達(dá)到預(yù)定目標(biāo)，或者是否達(dá)到最大迭代次數(shù)，如果滿足終止條件，則停止迭代。

2.3 SAFSA-BPNN網(wǎng)絡(luò)入侵檢測流程

（1） 收集BP神經(jīng)網(wǎng)絡(luò)狀態(tài)信息，設(shè)置人工魚狀態(tài)；

（2） 隨機生成n條人工魚，每一條人魚代表一組BP神經(jīng)網(wǎng)絡(luò)參數(shù)，用passed_iterate表示BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練迭代的次數(shù)；

（3） 登記每條人工魚所在位置的食物濃度，并對每條人工魚處的食物濃度進(jìn)行排序登記，將食物濃度值最高處的人工魚個體的位置及食物濃度登記寫入公告板；

（4） 隨機選擇一條人工魚，對其覓食、追尾和聚群行為后所處位置的食物濃度進(jìn)行判斷，將其所處位置的食物濃度與公告板中的所登記的食物濃度進(jìn)行比較，如果該人工魚處的食物濃度高于公告板的食物濃度，則該人工魚向此方向前進(jìn)一步。

（5） 更新公告板內(nèi)容，將步驟（4）中得到的最好人工魚的位置及食物濃度記入公告板。

（6） 判斷BP神經(jīng)網(wǎng)絡(luò)是否尋優(yōu)得到最優(yōu)參數(shù)，或訓(xùn)練是否達(dá)到最大迭代次數(shù)，如果沒有滿足上述情況，則人工繼續(xù)執(zhí)行覓食、追尾、聚群行為，passed_iterate=passed_iterate+1，并轉(zhuǎn)步驟（4）繼續(xù)迭代執(zhí)行，如果達(dá)到最大迭代次數(shù)，則BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練尋優(yōu)結(jié)束，輸出公告板中的人工魚的位置及食物濃度；

（7） 根據(jù)尋優(yōu)結(jié)束后BP神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行網(wǎng)絡(luò)入侵檢測。

利用AFSA-BP神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行網(wǎng)絡(luò)入侵檢測流程如圖1所示。

圖1 AFSA優(yōu)化BPNN參數(shù)流程

Fig. 1 the flow chart of BPNN parameters optimized by AFSA

3 仿真測試

3.1 數(shù)據(jù)來源

為了驗證本文模型的網(wǎng)絡(luò)入侵檢測效果，利用KDD CUP 99的數(shù)據(jù)集進(jìn)行仿真試驗，并在Windows XP，Matlab 2012 軟件平臺上執(zhí)行實現(xiàn)。由于BP神經(jīng)網(wǎng)絡(luò)不能直接對字符型數(shù)據(jù)進(jìn)行處理，而在KDD CUP 99數(shù)據(jù)集中卻包含有大量的字符型數(shù)據(jù)，因此，在進(jìn)行實驗仿真之前，需將KDD CUP 99數(shù)據(jù)集中的字符型數(shù)據(jù)轉(zhuǎn)換成整型數(shù)據(jù)[13]。在利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)入侵檢測時，實質(zhì)上就是一個分類問題，因此，可將KDD CUP 99數(shù)據(jù)集的分類字段處理成五個類標(biāo)識：1（“normal"），2（"Probe"），3（"DOS"），4（"U2R"），5（"R2L"）。同時，為了有效地提高網(wǎng)絡(luò)入侵檢測正確率，有必要在BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)時，利用人工魚群算法對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，訓(xùn)練集來自于文件kddcup.data_10_percent.gz，從中隨機選取800條記錄，測試集數(shù)據(jù)則將隨機從文件corrected.g中選取300條記錄。

在KDD CUP 99數(shù)據(jù)集中，每一個數(shù)據(jù)集均包含了41個特征屬性，而且每一個數(shù)據(jù)集還對應(yīng)一種類型的網(wǎng)絡(luò)入侵行為，為此BP神經(jīng)網(wǎng)絡(luò)輸入層有41個神經(jīng)元，輸出層有一個神經(jīng)元，經(jīng)過反復(fù)試驗，當(dāng)隱含層有22個神經(jīng)元時，網(wǎng)絡(luò)收斂速度最快，誤差最小，最終確定BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為41×22×1。利用訓(xùn)練集對BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再用人工魚群算法對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，人工魚群參數(shù)可如表1所示。

表1 人工魚群算法參數(shù)設(shè)置

Tab. 1 parameter setting of artificial fish swarm algorithm

參數(shù)名 說明 值 參數(shù)名 說明 值

Visual 可視域 18 P 魚群規(guī)模 30

δ 擁擠因子 0.58 Step_max 迭代步長 0.6

N 迭代次數(shù) 5000

3.2 對比模型

為了證明AFSA-BPNN模型進(jìn)行網(wǎng)絡(luò)入侵檢測的有效性，在同等情況下，利用傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)（BPNN）模型進(jìn)行對比實驗。選擇了檢測率、誤報率和運行速度作為模型網(wǎng)絡(luò)入侵檢測性能的指標(biāo)評價。在此，僅分別給出檢測率和誤報率的定義如下：

（14）

（15）

3.3 數(shù)據(jù)處理

在KDD CUP 99數(shù)據(jù)集中，每個數(shù)據(jù)集有41個特征屬性，對其中的字符型數(shù)據(jù)轉(zhuǎn)換成整型數(shù)據(jù)，但由于這些數(shù)據(jù)集中的屬性量綱不同，為了有效地檢測出網(wǎng)絡(luò)入侵行為，即需對數(shù)據(jù)集進(jìn)行歸一化處理，以減少量綱不同對網(wǎng)絡(luò)入侵檢測的影響。歸一化處理公式如下：

（16）

式中， 表示某屬性的最大值； 、 分別表示某屬性的最小值和最大值； 表示經(jīng)過歸一化處理后的某屬性。

3.4 結(jié)果與分析

3.4.1 檢測結(jié)果對比

采用BPNN作為對比模型，以驗證ASFA-BPNN模型進(jìn)行網(wǎng)絡(luò)入侵檢測時的實際性能，首先編程利用同樣的訓(xùn)練集對兩種模型進(jìn)行訓(xùn)練，過程中不同之處卻是，在AFSA-BPNN模型訓(xùn)練的同時，利用人工魚群算法對BPNN進(jìn)行尋優(yōu)；然后，分別利用測試集對訓(xùn)練后的模型進(jìn)行驗證，兩種模型的檢測性能對比如表2所示。

表2 兩檢測模型的檢測性能對比

Tab2 performance comparison of two detection models

檢測模型 評價指標(biāo) DOS U2L U2R Probe

BPNN rate（%） 80.65 70.83 81.21 79.65

error（%） 19.35 29.17 18.79 20.35

AFSA-BPNN rate（%） 82.63 76.89 88.78 91.43

error（%） 17.37 23.11 11.22 8.57

3.4.2 運行速度對比

為了驗證兩種模型的網(wǎng)絡(luò)入侵檢測速度，選取測試集對模型的網(wǎng)絡(luò)入侵檢測時間作為衡量指標(biāo)，兩種模型進(jìn)行不同類型的入侵檢測時間（秒/s）如表3所示。從表3可知，相對于BPNN模型，AFSA-BPNN模型的檢測時間更少，說明了AFSA-BPNN模型進(jìn)行網(wǎng)絡(luò)入侵檢測具有更高效率，因而實時性更強。

表3 兩種模型的檢測時間對比

Tab.3 detection time comparison of two models

模型 DOS U2L U2R Probe

BPNN 0.97 0.89 0.86 0.96

AFSA-BPNN 0.76 0.78 0.80 0.64

4 結(jié)束語

為了有效地對網(wǎng)絡(luò)入侵進(jìn)行檢測，提出一種人工魚群算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)入侵檢測模型，在BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時，利用人工魚群算法對BP神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，獲得了BP神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)，同時加快了BP神經(jīng)網(wǎng)絡(luò)的收斂速度。仿真結(jié)果表明，AFSA-BPNN模型比BPNN模型檢測率更高，誤檢率更低，同時檢測時間更少，這就說明了AFSA-BPNN模型堪稱為一種有效的網(wǎng)絡(luò)入侵檢測模型，其應(yīng)用前景也將更趨廣泛與廣闊。

參考文獻(xiàn)

[1] 戴英俠.系統(tǒng)安全與入侵檢測[M].北京：清華大學(xué)出版社， 2002.

[2] 何敏. 基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)實時入侵檢測體系結(jié)構(gòu)的研究[J]. 計算機與現(xiàn)代化， 2011， 193（9）： 134-136.

[3] 姜春茂，張國印，李志聰. 基于遺傳算法優(yōu)化SVM的嵌入式網(wǎng)絡(luò)系統(tǒng)異常入侵檢測[J]. 計算機應(yīng)用與軟件，2011，28（2）：287-289.

[4] 閆新娟，譚敏生，嚴(yán)亞周，等. 基于隱馬爾科夫模型和神經(jīng)網(wǎng)絡(luò)的入侵檢測研究[J]. 計算機應(yīng)用與軟件，2012，29（2）：294C297.

[5] 牟琦，畢孝儒，庫向陽. 基于GQPSO算法的網(wǎng)絡(luò)入侵特征選擇方法[J]. 計算機工程，2011，37（14）：103-16.

[6] 周敏.GARBF在網(wǎng)絡(luò)入侵檢測中的應(yīng)用研究[J].計算機仿真，2011.28（6）：165-168.

[7] 趙俊忠. 入侵檢測系統(tǒng)中檢測技術(shù)的研究[J]. 計算機工程與應(yīng)用，2005，（2）：11-13.

[8] 欒慶林，盧輝斌.自適應(yīng)遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的入侵檢測研究[J].計算機工程與設(shè)計，2008，29（12）：3022-3024.

[9] 李曉磊.一種新型的智能優(yōu)化方法一人工魚群算法[D].杭州：浙江大學(xué)，2003.

[10] 孫寧青. 基于神經(jīng)網(wǎng)絡(luò)和CFS特征選擇的網(wǎng)絡(luò)入侵檢測系統(tǒng)[J]. 計算機工程與科學(xué)，2010，32（6）：37-39.

[11] 江銘炎，袁東風(fēng). 人工魚群算法及其應(yīng)用[M]. 北京：科學(xué)出版社，2012.

第5篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞：矩陣式紅外熱電堆；RBF神經(jīng)網(wǎng)絡(luò)；慣性權(quán)重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人體入侵檢測方法有視頻監(jiān)測、超聲波、機電檢測、紅外檢測等，而它的準(zhǔn)確性和可靠性對人的生命財產(chǎn)安全起確定性的作用。本文采用的是Melexis（邁來芯）的一套矩陣式紅外熱電堆溫度采集裝置，其中傳感器MLX90621是一款采用16*4像素的紅外陣列傳感器，可以檢測出一副畫面中64個點的溫度，可以提供的視角范圍是，配合電機，它的檢測范圍可以達(dá)到，因此它每一幀可以測得的溫度數(shù)據(jù)有個。相比于傳統(tǒng)的檢測方法，雖然它的檢測像素低，但是在后面的算法計算中，它的計算量會降低，它的優(yōu)勢在于成本低、體積小易于隱蔽，而且不易受環(huán)境因素的影響，比如黑夜、電磁干擾等。在人體識別部分，本文采用的是改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)算法，RBF神經(jīng)網(wǎng)絡(luò)是一種采用局部接受域來執(zhí)行函數(shù)映射的人工神經(jīng)網(wǎng)絡(luò)[1]。而如何確定RBF神經(jīng)網(wǎng)絡(luò)的隱層基函數(shù)的個數(shù)、中心向量以及寬度是訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)的關(guān)鍵所在。假如設(shè)定的隱層基函數(shù)的個數(shù)偏多會造成訓(xùn)練和測試的時間加長，不僅容易產(chǎn)生過擬合[2]，而且還會造成網(wǎng)絡(luò)的泛化能力下降。相反，設(shè)定偏少的話會造成神經(jīng)網(wǎng)絡(luò)的收斂誤差變大。一般采用K-mean聚類算法來確定徑向基函數(shù)的個數(shù)和中心向量，但其依賴初始中心的選擇，只能獲得局部最優(yōu)解[3]。

粒子群算法（PSO）是基于群體智能的優(yōu)化算法，通過粒子間的合作與競爭的群體智能理論的優(yōu)化搜索，它可以記憶所有粒子都共享的迄今為止問題的最優(yōu)解[4]。PSO的優(yōu)勢在于簡單且易于實現(xiàn)。但基本PSO的缺點在于其參數(shù)是相對固定的，會導(dǎo)致在優(yōu)化某些函數(shù)時，造成精度差、收斂速度慢等。因此本文針對基本PSO的缺點，提出了結(jié)合慣性權(quán)重模型，將適應(yīng)度擇優(yōu)選取引入基本PSO算法的方法進(jìn)行改進(jìn)。RBF神經(jīng)網(wǎng)絡(luò)首先采用最近鄰聚類算法來確定隱層基函數(shù)的個數(shù)，中心向量即為聚類的的均值。同時將改進(jìn)的粒子群優(yōu)化算法來優(yōu)化最近鄰聚類算法的聚類半徑，從而確定出RBF神經(jīng)網(wǎng)絡(luò)最優(yōu)的隱層基函數(shù)和中心向量，使其不用依靠初始中心的選擇，減少了現(xiàn)有算法中人為因素的影響，從而有效地提高了RBF神經(jīng)網(wǎng)絡(luò)的精度和收斂速度。獨立訓(xùn)練特定的RBF網(wǎng)絡(luò)并合成其預(yù)測結(jié)果，可以有效得提高神經(jīng)網(wǎng)絡(luò)表達(dá)對象的準(zhǔn)確性[5，6]。將改進(jìn)PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用于人體入侵檢測識別中，通過實測數(shù)據(jù)驗證，準(zhǔn)確率相對基本RBF神經(jīng)網(wǎng)絡(luò)有了顯著的提高。

2 RBF神經(jīng)網(wǎng)絡(luò)設(shè)計

2.1 RBF基本原理

RBF 神經(jīng)網(wǎng)絡(luò)，即徑向基神經(jīng)網(wǎng)絡(luò)，是前饋神經(jīng)網(wǎng)絡(luò)的一種，具有三層結(jié)構(gòu)，如圖 1 所示。它的基本思想是用RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接（即不需要通過權(quán)鏈接）映射到隱空間，當(dāng)RBF神經(jīng)網(wǎng)絡(luò)的中心確定之后，映射關(guān)系也就隨之確定了。隱含層的作用是把向量從低維映射到高維，這樣低維線性不可分的情況到高維就線性可分了，隱含層空間到輸出空間的映射關(guān)系是線性的。

（1）假設(shè)已經(jīng)有個聚類中心，分別為：，分別計算與它們之間的距離，。

（2），即到中心的歐式距離最小。

（3）比較與的大小，如果，則就會被設(shè)定為一個新的聚類中心，如果，則按照更新，。

（4）重新選取下一個輸入的樣本數(shù)據(jù)，返回1）。

（5）所有的輸入數(shù)據(jù)取完則結(jié)束。

從上面的算法步驟來看，可以得出，隱層基函數(shù)的中心的確定，最主要的因素是聚類半徑，若過大，會造成基函數(shù)的中心個數(shù)較少的情況，從而導(dǎo)致網(wǎng)絡(luò)的收斂誤差偏大，反之則會造成基函數(shù)的中心個數(shù)較多的情況，從而導(dǎo)致網(wǎng)絡(luò)的泛化能力下降。因此本文在最近鄰聚類算法中選取合適的聚類半徑時，采用改進(jìn)的粒子群算法，最后可以確定出最優(yōu)的RBF神經(jīng)網(wǎng)絡(luò)的隱層基函數(shù)的中心向量。

3 粒子群優(yōu)化算法

3.1 基本粒子群優(yōu)化算法

粒子群優(yōu)化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一種通過模仿鳥類群體捕食行為研究的群體智能算法[7]。粒子群優(yōu)化算法的基本思想是通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解[8]。它的優(yōu)勢在于簡單容易實現(xiàn)并且沒有許多參數(shù)的調(diào)節(jié)[9]，目前已被廣泛應(yīng)用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)訓(xùn)練、模糊系統(tǒng)控制以及其他遺傳算法的應(yīng)用領(lǐng)域。在由 m 個粒子組成的粒子群中，每個搜索空間中的潛在的解由粒子的位置來確定，新的個體在取值時主要由粒子的當(dāng)前速度、粒子群中的最優(yōu)個體以及當(dāng)前粒子的歷史最優(yōu)解3個因素來決定，其中粒子的當(dāng)前速度控制著搜索的步長，算法的全局以及全局搜索能力由其決定，對PSO的收斂速度和質(zhì)量有著重要的影響；后兩者則主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根據(jù)如下三條原則來更新自身狀態(tài)：（1）保持自身慣性；（2）按自身的最優(yōu)位置來改變狀；（3）按群體的最優(yōu)位置來改變狀態(tài)。

算法描述：在一個 n維的搜索空間中，是由m個粒子組成的粒子群，其中，為第個粒子的位置為，為速度。其中，為個體極值，為種群的全局極值。接下去粒子會根據(jù)公式（6）不斷更新自己的速度，根據(jù)公式（7）不斷更新自己的位置。

3.2 慣性權(quán)重因子的引入及其改進(jìn)

為改善粒子群算法的搜索性能，以及基本PSO參數(shù)固定優(yōu)化某些函數(shù)時精度較差的問題，Shi和Eberhart對基本PSO算法進(jìn)行了改進(jìn)，在粒子的速度進(jìn)化方程中引入慣性權(quán)重[11]。一般地，較大的權(quán)重有利于提高算法的全局開發(fā)能力，而較小的權(quán)重則能增強算法的局部搜索能力[12]。因此慣性權(quán)重因子對當(dāng)前速度的大小起決定性因素，提升PSO性能的關(guān)鍵一環(huán)是慣性權(quán)重因子和調(diào)整策略的合理設(shè)置[13，14]。將代入公式（6）可得：

上式中，和分別代表第個粒子和最優(yōu)粒子在第次迭代時相應(yīng)的函數(shù)值。的計算是用來判斷目標(biāo)函數(shù)的平整度[16]。由圖2可以看出，在迭代時變化越明顯，表明目標(biāo)函數(shù)越不平整，相反則表示越平整。通過跟隨的變化而變化，以此來實現(xiàn)的動態(tài)變化。

4 基于改進(jìn)PSO算法的RBF神經(jīng)網(wǎng)絡(luò)訓(xùn)練

前面提到RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)個數(shù)和中心向量難以獲取最優(yōu)的缺點，本文將改進(jìn)PSO算法應(yīng)用到RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)中，有效地提高了RBF神經(jīng)網(wǎng)絡(luò)的精度和收斂速度，大大地增強了網(wǎng)絡(luò)的泛化能力。粒子群算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程如圖3所示。具體的優(yōu)化步驟如下：

1）首先對樣本進(jìn)行歸一化處理。

2）初始化。由參數(shù)，，組成粒子群，然后隨機賦上初始值，并根據(jù)這些S機值來初始化粒子群的位置和速度。

3）計算適應(yīng)度值。根據(jù)得到的RBF神經(jīng)網(wǎng)絡(luò)輸入輸出值，應(yīng)用公式：

來計算粒子群的適應(yīng)度值，以此來確定和。其中和分別為訓(xùn)練樣本數(shù)和輸出神經(jīng)元個數(shù)，、分別為第個樣本的第個分量的輸出值和期望輸出值。

4）根據(jù)公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判斷優(yōu)化目標(biāo)是否滿足終止條件，若滿足，則結(jié)束算法；否則返回到（3）。

5 實驗驗證及結(jié)果分析

本文在對上述改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)算法進(jìn)行尋優(yōu)測試后發(fā)現(xiàn)，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)算法在尋找最優(yōu)值時，收斂速度和精度上都優(yōu)于基本RBF神經(jīng)網(wǎng)絡(luò)算法，且大大提高了網(wǎng)絡(luò)的泛化能力。然后將改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)運用到實際的人體識別檢測中來進(jìn)行驗證。在實驗中，通過MLX90621紅外陣列傳感器配合電機采集一個空間在不同情況下的溫度數(shù)據(jù)作為實驗數(shù)據(jù)，每一幀有16X36個溫度數(shù)據(jù)，共測得297組數(shù)據(jù)用于訓(xùn)練。下面附上其中一張實測數(shù)據(jù)結(jié)果驗證圖（見圖4）：

圖中坐標(biāo)軸中顯示的溫度數(shù)據(jù)就是實測的空間溫度數(shù)據(jù)，綠色區(qū)域為熱源干擾物，紅色區(qū)域為目標(biāo)。根據(jù)采集獲得的溫度數(shù)據(jù)將其分為最高溫度、最低溫度、平均溫度三類，在正常情況下，由于人體的正常溫度存在一個絕對范圍，因此結(jié)合這個絕對范圍并將分割處理后的圖像一起作為訓(xùn)練的特征值對改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，實現(xiàn)了對人體目標(biāo)的檢測，然后利用訓(xùn)練好的RBF神經(jīng)網(wǎng)絡(luò)直接對新的溫度數(shù)據(jù)進(jìn)行分類，檢測并判斷每一幀是否有人。

下面分別采集無人無干擾和無人有熱源干擾的兩種情況下的空間溫度數(shù)據(jù)，用這兩組數(shù)據(jù)作為訓(xùn)練樣本對基本RBF神經(jīng)網(wǎng)絡(luò)和改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如表1所示：

從訓(xùn)練結(jié)果來看，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練效果有了很大的提高，無論在無人無干擾還是無人有熱源干擾的數(shù)據(jù)中，測得的無人的準(zhǔn)確率都高于基本RBF神經(jīng)網(wǎng)絡(luò)。最后用測得的有人有熱源干擾的空間溫度數(shù)據(jù)用來進(jìn)行結(jié)果驗證，驗證結(jié)果如表2所示：

重新在一個空間中測得99組有人有干擾的溫度數(shù)進(jìn)行結(jié)果驗證，在基本PSO的基礎(chǔ)上引入慣性權(quán)重因子，對基本RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果有明顯的提升，改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)算法測得有人的準(zhǔn)確率明顯高于基本RBF神經(jīng)網(wǎng)絡(luò)。

6 結(jié)論

對人體識別算法進(jìn)行了研究，最終確定使用RBF神經(jīng)網(wǎng)絡(luò)作為研究對象，并使用最近鄰聚類算法來確定RBF神經(jīng)網(wǎng)絡(luò)的中心向量，成功地消除了操作時人為因素的參與。本文通過引入動態(tài)慣性權(quán)重因子對基本PSO算法進(jìn)行改進(jìn)，將改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)與基本RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行對比，對比訓(xùn)練的過程及結(jié)果可以得出，改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)在訓(xùn)練效果上有了很大的提升，精度、收斂速度以及穩(wěn)定性都優(yōu)于基本RBF神經(jīng)網(wǎng)絡(luò)。最后將改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用到人體入侵檢測識別中，經(jīng)過實測數(shù)據(jù)驗證，雖然改進(jìn)PSO算法訓(xùn)練的RBF神經(jīng)網(wǎng)絡(luò)在排除干擾的問題上提升不是非常明顯，但是識別的準(zhǔn)確率有了很大的提高，說明改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)更加適用于低精度且計算量少的人體入侵檢測識別中。

參考文獻(xiàn)：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一種改進(jìn)PSO優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的新方法[J]計算機仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，張亞庭.基于APSO優(yōu)化算法的 GCHP 系統(tǒng)神經(jīng)網(wǎng)絡(luò)預(yù)測控制[J].計算機測量與控制，2014，22（01）：106-108.

[6]譚子平.基于白適應(yīng)權(quán)值神經(jīng)網(wǎng)絡(luò)的 PID 參數(shù)優(yōu)化[J].計算機光盤軟件與應(yīng)用，2014，17（07）：97-98.

[7]皮倩瑛，葉洪濤.一種動態(tài)調(diào)節(jié)慣性權(quán)重的粒子群算法[J].廣西科技大學(xué)學(xué)報，2016，27（03）：26-31.

[8]胡珀，婁淵勝.改進(jìn)粒子群優(yōu)化算法在服務(wù)組合中的應(yīng)用[J].計算機工程，2011，37（17）：130-133.

[9]任圓圓，劉培玉，薛素芝.一種新的自適應(yīng)動態(tài)文化粒子群優(yōu)化算法[J]. 計算機應(yīng)用研究，2013（30）11：3240-3243.

[10]于海鵬，翟紅生.基于混合策略的自適應(yīng)粒子群優(yōu)化算法[J].計算機工程與設(shè)計，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]羅金炎.粒子群優(yōu)化算法慣性權(quán)重的一種動態(tài)調(diào)整策略[J]沈陽化工大大學(xué)學(xué)報，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群與模糊聚類在圖像分割中的應(yīng)用[J].計算機工程與應(yīng)用，2012，48（02）：194-196.

[15]田雨波.混合神經(jīng)網(wǎng)絡(luò)技術(shù)[M].北京：科學(xué)出版社，2009.

第6篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞：仿生算法；神經(jīng)網(wǎng)絡(luò)；遺傳算法

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神經(jīng)網(wǎng)絡(luò)[1]和遺傳算法[2]是仿生算法[3]的典型方法，它們的優(yōu)化問題一直是眾多研究者所倍為關(guān)注的研究熱點之一。在人工神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)構(gòu)的研究中發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)具有很好的模式分類的特性，遺傳算法有很好的動態(tài)變更權(quán)值的特性，基于此，本文提出了一種改進(jìn)的基于人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的算法。本章的改進(jìn)算法，就是對人工神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)行了變換，增強了對輸入權(quán)值的變化速度，并提出用減少輸入層個數(shù)的方法是加快神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的有效方法，取得了良好的實驗效果。

1神經(jīng)網(wǎng)絡(luò)和遺傳算法的特究點

1.1神經(jīng)網(wǎng)絡(luò)和遺傳算法的不同點

1．神經(jīng)網(wǎng)絡(luò)是多層感知機，而遺傳算法是單層感知機。神經(jīng)網(wǎng)絡(luò)是由輸入層，隱含層和輸出層夠成，但遺傳算法的基因組是一個數(shù)組，不管基因的長度有多長，其結(jié)構(gòu)仍然是一個單層感知機。

2． 神經(jīng)網(wǎng)絡(luò)的隱含神經(jīng)元個數(shù)是不確定的，而輸出層和輸入層的個數(shù)是可以確定的。我們希望輸入層的個數(shù)用新的方法得到降低，這樣神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度就可以提高。同時對于隱含層的層數(shù)，一般情況設(shè)為1。每層的神經(jīng)元個數(shù)也并不是越多越好，是要根據(jù)問題的情況而變動的。但神經(jīng)網(wǎng)絡(luò)的隱含層是不確定的，而且隱含層的個數(shù)也是不確定的。對于遺傳算法，它的二進(jìn)制的長度是可以確定的，但是交叉和變異的比例是變動的。對于單點交叉比例，我們可以設(shè)定為黃金分割點。雖然設(shè)定為黃金分割點作為單點交叉比例沒有用數(shù)學(xué)方法嚴(yán)格的證明，但是，大量的實驗表明，選擇黃金分割點往往可以得到較好的結(jié)果。對于變異比例，沒有交好的方法確定，只能設(shè)計交互式的實驗來調(diào)試決定。

3．權(quán)值的更新方式不一樣。神經(jīng)網(wǎng)絡(luò)的權(quán)值的更新方式是時時的，而遺傳算法權(quán)值的更新方式是批量的。

4．兩者應(yīng)用的范圍不一樣。神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于模式匹配，錯誤診斷，監(jiān)視病人的狀態(tài)，特征提取，數(shù)據(jù)過濾。而遺傳算法主要應(yīng)用在計算機輔助設(shè)計，日程安排，經(jīng)濟(jì)學(xué)的投資研究等。

1.2神經(jīng)網(wǎng)絡(luò)和遺傳算法的相同點

1．有教師的學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的輸出是有目標(biāo)的，當(dāng)然是確定的。同時對于遺傳算法的目標(biāo)也是確定的。所以兩者都是有目標(biāo)的，也就是有教師的學(xué)習(xí)。

2．隨機近似優(yōu)化過程。神經(jīng)網(wǎng)絡(luò)中，如果把網(wǎng)絡(luò)的權(quán)值初始化為接近于0的值，那么在早期的梯度下降步驟中，網(wǎng)絡(luò)將表現(xiàn)為一個非常平滑的函數(shù)，近似為輸入的線性函數(shù)，這是因為sigmoid函數(shù)本身在權(quán)值靠近0時接近線性。同樣，遺傳算法的初始個體都是隨機產(chǎn)生的，它的交叉和變異都是一個不斷近似的過程。

3．并行化。神經(jīng)網(wǎng)絡(luò)的每個神經(jīng)元是獨立的，如果把每個神經(jīng)元分配一個處理器，那么就可以采用并行的方式。同樣，遺傳算法很自然地適合并行實現(xiàn)，有粗粒度并行方法和細(xì)粒度并行方法。有粗粒度并行方法就是把群體細(xì)分成相對獨立的個體群，稱為類屬，然后為每個類屬分配一個不同的計算節(jié)點，在每個節(jié)點進(jìn)行標(biāo)準(zhǔn)的GA搜索。細(xì)粒度并行方法就是給每個個體分配一個處理器，然后相鄰的個體間發(fā)生重組。

2算法的研究及改進(jìn)

結(jié)合人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的研究的本質(zhì)，通過兩種算法結(jié)合的研究及改進(jìn)，提高算法的收斂速度，從大量的數(shù)據(jù)中模擬生物的特性來完成特定的任務(wù)和解決問題的方法和方向。由于遺傳算法是單層感知機，而神經(jīng)網(wǎng)絡(luò)是多層感知機，所以可以從多層感知機的多層性，我們想象為遺傳算法是單層感知機作為神經(jīng)網(wǎng)絡(luò)是多層感知機的輸入層。這樣，我們就可以采用遺傳算法的動態(tài)變更權(quán)值的特性來對神經(jīng)網(wǎng)絡(luò)輸入層有效性的遺傳和變異。這種算法適合與沒有輸入，只有輸出的應(yīng)用，就像無人駕駛技術(shù)中控制行駛的速度和方向的控制一樣。基本的框架如圖1：

圖1結(jié)合人工神經(jīng)網(wǎng)絡(luò)和遺傳算法的框圖

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能體，神經(jīng)網(wǎng)絡(luò)的輸出來控制智能體，控制中心將神經(jīng)網(wǎng)絡(luò)的權(quán)值用遺傳算法的初始體來提供。

2.1遺傳算法的基因作為神經(jīng)網(wǎng)絡(luò)的權(quán)值變量

遺傳算法的基因的初始化必須要滿足神經(jīng)網(wǎng)絡(luò)的輸入要求，一般遺傳算法的基因都是0，1編碼。但是為了達(dá)到神經(jīng)網(wǎng)絡(luò)的輸入要求，是要在（-1，+1）之間隨機產(chǎn)生。

2.2遺傳傳算法中雜交點選擇

遺傳算法中，一般都是采用隨機平均變異[4][5]的方式，但是如果輸入是由遺傳算法的基因提供的話，為了保證在變異的時候，采用標(biāo)記變異的方法。我們可以首先根據(jù)圖2的神經(jīng)網(wǎng)絡(luò)來考慮：

圖2遺傳算法作為人工神經(jīng)網(wǎng)絡(luò)和的權(quán)值圖

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很顯然，（0.3,-0.8,-0.2）是神經(jīng)元1的權(quán)值 ；(0.6,0.1,-0.1)是神經(jīng)元2的的權(quán)值；(0.4,0.5) 神經(jīng)元3的權(quán)值。為了在遺傳算法中的雜交過程中，不破壞每個神經(jīng)元的權(quán)值個數(shù)，特意標(biāo)記（3，6）所在的箭頭。

2.3引入神經(jīng)網(wǎng)絡(luò)輸入層的數(shù)據(jù)預(yù)處理

神經(jīng)網(wǎng)絡(luò)的計算問題是神經(jīng)網(wǎng)絡(luò)應(yīng)用中最為關(guān)鍵的問題。如何提高網(wǎng)絡(luò)的訓(xùn)練速度是算法研究的重點。我們在思考問題的時候，總是希望問題越簡單越容易解決。同樣，我們也可以通過對數(shù)據(jù)的預(yù)處理，來降低問題的難度。

為了減少輸入層的個數(shù)，我們可以先對數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理的方法為如下流程：

（1）.計算機器人前進(jìn)方向Position(x,y)和目標(biāo)的所在的位置Location(x,y)。

（2）.歸一化Position(x,y) 和Location(x,y)。

（3）.用點乘的計算公式計算兩者點乘。

（4）.用符號重載的方式計算是順時針還是相反。

（5）.計算角度=第3步的結(jié)果*第4步的結(jié)果。

3實驗結(jié)果及分析

3.1實驗框架

將本算法應(yīng)用于掃雪機器人的智能控制中，設(shè)計的主要模塊：

3.1.1神經(jīng)網(wǎng)絡(luò)部分的設(shè)計

神經(jīng)網(wǎng)絡(luò)的輸入由四個變量組成：掃雪機器人方向向量（由兩個變量組成，即在X和Y的分量），發(fā)現(xiàn)目標(biāo)，即雪的向量（由兩個變量組成，即在X和Y的分量）。神經(jīng)網(wǎng)絡(luò)的隱含層由一層組成，而且由10個神經(jīng)元。神經(jīng)網(wǎng)絡(luò)的輸出由兩個變量組成，V1和V2，分別作用在機器人的左輪和右輪上。神經(jīng)網(wǎng)絡(luò)的響應(yīng)函數(shù)采用SIGMOD。

3.1.2遺傳算法部分的設(shè)計

遺傳算法的初始化是為神經(jīng)網(wǎng)絡(luò)提供權(quán)值，所以是由[-1，1]隨機數(shù)產(chǎn)生。遺傳算法的變異是采用隨機變量的變異，選擇采用輪轉(zhuǎn)法。

3.1.3掃雪機器人

掃雪機器人用神經(jīng)網(wǎng)絡(luò)來控制，當(dāng)找到目標(biāo)后，它的適值就加一。這樣就隨著發(fā)現(xiàn)目標(biāo)越多，它的適值就越大。學(xué)習(xí)能力是通過不斷的學(xué)習(xí)后，它的適值就會加強。如果直接采用機器人前進(jìn)方向和目標(biāo)的所在的位置，那么神經(jīng)網(wǎng)絡(luò)的輸入為四個變量。

3.2結(jié)果與分析

如果直接采用機器人前進(jìn)方向和目標(biāo)的所在的位置，那么神經(jīng)網(wǎng)絡(luò)的輸入為四個變量。通過對掃雪機器人的學(xué)習(xí)過程，沒有進(jìn)行預(yù)處理的數(shù)據(jù)，即四個變量輸入神經(jīng)網(wǎng)絡(luò)后的參數(shù)設(shè)定：神經(jīng)網(wǎng)絡(luò)的輸入為4，神經(jīng)元為6個，輸出個數(shù)為2個，如圖3所示：

圖3網(wǎng)絡(luò)的參數(shù)設(shè)定圖

Fig.3 Network parameters set figure

我們設(shè)定初始的適值為0，如果發(fā)現(xiàn)一個目標(biāo)后，它所對應(yīng)的適值就加上1，這樣經(jīng)過50次的進(jìn)化后，沒有進(jìn)行數(shù)據(jù)預(yù)處理的最大值是25，平均值是10.1333。如表1所示：

將50次的統(tǒng)計結(jié)果用柱狀圖進(jìn)行對比,如圖4所示。

圖4進(jìn)化50代后的加入數(shù)據(jù)預(yù)處理和沒有加入預(yù)處理的對比圖

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

為了減少輸入層的個數(shù)，我們可以先對數(shù)據(jù)進(jìn)行預(yù)處理下面，用統(tǒng)計的方法對數(shù)據(jù)進(jìn)行的結(jié)果分析，如表2所示。

將進(jìn)化100代后，對比兩者的對比柱狀圖如圖5所示。

圖5進(jìn)化50代后的加入數(shù)據(jù)預(yù)處理和沒有加入預(yù)處理的對比圖

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

實驗結(jié)果表明，為了減少輸入層的個數(shù)，先對數(shù)據(jù)進(jìn)行預(yù)處理。通過對掃雪機器人的過程的數(shù)據(jù)分析進(jìn)行分析，數(shù)據(jù)預(yù)處理后的智能進(jìn)化學(xué)習(xí)能力相對于原始數(shù)據(jù)的智能進(jìn)化學(xué)習(xí)能力有明顯的提高。

4結(jié)束語

本文提出了基于神經(jīng)網(wǎng)絡(luò)和遺傳算法結(jié)合的改進(jìn)算法，對于遺傳算法的變異操作進(jìn)行改進(jìn)，不會破壞單個神經(jīng)元的輸入權(quán)值的基礎(chǔ)上，采用數(shù)據(jù)預(yù)處理的方法來減少輸入層的個數(shù)，從而提高進(jìn)化學(xué)習(xí)的能力。從實驗數(shù)據(jù)中可以看到，本章提出的改進(jìn)算法加快了學(xué)習(xí)速度，達(dá)到了提高智能學(xué)習(xí)的預(yù)期

目的。

參考文獻(xiàn)

[1] 喬俊飛，韓桂紅．神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動態(tài)優(yōu)化設(shè)計的分析與展望[J].控制理論與應(yīng)用，2010,3(13):350-357.

[2] 葛繼科，邱玉輝,吳春明，等．遺傳算法研究綜述[J].計算機應(yīng)用研究,2008,10(9):2911-2916.

[3] 丁建立，陳增強，袁著祉．智能仿生算法及其網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究進(jìn)展[J].計算機工程與應(yīng)用，2003,12(3):10-15

[4] 鞏敦衛(wèi)，等．交互式遺傳算法原來及其應(yīng)用[M].北京:國防工業(yè)出版社,2007.

第7篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

摘要：針對數(shù)據(jù)挖掘算法中常用的機器學(xué)習(xí)型算法進(jìn)行研究。機器學(xué)習(xí)型算法特色是運用了人工智能技術(shù)，能在大量樣本集訓(xùn)練和學(xué)習(xí)后自動找出運算需要的參數(shù)和模式。以機器學(xué)習(xí)型算法中的人工神經(jīng)網(wǎng)絡(luò)為例研究數(shù)據(jù)挖掘技術(shù)，針對學(xué)習(xí)速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點和傳統(tǒng)的遺傳算法存在算法早熟以及局部尋優(yōu)能力弱等問題，提出一種通過改進(jìn)常規(guī)遺傳算法的染色體結(jié)構(gòu)和遺傳算子，并且通過引入自適應(yīng)交叉和變異概率來對BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型。最后通過煤礦空壓機故障診斷系統(tǒng)這一實例來研究改進(jìn)型算法的數(shù)據(jù)挖掘技術(shù)的性能。研究結(jié)果表明，改進(jìn)后的算法建立的診斷模型相比常規(guī)神經(jīng)網(wǎng)絡(luò)的診斷模型診斷準(zhǔn)確率更好，診斷效率更快。

關(guān)鍵詞 ：數(shù)據(jù)挖掘；BP神經(jīng)網(wǎng)絡(luò)；遺傳優(yōu)化算法；空壓機故障診斷

中圖分類號：TN957.52+9?34；TP274 文獻(xiàn)標(biāo)識碼：A 文章編號：1004?373X（2015）20?0011?04

Application of machine learning algorithm in data mining

CHEN Xiaoyan

（Jiangsu Polytechnic College of Agricultural and Forestry，Jurong 212400，China）

Abstract：The machine learning algorithm commonly used in data mining algorithm is studied in this paper. AIT（artificialintelligence technology） is adopted in machine learning algorithm，which can automatically find out the parameters and modesrequired by operation after a large number of sample set training and learning. The artificial neural network in machine learningalgorithm is taken as an example to research the data mining technology. Since the traditional genetic algorithm has the short?comings of prematurity and weak local optimizing capacity，the improved genetic optimization BP neural network model is pro?posed by improving the chromosome structure and genetic operator，and by introducing adaptive crossover and mutation probabilityto optimize neural network structure parameters and solve the problems of slow learning speed，weak anti?jamming capability，and easily falling into local minimum value. Finally，the performance of the improved algorithm is studied by using the fault di?agnosis system of air compressor. The research results show that the improved diagnostic model，compared with the conventionalneural network diagnosis model，has better diagnostic accuracy and higher diagnostic efficiency.

Keywords：data mining；BP neural network；genetic optimization algorithm；fault diagnosis of air compressor

0 引言

數(shù)據(jù)挖掘技術(shù)是在整個社會發(fā)展中隨著科學(xué)和技術(shù)的不斷進(jìn)步而順應(yīng)需要所生。隨著信息化技術(shù)的不斷普及，人類社會逐步進(jìn)入到信息化社會中，信息化管理技術(shù)隨之不斷提升，成本卻同時逐步下降，數(shù)據(jù)管理技術(shù)（Data Management Technology）在各企事業(yè)單位中進(jìn)一步普及，從而推動企事業(yè)單位內(nèi)部職能部門間的溝通聯(lián)絡(luò)。但是，隨之而來的弊病是海量數(shù)據(jù)的累積導(dǎo)致數(shù)據(jù)分析的困難[1?2]。

1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘算法中常用的有機器學(xué)習(xí)型算法和統(tǒng)計型算法兩類。前者的特色是運用了人工智能技術(shù)，能在大量樣本集訓(xùn)練和學(xué)習(xí)后自動找出運算需要的參數(shù)和模式；后者則常用相關(guān)性分析、聚類分析、概率和判別分析等進(jìn)行運算。不同算法當(dāng)然有著各自不同的對應(yīng)領(lǐng)域和目標(biāo)，它們既能單獨使用，也能相互結(jié)合。

機器學(xué)習(xí)型算法中人工神經(jīng)網(wǎng)絡(luò)方法被普遍運用，它具有極好的數(shù)據(jù)處理能力和自組織學(xué)習(xí)能力，并且能準(zhǔn)確進(jìn)行識別，從而有助于分類問題中的數(shù)據(jù)處理。人工神經(jīng)網(wǎng)絡(luò)通過建構(gòu)模型而工作，其模型多樣，能滿足不同需求?？傮w來看，人工神經(jīng)網(wǎng)絡(luò)模型精確度高、魯棒性好，具有較強描述能力，在應(yīng)用時可以無需專家支持。當(dāng)然，它也存在一些缺陷，具體表現(xiàn)在：訓(xùn)練數(shù)據(jù)所需要的時間較長；對所獲取知識的理解上不夠智能；開放性和可伸縮性也有一定局限性。

傳統(tǒng)的BP神精網(wǎng)絡(luò)存在學(xué)習(xí)速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點，而傳統(tǒng)的遺傳算法存在算法早熟以及局部尋優(yōu)能力弱等問題；所以本文提出一種通過改進(jìn)常規(guī)遺傳算法的染色體結(jié)構(gòu)和遺傳算子，并且通過引入自適應(yīng)交叉和變異概率來對BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型[3?4]。

2 改進(jìn)型GA?BP 神經(jīng)網(wǎng)絡(luò)

本文為了提高BP神經(jīng)網(wǎng)絡(luò)的性能，針對常規(guī)遺傳算法的染色體結(jié)構(gòu)和遺傳算子進(jìn)行改進(jìn)。引入自適應(yīng)交叉、變異概率以平衡優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始權(quán)重。

（1）染色體結(jié)構(gòu)設(shè)計。本文將染色體基因結(jié)構(gòu)分為上下兩層結(jié)構(gòu)，分別為控制基因和參數(shù)基因兩層，從而對常規(guī)的遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。處于上層的控制基因通過對BP神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點數(shù)優(yōu)化從而實現(xiàn)對BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化。處于下層的參數(shù)基因主要對BP神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和閾值進(jìn)行優(yōu)化。

（2）設(shè)計適應(yīng)度函數(shù)。本文將適應(yīng)度函數(shù)表示為：

式中：n 為訓(xùn)練樣本個數(shù)； 是訓(xùn)練數(shù)據(jù)的均方根誤差，處于0~1之間；yi 和y?i 分別是實際值和識別值。（3）算子選擇。本文提出的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法使用最優(yōu)個體保留方法實現(xiàn)算子選取以常規(guī)的適應(yīng)值比例算法選取方法引起的局部最小值等問題[5]。（4）交叉、變異算子。本文提出的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法的上層控制基因采用單點交叉和基本位變異算子，下層的參數(shù)基因使用整體算數(shù)交叉和非一致變異算子。

（5）自適應(yīng)交叉、變異概率。本文通過對自適應(yīng)交叉、變異概率進(jìn)行設(shè)計以平衡優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和初始權(quán)重，具體設(shè)計過程如下，設(shè)定自適應(yīng)交叉概率為：

式中：favr ，fmin 及fc 分別是種群的平均適應(yīng)值、最小適應(yīng)值以及交叉?zhèn)€體偏小的適應(yīng)值；k1 ，k2 通常在1.0上下取值。設(shè)定自適應(yīng)變異概率為：

式中：fm 是等待變異的個體適應(yīng)值；k3 ，k4 通常在0.5上下取值[5?7]。

本文提出的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)算法的實施步驟如下：

Step1：采集并歸一化處理數(shù)據(jù)。將處理好后的數(shù)據(jù)分為訓(xùn)練樣本數(shù)據(jù)和測試樣本數(shù)據(jù)兩大類。

Step2：對遺傳優(yōu)化算法模型的基本參數(shù)，如進(jìn)化最大代數(shù)為G ，種群的規(guī)模N 以及隱含層節(jié)點數(shù)等進(jìn)行設(shè)定。

Step3：對種群上層種群個體使用二進(jìn)制編碼，對種群下層種群個體使用實數(shù)編碼。

Step4：對種群各個個體解碼以確定BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)。

Step5：遺傳操作種群中適應(yīng)度優(yōu)異的個體。

Step6：對種群中遺傳個體使用自適應(yīng)概率進(jìn)行交叉、變異操作，獲得新的子群。

Step7：對上下層的子群個體解碼以對BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)、權(quán)值和閾值等結(jié)構(gòu)參數(shù)進(jìn)行更新。

Step8：如果迭代步數(shù)達(dá)到設(shè)定最大值或者最佳個體適應(yīng)度值滿足要求，進(jìn)入下一步，否則從Step5繼續(xù)循環(huán)。

Step9：對適應(yīng)值最佳的個體進(jìn)行解碼以確定最佳的BP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)、閾值和連接權(quán)值等參數(shù)[8]。

3 數(shù)據(jù)挖掘應(yīng)用實例

本文以煤礦空壓機的故障診斷系統(tǒng)為實例，對提出的基于改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘模型進(jìn)行研究。

3.1 煤礦空壓機故障診斷系統(tǒng)

在建立空壓機故障診斷模型之前，首先要通過查閱大量的空壓機使用說明、故障說明、專家、操作人員的現(xiàn)場使用經(jīng)驗以及集合現(xiàn)在實時監(jiān)測數(shù)據(jù)對空壓機故障類型、故障來源等問題進(jìn)行歸納總結(jié)。

以某煤礦的煤礦空壓機故障診斷系統(tǒng)為例進(jìn)行研究。通過經(jīng)驗及現(xiàn)場數(shù)據(jù)對煤礦空壓機歸納出5種工作狀態(tài)，用符號Y1~Y5表示，即為神經(jīng)網(wǎng)絡(luò)故障診斷模型的輸出。Y1~Y5 分別表示：煤礦空壓機為無故障工作狀態(tài)；煤礦空壓機冷卻水系統(tǒng)出現(xiàn)故障的工作狀態(tài)；煤礦空壓機系統(tǒng)出現(xiàn)故障的工作狀態(tài)；煤礦空壓機軸承出現(xiàn)故障的工作狀態(tài)；煤礦空壓機電路系統(tǒng)出現(xiàn)故障的工作狀態(tài)。

當(dāng)煤礦空壓機出現(xiàn)上述故障情況時，會有相應(yīng)的故障征兆，根據(jù)經(jīng)驗及文獻(xiàn)可以將煤礦空壓機的故障征兆或者故障現(xiàn)象歸納為10種，用符號X1~X10表示，即為神經(jīng)網(wǎng)絡(luò)故障診斷模型的輸入。X1~X10分別表示：煤礦空壓機排氣量過低、空壓機排氣壓力不足、空壓機排氣溫度超限、空壓機冷卻水溫度超限、空壓機冷卻水壓力不足、空壓機主機轉(zhuǎn)速低限、空壓機振動超限、空壓機系統(tǒng)油溫超限、空壓機油壓力不足以及軸承溫度超限。

煤礦空壓機的故障征兆或者故障現(xiàn)象與煤礦空壓機出現(xiàn)故障的工作狀態(tài)有一定的內(nèi)在聯(lián)系，但又不是一一對應(yīng)的，屬于非線性關(guān)系，在此將歸納整理的煤礦空壓機的故障狀態(tài)和故障現(xiàn)象之間的內(nèi)在聯(lián)系列于表1。

通過長期的現(xiàn)場監(jiān)測得到了大量關(guān)于煤礦空壓機在正常工作及各種故障狀態(tài)下的系統(tǒng)數(shù)據(jù)。通過對數(shù)據(jù)處理選取100 組數(shù)據(jù)作為基于數(shù)據(jù)挖掘的故障診斷系統(tǒng)的訓(xùn)練數(shù)據(jù)樣本，選取100組數(shù)據(jù)用于基于數(shù)據(jù)挖掘的故障診斷系統(tǒng)的性能測試數(shù)據(jù)樣本。表2列出了10組部分用于網(wǎng)絡(luò)訓(xùn)練和測試的數(shù)據(jù)樣本。

表1 空壓機故障狀態(tài)及故障現(xiàn)象關(guān)系

本文將所有用于訓(xùn)練和測試的數(shù)據(jù)樣本進(jìn)行歸一化處理以消除不同傳感器信號數(shù)據(jù)不同量綱產(chǎn)生的影響，通過式（4）將所有數(shù)據(jù)歸一到0.05~0.95之間： 式中：S 為歸一化處理之前的值；Smax 為是歸一化處理的最大值；Smin 為是歸一化處理的最小值。 表2 訓(xùn)練和測試數(shù)據(jù)樣本

建立基于本文提出的基于改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)的故障診斷系統(tǒng)主要分為兩大塊：

第一塊是利用改進(jìn)GA 算法對BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化，如閾值θj ，γ 、隱層節(jié)點數(shù)m 以及連接權(quán)值wj1 ，wij 等；第二塊就是根據(jù)優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行建模。

故障診斷系統(tǒng)的輸入單元數(shù)由煤礦空壓機故障現(xiàn)象確定，通過上述分析，確定數(shù)量為10，即X1~X10；輸出單元個數(shù)由煤礦空壓機的工作狀態(tài)確定，通過上述分析，確定數(shù)量為5，即Y1~Y5；隱含層為單層，單元數(shù)量一般先通過經(jīng)驗試湊法確定為16。初始閾值θj ，γ 以及初始連接權(quán)值wj1 ，wij 在-3~3范圍內(nèi)取值；神經(jīng)網(wǎng)絡(luò)的最大訓(xùn)練次數(shù)設(shè)定為3 000，精度為10-3。

設(shè)定遺傳算法中種群的規(guī)模為N = 150 ，進(jìn)化最大代數(shù)為G = 300 ，及其他參數(shù)b = 0.1 ，k1 = k2 = 1.0 ，k3 = k4 = 0.5 。

通過遺傳算法優(yōu)化的平均適應(yīng)度曲線如圖1所示，隱含層節(jié)點數(shù)優(yōu)化曲線如圖2所示，最終隱含層節(jié)點數(shù)通過189次的迭代后確定為22。

3.2 基于數(shù)據(jù)挖掘的空壓機故障診斷分析針對上述建立的煤礦空壓機故障診斷系統(tǒng)進(jìn)行仿真研究，為了比較本文提出的改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)算法的優(yōu)越性能，使用基于常規(guī)GA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)建立同樣的煤礦空壓機故障針對系統(tǒng)，使用同樣的訓(xùn)練數(shù)據(jù)樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練，使用同樣的測試數(shù)據(jù)樣本進(jìn)行性能測試。使用采集并處理后的100組訓(xùn)練樣本對模型進(jìn)行訓(xùn)練，得到兩種模型的誤差逼近曲線如圖3，圖4所示。

通過對比可以看出，使用本文提出的改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)算法經(jīng)過569 次迭代就使得誤差達(dá)到了設(shè)定范圍內(nèi)，而使用常規(guī)GA 優(yōu)化的BP 神經(jīng)網(wǎng)絡(luò)算法經(jīng)過2 779次迭代才使得誤差滿足要求。因此在網(wǎng)絡(luò)的訓(xùn)練速度、收斂速度和收斂精度方面，本文提出的改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)算法更勝一籌。

下面使用采集并處理后的100 組測試數(shù)據(jù)樣本對故障診斷模型的診斷性能進(jìn)行測試。測試結(jié)果表明，常規(guī)GA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的診斷正確率為87.5%，診斷時間為564 s，輸出值不穩(wěn)定，而本文提出的改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)的診斷正確率為98.2%，診斷時間為246 s，輸出值穩(wěn)定。

圖4 改進(jìn)GA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練誤差

可以看出，相比于常規(guī)GA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)，本文提出的改進(jìn)型GA?BP神經(jīng)網(wǎng)絡(luò)算法所建立的故障診斷模型的性能更優(yōu)，檢測準(zhǔn)確率以及速度更快，誤判率極低。

4 結(jié)論

數(shù)據(jù)挖掘技術(shù)是在整個社會發(fā)展中隨著科學(xué)和技術(shù)的不斷進(jìn)步而順應(yīng)需要所生，在近年來發(fā)展十分迅速。本文針對機器學(xué)習(xí)算法中的人工神經(jīng)網(wǎng)絡(luò)算法在數(shù)據(jù)挖掘技術(shù)中的應(yīng)用進(jìn)行了研究，提出一種通過改進(jìn)常規(guī)遺傳算法的染色體結(jié)構(gòu)和遺傳算子，并且通過引入自適應(yīng)交叉和變異概率來對BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行優(yōu)化的改進(jìn)型遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)模型。最后通過將提出的基于改進(jìn)GA?BP神經(jīng)網(wǎng)絡(luò)算法的數(shù)據(jù)挖掘技術(shù)應(yīng)用于無法用數(shù)學(xué)模型建立、具有復(fù)雜非線性、數(shù)據(jù)龐大的煤礦空壓機故障診斷系統(tǒng)中。

參考文獻(xiàn)

[1] 胡秀.基于Web 的數(shù)據(jù)挖掘技術(shù)研究[J].軟件導(dǎo)刊，2015（1）：149?150.

[2] 李仕瓊.數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)則挖掘算法的分析研[J].電子技術(shù)與軟件工程，2015（4）：200?202.

[3] 陳勇.一種目標(biāo)行為序列模式的數(shù)據(jù)挖掘方法[J].無線電通信技術(shù)，2015（2）：79?81.

[4] 于書媛，陳靚，王偉.基于空間數(shù)據(jù)挖掘的合肥市應(yīng)急避難場所選址[J].地理空間信息，2015（1）：93?95.

[5] 莊健，楊清宇，杜海峰，等.一種高效的復(fù)雜系統(tǒng)遺傳算法[J].軟件學(xué)報，2010（11）：2790?2801.

[6] 劉磊.基于遺傳神經(jīng)網(wǎng)絡(luò)的指數(shù)跟蹤優(yōu)化方法[J].系統(tǒng)工程理論與實踐，2010（1）：22?29.

[7] 宋國峰，梁昌勇，梁焱，等.改進(jìn)遺傳算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)的旅游景區(qū)日客流量預(yù)測[J].小型微型計算機系統(tǒng)，2014（9）：2136?2141.

第8篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞：遺傳算法 神經(jīng)網(wǎng)絡(luò) 瓦斯突出 預(yù)測

中圖分類號：TD712 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預(yù)測煤層中的瓦斯含量是進(jìn)行煤與瓦斯突出風(fēng)險研究的重要一環(huán)，由于影響瓦斯含量的地質(zhì)因素復(fù)雜多樣，以及各因素間存在著復(fù)雜的非線性關(guān)系，迄今為止，對瓦斯突出的預(yù)測主要使用回歸分析方法，預(yù)測的結(jié)果往往跟實際的情況差別較大，因此需要使用新的方法建立預(yù)測模型來實現(xiàn)對瓦斯突出高精度的預(yù)測。

1 利用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)建立瓦斯突出預(yù)測模型

（1）網(wǎng)絡(luò)輸入?yún)?shù)的確定：經(jīng)查閱相關(guān)文獻(xiàn)和咨詢得知瓦斯突出的主要影響因素有：煤層底板標(biāo)高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計單元中有無斷層、基巖厚度、煤厚。

（2）網(wǎng)絡(luò)輸出參數(shù)的確定：選擇二進(jìn)制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡(luò)的構(gòu)造： 一般地可以用一個三層神經(jīng)網(wǎng)絡(luò)實現(xiàn)預(yù)測功能，此神經(jīng)網(wǎng)絡(luò)的輸入層有n個神經(jīng)元，根據(jù)經(jīng)驗公式選取隱含層有（2n+1）個神經(jīng)元，輸出層有m個神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡(luò)可以采用3層神經(jīng)網(wǎng)絡(luò)。

（4）網(wǎng)絡(luò)的訓(xùn)練：訓(xùn)練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到預(yù)測模型。

（5）網(wǎng)絡(luò)的精確度驗證： 利用已完成的人工神經(jīng)網(wǎng)絡(luò)對實際問題進(jìn)行試驗研究。把在開灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標(biāo)輸入已經(jīng)訓(xùn)練的網(wǎng)絡(luò)中，驗證人工神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果與實際突出情況的吻合度，如果吻合度低，就需要對網(wǎng)絡(luò)進(jìn)行改動，直至達(dá)到滿意的吻合度。

（6）利用遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化

個體的編碼：將神經(jīng)網(wǎng)絡(luò)各層之間可能存在的連接權(quán)值和閾值編碼成實數(shù)碼串或者進(jìn)行二進(jìn)制碼串，每條碼串中包含著網(wǎng)絡(luò)中的所有權(quán)值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產(chǎn)生初始種群：隨機生成一定數(shù)量的碼串個體作為一個初始種群。

計算適應(yīng)度：設(shè)網(wǎng)絡(luò)有K個訓(xùn)練樣本，讓所有的訓(xùn)練樣本依次通過解碼后生成的神經(jīng)網(wǎng)絡(luò)，計算所有訓(xùn)練樣本一次通過的平均總誤差作為每條染色體的適應(yīng)度， 其中， 為瓦斯含量的實測值， 為網(wǎng)絡(luò)的輸出值。

④將網(wǎng)絡(luò)的所有連接權(quán)值和閾值進(jìn)行實數(shù)編碼，構(gòu)成一個染色體，每條染色體代表一個神經(jīng)網(wǎng)絡(luò)模型的權(quán)值和閾值。設(shè)定初始種群規(guī)模為20，進(jìn)化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權(quán)值，網(wǎng)絡(luò)平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進(jìn)行瓦斯含量預(yù)測研究。對影響瓦斯含量的主要因素進(jìn)行分析，歸納確定了神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為7，對應(yīng)為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統(tǒng)計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個數(shù)是1。在開灤集團(tuán)獲得的相關(guān)數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡(luò)訓(xùn)練樣本，11～20作為網(wǎng)絡(luò)檢驗樣本，用來檢驗?zāi)Ｐ偷念A(yù)測精度。

利用前10組數(shù)分別訓(xùn)練自適應(yīng)的BP神經(jīng)網(wǎng)絡(luò)和與遺傳算法結(jié)合改進(jìn)的網(wǎng)絡(luò)得到瓦斯突出預(yù)測模型，如圖1和2所示。然后利用11～20組的樣本對網(wǎng)絡(luò)性能進(jìn)行檢驗，并將檢驗結(jié)果和實測值的數(shù)據(jù)進(jìn)行對比，對比后的結(jié)果如表3所示。 由圖1、2可知用遺傳算法改進(jìn)的神經(jīng)網(wǎng)絡(luò)收斂速度更快，由表3可知用遺傳算法改進(jìn)后的神經(jīng)網(wǎng)絡(luò)預(yù)測的值跟實際的值更加的逼近即預(yù)測精度高。

3 結(jié)論

本文采用遺傳算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，通過優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值，使得預(yù)測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預(yù)測的精度，加快了收斂速度。對煤礦安全發(fā)展具有一定的意義。

參考文獻(xiàn)

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應(yīng)用研究[J]，軟件導(dǎo)刊，2009

[2]梁芳.遺傳算法的改進(jìn)及其應(yīng)用[D].武漢理工大學(xué)，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學(xué)，2013.

第9篇：神經(jīng)網(wǎng)絡(luò)優(yōu)化方法范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；遺傳算法；優(yōu)化理論

一、引言

在人類的歷史上，通過學(xué)習(xí)與模擬來增強自身適應(yīng)能力的例子不勝枚舉。模擬飛禽，人類可以翱游天空；模擬游魚，人類可以橫渡海洋；模擬昆蟲，人類可以縱觀千里；模擬大腦，人類創(chuàng)造了影響世界發(fā)展的計算機。人類的模擬能力并不僅僅局限于自然現(xiàn)象和其它生命體。自從20世紀(jì)后半葉以來，人類正在將其模擬的范圍延伸向人類自身。

神經(jīng)網(wǎng)絡(luò)是人類對其大腦信息處理機制的模擬，早期的自動機理論假設(shè)機器是由類似于神經(jīng)元的基本元素組成，從而向人們展示了第一個自復(fù)制機模型。近年來諸如機器能否思維、基于規(guī)則的專家系統(tǒng)是否能勝任人類的工作、以及神經(jīng)網(wǎng)絡(luò)能否使機器具有生物功能已成為人工智能關(guān)注的焦點。

遺傳算法是一種更為宏觀意義下的仿生算法，它模仿的機制是一切生命與智能的產(chǎn)生與進(jìn)化過程。人類之所以能夠向其自身的演化學(xué)習(xí)以增強決策問題的能力，是因為自然演化過程本質(zhì)就是一個學(xué)習(xí)與優(yōu)化的過程。

神經(jīng)網(wǎng)絡(luò)和遺傳算法都是仿效生物處理模式以獲得智能信息處理功能的理論，二者雖然實施方法各異，但目標(biāo)相近，有很多特點相同，功能類似，對二者進(jìn)行深入地對比研究，并取長補短，將二者綜合運用是非常有意義的課題。

二、神經(jīng)網(wǎng)絡(luò)與遺傳算法概述

自1943年第一個神經(jīng)網(wǎng)絡(luò)模型MP模型提出至今，神經(jīng)網(wǎng)絡(luò)的發(fā)展非常迅速，特別是1982年提出的Hopfield網(wǎng)絡(luò)模型和1985年提出的8P算法。使神經(jīng)網(wǎng)絡(luò)逐步發(fā)展成為用途廣泛的系統(tǒng)。神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元廣泛互連。形成大規(guī)模并行處理和分布式的信息存儲的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。單一神經(jīng)元可以有許多輸入、輸出。神經(jīng)元之間的相互作用通過連接的權(quán)重體現(xiàn)。神經(jīng)元的輸出是其輸入的函數(shù)。雖然每個神經(jīng)元的結(jié)構(gòu)和功能極其簡單和有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)的行為則是豐富多彩的。神經(jīng)網(wǎng)絡(luò)計算的基本特征是大規(guī)模并行處理、容錯性、自適應(yīng)性和自組織性。大規(guī)模并行處理指能同時處理與決策有關(guān)的因素，雖然單個神經(jīng)元的動作速度不快。但網(wǎng)絡(luò)的總體并行處理速度極快。容錯性指由于神經(jīng)網(wǎng)絡(luò)包含的信息是分布存儲的，即使網(wǎng)絡(luò)某些單元和連接有缺陷，仍可以通過聯(lián)想得到全部或大部分信息。自適應(yīng)性和自組織性指它可以通過學(xué)習(xí)，不斷適應(yīng)環(huán)境，增加知識的容量。

遺傳算法最早由美國密執(zhí)安大學(xué)的Holland教授在1975年發(fā)表的論文“自然和人工系統(tǒng)的適配”一文中提出。它是一種借鑒生物界自然選擇思想和遺傳機制的全局隨機搜索算法，其實現(xiàn)方法是，從一個初始種群出發(fā)，不斷重復(fù)執(zhí)行選擇、雜交和變異的過程，使種群進(jìn)化越來越接近某一目標(biāo)。它的基本特征是大規(guī)模并行處理、通用性、魯棒性。大規(guī)模并行處理指遺傳算法的操作對象是一組可行解而非單個解。搜索路徑有多條而非單條，因而具有良好的并行性。通用性指只需利用目標(biāo)的取值信息，而無需梯度等高價值信息，因而適用于任何大規(guī)模、高度非線性的不連續(xù)多峰函數(shù)的優(yōu)化以及無解析表達(dá)式的目標(biāo)函數(shù)的優(yōu)化，具有很強的通用性。魯棒性指算法的擇優(yōu)機制是一種軟選擇，再加上其良好的并行性，使它具有很好的全局優(yōu)化性和穩(wěn)定性。

三、神經(jīng)網(wǎng)絡(luò)與遺傳算法在優(yōu)點上的相似性

(一)二者都可對問題進(jìn)行大規(guī)模的并行處理。整體上極大提高了運算速度。這是神經(jīng)網(wǎng)絡(luò)和遺傳算法優(yōu)于傳統(tǒng)算法的最重要的特征。

對于神經(jīng)網(wǎng)絡(luò)來說，雖然每個神經(jīng)元都要計算連接函數(shù)和傳遞函數(shù)(也稱作用函數(shù))，但神經(jīng)元的計算可以分布式地并行進(jìn)行。對于遺傳算法來說，每一個個體都需要根據(jù)適應(yīng)值函數(shù)計算適應(yīng)值，每一代都有很多個體，表面看來也有很大的計算量，但可同時對多個可行解進(jìn)行操作，所以整體上與傳統(tǒng)的計算方法相比，運算時間很短。從這一點來看，神經(jīng)網(wǎng)絡(luò)和遺傳算法都需要發(fā)展分布式并行計算系統(tǒng)來替代傳統(tǒng)的計算機，這種計算系統(tǒng)不再是傳統(tǒng)計算機順序執(zhí)行命令的運行過程，而是希望對輸入進(jìn)行平行處理；這種計算系統(tǒng)不再是只包含一個或幾個復(fù)雜的計算設(shè)備，而是由眾多簡單設(shè)備有機組成在一起共同執(zhí)行相同的計算功能；一旦適合這種要求的硬件系統(tǒng)得到發(fā)展，神經(jīng)網(wǎng)絡(luò)和遺傳算法將能得到更加廣泛地應(yīng)用，更有效地解決更大規(guī)模的實際問題。

(二)二者都具有高度的適應(yīng)性和容錯性

人工神經(jīng)網(wǎng)絡(luò)在解決某個具體問題時，可以反復(fù)用示例來訓(xùn)練它，在訓(xùn)練的過程中自組織自學(xué)習(xí)來適應(yīng)新的情況。而且，由于神經(jīng)網(wǎng)絡(luò)中信息的分布式存貯，即使個別神經(jīng)元出錯，也不會導(dǎo)致網(wǎng)絡(luò)運行的癱瘓，所以總體上具有較強的可靠性；而遺傳算法通過每一代的選擇過程來淘汰適應(yīng)值較小的個體，保留適應(yīng)值較大的個體，從而使收斂的結(jié)果趨于適應(yīng)目標(biāo)值，通過變異算子將每一代的種群空間擴(kuò)大到個體空間，使每一個個體都有被選進(jìn)種群的機會，每一個解都有機會參與計算。

(三)二者都通過對有限個可行解進(jìn)行操作來獲取對整個解空間的求解，實踐證明對于其中已經(jīng)相對成熟的算法，二者具有較好的魯棒性。

神經(jīng)網(wǎng)絡(luò)，如BP算法，通過對有限個模式的訓(xùn)練和學(xué)習(xí)來實現(xiàn)對所有模式的識別；事實證明效果很好。遺傳算法通過在個體空間中選擇有限數(shù)目的個體作為種群進(jìn)行代代操作來實現(xiàn)對個體空間中最優(yōu)解的搜索。兩種方法都選擇了較少的操作數(shù)目，但由于算法本身的優(yōu)越性，仍能取得較好的穩(wěn)定性和收斂性。

四、神經(jīng)網(wǎng)絡(luò)與遺傳算法在缺點上的相似性

(一)二者優(yōu)越性的理論分析有待完善。

神經(jīng)網(wǎng)絡(luò)與遺傳算法各自的種類繁多，神經(jīng)網(wǎng)絡(luò)主要有前饋(BP)神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、自組織特征映射網(wǎng)絡(luò)、波爾茲曼機等，其中最有影響的是BP網(wǎng)絡(luò)和Hopfleld網(wǎng)絡(luò)；遺傳算法主要有簡單遺傳算法、統(tǒng)計遺傳算法、共同進(jìn)化遺傳算法及其它改進(jìn)后的遺傳算法；針對要解決問題的性質(zhì)可以選擇合適的網(wǎng)絡(luò)或算法。這些網(wǎng)絡(luò)或算法已經(jīng)被諸多實踐證明其優(yōu)越性。

目前神經(jīng)網(wǎng)絡(luò)和遺傳算法已經(jīng)在語音識別、模式識別、圖像處理和工業(yè)控制等領(lǐng)域取得了顯著成效。雖然實踐已證明了其無比的優(yōu)越性，但在理論分析上，兩者都略有不足。BP算法和Hopfield網(wǎng)絡(luò)雖然給出了算法的執(zhí)行原理及過程，但其優(yōu)越性的理論仍不嚴(yán)格，即并未對不同情況定量說明，為什么這種算法能夠快速收斂或快速求解。對遺傳算法來說，早在Holland提出遺傳算法之初就提出了著名的模式定理和穩(wěn)并行性分析來定量說明遺傳算法的優(yōu)越性，并長期以來被人們所接受。但是模式定理只對簡單遺傳算法有效，因為其證明過程依賴于二進(jìn)制編碼，對非二進(jìn)制編碼收斂性的分析至今也未得出。除此之外，近年來，有很多著名學(xué)者也對模式定理的證明過程提出了質(zhì)疑。所以，找到神經(jīng)網(wǎng)絡(luò)和遺傳算法優(yōu)越性的理論基礎(chǔ)仍是一項艱巨的科研任務(wù)和課題。

(二)在算法的執(zhí)行過程中參數(shù)的確定都需要依賴于人的經(jīng)驗。

建立一個神經(jīng)網(wǎng)絡(luò)需要首先確定它的基本結(jié)構(gòu)、學(xué)習(xí)規(guī)則以及工作方式(前饋式還是演化式)，網(wǎng)絡(luò)結(jié)構(gòu)包括網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)即網(wǎng)絡(luò)中神經(jīng)元的連接方式和節(jié)點轉(zhuǎn)換函數(shù)兩部分。結(jié)構(gòu)的優(yōu)劣對網(wǎng)絡(luò)的處理能力有很大影響，一個好的結(jié)構(gòu)應(yīng)能圓滿解決問題，同時不出現(xiàn)冗余節(jié)點和冗余連接，但不幸的是，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計基本上還依賴于人的經(jīng)驗，尚沒有一個系統(tǒng)的方法來設(shè)計一個適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)。目前，人們在設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)時，只能或者預(yù)先指定?；蛘卟捎眠f增或遞減的探測方法。

對遺傳算法來說，需要針對待解決的問題而設(shè)計出編碼方案、三個算子(選擇、雜交、變異)、進(jìn)化機制以及各個概率參數(shù)，如雜交概率、變異概率等。參數(shù)的確定也沒有理論支持，只是人為地認(rèn)為雜交概率的值確定在(0.65，0，9)范圍內(nèi)，變異概率的值確定在(0.001.0.01)比較好，目前，在遺傳算法的實際執(zhí)行過程中一般需要預(yù)先指定這兩個參數(shù)，近來有學(xué)者提出在遺傳算法的執(zhí)行過程中動態(tài)地改變這些參數(shù)的方法也取得了較好的效果。