神經(jīng)網(wǎng)絡反向傳播公式精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡反向傳播公式主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞:BP神經(jīng)網(wǎng)絡 MATLAB仿真

中圖分類號:TP39文獻標識碼:A 文章編號:1007-3973(2010)06-061-02

1 BP神經(jīng)網(wǎng)絡概述

BP(Back Propagation)網(wǎng)絡是1986年由Rumelhart和McCelland為首的科學家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡,是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。它的學習規(guī)則是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡的權(quán)值和閾值,使網(wǎng)絡的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡,其模型拓撲結(jié)構(gòu)一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網(wǎng)絡的學習算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡,設k為迭代次數(shù),則每一次權(quán)值和閾值的修正案下式進行:

式中:w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)= 為第k次迭代的神經(jīng)網(wǎng)絡輸出誤差對個權(quán)值或閾值的梯度向量。負號代表梯度的反方向,即梯度的最速下降方向。 為學習速率,在訓練時事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡工具箱中,其默認值為0.01,可以通過改變訓練參數(shù)進行設置。為第k次迭代的網(wǎng)絡輸出的總誤差性能函數(shù),在MATLAB神經(jīng)網(wǎng)絡工具箱中,BP網(wǎng)絡誤差性能函數(shù)的默認值為均誤差MSE(mean square error):

根據(jù)(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權(quán)值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因為反向傳播算法的應用廣泛,所以已經(jīng)開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎上修改公式(2.1)的權(quán)值更新法則,即引入沖量因子,并且0≤

標準BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時,只按照第K步的負梯度方向進行修正,而沒有考慮到以前積累的經(jīng)驗,即以前時刻的梯度方向,從而常常使學習過程發(fā)生振蕩,收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是:將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上,作為本次的實際權(quán)值調(diào)整量,即公式(2.3)所示:是沖量系數(shù),通常0≤

(3)學習率可變的BP算法(variable learnling rate backpropagation,VLBP)

標準BP算法收斂速度緩慢的一個重要原因是學習率選擇不當,學習率選得太小,收斂慢;反之,則有可能修正的過頭,導致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應方法調(diào)整學習率。

自適應調(diào)整學習率的梯度下降算法,在訓練的過程中,力求使算法穩(wěn)定,而同時又使學習的不長盡量地大,學習率則是根據(jù)局部誤差曲面作出相應的調(diào)整。學習率則是通過乘上一個相應的增量因子來調(diào)整學習率的大小。即公式(2.5)所示:

其中:為使步長增加的增量因子,為使步長減小的增量因子; 為學習率。

3 建立BP神經(jīng)網(wǎng)絡預測模型

BP預測模型的設計主要有輸入層、隱含層、輸出層及各層的個數(shù)和層與層之間的傳輸函數(shù)。

(1)網(wǎng)絡層數(shù)

BP有一個輸入層和一個輸出層,但可以包含多個隱含層。但理論的上已證明,在不限制隱含層節(jié)點的情況下,只有一個隱含層的BP就可以實現(xiàn)任意非線性映射。

(2)輸入層和輸出層的節(jié)點數(shù)

輸入層是BP的第一層,它的節(jié)點數(shù)由輸入的信號的維數(shù)決定,這里輸入層的個數(shù)為3;輸出層的節(jié)點數(shù)取決于BP的具體應用有關,這里輸出節(jié)點為1。

(3)隱含層的節(jié)點數(shù)

隱含層節(jié)點數(shù)的選擇往往是根據(jù)前人設計所得的經(jīng)驗和自己的進行的實驗來確定的。根據(jù)前人經(jīng)驗,可以參考以下公式設計:

其中:n為隱含層節(jié)點數(shù);m為輸入節(jié)點數(shù);t為輸出節(jié)點數(shù);a為1~10之間的常數(shù)。根據(jù)本文要預測的數(shù)據(jù)及輸入和輸出節(jié)點的個數(shù),則取隱含層個數(shù)為10。

(4)傳輸函數(shù)

BP神經(jīng)網(wǎng)絡中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù):

如果BP神經(jīng)網(wǎng)絡的最后一層是Sigmoid函數(shù),那么整個網(wǎng)絡的輸出就會限制在0~1之間的連續(xù);而如果選的是Pureline函數(shù),那么整個網(wǎng)絡輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

4 BP神經(jīng)網(wǎng)絡預測的MATLAB仿真實驗

(1)樣本數(shù)據(jù)的預處理

本文的樣本數(shù)據(jù)來源于中國歷年國內(nèi)生產(chǎn)總值統(tǒng)計表,為了讓樣本數(shù)據(jù)在同一數(shù)量級上,首先對BP輸入和輸出數(shù)據(jù)進行預處理:將原樣本數(shù)據(jù)乘上,同時將樣本數(shù)據(jù)分為訓練樣本集和測試樣本集,1991~1999年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓練樣本集,即1991~1998年訓練樣本作為訓練輸入;1999年訓練樣本數(shù)據(jù)作為輸出訓練輸出;1992~2000年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測試樣本集,即1992~1999年的測試樣本作為測試輸入,2000年測試樣本數(shù)據(jù)作為測試輸出。

(2)確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù),如第3節(jié)所述,本文選取S函數(shù)(tansig)和線性函數(shù)(purelin)。

(3)設定BP的最大學習迭代次數(shù)為5000次。

(4)設定BP的學習精度為0.001;BP的學習率為0.1。

(5)創(chuàng)建BP結(jié)構(gòu)如圖4所示;訓練BP的結(jié)果圖5所示:

正如圖5所示的數(shù)據(jù)與本文所示設計的網(wǎng)絡模型相符,且如圖5所示當BP神經(jīng)網(wǎng)絡學習迭代到99次時,就打到了學習精度0.000997788,其學習速度比較快。

(6)測試BP神經(jīng)網(wǎng)絡

通過MATLAB對測試樣本數(shù)據(jù)進行仿真,與實際的2000年我國三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見表1),說明BP神經(jīng)網(wǎng)絡預測模型是可行的。、

5總結(jié)

總之,在人工神經(jīng)網(wǎng)絡的實際應用中,BP神經(jīng)網(wǎng)絡廣泛應用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。通過本文可以體現(xiàn)出MATLAB語言在編程的高效、簡潔和靈活。雖然BP在預測方面有很多的優(yōu)點,但其還有一定的局限性,還需要進一步的改進。

參考文獻:

[1]周開利,康耀紅.神經(jīng)網(wǎng)絡模型及其MATLAB仿真程序設計[M].北京:清華大學出版社,2005.7.

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡應用設計[M].北京:機械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機械工業(yè)出版社,2003.1.

第2篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞 壓力傳感器；溫度漂移；溫度補償

中圖分類號：TP212 文獻標識碼：A 文章編號：1671-7597（2014）10-0038-02

壓力傳感器的輸出結(jié)果精度容易受到多種因素的影響，其中，唯獨是影響傳感器輸出精度的最主要因素。目前，國內(nèi)經(jīng)常使用硬件補償和軟件補償兩類方法對壓力傳感器進行溫度補償。硬件補償方法調(diào)試難度較高、精度低、通用性也較差，在實際工程中應用時，難以去得較好的效果；而軟件補償方法有效彌補了硬件補償?shù)娜秉c，其中BP神經(jīng)網(wǎng)絡補償在實際工程中運用十分廣泛，但是典型BP神經(jīng)網(wǎng)絡補償法雖然精確度高，但是整個流程過于復雜、整個過程耗時較長，因此，本文提出了一種基于主成分分析的BP神經(jīng)網(wǎng)絡補償方法，希望對提高補償效率和準確性起到一定的作用。

1 典型BP神經(jīng)網(wǎng)絡補償原理分析

BP神經(jīng)網(wǎng)絡是目前研究中應用范圍最廣的神經(jīng)網(wǎng)絡模型之一，BP神經(jīng)網(wǎng)絡術語單向傳輸網(wǎng)絡結(jié)構(gòu)，整個信息傳輸?shù)倪^程呈現(xiàn)出高度的非線性特點。典型的BP神經(jīng)網(wǎng)絡結(jié)構(gòu)包括輸入層、隱含層和輸出層3層結(jié)構(gòu)。通常情況下BP神經(jīng)網(wǎng)絡只有這3層結(jié)構(gòu)，這主要是由于單隱層的BP神經(jīng)網(wǎng)絡既可以完成從任意n維到m維的映射。其典型結(jié)構(gòu)如下圖所示。

BP神經(jīng)網(wǎng)絡結(jié)構(gòu)模型

BP算法設計到了信息的正向傳播以及誤差的反向傳播，信息首先從輸入層傳入，然后經(jīng)過隱含層的處理傳入輸出層，最終輸出的信息可以用下面的形式進行表示：

其中：、分別代表了隱含層及輸出層的權(quán)值；

n0、n1分別對應了輸入節(jié)點數(shù)及隱含層節(jié)點數(shù)。

輸出層神經(jīng)元的激勵函數(shù)f1通常呈現(xiàn)出線性特點；而隱含層神經(jīng)元的激勵函數(shù)f2通常采用如下所示的形式在（0，1）的S型函數(shù)中進行輸出：

由于BP神經(jīng)網(wǎng)絡隱含層采用的傳遞函數(shù)為對數(shù)S型曲線，其輸出范圍在（0，1）之間。為了避免節(jié)點在短時間之內(nèi)飽和而無法繼續(xù)進行訓練，需要在訓練開始之前利用下面公式對樣本數(shù)據(jù)進行預處理：

，

其中：Ui、Pi均為訓練數(shù)據(jù)的標定值；Uimin、Uimax分別表示輸出電壓的標定極值（最小和最大）；Pimin、Pimax分別表示壓力的標定極值（最小和最大）。

當目標矢量為T，信息通過正向傳遞，可以得到誤差函數(shù)，具體如下所示：

如果輸出結(jié)果無法達到要求的誤差范圍，則返回誤差信號并按照一定的權(quán)值對公式中的各層權(quán)值進行修正，直到輸出結(jié)果達到期望值。

在利用典型BP神經(jīng)網(wǎng)絡進行壓力傳感器溫度補償?shù)倪^程中，算法過于復雜，而且非常耗時，因此，需要對其進行改進，以提高補償效率。

2 BP神經(jīng)網(wǎng)絡法的改進

2.1 改進原理

基于典型的BP神經(jīng)網(wǎng)絡，利用以下方法進行改進。

1）利用小波神經(jīng)網(wǎng)絡的思想對神經(jīng)元的激勵函數(shù)進行改進，從而實現(xiàn)小波特性與BP神經(jīng)網(wǎng)絡自學功能的充分結(jié)合，提高激勵函數(shù)的逼近能力。以Morlet函數(shù)作為小波函數(shù)的母函數(shù)，可以降低不同層面神經(jīng)元之間的影響，提高網(wǎng)絡的收斂速度。以Morlet函數(shù)作母函數(shù)的小波函數(shù)屬于幅值小波，其信號中包含了復值和相關信息，改進后的函數(shù)具體如下所示：

在本次研究中，我們選取了R個輸入樣本和N個輸出節(jié)點，則可以利用下面的公式對第l個樣本的第n個節(jié)點的輸入進行表示：

其中：K表示神經(jīng)網(wǎng)絡隱含層的單元數(shù)量；M表示神經(jīng)網(wǎng)絡輸入層的單元數(shù)量；ωn，k表示神經(jīng)網(wǎng)絡隱含層第k單元與輸出層第n單元的連接權(quán)值；ak-小波伸縮因子；bk-平移因子；Sl（xm）―輸入信號。

2）在計算過程中通過，附加動量法的應用可以有效改實現(xiàn)梯度方向的平滑過渡，使得計算結(jié)果更具穩(wěn)定性。該方法以BP法為基礎對權(quán)值進行調(diào)節(jié)，具體公式如下：

其中：t表示樣本的訓練次數(shù)；η表示學習速率；σ表示動量因子；σΔωki（t）表示附加動量項，它能夠有效降低不同神經(jīng)元之間的影響，提高網(wǎng)絡的收斂速度。

2.2 主成分BP神經(jīng)網(wǎng)絡算法的實現(xiàn)

步驟1：按照典型BP神經(jīng)網(wǎng)絡數(shù)據(jù)預處理方法對樣本數(shù)據(jù)進行預處理。

步驟2：利用主成分分析法對預處理后的樣本數(shù)據(jù)進行分析，降低輸入向量之間的影響，使各個輸入變量的協(xié)同方差趨于統(tǒng)一，從而使各權(quán)值具有相同的收斂速度，并以此確定神經(jīng)網(wǎng)絡的輸入節(jié)點。

步驟3：對神經(jīng)網(wǎng)絡進行初始化，并對其中的部分關鍵變量進行設置。

步驟4：為神經(jīng)網(wǎng)絡選取一組學習樣本，以輸入節(jié)點作為網(wǎng)絡的輸入向量，并輸入期望fn，l，n=1，2，…，N；l=1，2，…，R。

步驟5：利用輸入的網(wǎng)絡參數(shù)計算網(wǎng)絡的實時輸出能力，當輸出誤差在允許范圍之內(nèi)時，停止訓練；而當輸出誤差超過允許范圍 ，則將誤差信息進行反向傳播，使權(quán)值沿誤差函數(shù)的負梯度方向發(fā)生變化，然后利用梯度下降法計算出變化后的網(wǎng)絡參數(shù)，然后再重復進行第4步的操作。

步驟6：BP神經(jīng)網(wǎng)絡在訓練合格之后，對其進行樣本補償。

步驟7：對補償后的樣本進行反標準化處理，然后與實測數(shù)據(jù)進行誤差比較，判斷出網(wǎng)絡改進之后的變化。

2.3 壓力傳感器溫度補償

根據(jù)前文提供的BP神經(jīng)網(wǎng)絡算法實現(xiàn)步驟，可以利用Matlab編程語言來實現(xiàn)。在實現(xiàn)該算法之后，我們通過在壓力傳感器量程范圍內(nèi)確定n個壓力標定點，同時確定m個溫度標定點。標準值發(fā)生器會根據(jù)每個標定點的信息產(chǎn)生對應的標定輸入值。然后輸入樣本數(shù)據(jù)，樣本數(shù)據(jù)按照目標值要求的±20%范圍進行選擇，然后以誤差目標小于10-3進行訓練，當達到誤差目標之后，網(wǎng)絡的收斂速度得到有效的提升。

3 結(jié)論

通過研究結(jié)果發(fā)現(xiàn)，利用主成分分析法對信息進行補償之后，再利用BP神經(jīng)網(wǎng)絡對這些信息進行訓練，其學習速度相對直接利用BP神經(jīng)網(wǎng)絡進行訓練更高。同時，通過改進典型的BP神經(jīng)網(wǎng)絡，利用小波函數(shù)作為激勵函數(shù)，并應用動量附加發(fā)對網(wǎng)絡敏感性進行控制，可以有效避免網(wǎng)絡發(fā)生局部極小問題。通過基于主成分的BP神經(jīng)網(wǎng)絡溫度補償方法可以使壓力傳感器受環(huán)境溫度變化而發(fā)生的誤差問題得到高效、精確的解決。

參考文獻

第3篇：神經(jīng)網(wǎng)絡反向傳播公式范文

【關鍵詞】自組織神經(jīng)網(wǎng)絡；智能建筑管理；BP神經(jīng)網(wǎng)絡

1 基于自組織神經(jīng)網(wǎng)絡技術原理

基于大規(guī)模自組織神經(jīng)網(wǎng)絡技術[1]是在自組織神經(jīng)網(wǎng)絡技術和專家系統(tǒng)的基礎原理運用多層數(shù)據(jù)融合彌補了單循環(huán)數(shù)據(jù)在智能建筑工程管理分析數(shù)據(jù)處理的不足和邏輯的缺陷學科.多跳自組織神經(jīng)網(wǎng)絡是智能傳感器采集數(shù)據(jù)訓練樣本仿真學習模型即自動增速各個自組織神經(jīng)元連接權(quán)閥值與感知識別隱式分布在整個網(wǎng)絡結(jié)構(gòu)體系中實現(xiàn)自組織神經(jīng)網(wǎng)絡模式記憶與信息處理應用.

2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡在智能建筑管理中研究

2.1 基于多跳自組織神經(jīng)網(wǎng)絡在造價預測研究

基于大規(guī)模自組織BP神經(jīng)模型應用40個高層智能建筑工程樣本訓練并用工程實例進行驗證高精確性;而用大規(guī)模自組織神經(jīng)網(wǎng)絡模擬與輸入層和隱含層加入了偏置自組織神經(jīng)元來促進學習訓練樣本數(shù)據(jù)中有噪聲、干擾等會造成過度學習現(xiàn)象,同時采用遺傳優(yōu)化算法進行建筑結(jié)構(gòu)優(yōu)化.基于BP神經(jīng)在智能建筑工程估價中的應用“特征提取器”的運算大量過去的工程資料中自動提取工程特征與預算資料的規(guī)律關系數(shù)據(jù).

2.2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡在工程管理績效評價中的應用

運用大規(guī)模自組織BP神經(jīng)模型對工程管理績效評價問題進行研究建立綜合考慮工期、質(zhì)量、費用、安全四大控制指標的工程管理績效評價模型[2].實踐證明,基于BP神經(jīng)網(wǎng)絡在運算工程管理績效評估模型有利于多跳自組織神經(jīng)網(wǎng)絡預測工程工期、質(zhì)量、成本、安全與績效之間復雜的非線性關系來提高管理績效的評價數(shù)據(jù).

2.3 基于遺傳算法模型在建設工程評標結(jié)構(gòu)優(yōu)化應用

基于多層神經(jīng)網(wǎng)絡的工作原理是先將輸入信號傳輸?shù)较乱粚庸?jié)點運算函數(shù)處理后再將該節(jié)點的輸出信息向下一層節(jié)點傳輸?shù)叫盘杺鬏數(shù)捷敵鰧庸?jié)點為止.同時運用遺傳算法模型構(gòu)造及算法設計進行方案優(yōu)劣排序、換位矩陣以及能量函數(shù)構(gòu)造、大規(guī)模自組織神經(jīng)元之間連接和輸出,并用實例說明了該方法的優(yōu)越性和實用性與非線性.

2.4 基于BP神經(jīng)網(wǎng)絡模型在建設工程招投標管理應用研究

基于BP神經(jīng)網(wǎng)絡多層數(shù)據(jù)融合多跳自組織神經(jīng)網(wǎng)絡技術原理分析自動預測工程招投標的招標價格和風險因素分析以及競標單位資格審查等方面的應用指出多跳自組織神經(jīng)網(wǎng)絡具有的高度并行處理和可完成復雜輸入輸出的非線性映射組合結(jié)構(gòu),不僅可以保證高的中標率,且可避免招標過程中不確定性因素的影響.運用大規(guī)模自組織神經(jīng)網(wǎng)絡的工程承包招投標報價的研究,提出了一個多因素確定高層智能建筑投標報價的大規(guī)模自組織模型影響報高率的諸多因素,并確定了其權(quán)值即確定了用BP神經(jīng)網(wǎng)絡實施黑箱操作的樣本輸入值和目標值再通過訓練樣本自主調(diào)整修正輸入節(jié)點和輸出節(jié)點間的聯(lián)系得出符合各種情況要求的權(quán)值矩陣算法.

2.5 基于智能建筑算法模型研究

基于BP神經(jīng)網(wǎng)絡是以訓練樣本算法即誤差反向傳播算法即BP神經(jīng)算法的學習過程分為信息的正向傳播和誤差的反向傳播[1],其通過訓練樣本前一次迭代的權(quán)值和閾值來應用神經(jīng)網(wǎng)絡技術的第一層向后計算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計算各層權(quán)值和閾值對總誤差的梯度進而對前面各層的權(quán)值和閾值進行修改運算反復直到神經(jīng)網(wǎng)絡樣本收斂 BP神經(jīng)網(wǎng)絡輸入向量為

X=( )T;隱含層輸出向量為Y=( )T;輸出層的輸出向量為O= )T;期望輸出向量為 ;輸入層到隱含層之間的權(quán)值矩陣 ,其中列向量 為隱含層第j個大規(guī)模自組織神經(jīng)元對應的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣 ,其中列向量 為輸出層第k個大規(guī)模自組織神經(jīng)元對應的權(quán)向量.各層信號之間的算法結(jié)構(gòu)為:

以上式中的 均為S類型函數(shù), 的導數(shù)方程為: （5）

神經(jīng)網(wǎng)絡輸出與期望輸出的均方誤差為: （6）

則訓練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:

式中: 為比例系數(shù),在模型訓練中代表學習速率.如果BP自組織神經(jīng)網(wǎng)絡有 個隱含層,各隱含層節(jié)點分別記為 ,各隱含層輸出分別記為 ,則各層權(quán)值調(diào)整計算公式分別如下:

輸出層

綜合上述預測分析在BP神經(jīng)學習算法運用各層權(quán)值調(diào)整公式均由學習速率、本層輸出的誤差信號和本層輸入數(shù)字離散信號決定在訓練樣本學習的過程受決策環(huán)境復雜程度和訓練樣本的收斂性即需要增大樣本量來提高網(wǎng)絡技術所學知識的代表性應注意在收集某個問題領域的樣本時,注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓練樣本數(shù)據(jù).

3 結(jié)束語

自組織神經(jīng)網(wǎng)絡技術應用在智能建筑管理領域是在多層智能傳感器等多種信息技術飛速發(fā)展的多學科交叉研究領域得到廣泛應用.

參考文獻:

[1]周小佳.電力系統(tǒng)可靠性神經(jīng)網(wǎng)絡模型及實現(xiàn)研究[D].博士學位論文,1997.

[2]胡保清等.神經(jīng)網(wǎng)絡在土木工程領域的應用[J].低溫智能建筑,2004(2).

作者介紹:

第4篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞：神經(jīng)網(wǎng)絡； 最優(yōu)化；一種共軛梯度算法

中圖分類號：TP183文獻標識碼：A 文章編號：1009-3044(2008)12-20000-00

Training BP Neural Network using optimization methods

LI Xiang ,SU Cheng

(College of computer science,China University of Mining and Technology, Xuzhou 221000,China)

Abstract：BP neural network can efficiently approximate any nonlinear system, but there is a problem of inefficient learning speed with the conventional steepest descent algorithm. In this paper, we try to convert neural network to an optimization model, and apply conjugate gradient algorithm to it to bring a faster learning speed.

Keywords：Neural network ；Optimization ； Conjugate gradient algorithm

1 BP神經(jīng)網(wǎng)絡模型

BP(前饋式)神經(jīng)網(wǎng)絡結(jié)構(gòu)簡單,可操作性強,能模擬任意的非線性輸入輸出系統(tǒng)，是目前應用廣泛的神經(jīng)網(wǎng)絡模型。BP網(wǎng)絡由輸入層i、隱含層j、輸出層k及各層之間的節(jié)點連接權(quán)組成，神經(jīng)元拓撲如圖1：

網(wǎng)絡的學習過程由信息正向傳播和誤差反向傳播構(gòu)成:

正向傳播過程：輸入信息從輸入層經(jīng)隱含層逐層處理，傳向輸出層。若輸出層的實際輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播。典型的BP神經(jīng)網(wǎng)絡模型如圖2所示：

設網(wǎng)絡中各個參數(shù)如下：

xi為輸入信號，yi為實際輸出信號，Yi為期望輸出信號wi為對應于各個輸入信號的連接權(quán)值，θ為閾值，ε為給定的誤差。

（1）輸入層：輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值xi 。

（2）隱含層：對于節(jié)點j，其輸入值hj為其前一層各節(jié)點輸出值xi的加權(quán)和，它的輸出值為：

(lixiang03.tif)

（3）輸出層：輸出層類似于隱含層(lixiang04.tif)

神經(jīng)元結(jié)點的作用函數(shù)一般選用Sigmoid函數(shù)，即：(lixiang05.tif)

誤差函數(shù)一般選用(lixiang06.tif)

神經(jīng)網(wǎng)絡的訓練過程就是按最小誤差準則來不斷調(diào)整網(wǎng)絡結(jié)點的權(quán)值，直至誤差

可以看到，BP神經(jīng)網(wǎng)絡實際可轉(zhuǎn)化為求解一個最優(yōu)化問題，它的目標函數(shù)是(lixiang07.tif)。

2 最速下降法

2.1 基本搜索方法

針對神經(jīng)網(wǎng)絡的最優(yōu)化問題，傳統(tǒng)的搜索方法選用最速下降法，即通過多次迭代，對網(wǎng)絡權(quán)值進行修正，使誤差目標函數(shù)沿負梯度方向下降，迭代的公式如下：

(lixiang08.tif)

這種方法在剛開始幾步有較好的收斂效果，但當?shù)钊牒笕菀紫萑胝袷?，出現(xiàn)鋸齒現(xiàn)象，導致結(jié)果精度不夠，訓練過程較長。

2.2 純梯度方法的改進

針對最速下降法收斂速度慢的問題，很多研究者提出了一些改進方法，主要有以下幾種：

（1）確定學習率

在基本網(wǎng)絡算法中，Δwi=wi(t+1)-wi(t)引用了固定的學習率η=1，為了更好的控制網(wǎng)絡的收斂性和學習速度，可以根據(jù)需要選擇自適應的變學習率，一般取0

(lixiang10.tif)

學習步長η是網(wǎng)絡學習的一個重要參數(shù)，在一定程度上也決定了網(wǎng)絡的收斂速度。學習步長過小會導致權(quán)重值更新量過小,因而使收斂非常緩慢；學習步長過大又會導致在極值點附近振蕩的可能性加大，乃至反復振蕩而難以收斂。具體數(shù)值應根據(jù)對誤差函數(shù)的影響來決定。

（2）加入動量項

這種措施又稱為慣性校正法,其權(quán)值調(diào)整公式可用下式表示：

(lixiang11.tif)

α為動量系數(shù)，這種方法在調(diào)整權(quán)值時，不僅考慮了本次迭代，而且兼顧上次的調(diào)整結(jié)果，能夠在加速收斂的同時一定程度地抑制振蕩。

（3）改進誤差函數(shù)

在基本網(wǎng)絡算法中，引用的誤差函數(shù)是(lixiang12.tif)?？梢钥吹?，這是一個誤差的絕對量，不能有效地表征樣本的相對誤差程度。對于某個節(jié)點會出現(xiàn)誤差的絕對量很大但是比例卻很小的情況。為了避免上述問題，引入相對誤差函數(shù)：

首先，對(lixiang13.tif)變形，(lixiang14.tif)，把不含有實際輸出的Y提出，得到相對誤差函數(shù)(lixiang15.tif)。相對誤差函數(shù)Jp使用誤差量的相對比例來表征樣本誤差ε ，具有更好的效果。

類似的針對最速下降法的改進方法還有很多，但是它們無法從根本上解決純梯度方法的局部振蕩性，收斂速度慢的問題仍然有待解決。

為了解決收斂速度慢的問題，本文采用共軛梯度法代替沿負梯度方向的最速下降法，它比最速下降法在收斂速度上有很大的改進。

3 共軛梯度法

3.1 共軛梯度法原理Jp

共軛梯度法是求解無約束優(yōu)化問題 (lixiang16.tif)的一類非常有效的方法，它的迭代格式為

(lixiang17.tif)

其中，(lixiang29.tif),dk為搜索方向，而αk>0是通過某種線搜索獲得的步長。純量βk的選取應滿足共軛性，βk的不同取法構(gòu)成了不同的共軛梯度法。常用的有FR相關法(lixiang18.tif)和PRP相關法(lixiang19.tif)。為保證算法的強收斂性，本文選取一種新的共軛梯度法，它的βk公式如下：

(lixiang20.tif)

選取這種共軛梯度法的理由在于它在Wolfe搜索

(lixiang21.tif)

下具有全局收斂性質(zhì)并且計算效果好于PRP等算法[1]。

3.2 搜索算法描述

首先采用最速下降法先達到一個初步精度W(0)。實驗表明，最速下降法“開局”的收斂速度是較好的。

第二階段采用共軛梯度法，步驟如下：

（1）把最速下降法得到的初步精度作為初始權(quán)值W(0)，并選定誤差最終精度值ε。

（2）置迭代次數(shù)k=0;

（3）計算目標函數(shù)(lixiang22.tif)和(lixiang23.tif);

（4）若k=0，令(lixiang24.tif) ；否則,(lixiang25.tif);其中(lixiang26.tif);

（5）一維搜索求取步長αk，使其滿足Wolfe搜索條件

(lixiang27.tif)

可以得到下一個迭代點為wk+1=wk+αkdk;

（6）計算J=f(wk+1);若J

3.3 算法實例

本文利用以上算法對一個函數(shù)y=x12+x22+x32實現(xiàn)逼近，以Δx=0.1為步長取得多組訓練樣本數(shù)據(jù)對[x1,x2,x3,f(x1,x2,x3)]。構(gòu)建三層前饋式神經(jīng)網(wǎng)絡，其中輸入層為(x1,x2,x3)，隱層結(jié)點取4個，它的權(quán)值為向量w，初始值取wi=0.5,i=1,2..4,期望輸出為Y=f(x1,x2,x3)，取定神經(jīng)元的作用函數(shù)為Sigmoid函數(shù)(lixiang05.tif)閾值為θ,ε為給定的誤差,取ε=10-4，則共軛搜索的目標函數(shù)為:(lixiang12.tif), 原神經(jīng)網(wǎng)絡問題可轉(zhuǎn)化為求最優(yōu)化問題min(J)，使用上述搜索算法得目標函數(shù)J的收斂數(shù)據(jù)如表1：

4 結(jié)論

實驗表明共軛梯度法具有較好的收斂特性，并且不會產(chǎn)生振蕩，可以有效地解決傳統(tǒng)BP網(wǎng)絡的收斂速度問題。并且本文選用的 因子在wolfe搜索下可以保證全局收斂性，比一般的 因子有更好的效果。

參考文獻：

[1] 戴虹．非線性共軛梯度法研究[D]．中國科學院計算數(shù)學與科學工程研究所，博士學位論文,1997.

[2] Dai YH,YUAN Y．A Nonlinear conjugate gradient with a strong global convergence property[J].SIAM Journal of optimization,2000(10):177-182．

[3] 黃兆龍.用啟發(fā)算法和神經(jīng)網(wǎng)絡法解決二維不規(guī)則零件排樣問題[J].微計算機信息，2004(10):51-53．

[4] 杜華英,趙躍龍.人工神經(jīng)網(wǎng)絡典型模型的比較研究[J].計算機技術與發(fā)展,2006(05):97-99.

[5] 陸瓊瑜,童學鋒.BP算法改進的研究[J]．計算機工程與設計,2007(03):648-650.

收稿日期：2008-03-27

第5篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞：羊絨羊毛纖維；貝葉斯分類器；BP神經(jīng)網(wǎng)絡；SVM支持向量機

中圖分類號：TS102.3 文獻標志碼：A

A Research of Classifiers for Testing Cashmere & Wool Fibers

Abstract： This paper mainly studies the classifiers for identifying the image features of wool and cashmere fibers. The image features， which are selected in the same way， are identified by using respectively Bayes classifier， BP neural network and SVM support vector machine. Then， by comparison we conclude that the SVM support vector machine is more suitable for testing of wool and cashmere fiber thanks to its higher recognition rate and speed.

Key words： cashmere and wool fibers； Bayes classifier； BP neural network； SVM support vector machine

羊絨纖維是制作高檔面料的重要原料，但其產(chǎn)量極少，僅占動物纖維總產(chǎn)量的很少一部分。由于羊絨的珍稀、高價、優(yōu)良品質(zhì)及風格特征，生產(chǎn)商常采用山羊絨與其它纖維進行混紡加工；并且市場上也存在用混紡產(chǎn)品假冒純羊絨制品進行銷售的問題。故準確鑒別羊毛羊絨纖維十分必要。

圖像分析技術是紡織纖維形態(tài)研究的重要技術之一，使用圖像分析技術有助于提高羊絨羊毛檢測領域?qū)τ谔烊焕w維的識別和分類的效率。本研究通過比較當今鑒別羊絨羊毛纖維時使用的不同分類器，來找到較適合的分類器。

1分類器介紹

1.1貝葉斯分類器

貝葉斯分類器依據(jù)研究對象的先驗概率，利用貝葉斯公式計算出研究對象的后驗概率，即是該對象屬于其中某一類的概率，選擇屬于最大的后驗概率的類為其所屬的類。因此，貝葉斯分類器是最大正確率意義上的優(yōu)化。

若已知有M類物體，以及每一類在n維特征空間的統(tǒng)計規(guī)律，即是各類別ωi（i=1，2，3，…，M）的先驗概率P（ωi）以及類條件概率密度P（X|ωi）。對于待測樣本，貝葉斯公式公式（1）可以計算出該樣本各類別的概率，即后驗概率，根據(jù)后驗概率的大小決定X屬于哪一類。

在羊絨羊毛纖維檢測中，統(tǒng)計數(shù)據(jù)服從正態(tài)分布，其相應的均值和方差可以由樣本均值以及樣本方差求出。

1.2BP神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡是通過對人腦思維方式的模仿，以一定的學習準則，通過人工神經(jīng)元的網(wǎng)絡系統(tǒng)進行一定的記憶與學習，并通過不斷的學習，調(diào)整整個網(wǎng)絡的權(quán)值和閾值，達到減少錯誤的發(fā)生率的過程。

BP神經(jīng)網(wǎng)絡，即人工神經(jīng)網(wǎng)絡使用誤差逆?zhèn)鞑ニ惴ǎ˙P算法）的學習過程。該算法由信息的正向傳播和誤差的反向傳播兩個過程組成，其中正向傳播使用最速下降法進行傳播，誤差反向傳播則是利用輸出層的誤差來估計其直接前導層的誤差，即形成了將輸出端表現(xiàn)出的誤差沿著與輸入信號傳送的逆方向逐級向網(wǎng)絡的輸入端傳遞的過程。利用各層的誤差進行神經(jīng)網(wǎng)絡閾值和權(quán)值的選取，以達到神經(jīng)網(wǎng)絡誤差平方和最小的目的。

1.3SVM支持向量機

支持向量機是以VC維原理和結(jié)構(gòu)風險最小化理論為基礎建立的機器學習方法，是一種監(jiān)督式的學習、分類方法。其優(yōu)勢表現(xiàn)在解決小樣本、非線性和高維模式識別問題上，并且解決了模式識別中經(jīng)常出現(xiàn)的“維數(shù)災難”和“過學習”等問題。SVM支持向量機的原理是通過不同的“核函數(shù)”將提取的纖維特征在低維進行計算然后將分類效果映射到高維，從而實現(xiàn)從低維向高維的轉(zhuǎn)化。這避免了在高維上的復雜計算，實現(xiàn)了計算的精簡，提高了分類學習的效率。

2羊絨羊毛纖維圖像特征提取

本文所用的羊絨羊毛纖維圖像為中國纖維檢驗局提供的遼寧蓋縣種羊場成年公羊羊絨纖維圖像樣本100張和國際羊毛局標準羊毛纖維圖像100張。通過圖像旋轉(zhuǎn)，灰度化，中值濾波，邊緣提取等預處理過程。使用中軸線法提取纖維鱗片直徑和纖維鱗片高度作為特征參數(shù)。

3仿真結(jié)果分析

3.1貝葉斯分類器

本次研究選取羊毛纖維特征及羊絨纖維特征各95個作為訓練學習對象，其余羊毛羊絨纖維特征作為檢測對象，重復進行100次，貝葉斯算法仿真結(jié)果（圖1）得到的平均識別結(jié)果為88.7%。

3.2BP神經(jīng)網(wǎng)絡

本次使用的BP神經(jīng)網(wǎng)絡是最常見的兩節(jié)點的BP神經(jīng)網(wǎng)絡。選取羊毛纖維特征及羊絨纖維特征各95個作為訓練學習對象，其余羊毛羊絨纖維特征作為檢測對象，仿真結(jié)果如圖2所示，得到平均識別率為84.8%，并且仿真時訓練時間過長，為138.242s。

3.3SVM支持向量機

本次以纖維鱗片直徑和纖維鱗片高度作為特征變量，利用交叉驗證，SVM支持向量機仿真結(jié)果如圖3所示。從圖3（a）可看出，通過使用SVM支持向量機，得到的識別率為92.7%；通過圖3（b）可以看到，分類效果相較于BP神經(jīng)網(wǎng)絡效果更好。

4結(jié)論

通過對不同仿真結(jié)果的分析可以得出：首先，BP神經(jīng)網(wǎng)絡針對小樣本的識別過程耗時過多，可能會出現(xiàn)過度訓練的情況，相比較而言，貝葉斯方法和SVM支持向量機識別過程耗時較少，更有效率；其次，針對識別率，BP神經(jīng)網(wǎng)絡為84.8%，貝葉斯方法為88.7%，SVM支持向量機為92.7%，識別率更高。因此，SVM支持向量機較貝葉斯方法以及BP神經(jīng)網(wǎng)絡更適宜作為羊絨羊毛纖維圖像特征識別的分類器。

參考文獻

[1] 衛(wèi)敏.羊絨的鑒別檢測方法分析[J].福建輕紡，2011（2）：33-37.

[2] 楊瀟，季益平，張毅.圖像識別在羊絨羊毛檢測中的應用研究[J].廣西紡織科技，2010，39（3）：13-16.

[3] 石先軍，于偉東，袁子厚.基于貝葉斯方法的山羊絨與細羊毛的鑒別[J].紡織學報，2008，29（1）：27-33.

[4] 劉彩紅.BP神經(jīng)網(wǎng)絡學習算法的研究[D].重慶：重慶師范大學，2008.

[5] 丁世飛，齊丙娟，譚紅艷.支持向量機理論與算法研究綜述[J].電子科技大學學報，2011（1）：2-10.

[6] 王柏華，胡志宇，葛順順，等.基于光鏡條件下綿羊毛與山羊絨的鑒別[J].毛紡科技，2011，39（4）：42-45.

[7] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins.Digital Image Processing Using MATLAB[M].阮秋琦，譯.北京：電子工業(yè)出版社，2005.

作者簡介：侍瑞峰，男，1989年生，碩士在讀，研究方向為圖像處理與模式識別。

通訊作者：劉亞俠，副教授，E-mail：。

第6篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞： 模糊神經(jīng)網(wǎng)絡；短期負荷預測；BP算法

algorithm

中圖分類號：TN711文獻標識碼： A 文章編號：

1 引 言

短期負荷預測是電力系統(tǒng)管理現(xiàn)代化的重要內(nèi)容之一，是對發(fā)電、輸電和電能分配等合理安排的必要前提，對提高電力系統(tǒng)的經(jīng)濟效益和社會效益，保障電力系統(tǒng)的安全經(jīng)濟運行與國民經(jīng)濟的發(fā)展具有非常重要的影響。因此，尋求有效的負荷預報方法，提高預測結(jié)果的準確度具有重要意義。

本文針對延邊電網(wǎng)短期負荷預測問題，考慮到氣象因素對負荷的影響，提出了一種具備模糊數(shù)據(jù)處理能力的模糊理論與擅長擬合非線性映射的神經(jīng)網(wǎng)絡方法結(jié)合起來的短期負荷預測方法，首先根據(jù)評價函數(shù)選取相似日學習樣本，然后利用隸屬函數(shù)對影響負荷的特征因素向量的分量進行模糊處理，采用反向傳播算法，對24點每點建立一個預測模型，提高了學習效能。

2模糊理論與人工神經(jīng)網(wǎng)絡方法簡介

2．1模糊集合論的概念

客觀事物的差異在中介過渡時所呈現(xiàn)的亦此亦彼的現(xiàn)象稱為模糊性，它體現(xiàn)了事物變化的連續(xù)過程。模糊集合論使用隸屬度來描述中介過渡，是以精確的數(shù)學語言對模糊性的一種表述。

設論域u＝｛x｝，u到閉區(qū)間〔0，1〕的任一映射uA（x）∶u〔0，1〕，xuA（x）確定了u的一個模糊子集，簡稱模糊集，記作A，該映射稱為A的隸屬函數(shù)。uA（x）的大小反映了x對模糊集A的隸屬程度，簡稱為隸屬度。實數(shù)集合上常用的隸屬函數(shù)為F分布，主要有矩形分布，梯形分布，拋物形分布等，在實際應用中可根據(jù)對象特點加以選擇。

2．2人工神經(jīng)網(wǎng)絡和反向傳播算法的原理

神經(jīng)網(wǎng)絡是由處理單元組成的一種并行、分布式信息處理結(jié)構(gòu)，處理單元之間由單向信道相互連接。人工神經(jīng)元是神經(jīng)網(wǎng)絡的基本計算單元，模擬了人腦中神經(jīng)元的基本特征，一般是多輸入／單輸出的非線性單元，可以有一定的內(nèi)部狀態(tài)和閾值。

反向傳播（Error Back Propagation－BP）算法是多層感知器的一種有效學習算法，它的模型為前向多層網(wǎng)絡，如圖1所示。

網(wǎng)絡不僅有輸入層節(jié)點、輸出層節(jié)點，而且有隱含層節(jié)點，經(jīng)過作用函數(shù)后，再把隱節(jié)點的輸出信息傳播到輸出節(jié)點，最后給出結(jié)果。節(jié)點的作用函數(shù)通常選取s型函數(shù)，如 這個算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信號從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小。

BP算法可描述為：

a．權(quán)值和閾值初始化：隨機地給全部權(quán)值和神經(jīng)元的閾值賦以較小的初始值；

b．給定輸入xk和目標輸出yk；

其中 為第l層第j個神經(jīng)元到第l＋1層的第i個神經(jīng)元的權(quán)系數(shù)，η為增益項，δ（l）ik為第l層i節(jié)點的k模式的誤差項，且有

若i為輸出節(jié)點，則

e．達到誤差精度要求則輸出結(jié)果，否則回到3。

3預測方法

3．1BP網(wǎng)絡學習樣本的選擇

根據(jù)差異評價函數(shù)選擇一批比較相似的負荷日，選擇方法如下：

a．首先將影響因素向量的各分量數(shù)值化，這些因素包括日類型，工作日取1，雙休日取2；光照，晴天取1，少云取2，多云取3，陰天取4，下雨取5；雨量，無雨取0，小雨取1，中雨取2，大雨取3，暴雨取4；最高溫度、最低溫度、平均溫度等可取實際值。

b．建立評價函數(shù)

其中是α－β的范數(shù)，α為已知日的影響因素向量，β為預測日的影響因素向量（預測值），δ為設定的偏離值，要根據(jù)不同地區(qū)的實際情況由經(jīng)驗決定。凡是滿足該評價函數(shù)的已知日均可加入學習樣本。

3．2預測方法

為了提高BP網(wǎng)絡的學習速度和預測精度，對網(wǎng)絡輸出的實際負荷值進行規(guī)一化處理，同時使用隸屬度函數(shù)對輸入網(wǎng)絡的影響因素向量進行模糊化處理，使得輸入向量的不同分量如工作日、光照、雨量、溫度等都轉(zhuǎn)換為模糊量。

日類型的隸屬度函數(shù)采用半矩形分布，形式如下。

對工作日的隸屬度函數(shù)為：

溫度的隸屬度函數(shù)分別如下。

對低溫的隸屬度函數(shù)采用偏小型梯形分布：

對中溫的隸屬度函數(shù)采用中間型梯形分布：

對高溫的隸屬度函數(shù)采用偏大型梯形分布：

將最高溫度th代入以上3個公式，可分別求出對于低溫、中溫、高溫3個狀態(tài)的隸屬度。對于最低溫度t1、平均溫度tα，可采用同樣方法求出它們的3個狀態(tài)隸屬度。

影響因素向量的其它分量如光照、雨量等的隸屬度函數(shù)與溫度相似，根據(jù)當?shù)貙嶋H情況選擇建立相應的分布函數(shù)，從而求出光照的5個狀態(tài)隸屬度以及雨量的5個狀態(tài)隸屬度。

另外，為了降低求解規(guī)模，對1d的24點負荷每點建立1個預測模型，第i點的輸入輸出函數(shù)為：

其中Lji是指第j個學習樣本第i點負荷的實際值，Ljimin是學習樣本中第i點負荷的最小值，Ljimax是學習樣本中第i點負荷的最大值，經(jīng)過規(guī)一化處理后，

fi是指第i點的輸入輸出函數(shù)，α′j1，…α′jl是第j個樣本影響因素的隸屬度向量，包括2個代表日類型的隸屬度，3個代表最高溫度的隸屬度，3個代表最低溫度的隸屬度，3個代表平均溫度的隸屬度，5個代表光照的隸屬度，5個代表雨量的隸屬度。當學習完成后，將預測日當天影響因素的隸屬度向量 代入（10）式，則可得第i點的負荷預測值。

3．3一些注意事項

a．偽數(shù)據(jù)的處理

因為神經(jīng)網(wǎng)絡所用的負荷數(shù)據(jù)來自電力部門的SCADA系統(tǒng)，由于各種原因會造成一定數(shù)量的異常數(shù)據(jù)?？紤]到負荷前后小時的自然變化，如果出現(xiàn)超常規(guī)值，必須將其剔除，代之以正常比例范圍內(nèi)的估計值。

b．待選的相似日范圍

因為隨著時間的推移，系統(tǒng)負荷結(jié)構(gòu)會發(fā)生緩慢的變化，當已知日和預測日相隔較遠時，即使它們的天氣情況等因素很相似，預測精度也不會高，因而取前3個星期的已知日作為待選范圍，同時還可以縮短程序選取樣本所花費的時間。

4計算實例分析與結(jié)論

4．1實例計算

對延邊電網(wǎng)2012年5月5日24點的負荷進行預測，所得結(jié)果如表一。

表一：

預測的平均絕對百分誤差為1.77％，最大預測誤差為3.1％，最小誤差為0.8％，誤差超過3％的預測點有2個，小于2％的點有15個，預測效果良好。

4．2結(jié)論

準確進行短期負荷預測是電力行業(yè)所企盼的，本人提出一種模糊神經(jīng)網(wǎng)絡預測方法，利用模糊技術和神經(jīng)網(wǎng)絡各自的特長，充分發(fā)揮了ANN處理非線性問題的能力，具有訓練速度快，學習精度高，數(shù)值穩(wěn)定等優(yōu)點，算例也表明這是一種行之有效的短期日負荷預測方法。

參考文獻

【1】 劉晨暉，“電力系統(tǒng)負荷預報理論與方法”哈爾濱工業(yè)大學出版社 1987

第7篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞 神經(jīng)網(wǎng)絡模型；模糊綜合評價；權(quán)重；水質(zhì)評價

中圖分類號：X824 文獻標識碼：A 文章編號：1671-7597（2014）07-0147-01

目前，水污染很嚴重，治理好水污染，改善環(huán)境，防止造成進一步的污染，已經(jīng)成為了社會所研究的重點。因此，水質(zhì)的評價成為了一項重要的研究熱點，根據(jù)水質(zhì)的相關的指標的特點，綜合分析得到水質(zhì)的狀況，能夠為政府采取合理的措施提供依據(jù)。目前，神經(jīng)網(wǎng)絡模型對水質(zhì)進行評價已經(jīng)成為了熱點，神經(jīng)網(wǎng)絡的優(yōu)點在于權(quán)重的確定方面，能夠合理的確定各個指標的權(quán)重，但是在評價的模型上[1]，神經(jīng)網(wǎng)絡用的層層分析模型，沒有做夠好的進行水質(zhì)的評價，本文在神經(jīng)網(wǎng)絡中融合模糊綜合評價模型，能夠很好的對水質(zhì)進行評價。

1 神經(jīng)網(wǎng)絡理論

人工神經(jīng)網(wǎng)絡（AnificialNeural Nemorks，ANN）是通利用數(shù)學模型的方法進行抽象和模擬，是一種模仿人腦結(jié)構(gòu)和它的功能的非線性的信息處理系統(tǒng)。它主要是大量的單元相互連接而組成的網(wǎng)絡結(jié)構(gòu)，來實現(xiàn)大腦的感知和學習功能。神經(jīng)網(wǎng)絡拓撲結(jié)構(gòu)可以分為前饋多層式網(wǎng)絡模型、反饋遞歸式網(wǎng)絡模型和隨機型網(wǎng)絡模型等。根據(jù)研究水質(zhì)問題多因素權(quán)重問題以及神經(jīng)網(wǎng)絡的相關理論，前饋多層式網(wǎng)絡中的反向傳播神經(jīng)網(wǎng)絡（BP神經(jīng)網(wǎng)絡）具有良好的持久性以及適時預報性，因此在本文的評價模型中，我們都采用BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)方式[2]。

前饋神經(jīng)網(wǎng)絡分為了神經(jīng)元分層排列，包含了輸入層、隱含層和輸出層三個層次結(jié)構(gòu)，每個層次的神經(jīng)元只能夠接收前一個層次的神經(jīng)元，層層對應。這是一種比較強有力的學習系統(tǒng)，它的結(jié)構(gòu)相對而言較為簡單，并且編程也比較容易，是一種靜態(tài)的非線性映射，通過簡單的非線性處理進行復合映射，能夠得到更加復雜的處理能力。這些前饋網(wǎng)絡學習，它們分類能力和模式識別的特點都要強于一般的反饋網(wǎng)絡。典型的前饋網(wǎng)絡有感知器網(wǎng)絡和BP網(wǎng)絡。水質(zhì)評價模型中，一般采用的都是BP神經(jīng)網(wǎng)絡，能夠很好的處理各個指標之間的關系特點，做到很好的評價，但是需要一個更好的模型結(jié)合神經(jīng)網(wǎng)絡確定權(quán)重的特點進行水質(zhì)評價，能夠收到更好的效果。

2 模糊綜合評價的基本理論

模糊數(shù)學是利用數(shù)學方法進行研究與處理模糊現(xiàn)象的數(shù)學。模糊綜合評價作為一門新的評價科學，是典型數(shù)學、統(tǒng)計數(shù)學之后的發(fā)展起來的一門新的數(shù)學學科，可以處理很多之前數(shù)學無法解決的問題。開始具有爭議，經(jīng)過一段時間，開始迅速發(fā)展，而且涉及的應用領域越來越廣泛，已經(jīng)遍及理、工、農(nóng)、醫(yī)及社會科學，充分體現(xiàn)了評價模型的優(yōu)越之處。

模糊綜合評價法是一種利用模糊數(shù)學為基礎的綜合評標方法。綜合評價法利用模糊數(shù)學隸屬度理論和模糊變換原理，根據(jù)給出的評價標準與實測值，考慮到被評價事物的各個相關因素，對其進行綜合評價。對于模糊綜合評價向量，即綜合隸屬度，可用如下公式：

A為輸入，代表參加評價因子的權(quán)重經(jīng)歸一化處理得到的一個1×n階矩陣；R為模糊變換裝置，是通過單因素評判得到的隸屬度向量，是一個n×m階的模糊關系矩陣；B為輸出，代表綜合評判結(jié)果，是一個1×m階矩陣[3]。

其中評價因子是m集合為：，分別為參與評價的n個評價因子。其中評價等級共m個等級，組成集合為：。

評判矩陣和隸屬度的式子為：

3 神經(jīng)網(wǎng)絡和模糊綜合評價結(jié)合算法

神經(jīng)網(wǎng)絡模型評價的精華在于權(quán)重的分析確定上，模糊綜合評價模型的優(yōu)點在于系統(tǒng)的評價模型，因此在評價的時候，只要將這兩者的優(yōu)點結(jié)合起來，就能夠得到很好的效果，因此設計了以下算法模型，能夠合理的對水質(zhì)進行評價，為科學的采取污染防治措施提供依據(jù)。

Step1：網(wǎng)絡初始化。根據(jù)系統(tǒng)輸入輸出序列（X，Y）確定網(wǎng)絡輸入層節(jié)點數(shù)p、隱含輸入層節(jié)點數(shù)l，輸出層節(jié)點數(shù)q，初始化輸入層、隱含層和輸出層神經(jīng)元之間的連接權(quán)值α和β（α為初始權(quán)重，β為臨界值，均隨機設為較小的數(shù)）給定學習速率和神經(jīng)元[4][5]。

Step2：輸出計算。將已有的樣本數(shù)值加在網(wǎng)絡上，利用公式算出其輸出值：

Step3：調(diào)整權(quán)系數(shù)。根據(jù)網(wǎng)絡預測誤差，按已知輸出數(shù)據(jù)與上面算出的輸出數(shù)據(jù)之差，調(diào)整權(quán)重系數(shù)，其中調(diào)整量為：其中：因為隱節(jié)點的輸出內(nèi)部抑制，利用反向推算可以得到：誤差值從輸出層反向推導得到。

Step4：對各層的權(quán)重系數(shù)進行調(diào)整后，得到調(diào)整后的權(quán)

重為：

BP神經(jīng)網(wǎng)絡利用梯度下降算法，通過迭代運算，不斷調(diào)整mij的數(shù)值，當?shù)玫降妮敵稣`差小于所設定的閥值時，將認為獲得的mijBP神經(jīng)網(wǎng)絡是合理的。而不斷迭代的方法相當于對各類情況進行調(diào)整，具有一定的學習記憶特征。

基金項目

國家自然科學基金青年基金（11201485）；徐州工程學院校青年項目（XKY2010201）。

參考文獻

[1]劉起霞，李清波，鄒劍峰.環(huán)境工程地質(zhì)[M].鄭州：黃河水利出版社，2001.

[2]孫會君，王新華.應用人工神經(jīng)網(wǎng)絡確定評價指標的權(quán)重[J].山東科技大學學報（自然科學版），2001，20（3）：84-86.

[3]萬金保，李媛媛.模糊綜合評價法在鄱陽湖水質(zhì)評價中的應用[J].上海環(huán)境科學，2007，26（05）：215-218.

[4]金菊良，魏一鳴，丁晶.基于改進層次分析法的模糊綜合評價模型[J].水利學報，2004（03）：65-70.

[5]郭慶春，何振芳，李力，等.BP人工神經(jīng)網(wǎng)絡模型在太湖水污染指標預測中的應用[J].南方農(nóng)業(yè)學報，2011，42（10）.

第8篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵詞：BP算法，神經(jīng)網(wǎng)絡，抑菌圈直徑，抗生素效價測定

中圖分類號：TP18文獻標識碼：A文章編號：1009-3044(2011)10-2358-02

抗生素效價的生物測定，是以抗菌活性為指標平衡量，表示抗生素中有效成分效力的一種方法。其測定方法通常分為稀釋法、比濁法和滲透法。滲透法又稱擴散法，其中管碟瓊脂擴散法是國際上通用的抗生素效價測定方法，中、日、英、美及歐洲藥典均收載有此方法。該方法分為一劑量法，二劑量和三劑量法，其原理是將已知濃度的標準溶液與未知濃度的樣品溶液在含有敏感性試驗菌的瓊脂表面進行擴散，形成抑制試驗菌生長的透明抑菌圈，測出抑菌圈的直徑或面積大小，再利用抗生素濃度與抑菌圈直徑或面積的關系，求出樣品的效價[1]。

人工神經(jīng)網(wǎng)絡(Artificial Neural Network，簡稱ANN)是通過模擬生物體中神經(jīng)網(wǎng)絡的某些結(jié)構(gòu)和功能而構(gòu)成的一種新的信息處理系統(tǒng)。近年來廣泛應用于藥學領域，如處方優(yōu)化、結(jié)構(gòu)設計、中藥含量測定及鑒別等方面。本文利用人工神經(jīng)網(wǎng)絡的自學習自適應能力，建立抗生素效價與抑菌圈直徑之間的模型，對枯草芽孢桿菌的抗生素效價進行測定與預測，取得了較好的結(jié)果。

1 BP神經(jīng)網(wǎng)絡原理

BP神經(jīng)網(wǎng)絡（Back Propagation ，BP ) 是基于誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡，也是目前應用最廣泛的神經(jīng)網(wǎng)絡。BP神經(jīng)網(wǎng)絡能模擬任意線性與非線性函數(shù)，因而具有良好的預測能力。BP神經(jīng)網(wǎng)絡一般為三層神經(jīng)網(wǎng)絡，即輸入層，隱含層，輸出層，其結(jié)構(gòu)如圖1所示，每層都有一些神經(jīng)元，與相鄰層的所有各單元均互相連接，兩個單元間的連接強度稱為“權(quán)值”。

BP神經(jīng)網(wǎng)絡的學習分為兩步：信息的正向傳遞和誤差的反向傳播。信息的正向傳遞是輸入信息從輸入層經(jīng)隱含層處理后傳向輸出層，誤差的反向傳播是將誤差逐層往回傳遞，以修正各層之間的權(quán)值和閾值。以上兩個過程反復交替，直到收斂為止。當訓練結(jié)束時，將學習得到的規(guī)則表達在網(wǎng)絡的權(quán)重中。根據(jù)未知樣本的輸入特性參數(shù)，網(wǎng)絡可進行仿真預測，其預測模型見圖2。

2 數(shù)據(jù)處理

2.1 BP網(wǎng)絡結(jié)構(gòu)設計

測定抗生素效價時，通常只需測定抑菌圈的直徑或面積，然后根據(jù)直徑或面積與效價之間的關系計算其效價。因此輸入層和輸出層的節(jié)點數(shù)均設為1即可。隱含層的節(jié)點參照以下經(jīng)驗公式進行設計：n=+a

式中：n為隱層節(jié)點數(shù)；ni為輸入節(jié)點數(shù)；n0為輸出節(jié)點數(shù)；a為1～10之間的常數(shù)[2]。第一層傳遞函數(shù)選用tansig函數(shù)，第二層傳遞函數(shù)選用purelin函數(shù)，設計的網(wǎng)絡模型如圖3所示。

2.2 試驗部分

菌種：枯草芽孢桿菌；檢定培養(yǎng)基（%）：牛肉膏 0.3蛋白胨 0.5K2HPO4 0.3瓊脂粉 1.5 ； 蒸餾水：pH 8.0～8.2；點樣量：標準品 1～5 μg；樣品：諾西肽發(fā)酵液 3μl；培養(yǎng)條件：37℃ 12-16個小時。

抑菌圈的直徑可通過董鴻曄等[3]設計的計算機可視化自動測量系統(tǒng)獲得，先測得標準品抑菌圈的直徑均值，利用標準品抑菌圈直徑與效價的關系建立標準曲線，數(shù)據(jù)見表1；再測得待測品抑菌圈的直徑均值，利用標準曲線計算出待測品抑菌圈直徑所對應的抗生素效價，其數(shù)據(jù)見表2。

2.3 網(wǎng)絡訓練

以待測品直徑均值為輸入，抗生素效價為輸出，訓練BP網(wǎng)絡，網(wǎng)絡學習參數(shù)為trainlm函數(shù)，最大訓練次數(shù)為3000次，訓練步長100，期望誤差為0.001。表2中數(shù)據(jù)分為兩部分，一部分用于網(wǎng)絡訓練，隱層節(jié)點數(shù)初值設為8，經(jīng)優(yōu)化當隱含層節(jié)點數(shù)為15時，網(wǎng)絡收斂達到期望誤差。

2.4 網(wǎng)絡預測

為了驗證網(wǎng)絡的泛化能力，選擇部分待測樣品作為輸入值，進行網(wǎng)絡預測。網(wǎng)絡預測效價與利用一劑量法計算的實際效價見表3。

2.5 模型檢驗

為驗證網(wǎng)絡預測模型精度，，利用統(tǒng)計軟件SPSS表3中兩種方法得到的抗生素效價進行方差檢驗，見表4。F檢驗Sig=0.467>0.05，說明兩組數(shù)據(jù)的測量方法無顯著性差異。由此可見BP網(wǎng)絡的預測結(jié)果是可靠的。 3 討論

本文通過BP神經(jīng)網(wǎng)絡預測模型對抗生素效價進行測定，結(jié)果表明，采用BP人工神經(jīng)網(wǎng)絡預測效價方法簡便快捷，其預測結(jié)果可靠，為抗生素效價的測定建立了新的分析方法。本網(wǎng)絡中采用的學習算法為LM算法，是目前收斂速度最快的算法之一[4]。BP網(wǎng)絡的非線性映射能力不僅表現(xiàn)在處理多因素影響問題上，在本試驗中處理單因素問題時亦表現(xiàn)出優(yōu)勢。在測定抗生素效價中，只考慮到直徑一個因素，實際中抗生素微生物效價檢定法影響因素很多，如培養(yǎng)溫度、培養(yǎng)基成分、酸堿度、實驗菌種的老化、菌層厚度、藥液的稀釋、鋼管等[5]，這些因素對網(wǎng)絡預測結(jié)果的影響還有待考慮和研究。

參考文獻：

[1] 抗何文.蔡先東.生素效價測定方法的改進[J].廣東藥學,2003,13(2).

[2] 周開利.康耀紅.神經(jīng)網(wǎng)絡模型及其MATLAB仿真程序設計[M].清華大學出版社,2005.

[3] 董鴻曄,金杰,趙青.計算機可視化技術在抗生素效價測定中的應用[J].生物技術,2002,12(2).

第9篇：神經(jīng)網(wǎng)絡反向傳播公式范文

關鍵字:灰色神經(jīng)網(wǎng)絡;電力建設工程;模型

0 引言

隨著社會經(jīng)濟的快速發(fā)展、社會的進步、科技和多層信息化水平的提高以及全球資源和環(huán)境問題的日益突出與電力建設發(fā)展面臨著新的挑戰(zhàn).在電力行業(yè)在各國經(jīng)濟發(fā)展中占據(jù)優(yōu)先發(fā)展的地位,電力建設工程造價與其他電力建設工程造價相比,具有電力建設工程造價規(guī)模大、周期長的特點.基于眾多的電力建設工程造價方案中選擇較優(yōu)方案是電力建設工程造價決策的關鍵技術.在電力建設工程造價方案比選過程中的評價指標有工程造價凈現(xiàn)值、電力建設工程造價回收期、財務內(nèi)部收益率等,使決策變得復雜且很難做出.基于灰色系統(tǒng)理論、模糊理論進行有機的結(jié)合,用灰色神經(jīng)網(wǎng)絡度分析方法來計算決策矩陣和建立模型[1],并應用到實際電力建設工程造價決策中,可為決策者提供一種有效的決策途徑,根據(jù)灰色系統(tǒng)理論,研究和分析決策系統(tǒng)影響因素間的相互關系及對系統(tǒng)主要目標的貢獻,該研究方法考慮了傳統(tǒng)因素分析方法并避免了模糊理論處理方法的種種弊端。

1 基于灰色神經(jīng)網(wǎng)絡原理及應用

基于灰色神經(jīng)網(wǎng)絡模型為基礎的預測,運用灰色系統(tǒng)的數(shù)據(jù)信息預處理方式搭建電力建設工程造價即灰色生成來優(yōu)化神經(jīng)網(wǎng)絡的建模應用于智能電力建設工程造價中的問題預測。

2 基于電力建設工程造價與灰色神經(jīng)網(wǎng)絡模型研究

基于灰色神經(jīng)網(wǎng)絡是以訓練樣本算法即誤差反向傳播算法即灰色神經(jīng)算法的學習過程分為信息的正向傳播和誤差的反向傳播[2],其通過訓練樣本前一次迭代的權(quán)值和閾值來應用神經(jīng)網(wǎng)絡技術的第一層向后計算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計算各層權(quán)值和閾值對總誤差的梯度進而對前面各層的權(quán)值和閾值進行修改運算反復直到神經(jīng)網(wǎng)絡樣本收斂。

2.1 基于電力建設工程造價灰色神經(jīng)網(wǎng)絡模型

基于灰色神經(jīng)網(wǎng)絡輸入向量為X=()T;隱含層輸出向量為Y=()T;輸出層的輸出向量為O=)T;期望輸出向量為;輸入層到隱含層之間的權(quán)值矩陣,其中列向量為隱含層第j個大規(guī)模自組織神經(jīng)元對應的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣,其中列向量為輸出層第k個大規(guī)模自組織神經(jīng)元對應的權(quán)向量.各層信號之間的算法結(jié)構(gòu)為:

⑴⑵

⑶⑷

以上式中的均為S類型函數(shù),的導數(shù)方程為:⑸

以下是基于電力建設工程造價灰色神經(jīng)網(wǎng)絡輸出與期望輸出的均方誤差為:⑹

則電力建設工程造價訓練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:⑺⑻

⑼

式中:為比例系數(shù),在電力建設網(wǎng)絡模型訓練中代表學習速率.如果灰色自組織神經(jīng)網(wǎng)絡有個隱含層,各隱含層節(jié)點分別記為,各隱含層輸出分別記為,則各層權(quán)值調(diào)整灰色神經(jīng)網(wǎng)絡模型運算計算公式分別如下:

輸出層⑽

第隱含層

⑾

第一隱含層 ⑿

綜合上述預測分析在灰色神經(jīng)在電力建設工程造價中學習算法運用各層權(quán)值調(diào)整公式均由學習速率、本層輸出的誤差信號和本層輸入數(shù)字離散信號處理決定在網(wǎng)絡訓練樣本學習的過程受決策環(huán)境復雜程度和訓練樣本的收斂性即需要增大樣本量來提高電力建設工程造價所學知識的代表性應注意在收集某個問題領域的樣本時,注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓練樣本數(shù)據(jù)。

3 結(jié)束語

基于電力建設工程造價方案的選擇問題是一個復雜的系統(tǒng)多屬性決策問題,評價因素多而且相互之間的關系比較復雜.通過構(gòu)建灰色神經(jīng)網(wǎng)絡決策模型,綜合考慮到電力建設工程方案選擇過程中的多方案、多因素、多目標特點,避免了單指標方案選擇過程中存在的決策偏離問題.通過該模型優(yōu)化全面分析多層目標指標間的相互關系,較好地解決單指標無法全面反映工程方案多目標的問題,為電力建設工程方案優(yōu)選提供了一種可靠的途徑數(shù)據(jù)。

參考文獻: