神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

（黑龍江民族職業(yè)學(xué)院，黑龍江 哈爾濱 150066）

摘　要：盈余預(yù)測具有引導(dǎo)投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內(nèi)對(duì)公司未來盈利進(jìn)行預(yù)測的研究還相當(dāng)少。提出了以決策樹作為基分類器，采用集成學(xué)習(xí)方法，利用上市某公司2001至2005年的財(cái)務(wù)數(shù)據(jù)對(duì)該上市公司在2006年的盈利狀況進(jìn)行預(yù)測研究。首先，采用有放回的隨機(jī)抽樣技術(shù)分別從訓(xùn)練樣本和測試樣本中產(chǎn)生50個(gè)訓(xùn)練子集和1個(gè)測試集；然后利用決策樹，采用CHAID算法對(duì)50個(gè)訓(xùn)練子集分別進(jìn)行訓(xùn)練，得到50個(gè)基決策樹分類器；通過采用Bagging方法，構(gòu)建決策樹集成模型。所得到的集成模型在測試集上的分類準(zhǔn)確率達(dá)到96%以上，通過比較由不同數(shù)目的基分類器構(gòu)成的集成模 型和單個(gè)分類器的預(yù)測準(zhǔn)確率，證明了該集成模型的預(yù)測準(zhǔn)確率高且穩(wěn)定。

關(guān)鍵詞 ：神經(jīng)網(wǎng)絡(luò)；集成學(xué)習(xí)；盈利預(yù)測

中圖分類號(hào)：F275文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數(shù)據(jù)挖掘與決策支持。

1 引言

公司的財(cái)務(wù)狀況及其未來盈利情況不但對(duì)公司的管理層十分重要，而且對(duì)其他投資者也非常重要。如果能夠利用公司以往的財(cái)務(wù)報(bào)表數(shù)據(jù)和其它一些宏觀經(jīng)濟(jì)數(shù)據(jù)（如GDP、CPI、利率等）及早準(zhǔn)確預(yù)測公司未來的盈利狀況的話，那么就可以更有效地對(duì)公司進(jìn)行管理和指導(dǎo)投資者的投資行為。但是，一個(gè)公司的財(cái)務(wù)報(bào)表往往只反映了公司在過去的財(cái)政年度內(nèi)的經(jīng)營狀況，并不反映出公司在下一年中的管理情況。因而，一個(gè)公司的財(cái)務(wù)狀況與其未來盈利之間的關(guān)系并沒有那么明顯，它受到很多因素的影響，要構(gòu)建一個(gè)精確的模型反映它們之間的關(guān)系是很困難的。針對(duì)此情況，本文提出采用決策樹集成方法，構(gòu)建模型來刻畫公司財(cái)務(wù)狀況與其未來盈利之間的關(guān)系，利用上市公司已有的財(cái)務(wù)數(shù)據(jù)，并結(jié)合主要的宏觀經(jīng)濟(jì)變量來預(yù)測公司未來的盈利狀況，這必將是公司財(cái)務(wù)處理的一個(gè)新發(fā)展。

數(shù)據(jù)挖掘技術(shù)越來越多地被用于預(yù)測研究。集成學(xué)習(xí)方法作為數(shù)據(jù)挖掘技術(shù)中一種較新的方法，由于其在提高預(yù)測的準(zhǔn)確性上的優(yōu)點(diǎn)，正被越來越多的研究者使用。

盡管許多領(lǐng)域都應(yīng)用集成學(xué)習(xí)方法來進(jìn)行研究，但在對(duì)公司未來盈利的預(yù)測研究上還很少，在國內(nèi)尚未見到任何報(bào)導(dǎo)。雖然Takashi Washio等人對(duì)日本上市公司的未來盈利狀況進(jìn)行了研究，但是他們只是將盈利狀況分為兩種情況來進(jìn)行研究。本文通過利用集成學(xué)習(xí)方法，考慮宏觀經(jīng)濟(jì)對(duì)公司盈利可能造成的影響，提出將宏觀經(jīng)濟(jì)變量納入變量體系，同時(shí)，為了使結(jié)果更有指導(dǎo)意義，將上市公司的每股收益（EPS）指標(biāo)將公司盈利的情況劃分為三類，即EPS為負(fù)，EPS大于均值及EPS介于二者之間，對(duì)其進(jìn)行預(yù)測研究。

2 研究方法

2.1神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經(jīng)網(wǎng)絡(luò)具有非線性，自學(xué)習(xí)能力、自適應(yīng)性強(qiáng)和容錯(cuò)性高等優(yōu)點(diǎn)，因而被廣泛用于各種非線性預(yù)測問題。

所有神經(jīng)網(wǎng)絡(luò)都有一個(gè)輸入層和輸出層，一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以包含一個(gè)或多個(gè)隱含層。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是通過調(diào)整連接權(quán)重和偏差實(shí)現(xiàn)的。Cybenko等人證明了如果神經(jīng)網(wǎng)絡(luò)利用一個(gè)有界的，連續(xù)的，非遞減的激活函數(shù)時(shí)，只要不對(duì)隱含層的神經(jīng)元數(shù)進(jìn)行限制，一個(gè)三層網(wǎng)絡(luò)（包含一個(gè)隱含層）就能夠?qū)W習(xí)任意一個(gè)在輸入和輸出空間的連續(xù)映射[2]。在實(shí)際應(yīng)用中用的最多的是BP神經(jīng)網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種基于誤差后向傳播算法（BP算法）的多層感知器網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)的激活函數(shù)一般采用Log-Sigmoid或Tangent Sigmoid等可微函數(shù)。BP算法分為兩個(gè)階段。第一階段是前向過程，逐層計(jì)算各神經(jīng)元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據(jù)此修正各層權(quán)重，直到輸出結(jié)果滿足預(yù)先設(shè)定的精度要求或達(dá)到算法設(shè)定的最大循環(huán)次數(shù)。

2.2神經(jīng)網(wǎng)絡(luò)集成

如何根據(jù)觀測數(shù)據(jù)學(xué)習(xí)得到精確估計(jì)是機(jī)器學(xué)習(xí)領(lǐng)域中人們非常關(guān)注的一個(gè)問題，機(jī)器學(xué)習(xí)的一個(gè)重要目標(biāo)就是對(duì)新的測試樣本盡可能給出最精確的估計(jì)。構(gòu)造一個(gè)高精度估計(jì)是一件相當(dāng)困難的事情，然而產(chǎn)生多個(gè)只比隨機(jī)猜測好的粗糙估計(jì)卻很容易。傳統(tǒng)的機(jī)器學(xué)習(xí)方法是在一個(gè)由各種可能的函數(shù)構(gòu)成的空間中尋找最接近實(shí)際分類函數(shù)的分類器。常用的單個(gè)分類器模型主要有決策樹、人工神經(jīng)網(wǎng)絡(luò)等。

集成學(xué)習(xí)（ensemble learning）的基本思想是在對(duì)新的實(shí)例進(jìn)行分類的時(shí)候，把若干個(gè)單個(gè)分類器集成起來，通過對(duì)多個(gè)分類器的分類結(jié)果按某種方式來進(jìn)行組合，決定最終的分類，以取得比單個(gè)分類器更好的結(jié)果。如果把單個(gè)分類器比作一個(gè)決策者的話，集成學(xué)習(xí)方法就相當(dāng)于多個(gè)決策者共同進(jìn)行一項(xiàng)決策。

盡管單個(gè)神經(jīng)網(wǎng)絡(luò)在處理非線性問題上表現(xiàn)良好，但是用單個(gè)神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測，一個(gè)不足的地方就是結(jié)果的穩(wěn)定性差。因?yàn)樯窠?jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果受網(wǎng)絡(luò)各層之間的初始權(quán)重影響很大。為了克服這一不足，本文利用集成學(xué)習(xí)的思想，采用以BP神經(jīng)網(wǎng)絡(luò)作為基分類器的神經(jīng)網(wǎng)絡(luò)集成方法來對(duì)公司未來盈利狀況進(jìn)行預(yù)測。

以神經(jīng)網(wǎng)絡(luò)作為基分類器構(gòu)建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因?yàn)锽agging方法較易于實(shí)現(xiàn)，而且不容易產(chǎn)生過擬合現(xiàn)象。對(duì)一個(gè)已知的有n個(gè)數(shù)據(jù)元素的數(shù)據(jù)集，Bagging法的原理是[1]：對(duì)每次循環(huán)（=1，2，…，），采用有放回的隨機(jī)抽樣方法從數(shù)據(jù)集中抽取m個(gè)數(shù)據(jù)形成訓(xùn)練集（mn），分類器模型從中學(xué)習(xí)。為了對(duì)一個(gè)未知的元素X分類，每個(gè)都返回一個(gè)分類值，將該分類值看成是一票，而最后的集成分類器，通過統(tǒng)計(jì)這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實(shí)例分析

3.1樣本選取

本文采用的上市公司數(shù)據(jù)樣本來自天軟數(shù)據(jù)庫。在剔除了財(cái)務(wù)變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經(jīng)營能力，資本結(jié)構(gòu)，盈利能力，現(xiàn)金流，每股指標(biāo)等方面的29個(gè)財(cái)務(wù)變量作為初始變量。此外，為了研究宏觀經(jīng)濟(jì)環(huán)境對(duì)公司未來盈利的影響，相應(yīng)的選擇了2001年至2006年的三個(gè)宏觀經(jīng)濟(jì)變量：國內(nèi)生產(chǎn)總值增長率（GDP），居民消費(fèi)價(jià)格指數(shù)增長率（CPI）及一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率。這幾個(gè)變量都與公司的盈利狀況有著密切的關(guān)系。國內(nèi)生產(chǎn)總值反映了整個(gè)國家的經(jīng)濟(jì)狀況，而居民消費(fèi)價(jià)格指數(shù)是反映居民購買并用于消費(fèi)的商品和服務(wù)項(xiàng)目價(jià)格水平的變動(dòng)趨勢和變動(dòng)幅度的相對(duì)數(shù)，它可以全面反映多種市場價(jià)格變動(dòng)因素及其對(duì)居民實(shí)際生活的影響程度。一年期金融機(jī)構(gòu)貸款基準(zhǔn)利率會(huì)影響公司的營運(yùn)成本，會(huì)對(duì)公司的利潤產(chǎn)生直接的影響。所有變量見附表。

為了預(yù)測未來公司的盈利狀況，本文將數(shù)據(jù)樣本分為訓(xùn)練樣本和測試樣本。其中，訓(xùn)練樣本由2001年至2005年的公司樣本數(shù)據(jù)用有放回的隨機(jī)抽樣方法得到，每個(gè)訓(xùn)練樣本包含1000個(gè)觀測，測試樣本是用相同方法得到的上市公司在2006年的數(shù)據(jù)樣本，包含400個(gè)觀測。

3.2指標(biāo)選擇

對(duì)于初始變量表，變量之間存在著相關(guān)性。雖然神經(jīng)網(wǎng)絡(luò)對(duì)變量間的相關(guān)性具有較強(qiáng)的容忍度，但是，變量太多會(huì)增加網(wǎng)絡(luò)的復(fù)雜度，還有可能使網(wǎng)絡(luò)過適應(yīng)，從而使得網(wǎng)絡(luò)在測試樣本上的表現(xiàn)很差，而且并不是變量越多，神經(jīng)網(wǎng)絡(luò)的預(yù)測精度就越大，所以適當(dāng)選擇具有代表性的指標(biāo)變量既可以達(dá)到與用所有變量相同的預(yù)測精度，又能降低網(wǎng)絡(luò)的復(fù)雜度，避免使網(wǎng)絡(luò)陷入過適應(yīng)，提高網(wǎng)絡(luò)的訓(xùn)練速度。

然而，運(yùn)用神經(jīng)網(wǎng)絡(luò)方法，對(duì)輸入變量的選取目前并沒有一個(gè)公認(rèn)的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數(shù)據(jù)挖掘軟件包選項(xiàng)面板中的建模欄中的特征選擇節(jié)點(diǎn)來對(duì)變量進(jìn)行篩選。通過構(gòu)建一個(gè)帶有特征選擇節(jié)點(diǎn)的流，可以為每一訓(xùn)練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對(duì)訓(xùn)練樣本進(jìn)行訓(xùn)練，得到兩種神經(jīng)網(wǎng)絡(luò)模型，分別對(duì)測試樣本進(jìn)行分類，并分別構(gòu)建集成模型。

3.3 建立模型

本文是對(duì)2001年至2005年上市公司的數(shù)據(jù)樣本進(jìn)行訓(xùn)練得到單個(gè)神經(jīng)網(wǎng)絡(luò)模型，用該模型對(duì)測試樣本進(jìn)行預(yù)測。如何產(chǎn)生不同的分類模型是影響集成模型準(zhǔn)確性的一個(gè)重要因素[4]。以下四種方法——不同的初始條件，不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的訓(xùn)練數(shù)據(jù)，不同的訓(xùn)練算法常用來產(chǎn)生分類模型。本文采用不同的訓(xùn)練數(shù)據(jù)和不同的網(wǎng)絡(luò)結(jié)構(gòu)這兩種方式結(jié)合得到基神經(jīng)網(wǎng)絡(luò)。

按照Bagging方法的要求，本文采用有放回隨機(jī)抽樣方法，從訓(xùn)練樣本中隨機(jī)抽取了15個(gè)子訓(xùn)練集，并用相同的方法從測試集中抽取了400個(gè)樣本數(shù)據(jù)組成測試集。每個(gè)子訓(xùn)練集含有1000個(gè)樣本，它們均由2001至2005年的200個(gè)公司樣本組成。利用特征選擇節(jié)點(diǎn)在每個(gè)訓(xùn)練集上選出的變量分別在這15個(gè)子樣本上進(jìn)行訓(xùn)練得到子分類器，然后用這些子分類器對(duì)測試樣本進(jìn)行分類。采用多數(shù)投票法對(duì)子分類器進(jìn)行集成，得到集成方法在測試集上的預(yù)測結(jié)果。

3.4 結(jié)果分析

為了比較集成模型與單個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測準(zhǔn)確率的差異，按照單個(gè)神經(jīng)網(wǎng)絡(luò)模型預(yù)測準(zhǔn)確率按升序進(jìn)行排序，分別計(jì)算了由7個(gè)、9個(gè)、11個(gè)、13個(gè)、15個(gè)基神經(jīng)網(wǎng)絡(luò)模型構(gòu)成的集成模型的預(yù)測準(zhǔn)確率，集成模型，不論是由用全部變量進(jìn)行訓(xùn)練得到的基神經(jīng)網(wǎng)絡(luò)構(gòu)建還是由用篩選出的變量進(jìn)行訓(xùn)練得到的構(gòu)建，都顯示出了很高的準(zhǔn)確率，而且得到的預(yù)測準(zhǔn)確率相當(dāng)穩(wěn)定。

4 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)集成的方法，以上市公司過去的財(cái)務(wù)數(shù)據(jù)和宏觀經(jīng)濟(jì)數(shù)據(jù)為樣本，對(duì)上市公司的未來盈利狀況進(jìn)行預(yù)測。研究結(jié)果表明，相比于單個(gè)神經(jīng)網(wǎng)絡(luò)模型，盡管選用7個(gè)預(yù)測精度最差的單個(gè)神經(jīng)網(wǎng)絡(luò)作為基神經(jīng)網(wǎng)絡(luò)，其集成網(wǎng)絡(luò)的預(yù)測準(zhǔn)確率仍然很高，因而集成方法得到的結(jié)果更穩(wěn)定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對(duì)盈利狀況的影響，是一個(gè)很有挑戰(zhàn)性的問題。本文的研究結(jié)果還表明，采用神經(jīng)網(wǎng)絡(luò)集成方法來研究未來盈利狀況是可行的。進(jìn)一步的研究可以從以下幾個(gè)方面考慮：

（1）變量的選取。為了使預(yù)測更為準(zhǔn)確，在建模時(shí)，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關(guān)，因此，如何合理選取量化一些有關(guān)公司治理的指標(biāo)變量，將它們加入到模型中去，是一個(gè)值得深入研究的問題。

（2）產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法。除了Bagging方法，還有其他產(chǎn)生集成神經(jīng)網(wǎng)絡(luò)的方法，比如Boosting方法。不同的方法會(huì)得到不同的結(jié)果，從而通過比較不同的結(jié)果，可以得到一個(gè)用來研究此類問題的最好的方法。

參考文獻(xiàn)：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機(jī)械工業(yè)出版社，2006．

第2篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

【關(guān)鍵詞】雙目視覺;神經(jīng)網(wǎng)絡(luò);攝像機(jī)標(biāo)定

1.引言

雙目測距技術(shù)在非接觸式測量，機(jī)器人視覺等領(lǐng)域都有廣泛引用。本文研究的是被動(dòng)式遠(yuǎn)距離目標(biāo)的距離測量系統(tǒng)中系統(tǒng)的標(biāo)定技術(shù)研究，雙目測距系統(tǒng)標(biāo)定方法研究對(duì)計(jì)算機(jī)視覺技術(shù)發(fā)展有重要意義。攝像機(jī)標(biāo)定的目的在于確定攝像機(jī)的位置，以確定物體在空間坐標(biāo)系與成像平面之間相應(yīng)的位置關(guān)系。

這些位置關(guān)系以及攝像機(jī)光學(xué)和幾何參數(shù)在一些場所并不需要一一解出，而只需要構(gòu)建二維成像平面上像點(diǎn)坐標(biāo)與三維空間坐標(biāo)投影點(diǎn)之間的一種映射關(guān)系。而神經(jīng)網(wǎng)絡(luò)有非常強(qiáng)的非線性映射能功能，因此我們可以通過采用神經(jīng)網(wǎng)絡(luò)對(duì)攝像機(jī)進(jìn)行標(biāo)定。

2.基于神經(jīng)網(wǎng)絡(luò)的攝像機(jī)的標(biāo)定方法

2.1 神經(jīng)網(wǎng)絡(luò)、雙目視覺神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定

人工神經(jīng)網(wǎng)絡(luò)也稱神經(jīng)網(wǎng)絡(luò)，是一門新興技術(shù)，用以處理一些難以用標(biāo)準(zhǔn)數(shù)學(xué)模型描述的系統(tǒng)，模擬人類大腦的一些機(jī)理，實(shí)現(xiàn)某些特定功能。它具有很強(qiáng)的自學(xué)習(xí)及自適應(yīng)能力，而其中可自由設(shè)定隱層節(jié)點(diǎn)的多層前饋神經(jīng)網(wǎng)絡(luò)，可以完成任意精度近似任意連續(xù)函數(shù)[1，2]。

由于網(wǎng)絡(luò)由相連的非線性單元組成，因此就具有了學(xué)習(xí)非線性過程的能力。與攝像機(jī)標(biāo)定工作機(jī)制相似，神經(jīng)網(wǎng)絡(luò)可以從一些已知數(shù)據(jù)通過計(jì)算得到未知參數(shù)。而神經(jīng)網(wǎng)絡(luò)標(biāo)定的畸變模型有任意性，可以避免傳統(tǒng)標(biāo)定方法非線性標(biāo)定可能無解、標(biāo)定精度低等多種問題。本文通過運(yùn)用神經(jīng)網(wǎng)絡(luò)學(xué)維平面圖像像點(diǎn)與三維空間物點(diǎn)坐標(biāo)之間的關(guān)系，提出了改進(jìn)神經(jīng)網(wǎng)絡(luò)雙目攝像機(jī)的標(biāo)定方法。

本文雙目視覺神經(jīng)網(wǎng)絡(luò)攝像機(jī)標(biāo)定具有的優(yōu)點(diǎn)是不用假設(shè)初始值，也不用建立精確的標(biāo)定模型，只要輸入三維空間中物體在兩個(gè)圖像上的像點(diǎn)坐標(biāo)，神經(jīng)網(wǎng)絡(luò)便可輸出物體在的三維空間的世界坐標(biāo)。進(jìn)行多次的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、訓(xùn)練，最后可得到相對(duì)理想的輸入、輸出非線性映射關(guān)系。

2.2 改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)（Radial Basis Function， RBF）神經(jīng)網(wǎng)絡(luò)是一種三層前向神經(jīng)網(wǎng)絡(luò)，它結(jié)構(gòu)簡單，訓(xùn)練簡潔，學(xué)習(xí)收斂速度快，能夠以任意精度逼近任意連續(xù)函數(shù)，廣泛應(yīng)用于眾多領(lǐng)域[3，4]。RBF網(wǎng)絡(luò)模擬了人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是一種局部逼近網(wǎng)絡(luò)。并且RBF神經(jīng)網(wǎng)絡(luò)在逼近能力、分類能力及學(xué)習(xí)速度等多方面都優(yōu)于BP神經(jīng)網(wǎng)絡(luò)，

遺傳算法是模擬生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬生物在自然進(jìn)化過程中形成的一種自適應(yīng)全局優(yōu)化搜索最優(yōu)解的方法[5]。

本文提出了一種基于改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)的攝像機(jī)標(biāo)定方法，引入了遺傳算法，優(yōu)化了徑向基函數(shù)網(wǎng)絡(luò)的學(xué)習(xí)算法。

2.2.1 RBF網(wǎng)絡(luò)的結(jié)構(gòu)

RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)，三層分別是輸入層，隱藏層和輸出層。輸入層由信號(hào)源節(jié)點(diǎn)組成;輸出層是對(duì)輸入作出響應(yīng);隱藏層中節(jié)點(diǎn)數(shù)由需要而定，其中的徑向基函數(shù)是局部響應(yīng)函數(shù)。

從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間是線性的。RBF網(wǎng)絡(luò)是局部逼近網(wǎng)絡(luò)，三層組成（m個(gè)輸入、h個(gè)隱節(jié)點(diǎn)、n個(gè)輸出），常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡(luò)的激活函數(shù)可表示為：

（1）

式中：是歐式范數(shù);X是輸入樣本，;是高斯函數(shù)的中心，也是網(wǎng)絡(luò)隱含層節(jié)點(diǎn)的中心;為高斯函數(shù)的方差;i是隱含層節(jié)點(diǎn)數(shù)。

RBF網(wǎng)絡(luò)的結(jié)構(gòu)輸出為：

（2）

式中：wij是隱含層到輸出層的連接權(quán)值;yj是第j個(gè)輸出節(jié)點(diǎn)的實(shí)際輸出。

假設(shè)d是樣本的期望輸出值，則基函數(shù)的方差為：

（3）

式中：P是樣本總數(shù)。

RBF網(wǎng)絡(luò)學(xué)習(xí)方法求解需要的參數(shù)：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。RBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和。本文采用的是自組織選取中心法。

2.2.2 優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)

本文加入遺傳算法用以優(yōu)化已有的神經(jīng)網(wǎng)絡(luò)，用全局搜索找到最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，確定較理想非線性映射關(guān)系，進(jìn)而達(dá)到雙目視覺的標(biāo)定。采用實(shí)數(shù)編碼、最佳保留（elitist model）選擇機(jī)制，交叉概率采用自適應(yīng)方式，再對(duì)數(shù)據(jù)做歸一化處理。

2.3 整體算法步驟

用遺傳算法對(duì)神經(jīng)網(wǎng)路的參數(shù)進(jìn)行優(yōu)化，得到權(quán)值與偏差值范圍。再用RBF網(wǎng)絡(luò)在局部搜索得出最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)標(biāo)定系統(tǒng)。

1）將多組對(duì)應(yīng)的雙目視覺系統(tǒng)圖像像點(diǎn)坐標(biāo)作為輸入的訓(xùn)練樣本，組成群體;

2）采用梯度下降法學(xué)習(xí)樣本網(wǎng)絡(luò)個(gè)體基函數(shù)的中心、方差;

3）采用最小二乘法學(xué)習(xí)隱含層到輸出層的線性權(quán)值;

4）采用遺傳算法優(yōu)化隱含層中節(jié)點(diǎn)數(shù);

5）通過循環(huán)交替學(xué)習(xí)、訓(xùn)練，得到相對(duì)理想的RBF網(wǎng)絡(luò)標(biāo)定系統(tǒng)。

3.實(shí)驗(yàn)說明

分別采用線性標(biāo)定、標(biāo)準(zhǔn)BP網(wǎng)絡(luò)、和改進(jìn)的RBF網(wǎng)絡(luò)做雙目視覺標(biāo)定，后兩種做非線性函數(shù)逼近，對(duì)測試結(jié)果進(jìn)行比較。得出結(jié)果：較其他兩種，改進(jìn)的RBF網(wǎng)絡(luò)測試誤差最小。

表1 測試結(jié)果比較

隱節(jié)點(diǎn)數(shù) 訓(xùn)練誤差 測試誤差

線性標(biāo)定 * * 0.2945

標(biāo)準(zhǔn)BP 26 0.0935 0.0356

改進(jìn)RBF 13 0.0576 0.0123

4.結(jié)論

在不考慮鏡像畸變及環(huán)境等因素的形象下，將基于改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于雙目視覺攝像機(jī)標(biāo)定方法中，提高了測量精度，減少了因傳統(tǒng)標(biāo)定方法建立的模型不完善而帶來的誤差，為雙目視覺測量應(yīng)用于精密測量提供了一種新的有效方法。標(biāo)定后的測量系統(tǒng)在雙目視覺空間具有很高的測量精度。

參考文獻(xiàn)

[1]閻平凡，張長水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算[M].清華大學(xué)出版社，2000：410-420.

[2]錢光耀，楊入超，趙光興.基于人工神經(jīng)網(wǎng)絡(luò)的壓力傳感器三維數(shù)據(jù)融合[J].傳感器與微系統(tǒng)，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]楊耀華，李昕，江芳澤.基于OLS算法的RBF神經(jīng)網(wǎng)絡(luò)高速公路事件探測[J].系統(tǒng)仿真學(xué)報(bào)，2003，15（5）：709-712.

第3篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

關(guān)鍵詞：超聲波測距，RBF網(wǎng)絡(luò)，非線行誤差校正

1、引言

超聲波測距具有信息處理簡單、快速和價(jià)格低，易于實(shí)時(shí)控制等許多優(yōu)勢，它被廣泛的應(yīng)用在各種距離測試的設(shè)備中。但超聲波傳感器在實(shí)際應(yīng)用中也有一定的局限性。在超聲波測距中，由于超聲波傳感器本身的結(jié)構(gòu)和受外界溫度等因素的干擾，其輸入輸出特性呈明顯的非線性，靠硬件或軟件補(bǔ)償修正的方法對(duì)提高其測距精度的效果不大。所以，本文提出了基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)超聲波傳感器的建模，對(duì)超聲波測距進(jìn)行溫度補(bǔ)償和非線性誤差校正的方法。

2、用 RBF神經(jīng)網(wǎng)絡(luò)改善超聲波測距的精度

2.1神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)非線性誤差校正的原理

設(shè)超聲波傳感器要測量的實(shí)際距離為 d，實(shí)際距離d決定t2-t1，環(huán)境溫度為T，超聲波傳感器測量輸出的結(jié)果為h，經(jīng)RBF網(wǎng)絡(luò)校正后的距離為Dr，則超聲波傳感器測距系統(tǒng)可以表示為 h=f(d，T)，由于傳感器產(chǎn)生的非線性誤差和溫度的影響，使得 f(d，T)呈現(xiàn)非線性特性。校正的目的是根據(jù)測的 h求未知的 d，即 d＝g(h，T)，也就是需要建立超聲波傳感器的模型其原理可以表示為圖 1所示。

超聲波傳感器輸出 Dr通過一個(gè)補(bǔ)償模型，該模型的特性函數(shù)為Dr=g(h，T) ，其中Dr為非線性補(bǔ)償后的輸出， g(h，T)顯然是一個(gè)非線性函數(shù)。通常非線性函數(shù)的表達(dá)式很難準(zhǔn)確求解，但可以利用神經(jīng)網(wǎng)絡(luò)能很好地逼近非線性函數(shù)的特點(diǎn)，通過建立神經(jīng)網(wǎng)絡(luò)模型來逼近該非線性函數(shù)。本文選取RBF神經(jīng)網(wǎng)絡(luò)模型。

2.2 RBF 神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)是一種局部逼近網(wǎng)絡(luò)。它對(duì)于每個(gè)輸入輸出數(shù)據(jù)對(duì) , 只有少量的權(quán)值需要進(jìn)行調(diào)整。它采用一組正交歸一化的基函數(shù) ―― 徑向基函數(shù)的線性組合來逼近任意函數(shù)。

常用徑向基函數(shù)有高斯函數(shù)、多二次函數(shù)、薄板樣條函數(shù)等。由于輸入矢量直接映射到隱層空間 , RBF的中心確定后 , 這種非線性映射關(guān)系也就確定 ,因此 RBF的學(xué)習(xí)算法首先要確定徑向基函數(shù)的中心 ,本文徑向基函數(shù)的中心采用高斯函數(shù)（Radbas(n)=e-n2）,其隱含層的輸入輸出模型如圖2。

對(duì)于本文的超聲波傳感器逆模型的RBF網(wǎng)絡(luò)模型，輸入為h和T，訓(xùn)練后的實(shí)際輸出為Dr，期望輸出為d。超聲波傳感器非線性校正逆模型采用RBF網(wǎng)絡(luò)，輸入層2個(gè)節(jié)點(diǎn)，輸出層1個(gè)節(jié)點(diǎn)，擴(kuò)展系數(shù)為0.5（實(shí)驗(yàn)結(jié)果表明擴(kuò)展常數(shù)為 0.5 時(shí)對(duì)應(yīng)隱含層神經(jīng)元個(gè)數(shù)適中，故擴(kuò)展常數(shù)選為 0.5），通過測量獲取了50組數(shù)據(jù)集作訓(xùn)練樣本，將輸入量作歸一化處理后，按照上述的RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和仿真是在Matlab 6.5環(huán)境下，通過神經(jīng)網(wǎng)絡(luò)工具箱，編制相應(yīng)的程序而實(shí)現(xiàn)。

在matlab上應(yīng)用 RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真溫度補(bǔ)償和非線性誤差校正后，系統(tǒng)的測距精度大大提高，表 1所示為未經(jīng)神經(jīng)網(wǎng)絡(luò)處理和神經(jīng)網(wǎng)絡(luò)處理后的測距比較。

比較結(jié)果表明，神經(jīng)網(wǎng)絡(luò)處理后的結(jié)果與實(shí)際距離很接近，精度大大提高了。

3、結(jié)束語

實(shí)際應(yīng)用中，超聲波測距易受溫度等多種因素的影響，利用RBF神經(jīng)網(wǎng)絡(luò)良好的非線性逼近特性、自適應(yīng)能力學(xué)習(xí)能力，可優(yōu)化超聲波的輸出特性，而且網(wǎng)絡(luò)結(jié)構(gòu)簡單，便于單片機(jī)實(shí)現(xiàn)或固化在硬件中。仿真結(jié)果表明，利用RBF 神經(jīng)網(wǎng)絡(luò)能很好地逼近非線性函數(shù)，實(shí)現(xiàn)了超聲波傳感器建模，對(duì)傳感器進(jìn)行非線性誤差校正，效果相當(dāng)明顯，大大提高了超聲波測距的精度，使其測距誤差控制在毫米級(jí)以內(nèi)，這是采用其它校正方法是無法達(dá)到的。

參考文獻(xiàn)：

[1]譚超，許澤宏，李維一，付小紅，王?。谛〔ㄉ窠?jīng)網(wǎng)絡(luò)建立虛擬儀器非線性較正型[J]．微計(jì)算機(jī)信息，2005．12（1）P157-159．

[2]田社平．基于神經(jīng)網(wǎng)絡(luò)模型的傳感器非線性校正．（英文） 光學(xué)精密工程．2006

[3]Binchini M，F(xiàn)rasconi P，Gori M. Learning without local minima in radial basis function networks.IEEE Trans. on Neural Networks, 1995，6(3)：749～755）

[4] Xianzhong Dai， Ming Yin， Qin Wang． Artificial neural networks inversion based dynamic compensator of sensor.IEEE，2004，10：258－261

第4篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

[關(guān)鍵詞] 機(jī)器學(xué)習(xí) 遺傳算法 人工神經(jīng)網(wǎng)絡(luò) 支持向量機(jī)

當(dāng)前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)。機(jī)器學(xué)習(xí)與計(jì)算機(jī)科學(xué)、心理學(xué)、認(rèn)知科學(xué)等都有著密切的聯(lián)系，涉獵的面比較廣，有許多理論及技術(shù)上的問題尚處于研究之中。

一、什么是機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)就是要使計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動(dòng)地通過學(xué)習(xí)獲取知識(shí)和技能，重新組織已有的知識(shí)結(jié)構(gòu)，不斷改善自身的性能，實(shí)現(xiàn)自我完善。即機(jī)器學(xué)習(xí)研究的就是如何使機(jī)器通過識(shí)別和利用現(xiàn)有知識(shí)來獲取新知識(shí)和新技能。它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。該門科學(xué)起源于心理學(xué)、生理學(xué)、生物學(xué)、醫(yī)學(xué)等科學(xué)，研究發(fā)展過程中涉及到數(shù)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域。機(jī)器學(xué)習(xí)主要圍繞學(xué)習(xí)機(jī)理、學(xué)習(xí)方法、面向任務(wù)這三個(gè)方面進(jìn)行研究，其應(yīng)用幾乎遍及自然科學(xué)的各個(gè)領(lǐng)域。其中最多的是模式識(shí)別、通訊、控制、信號(hào)處理等方面。

二、機(jī)器學(xué)習(xí)系統(tǒng)

學(xué)習(xí)是建立理論、形成假設(shè)和進(jìn)行歸納推理的過程。為使計(jì)算機(jī)系統(tǒng)具有某種程度的學(xué)習(xí)能力，使它能夠通過學(xué)習(xí)獲取新知識(shí)，以改善性能，提高智能水平，需要建立相應(yīng)的學(xué)習(xí)系統(tǒng)。學(xué)習(xí)系統(tǒng)一般由環(huán)境、學(xué)習(xí)環(huán)節(jié)、知識(shí)庫、執(zhí)行與評(píng)價(jià)組成，整個(gè)過程包括信息的存儲(chǔ)、知識(shí)的處理兩大部分。機(jī)器學(xué)習(xí)系統(tǒng)模型如圖1所示。

圖1 機(jī)器學(xué)習(xí)模型

框架圖中的箭頭表示知識(shí)的流向；環(huán)境是指外部信息源；學(xué)習(xí)環(huán)節(jié)是指系統(tǒng)通過對(duì)環(huán)境的搜索獲取外部信息，然后經(jīng)過分析、綜合、類比、歸納等思維過程獲得知識(shí)并將獲得知識(shí)存入知識(shí)庫；知識(shí)庫用于存儲(chǔ)由學(xué)習(xí)得到的知識(shí)，在存儲(chǔ)時(shí)要進(jìn)行適當(dāng)?shù)慕M織，使它既便于應(yīng)用又便于維護(hù)；執(zhí)行部分用于處理系統(tǒng)面臨的現(xiàn)實(shí)問題，即應(yīng)用學(xué)習(xí)到的知識(shí)求解問題。另外從執(zhí)行到學(xué)習(xí)必須有反饋信息，學(xué)習(xí)將根據(jù)反饋信息決定是否要進(jìn)一步從環(huán)境中搜索信息進(jìn)行學(xué)習(xí)，以修改、完善知識(shí)庫中的知識(shí)。這是機(jī)器學(xué)習(xí)系統(tǒng)的一個(gè)重要特征。機(jī)器學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。

三、機(jī)器學(xué)習(xí)的主要策略

學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)，學(xué)習(xí)過程與推理過程緊密相連。按照學(xué)習(xí)中使用的推理的多少，機(jī)器學(xué)習(xí)所采用的策略主要可分為機(jī)械學(xué)習(xí)、通過傳授學(xué)習(xí)、類比學(xué)習(xí)和通過實(shí)例學(xué)習(xí)等。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。本文主要介紹以下三種機(jī)器學(xué)習(xí)方法，即遺傳算法、人工神經(jīng)網(wǎng)絡(luò)模型及支持向量機(jī)。

1、遺傳算法

遺傳算法是一類借鑒生物界的進(jìn)化規(guī)律（適者生存，優(yōu)勝劣汰遺傳機(jī)制）演化而來的隨機(jī)化搜索方法。其主要特點(diǎn)是直接對(duì)結(jié)構(gòu)對(duì)象進(jìn)行操作，不存在求導(dǎo)和函數(shù)連續(xù)性的限定；具有隱并行性和更好的全局尋優(yōu)能力；采用概率化的尋優(yōu)方法，能自動(dòng)獲取和指導(dǎo)優(yōu)化的搜索空間，自適應(yīng)的調(diào)整搜索方向，不需要確定的規(guī)則。

由于遺傳算法的整體搜索策略和優(yōu)化搜索方法，在計(jì)算時(shí)是不依賴于梯度信息和其他輔助信息，而只需要影響搜索方向的目標(biāo)函數(shù)和相應(yīng)的適應(yīng)度函數(shù)，所以遺傳算法提供了一種求解復(fù)雜問題的通用框架，它不依賴于問題的具體領(lǐng)域，對(duì)問題的種類有很強(qiáng)的魯棒性，所以廣泛應(yīng)用于自動(dòng)控制、計(jì)算科學(xué)、工程設(shè)計(jì)、智能故障診斷、管理科學(xué)和社會(huì)科學(xué)等領(lǐng)域，適用于解決復(fù)雜的非線性和多維空間尋優(yōu)問題。

2、人工神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)基本模型是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上提出和發(fā)展起來的，旨在反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型（見圖3）。

圖3 神經(jīng)網(wǎng)絡(luò)基本模型

一個(gè)人工神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元節(jié)點(diǎn)經(jīng)廣泛互連而組成的復(fù)雜網(wǎng)絡(luò)拓?fù)?，用于人類進(jìn)行知識(shí)和信息表示、存儲(chǔ)和計(jì)算行為。神經(jīng)元模型如圖4所示。

每一個(gè)細(xì)胞處于兩種狀態(tài)。突觸聯(lián)接有強(qiáng)度。多輸入單輸出。實(shí)質(zhì)上傳播的是脈沖信號(hào)，信號(hào)的強(qiáng)弱與脈沖頻率成正比。

在神經(jīng)網(wǎng)絡(luò)中，大量神經(jīng)元的互連結(jié)構(gòu)及各連接權(quán)值的分布就表示了學(xué)習(xí)所得到的特定要領(lǐng)和知識(shí)。在網(wǎng)絡(luò)的使用過程中，對(duì)于特定的輸入模式，神經(jīng)網(wǎng)絡(luò)通過向前計(jì)算，產(chǎn)生一個(gè)輸出模式，并得到節(jié)點(diǎn)代表的邏輯概念， 通過對(duì)輸出信號(hào)的比較與分析可以得到特定解。神經(jīng)元之間具有一定的冗余性，并且允許輸入模式偏離學(xué)習(xí)樣本，因此神經(jīng)網(wǎng)絡(luò)的計(jì)算行為具有良好的并行分布、容錯(cuò)和抗噪能力。

神經(jīng)網(wǎng)絡(luò)模型包括前饋型網(wǎng)絡(luò)、反饋型網(wǎng)絡(luò)、自組織競爭人工神經(jīng)網(wǎng)絡(luò)等。

圖4神經(jīng)元模型

（1）前饋型網(wǎng)絡(luò)(BP)

前饋型網(wǎng)絡(luò)，最初稱之為感知器（包括單層感知器和多層感知器），是應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型。前饋網(wǎng)絡(luò)結(jié)構(gòu)是分層的，信息只能從下一層單元傳遞到相應(yīng)的上一層單元，上層單元與下層所有單元相聯(lián)接。轉(zhuǎn)移函數(shù)可以是線性閾值的。多層感知器也被稱為BP網(wǎng)絡(luò)。多層感知器的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。

（2）反饋型網(wǎng)絡(luò)(Hopfield)

反饋型網(wǎng)絡(luò),它是一種動(dòng)態(tài)反饋系統(tǒng)，所有計(jì)算單元之間都有聯(lián)接。比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。

（3）自組織競爭人工神經(jīng)網(wǎng)絡(luò)

在實(shí)際的神經(jīng)網(wǎng)絡(luò)中，存在一種側(cè)抑制的現(xiàn)象。即一個(gè)細(xì)胞興奮后，通過它的分支會(huì)對(duì)周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。這種側(cè)抑制在脊髓和海馬中存在，在人眼的視網(wǎng)膜中也存在。

自組織映射模型是由Kohonen提出來的。模型是以實(shí)際神經(jīng)細(xì)胞中的一種特征敏感的細(xì)胞為模型的。各個(gè)細(xì)胞分別對(duì)各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細(xì)胞，則，功能相近的細(xì)胞聚在一起，靠得比較近。功能不同的離得比較遠(yuǎn)。開始是無序的，當(dāng)輸入樣本出現(xiàn)后各個(gè)細(xì)胞反映不同，強(qiáng)者依照“勝者為王”的原則，加強(qiáng)自己的同時(shí)對(duì)周圍細(xì)胞進(jìn)行壓抑。使其對(duì)該種樣本更加敏感，也同時(shí)對(duì)其他種類的樣本更加不敏感。此過程的反復(fù)過程中，各種不同輸入樣本將會(huì)分別映射到不同的細(xì)胞上。

人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。 但不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多。

3、支持向量機(jī)（SVM）

支持向量機(jī)是一種基于統(tǒng)計(jì)的學(xué)習(xí)方法，它是對(duì)結(jié)構(gòu)風(fēng)險(xiǎn)最小化歸納原則的近似。它的理論基礎(chǔ)是Vapnik創(chuàng)建的統(tǒng)計(jì)學(xué)習(xí)理論。

SVM就是首先通過用內(nèi)積函數(shù)K(xi，xj)定義的非線性變換將輸入空間變換到一個(gè)高維空間，在這個(gè)空間中求（廣義）最優(yōu)分類面。SVM分類函數(shù)形式上類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點(diǎn)的線性組合，每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)一個(gè)支持向量。

由于統(tǒng)計(jì)學(xué)習(xí)理論和支持向量建立了一套較好的有限樣本下機(jī)器學(xué)習(xí)的理論框架和通用方法，既有嚴(yán)格的理論基礎(chǔ)，又能較好地解決小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題，因此成為20世紀(jì)90年代末發(fā)展最快的研究方向之一，其核心思想就是學(xué)習(xí)機(jī)器要與有限的訓(xùn)練本相適應(yīng)。

學(xué)習(xí)是人類智能的主要標(biāo)志和獲得智慧的基本手段，機(jī)器學(xué)習(xí)的研究就是希望計(jì)算機(jī)能像人類那樣具有從現(xiàn)實(shí)世界獲取知識(shí)的能力，同時(shí)進(jìn)一步發(fā)現(xiàn)人類學(xué)習(xí)的機(jī)理和揭示人腦的奧秘。機(jī)器學(xué)習(xí)涉及到連接理論、認(rèn)知理論、行為科學(xué)、神經(jīng)科學(xué)等多門科學(xué)。因此，對(duì)于機(jī)器學(xué)習(xí)的研究，只有采用計(jì)算機(jī)科學(xué)、控制論、人工智能、認(rèn)知科學(xué)、神經(jīng)科學(xué)、心理學(xué)等多學(xué)科交叉的方法，才可望取得機(jī)器學(xué)習(xí)研究的更大進(jìn)展。

機(jī)器學(xué)習(xí)是一個(gè)十分活躍、充滿生命力的研究領(lǐng)域，同時(shí)也是一個(gè)比較困難、爭議頗多的研究領(lǐng)域，雖然取得了一些令人矚目的成就，但還存在許多尚未解決的問題。目前人工智能研究的主要障礙和發(fā)展方向之一就是機(jī)器學(xué)習(xí)，因此，機(jī)器學(xué)習(xí)有著廣闊的研究前景。

參考文獻(xiàn):

[1] 張景繪，動(dòng)力學(xué)系統(tǒng)建模［M］.北京：國防工業(yè)出版社，2000.

[2] 楊義勇等，機(jī)械系統(tǒng)動(dòng)力學(xué)［M］.北京：清華大學(xué)出版社，2009.

第5篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

關(guān)鍵詞：自主學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；姿B識(shí)別；機(jī)器人

中圖分類號(hào)：TB

文獻(xiàn)標(biāo)識(shí)碼：A

doi：10.19311/ki.16723198.2017.01.092

1引言

1.1機(jī)器人在現(xiàn)代社會(huì)中的重要性

隨著城鄉(xiāng)居民消費(fèi)結(jié)構(gòu)的持續(xù)升級(jí)，以及智慧中國戰(zhàn)略的不斷推進(jìn)，智能機(jī)器人在家庭、農(nóng)業(yè)、工業(yè)等生活的方方面面都有著極其廣泛的應(yīng)用。隨著社會(huì)的不斷發(fā)展，社會(huì)分工越來越細(xì)，與此同時(shí)工作也變得越來越單調(diào)。另外，社會(huì)上有些工作風(fēng)險(xiǎn)較高，若讓人去做，不僅效率不高，而且更會(huì)產(chǎn)生生命危險(xiǎn)。在這樣高風(fēng)險(xiǎn)的作業(yè)領(lǐng)域，對(duì)機(jī)器人的需求越來越高。在這一背景下，各種各樣的機(jī)器人被研制了出來，用它們代替人來完成枯燥、單調(diào)、高風(fēng)險(xiǎn)的工作。這極大的提高了勞動(dòng)生產(chǎn)率和生產(chǎn)質(zhì)量，創(chuàng)造出了更多的社會(huì)財(cái)富。

同時(shí)，社會(huì)服務(wù)也對(duì)機(jī)器人產(chǎn)生了大量的需求。從公共服務(wù)方面來說，目前我國老齡人口已超過總?cè)丝诘?0%，人口老齡化問題已成為中國需要面臨的重大課題。此外，我國殘疾人口占總?cè)丝诘谋戎匾参痪邮澜巛^高國家之列。機(jī)器人的運(yùn)用，可以為他們提供大量的護(hù)理服務(wù)，提高他們的生活質(zhì)量。在醫(yī)療服務(wù)方面機(jī)器人也有很大的優(yōu)勢，手術(shù)機(jī)器人憑借其操作的精度及可長期工作等特性廣泛應(yīng)用于手術(shù)操作中?？偠灾?，機(jī)器人已成為我們的社會(huì)不可取代的一部分。

1.2當(dāng)前機(jī)器人領(lǐng)域的現(xiàn)狀及弊端

目前機(jī)器人正處于快速發(fā)展的階段，但目前市場上的機(jī)器人仍存在著許多弊端。傳統(tǒng)機(jī)器人需要設(shè)計(jì)者針對(duì)具體的任務(wù)進(jìn)行手工編程，為了使機(jī)器人在環(huán)境改變時(shí)也能完成任務(wù)，設(shè)計(jì)者就需要盡量將各種情況考慮在內(nèi)。但是這樣的機(jī)器人存在一些問題：一方面程序員無法窮盡所有的可能情況，另一方面環(huán)境的復(fù)雜性也無形中加大了機(jī)器人可能出故障的概率，這使得機(jī)器人缺乏良好的環(huán)境自適應(yīng)能力，給機(jī)器人的廣泛應(yīng)用帶來了很大的限制。

基于無法動(dòng)態(tài)適應(yīng)具體任務(wù)目標(biāo)這個(gè)問題，市場上出現(xiàn)了很多自主學(xué)習(xí)的機(jī)器人，比如有些作品使用了強(qiáng)化學(xué)習(xí)的算法，這種算法通過進(jìn)行試錯(cuò)來尋求最優(yōu)行動(dòng)策略，從而有效解決了基于行為控制的機(jī)器人缺乏對(duì)動(dòng)態(tài)環(huán)境適應(yīng)能力這一問題。但同時(shí)這些該作品也存在出現(xiàn)了一些弊端。這一技術(shù)需要執(zhí)行一些分層檢索及優(yōu)化的工作，因?yàn)闄C(jī)器人需要進(jìn)行大量重復(fù)性實(shí)驗(yàn)來獲得最優(yōu)解，而任務(wù)變得復(fù)雜時(shí)該技術(shù)的性能就會(huì)變得很差，提高了學(xué)習(xí)的難度。

基于目前機(jī)器人存在的限制與不足，本文提出了基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，使機(jī)器人環(huán)境適應(yīng)能力提高。

2多任務(wù)學(xué)習(xí)機(jī)器人介紹

2.1機(jī)械結(jié)構(gòu)

本文所設(shè)計(jì)的多任務(wù)學(xué)習(xí)機(jī)器人的機(jī)械結(jié)構(gòu)主要由攝像頭和仿生機(jī)械臂組成。為了使機(jī)器人能執(zhí)行與人類一樣非常細(xì)膩的動(dòng)作，并能在某些應(yīng)用中代替人，本文設(shè)計(jì)的機(jī)械臂擁有與人相似的機(jī)械結(jié)構(gòu)。

如圖1所示，該機(jī)械臂具有著與人體骨骼結(jié)構(gòu)相似的關(guān)節(jié)，通過這些關(guān)節(jié)，機(jī)械臂可以完成人手臂的旋轉(zhuǎn)、升降等動(dòng)作。為了方便控制機(jī)械臂的運(yùn)動(dòng)狀態(tài)，每一個(gè)關(guān)節(jié)都有相應(yīng)的姿態(tài)參數(shù)。而根據(jù)不同關(guān)節(jié)的靈活程度不同，對(duì)應(yīng)的參數(shù)數(shù)量也會(huì)存在差異。當(dāng)機(jī)械手模仿人體動(dòng)作時(shí)，可以通過設(shè)定對(duì)應(yīng)機(jī)械手關(guān)節(jié)的姿態(tài)參數(shù)來完成，這樣，人體的姿態(tài)與機(jī)械手關(guān)節(jié)的姿態(tài)參數(shù)之間就存在著一一對(duì)應(yīng)的關(guān)系。我們所搭建的神經(jīng)網(wǎng)絡(luò)的目的，就是為了找到這樣的對(duì)應(yīng)關(guān)系，為機(jī)器人學(xué)習(xí)人的動(dòng)作奠定基礎(chǔ)。本文設(shè)計(jì)中的攝像頭主要用于捕捉人體手臂姿態(tài)，并對(duì)采集到的視頻流中的手臂姿態(tài)進(jìn)行學(xué)習(xí)。通過將攝像頭固定到一定位置，作為機(jī)器人的“眼睛”，機(jī)器人便可將人的動(dòng)作記錄下來，轉(zhuǎn)化為視頻信息。高速攝像頭將人的連貫動(dòng)作存儲(chǔ)成一幀幀的圖片，作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的原始輸入信息。

2.2神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)，是人們利用仿生學(xué)觀點(diǎn)，模擬人腦的結(jié)構(gòu)及智能行為所構(gòu)建的網(wǎng)絡(luò)，它能模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界做出交互反應(yīng)。神經(jīng)元的基本模型也叫“M-P神經(jīng)元模型”。該模型中，神經(jīng)元接收來自n個(gè)神經(jīng)元的信號(hào)（x1，x2，…），通過帶權(quán)重（w1，w2，…）的連接傳遞，將獲得的總輸入值與閾值q比較，通過激活函數(shù)f（x）最終得到該單元的輸入y。

y=f（∑ni=1wixi-θ）

神經(jīng)網(wǎng)絡(luò)就是一個(gè)個(gè)這樣的網(wǎng)絡(luò)單元按一定的結(jié)構(gòu)次序排列而成的。兩層神經(jīng)元形成的網(wǎng)絡(luò)可以容易地實(shí)現(xiàn)與、或、非這樣的基本邏輯運(yùn)算，多層神經(jīng)網(wǎng)絡(luò)可以處理更加復(fù)雜的運(yùn)算。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程，就是根據(jù)獲得的訓(xùn)練數(shù)據(jù)對(duì)自身的權(quán)重和閾值進(jìn)行一定的調(diào)整，使神經(jīng)網(wǎng)絡(luò)輸出的值與我們所給的輸出值相差達(dá)到最小的過程。

為了達(dá)到這樣的學(xué)習(xí)過程，就需要合適的算法。誤差逆?zhèn)鞑ニ惴ǎê喎Q“BP算法”）是目前最成功的算法之一。在訓(xùn)練開始時(shí)，隨機(jī)產(chǎn)生權(quán)重值wi，輸入訓(xùn)練集（xi，yi）和學(xué)習(xí)率η，神經(jīng)網(wǎng)絡(luò)根據(jù)對(duì)應(yīng)權(quán)重和輸入值計(jì)算出輸出y，。BP算法以y與y之間差值的差值作為反饋，調(diào)整各個(gè)神經(jīng)元的閾值和權(quán)重，進(jìn)而更新神經(jīng)網(wǎng)絡(luò)，使網(wǎng)絡(luò)的誤差減小。其中，學(xué)習(xí)率η起著“控制神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度”的作用，若學(xué)習(xí)率過小，神經(jīng)網(wǎng)絡(luò)變化相對(duì)遲緩，影響學(xué)習(xí)效率；而若學(xué)習(xí)率過大，則容易陷入局部最優(yōu)解，影響最終結(jié)果。因此，給予足夠的訓(xùn)練數(shù)據(jù)和適宜的學(xué)習(xí)率，神經(jīng)網(wǎng)絡(luò)就會(huì)快速調(diào)整到穩(wěn)定而準(zhǔn)確的狀態(tài)。

利用神經(jīng)網(wǎng)絡(luò)，我們可以對(duì)攝像機(jī)獲得的人體手臂各個(gè)關(guān)節(jié)的姿勢進(jìn)行學(xué)習(xí)，所獲得的神經(jīng)網(wǎng)絡(luò)便表征了人體姿態(tài)與機(jī)械臂關(guān)節(jié)參數(shù)的映射關(guān)系。

2.3學(xué)習(xí)機(jī)器人原理

本文所用神經(jīng)網(wǎng)絡(luò)的作用是將輸入的動(dòng)作信息轉(zhuǎn)化為機(jī)器人的姿態(tài)參數(shù)，以神經(jīng)網(wǎng)絡(luò)作為核心算法，機(jī)器人就可以在一定的學(xué)習(xí)訓(xùn)練后，具備識(shí)別人體關(guān)節(jié)姿態(tài)的能力，從而使機(jī)器人做出與人體輸入動(dòng)作一致的動(dòng)作，具體的學(xué)習(xí)過程如下：

為了獲得比較完備的訓(xùn)練數(shù)據(jù)，選擇盡可能多的人采集手臂各關(guān)節(jié)姿態(tài)數(shù)據(jù)，提高神經(jīng)網(wǎng)絡(luò)的魯棒性；使人于攝像頭采集姿態(tài)的最佳角度，做各種各樣的動(dòng)作，以覆蓋盡可能多的關(guān)節(jié)姿態(tài)參數(shù)范圍；針對(duì)高速攝像頭采集獲得的圖像數(shù)據(jù)的某一幀，手工采用測量工具標(biāo)定該圖像中人體每個(gè)關(guān)節(jié)的角度數(shù)據(jù)，以這些圖像數(shù)據(jù)和標(biāo)定獲得的角度數(shù)據(jù)作為訓(xùn)練原始數(shù)據(jù)。

以采集的數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，選擇一定的學(xué)習(xí)速率，采用誤差逆?zhèn)鞑ィ˙P）算法，完成訓(xùn)練后，得到一個(gè)能夠根據(jù)圖像數(shù)據(jù)輸出關(guān)節(jié)姿態(tài)參數(shù)的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練完畢之后，為了檢測其準(zhǔn)確性，需要對(duì)其進(jìn)行測試。測試過程與實(shí)際使用過程類似。測試方法如下：使用攝像頭采集人體手臂的幾組圖像數(shù)據(jù)，將這幾組圖像數(shù)據(jù)分別作為神經(jīng)網(wǎng)絡(luò)的輸入，觀察神經(jīng)網(wǎng)絡(luò)能否正確輸出與人體手臂關(guān)節(jié)相對(duì)應(yīng)的角度數(shù)據(jù)。如果機(jī)器人的動(dòng)作有較大的偏差，則證明訓(xùn)練失敗，需要重新檢查訓(xùn)練數(shù)據(jù)，對(duì)攝像頭捕捉關(guān)節(jié)的位置進(jìn)行調(diào)整，或提高攝像頭的性能，以便使攝像頭獲得更精確的信息。另外，根據(jù)神經(jīng)網(wǎng)絡(luò)測試的結(jié)果，適當(dāng)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)過程中的參數(shù)如學(xué)習(xí)速率，樣本容量等。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練與測試完畢后，我們就獲得了一個(gè)輸入為一系列包含手臂各個(gè)關(guān)節(jié)的圖像數(shù)據(jù)、能夠識(shí)別人體關(guān)節(jié)各個(gè)姿態(tài)，并輸出各個(gè)關(guān)節(jié)姿態(tài)角度的神經(jīng)網(wǎng)絡(luò)。利用這個(gè)訓(xùn)練并測試完成的神經(jīng)W絡(luò)，多任務(wù)學(xué)習(xí)機(jī)器人即可以根據(jù)人演示的動(dòng)作，準(zhǔn)確地模仿人的姿態(tài)，完成特定的任務(wù)，具體過程如下：

（1）針對(duì)某一環(huán)境下的任務(wù)要求，人體做任務(wù)動(dòng)作，攝像頭捕捉這個(gè)過程中的圖像信息。

（2）每一時(shí)刻的圖像信息輸入神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)輸出各個(gè)關(guān)節(jié)的角度值。

（3）各個(gè)關(guān)節(jié)角度值輸入到機(jī)械臂相關(guān)關(guān)節(jié)控制單元，實(shí)現(xiàn)對(duì)機(jī)器人姿態(tài)的控制。

（4）每個(gè)時(shí)刻分別重復(fù)這個(gè)過程，就實(shí)現(xiàn)了機(jī)器人控制參數(shù)流的輸出，機(jī)器人即可完成一系列動(dòng)作。

由于神經(jīng)網(wǎng)絡(luò)的可復(fù)用性，機(jī)器人可以隨時(shí)模仿各種各樣的動(dòng)作，實(shí)現(xiàn)了多任務(wù)學(xué)習(xí)的設(shè)計(jì)要求。實(shí)際的應(yīng)用過程中，可以通過設(shè)計(jì)多個(gè)存儲(chǔ)單元，分別存儲(chǔ)多個(gè)動(dòng)作的控制參數(shù)流序列，實(shí)現(xiàn)常用動(dòng)作的記憶與切換功能。

3總結(jié)

本文所設(shè)計(jì)的機(jī)器人主要由攝像頭及仿生機(jī)械臂組成，機(jī)器人以攝像頭接收使用者的動(dòng)作，首先通過訓(xùn)練過程，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。神經(jīng)網(wǎng)絡(luò)訓(xùn)練完畢后，在使用過程中，人體演示機(jī)器人做相應(yīng)動(dòng)作，機(jī)器人就可根據(jù)神經(jīng)網(wǎng)絡(luò)識(shí)別的結(jié)果反饋來操控機(jī)器人，完成指定動(dòng)作。應(yīng)用這一方法，可以有效提高機(jī)器人的環(huán)境應(yīng)變能力，通過對(duì)某一新動(dòng)作的學(xué)習(xí)，可以高效提取新動(dòng)作的參數(shù)信息，根據(jù)這些信息輸出對(duì)機(jī)器人的控制量，從而達(dá)到理想的效果。本作品解決了傳統(tǒng)機(jī)器人功能單一的缺點(diǎn)，可以使得機(jī)器人能執(zhí)行多種動(dòng)作，使機(jī)器人“身兼數(shù)職”，也提高了機(jī)器人的靈活性與便捷性。

參考文獻(xiàn)

[1]李揚(yáng).智能服務(wù)機(jī)器人引領(lǐng)智慧變革[J].高科技與產(chǎn)業(yè)化，2016，（5）：6971.

第6篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

doi:10.11772/j.issn.10019081.2013.07.1942

摘 要:

針對(duì)極限學(xué)習(xí)機(jī)(ELM)算法隨機(jī)選擇輸入層權(quán)值的問題，借鑒第2類型可拓神經(jīng)網(wǎng)絡(luò)(ENN2)聚類的思想，提出了一種基于可拓聚類的ELM(ECELM)神經(jīng)網(wǎng)絡(luò)。該神經(jīng)網(wǎng)絡(luò)是以隱含層神經(jīng)元的徑向基中心向量作為輸入層權(quán)值，采用可拓聚類算法動(dòng)態(tài)調(diào)整隱含層節(jié)點(diǎn)數(shù)目和徑向基中心，并根據(jù)所確定的輸入層權(quán)值，利用MoorePenrose廣義逆快速完成輸出層權(quán)值的求解。同時(shí)，對(duì)標(biāo)準(zhǔn)的Friedman#1回歸數(shù)據(jù)集和Wine分類數(shù)據(jù)集進(jìn)行測試，結(jié)果表明，ECELM提供了一種簡便的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)學(xué)習(xí)方法，并且比基于可拓理論的徑向基函數(shù)(ERBF)、ELM神經(jīng)網(wǎng)絡(luò)具有更高的建模精度和更快的學(xué)習(xí)速度，為復(fù)雜過程的建模提供了新思路。

關(guān)鍵詞:可拓聚類；極限學(xué)習(xí)機(jī)；徑向基函數(shù)；回歸；分類

中圖分類號(hào): TP18文獻(xiàn)標(biāo)志碼:A

英文標(biāo)題

Extension clusteringbased extreme learning machine neural network 

英文作者名

LUO Genghe*

英文地址(

Department of Mechanical Engineering, Xian Aeronautical University, Xian Shaanxi 710077, China英文摘要)

Abstract:

During the construction process of Extreme Learning Machine (ELM), its input weights are randomly generated, and these parameters are nonoptimized and contain no prior knowledge of the inputs. To solve these problems, combining the clustering method of Extension Neural Network type 2 (ENN2), an extension clustering based extreme learning machine (ECELM) neural network was proposed. In ECELM neural network, the radial basis function centers of hidden neurons were firstly taken as the input weights, then extension clustering method was used to adaptively adjust the hidden neurons number and center vectors, and this welladjusted information was trained by MoorePenrose generalized inverse to obtain the output weights. Meanwhile, the effectiveness of this network was tested by the Friedman#1 dataset and the Wine dataset. The results indicate that ECELM provides a simple and convenient way to train the structure and parameters of neural network, and it is of higher modeling accuracy and faster learning speed than Extension theory based Radial Basis Function (ERBF) or ELM, which will provide a new way to apply the ECELM to complex process modeling.

第7篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

關(guān)鍵詞：SOM神經(jīng)網(wǎng)絡(luò);負(fù)荷特性曲線;聚類分析

中圖分類號(hào)：TM7 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-0079（2014）33-0204-03

在國家提出建設(shè)堅(jiān)強(qiáng)智能電網(wǎng)的背景下，提高電力營銷服務(wù)水平和智能用電技術(shù)已成為電網(wǎng)企業(yè)關(guān)注的焦點(diǎn)。電力營銷服務(wù)水平與智能用電技術(shù)的提升離不開在對(duì)電力用戶用電行為特征的準(zhǔn)確、全面、及時(shí)地掌握，而從海量負(fù)荷數(shù)據(jù)中提取用戶日負(fù)荷特征曲線并進(jìn)行深入分析成為研究用戶用電行為特征的一種有效方式。

從研究對(duì)象層面來看，以往相關(guān)研究側(cè)重專線用戶（負(fù)荷數(shù)據(jù)來源為SCADA系統(tǒng)）和專變用戶，并以傳統(tǒng)意義上的行業(yè)分類作為提取負(fù)荷特征曲線時(shí)聚類的依據(jù)。從研究方法層面來看，電力用戶日負(fù)荷特征曲線的提取多使用聚類算法，主要有統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、人工神經(jīng)網(wǎng)絡(luò)方法和面向數(shù)據(jù)庫的方法。人工神經(jīng)網(wǎng)絡(luò)因具有大規(guī)模的并行協(xié)同處理能力、較強(qiáng)的容錯(cuò)能力、聯(lián)想能力、學(xué)習(xí)能力和自適應(yīng)能力，故能夠較好地適應(yīng)海量數(shù)據(jù)背景下的數(shù)據(jù)挖掘。應(yīng)用較多的典型的神經(jīng)網(wǎng)絡(luò)模型包括BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)。[1-3]BP網(wǎng)絡(luò)屬于有監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，需要提供聚類對(duì)象類別數(shù)量的先驗(yàn)知識(shí)，而公變用戶缺乏傳統(tǒng)意義上類似專變用戶的行業(yè)分類，故不適合采用BP網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)都屬于無監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，在解決聚類問題上有其各自的優(yōu)缺點(diǎn)。

本文提出采用SOM神經(jīng)網(wǎng)絡(luò)[4-6]聚類算法提取公變用戶日負(fù)荷特征曲線，用MATLAB軟件進(jìn)行仿真，輸出可視化聚類結(jié)果，并對(duì)聚類結(jié)果進(jìn)行分析，驗(yàn)證了采用SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取出的公變用戶日負(fù)荷特征曲線能夠較好地顯示不同類型公變用戶用電行為特征上的差異，具備良好的聚類效果，同時(shí)為電網(wǎng)企業(yè)優(yōu)化電力營銷服務(wù)提供參考和指導(dǎo)。

一、SOM神經(jīng)網(wǎng)絡(luò)

SOM（Self-Organizing Map，自組織映射）神經(jīng)網(wǎng)絡(luò)是較為廣泛應(yīng)用于聚類的神經(jīng)網(wǎng)絡(luò)。它是由Cohonen提出的一種無監(jiān)督學(xué)習(xí)的競爭型神經(jīng)網(wǎng)絡(luò)模型，通過不斷縮小獲勝神經(jīng)元的鄰域來達(dá)到聚類的目的。主要功能是將輸入的高維空間數(shù)據(jù)映射到一個(gè)較低的維度，通常是一維或者二維輸出，同時(shí)保持?jǐn)?shù)據(jù)原有的拓?fù)溥壿嬯P(guān)系。

SOM神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層兩層組成，輸入層中的每一個(gè)神經(jīng)元通過權(quán)與輸出層中的每一個(gè)神經(jīng)元相連，如圖1所示。輸入層的神經(jīng)元以一維的形式排列，輸入神經(jīng)元的個(gè)數(shù)由輸入矢量中的分量個(gè)數(shù)決定，輸出層的神經(jīng)元一般以一維或者二維的形式排列，計(jì)輸入層的神經(jīng)元數(shù)量為m，輸出層神經(jīng)元數(shù)量為c。輸入的樣本總數(shù)為n，第i個(gè)輸入樣本用矢量表示為，每個(gè)輸出神經(jīng)元的輸出值記為，。與第j個(gè)輸出神經(jīng)元相連的權(quán)用矢量表示為：。

Kohonen算法是無教師示教的聚類方法，它能將任意維輸入模式在輸入層映射成一維或二維離散圖形，并保持其拓?fù)浣Y(jié)構(gòu)不變，即在無教師示教的情況下，通過對(duì)輸入模式的自組織學(xué)習(xí)，在輸出層將聚類結(jié)果表示出來。此外，網(wǎng)絡(luò)通過對(duì)輸入模式的反復(fù)學(xué)習(xí)，可以使連接權(quán)矢量空間分布密度與輸入模式的概率分布趨于一致，即連接權(quán)矢量空間分布能反映輸入模式的統(tǒng)計(jì)特性。該算法往往在完成極高維數(shù)、超大量數(shù)據(jù)和高度非線性問題的聚類，模式表征和數(shù)據(jù)壓縮，分類等任務(wù)時(shí)是一個(gè)很有效、很簡便，且快速、穩(wěn)健、泛化性好的算法。

Kohonen的學(xué)習(xí)算法如下：

（1）初始化：將整個(gè)輸入向量存儲(chǔ)在矩陣p中，對(duì)權(quán)值w進(jìn)行初始化，權(quán)值向量的每一維的取值范圍同輸入向量每一維的取值范圍。

（2）選擇一個(gè)輸入向量，提供給網(wǎng)絡(luò)輸入層。

（3）按照下式計(jì)算輸出層每一個(gè)神經(jīng)元 j 的權(quán)值與輸入向量之差：，其中，。

（4）按照“勝者為王”的原則，對(duì)每一個(gè)神經(jīng)元j，以minDist中的最小值所對(duì)應(yīng)的神經(jīng)元 k作為勝者，對(duì)它和它的鄰域內(nèi)的神經(jīng)元的權(quán)值進(jìn)行調(diào)整，假設(shè)當(dāng)前處于學(xué)習(xí)的第l步，權(quán)值的修正按照下式進(jìn)行：

其中，lr表示學(xué)習(xí)速率，br表示鄰域調(diào)整率;表示獲勝神經(jīng)元的鄰域，即：。

（5）選擇另一個(gè)輸入向量，返回（3），直到所有的輸入向量全部提供給網(wǎng)絡(luò)。

（6）返回（2），直到達(dá)到最大訓(xùn)練步數(shù)。

二、MATLAB仿真算例

1.MATLAB仿真實(shí)現(xiàn)

對(duì)于日負(fù)荷特征曲線的提取，負(fù)荷曲線的采樣點(diǎn)越多，曲線越精細(xì)，越容易進(jìn)行分類，研究數(shù)據(jù)來自于電力用戶用電信息采集系統(tǒng)，從中提取公變用戶每15分鐘采集一次的有功功率構(gòu)成其日負(fù)荷曲線，一天共96個(gè)采樣點(diǎn)。從某省電力用戶用電信息采集系統(tǒng)中隨機(jī)抽取1000臺(tái)公用變壓器，選取其2012年7月10日（工作日，該省全年負(fù)荷最高日）作為典型日進(jìn)行日負(fù)荷特征曲線提取和分析。每臺(tái)公變?nèi)肇?fù)荷曲線由96個(gè)有功采樣點(diǎn)組成。由于每臺(tái)公變額定容量大小不等，為了有效聚類，首先需要對(duì)負(fù)荷數(shù)據(jù)進(jìn)行歸一化處理。

本文采用聚類SOM神經(jīng)網(wǎng)絡(luò)，在MATLAB環(huán)境下，對(duì)這些數(shù)據(jù)進(jìn)行聚類仿真。聚類SOM神經(jīng)網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn)步驟如下：（1）準(zhǔn)備數(shù)據(jù)源。首先從原始數(shù)據(jù)庫讀取相關(guān)數(shù)據(jù)（輸入樣本總數(shù)70，每一個(gè)樣本有96個(gè)采集時(shí)點(diǎn)）作為輸入矢量，并將其以二維數(shù)組70×96形式輸入。（2）確定參數(shù)。輸入神經(jīng)元個(gè)數(shù)為采集時(shí)點(diǎn)的個(gè)數(shù)96;輸出神經(jīng)元以二維數(shù)組3×3形式呈現(xiàn)。（3）運(yùn)用rand（ ）函數(shù)產(chǎn)生[0，1）之間的隨機(jī)數(shù)作為權(quán)值。（4）調(diào)用SOM創(chuàng)建函數(shù)newsom（ ），創(chuàng)建自組織映射網(wǎng)絡(luò)net=newsom（ ）。（5）對(duì)迭代次數(shù)net.trainParam.epochs賦值2000;對(duì)net.trainParam.show賦值20，表示每20次顯示一下誤差變化情況。（6）運(yùn)用網(wǎng)絡(luò)訓(xùn)練函數(shù)train（ ）訓(xùn)練上述初始化后的網(wǎng)絡(luò)net=train（ ）。（7）調(diào)用plot（ ）畫輸入點(diǎn); plotsom（ ）作訓(xùn)練后的權(quán)值點(diǎn)及其與相鄰權(quán)值點(diǎn)的連線。

2.仿真結(jié)果分析

經(jīng)MATLAB仿真運(yùn)行后得到聚類結(jié)果圖2所示：

圖2所示為SOM神經(jīng)網(wǎng)絡(luò)聚類結(jié)果，將樣本公變用戶分為7個(gè)類別，為便于后文描述，不妨按照行優(yōu)先的順序?yàn)楦骷せ畹膬?yōu)勝神經(jīng)元標(biāo)識(shí)聚類編號(hào)，依次分別為為：公變用戶第一類（包含13個(gè)樣本用戶）、公變用戶第二類（包含12個(gè)樣本用戶）、公變用戶第三類（包含5個(gè)樣本用戶）、公變用戶第四類（包含10個(gè)樣本用戶）、公變用戶第五類（包含10個(gè)樣本用戶）、公變用戶第六類（包含10個(gè)樣本用戶）、公變用戶第七類（包含10個(gè)樣本用戶）。

每個(gè)競爭層神經(jīng)元與各輸入神經(jīng)元之間的連接權(quán)構(gòu)成的向量代表了該優(yōu)勝神經(jīng)元所標(biāo)識(shí)類別的聚類中心即日負(fù)荷特征曲線，競爭層神經(jīng)元鄰域權(quán)值距離如圖3所示，顏色越深表示領(lǐng)域神經(jīng)元間的權(quán)值距離越遠(yuǎn)，即鄰域神經(jīng)元的聚類中心距離越遠(yuǎn)、提取的日負(fù)荷特征曲線差異越大。

圖4所示為通過SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取的七大類公變用戶日負(fù)荷特征曲線。日負(fù)荷特征曲線較為明顯地反映了不同類型公變用戶在該典型日的用電行為。

第一類公變?nèi)肇?fù)荷特征曲線呈現(xiàn)出明顯的午高峰和晚高峰特征，且晚高峰明顯高于午高峰。推測此類為城鎮(zhèn)居民生活的典型日負(fù)荷特征曲線，可能由于部分居民上班因素造成晚高峰高于午高峰;第二類公變?nèi)肇?fù)荷特征曲線走勢同全網(wǎng)負(fù)荷基本一致，呈現(xiàn)出明顯午高峰和晚高峰，但午高峰一枝獨(dú)秀，可能該公變下的用戶類型較多，包括居民用戶和一般工商業(yè)用戶，由于各類用電特征比例與全網(wǎng)比例類似，形成具有全網(wǎng)負(fù)荷特征的曲線;第七類公變?nèi)肇?fù)荷特征曲線與前六種主要集中在白天用電不同，主要在天黑時(shí)間段內(nèi)（晚上7點(diǎn)左右至第二天早上6點(diǎn)）用電，推測這類用戶主要集中在市政工程類。

三、總結(jié)與展望

本文將SOM神經(jīng)網(wǎng)絡(luò)聚類算法應(yīng)用到電力用戶日負(fù)荷特征曲線提取的研究中，選取某省公變用戶作為分析樣本，通過MATLAB仿真計(jì)算將樣本公變用戶分為七個(gè)類別，以優(yōu)勝神經(jīng)元與輸入神經(jīng)元之間連接權(quán)向量作為聚類中心即該類別用戶的日負(fù)荷特征曲線。根據(jù)提取出的日負(fù)荷特征曲線，結(jié)合電力用戶用電信息采集系統(tǒng)中的營銷檔案分析了不同類別公變用戶的用電特征與習(xí)慣。分析表明，采用SOM神經(jīng)網(wǎng)絡(luò)聚類算法提取日負(fù)荷特征曲線具有良好的效果，提取出的日負(fù)荷特征曲線能夠較好反映該類型用戶的用電行為與特征，為電力企業(yè)了解用戶用電習(xí)慣、細(xì)分電力市場、調(diào)整定價(jià)策略和實(shí)施需求側(cè)管理提供了有益參考。

下一步研究將考慮采用電力用戶全年負(fù)荷數(shù)據(jù)進(jìn)行聚類分析，驗(yàn)證小樣本下的聚類結(jié)果、發(fā)現(xiàn)新的用戶類型;同時(shí)改進(jìn)SOM神經(jīng)網(wǎng)絡(luò)算法，使其適應(yīng)海量數(shù)據(jù)下的負(fù)荷曲線聚類分析，并通過調(diào)整競爭層神經(jīng)元個(gè)數(shù)與抑制權(quán)值使訓(xùn)練結(jié)果更加穩(wěn)定，得到更好的聚類效果。

參考文獻(xiàn)：

[1]馬玉梅，馬志超.基于人工神經(jīng)網(wǎng)絡(luò)的手寫阿拉伯?dāng)?shù)字識(shí)別[J].中央民族大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，（4）.

[2]劉小波，李亞玲，趙景濤，等.基于KOHONEN神經(jīng)網(wǎng)絡(luò)的電壓控制分區(qū)[J].浙江電力，2007，（3）.

[3]莫禮平.基于Kohonen神經(jīng)網(wǎng)絡(luò)的故障診斷方法[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，（1）.

[4]李培強(qiáng)，李欣然，陳輝華，等.基于模糊聚類的電力負(fù)荷特性的分類與綜合[J].中國電機(jī)工程學(xué)報(bào)，2005，（24）.

第8篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

中圖分類號(hào)：G642

1 背 景

電子信息科學(xué)與技術(shù)是以物理和數(shù)學(xué)為基礎(chǔ)，研究通過電學(xué)形式表達(dá)和操控信息的基本規(guī)律以及運(yùn)用這些基本規(guī)律實(shí)現(xiàn)各種電子系統(tǒng)的方法。在進(jìn)入電子時(shí)代和信息社會(huì)的今天，電子信息科學(xué)技術(shù)已滲透各個(gè)領(lǐng)域。隨著電子信息技術(shù)日新月異，電子信息教學(xué)領(lǐng)域也面臨著全新的挑戰(zhàn)，需要培養(yǎng)具有全方位視野和超強(qiáng)能力的新一代工程師及領(lǐng)導(dǎo)者。本著這一目標(biāo)，清華大學(xué)電子系自2008年開始著手進(jìn)行課程改革，通過改革課程體系將原有課程重新整合，從學(xué)科范式的角度整理出電子工程本科教育的知識(shí)體系結(jié)構(gòu)，從而梳理出新的本科課程體系，形成電子信息領(lǐng)域?qū)W科地圖[1-2]。

2016年AlphaGo戰(zhàn)勝李世石的事實(shí)，讓人工智能技術(shù)再一次向世人展示了自己的潛力。人工智能無論在傳統(tǒng)的制造加工行業(yè)，還是在新興的互聯(lián)網(wǎng)行業(yè)，都成為國內(nèi)外各大企業(yè)爭相研究開發(fā)的目標(biāo)，在學(xué)術(shù)界也是如此。2016年底，Gartner全球峰會(huì)2017十大技術(shù)趨勢報(bào)告[3]，預(yù)測2017年十大技術(shù)趨勢：人工智能與機(jī)器學(xué)習(xí)、智能應(yīng)用、智能事物、虛擬和增強(qiáng)現(xiàn)實(shí)、數(shù)字化雙生、區(qū)塊鏈和已分配分類賬、對(duì)話式系統(tǒng)、格網(wǎng)應(yīng)用和服務(wù)架構(gòu)、數(shù)字化技術(shù)平臺(tái)、自適應(yīng)安全架構(gòu)。Gartner預(yù)計(jì)2017年全球?qū)⒂谐^60%的大型企業(yè)開始采用人工智能技術(shù)。

在2016年開設(shè)的媒體與認(rèn)知課程內(nèi)容中，我們參考國內(nèi)外諸多名校相關(guān)課程的理論及項(xiàng)目內(nèi)容，結(jié)合電子工程系在該領(lǐng)域研究的基礎(chǔ)優(yōu)勢和創(chuàng)新性成果，建設(shè)了一套媒體認(rèn)知人工智能技術(shù)教學(xué)課程內(nèi)容及平臺(tái)，以期學(xué)生獲得人工智能技術(shù)中深度學(xué)習(xí)技術(shù)的基礎(chǔ)理論和開發(fā)能力。課程通過提供人工智能技術(shù)領(lǐng)域高層次專業(yè)人才必需的基本技能、專業(yè)知識(shí)及思維方式，力爭培養(yǎng)具有國際一流科研創(chuàng)新能力的人工智能方向的專業(yè)技術(shù)人才。

2 人工智能技術(shù)教學(xué)內(nèi)容

美國MIT大學(xué)的Statistical Learning Theory and Applications課程[4]，致力于從統(tǒng)計(jì)學(xué)習(xí)和正則化理論的角度介紹機(jī)器學(xué)習(xí)的基礎(chǔ)和最新進(jìn)展。除了經(jīng)典的機(jī)器學(xué)習(xí)方法，如支持向量機(jī)、流形學(xué)習(xí)、有監(jiān)督學(xué)習(xí)等之外，還重點(diǎn)介紹深度學(xué)習(xí)計(jì)算的理論框架并要求學(xué)生以項(xiàng)目形式給出基于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)?j的解決方案。

美國CMU大學(xué)的Deep Learning課程[5]通過一系列研討會(huì)和課程實(shí)驗(yàn)介紹深度學(xué)習(xí)這一主題，涵蓋深度學(xué)習(xí)的基礎(chǔ)知識(shí)和基礎(chǔ)理論及應(yīng)用領(lǐng)域，以及大量數(shù)據(jù)學(xué)習(xí)的最新問題。通過若干實(shí)驗(yàn)題目，學(xué)生可以對(duì)深度神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用加深理解。

美國Stanford大學(xué)的Deep Learning for Natural Language Processing課程[6]深入介紹應(yīng)用于自然語言理解的深度學(xué)習(xí)前沿研究，討論包括循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶模型、遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等非常新穎的模型。通過上機(jī)實(shí)驗(yàn)，學(xué)生將學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)工作的技巧來解決實(shí)際問題，包括實(shí)施、訓(xùn)練、調(diào)試、可視化和提出自己的神經(jīng)網(wǎng)絡(luò)模型，最終的實(shí)驗(yàn)項(xiàng)目涉及復(fù)雜的循環(huán)神經(jīng)網(wǎng)絡(luò)并將應(yīng)用于大規(guī)模自然語言理解的問題。

媒體認(rèn)知課程參考了上述著名課程的理論內(nèi)容和項(xiàng)目特色。我們結(jié)合電子工程系在人工智能領(lǐng)域研究的基礎(chǔ)、優(yōu)勢和創(chuàng)新性成果，設(shè)計(jì)開發(fā)了一套以人工智能技術(shù)為基礎(chǔ)的前沿探索型媒體認(rèn)知教學(xué)課程內(nèi)容及實(shí)驗(yàn)平臺(tái)，試圖構(gòu)建具有國際水準(zhǔn)的人工智能技術(shù)教學(xué)課程內(nèi)容。

3 深度學(xué)習(xí)技術(shù)發(fā)展概況

傳統(tǒng)的人工智能系統(tǒng)一般采用機(jī)器學(xué)習(xí)技術(shù)，這類技術(shù)在處理原始形式的自然數(shù)據(jù)的能力上受到限制，一般困難集中在如何將原始數(shù)據(jù)變換為合適的內(nèi)部表示或特征向量。深度學(xué)習(xí)（deep learning）近年來受到人工智能行業(yè)的廣泛關(guān)注，是一種表征學(xué)習(xí)（representation-learning）方法，由于擁有可以逼近任意非線性函數(shù)的特性，深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）及其衍生的各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有能力取代傳統(tǒng)模型，在語音、圖像、文本、視頻等各種媒體的內(nèi)容識(shí)別系統(tǒng)中發(fā)揮作用。

著名的人工智能科學(xué)家Yann LeCun于2015年在Nature上發(fā)表文章[7]指出，深度學(xué)習(xí)允許多個(gè)處理層組成的計(jì)算模型學(xué)習(xí)如何表征具有多級(jí)抽象層面的數(shù)據(jù)。這些方法已經(jīng)大大提高語音識(shí)別、視覺識(shí)別、目標(biāo)檢測以及諸如藥物發(fā)現(xiàn)、基因?qū)W等許多領(lǐng)域的最新技術(shù)水平。深度學(xué)習(xí)通過使用反向傳播算法發(fā)現(xiàn)大數(shù)據(jù)集中的復(fù)雜結(jié)構(gòu)，以指示機(jī)器如何改變其內(nèi)部參數(shù)，這些內(nèi)部參數(shù)是從深度神經(jīng)網(wǎng)絡(luò)上一層的表示中計(jì)算每層中的表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來突破性的進(jìn)展，而遞歸網(wǎng)絡(luò)則對(duì)文本、語音等順序數(shù)據(jù)提供解決方案。

遞歸網(wǎng)絡(luò)可被視作較深的前饋網(wǎng)絡(luò)，其中所有層共享相同的權(quán)重。遞歸網(wǎng)絡(luò)的問題在于難以在長期的時(shí)間內(nèi)學(xué)習(xí)并存儲(chǔ)信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網(wǎng)絡(luò)被提出，主要特點(diǎn)在于其存儲(chǔ)器單元在下一個(gè)加權(quán)值為1的時(shí)間段內(nèi)與自身連接，因此能夠在復(fù)制自身狀態(tài)的同時(shí)累加外部信號(hào)，此外這種自我連接被另一個(gè)單元通過學(xué)習(xí)決定何時(shí)清除此類信息。長短期記憶模型被證明在語音識(shí)別和機(jī)器翻譯應(yīng)用系統(tǒng)中比傳統(tǒng)的遞歸網(wǎng)絡(luò)更加有效。

4 基于深度學(xué)習(xí)的語音識(shí)別教學(xué)項(xiàng)目

在對(duì)上述課程及配套項(xiàng)目進(jìn)行詳細(xì)研究的基礎(chǔ)上，結(jié)合現(xiàn)有科研及平臺(tái)，我們構(gòu)建了一種基于深度學(xué)習(xí)的連續(xù)語音識(shí)別項(xiàng)目平臺(tái)，包括兩個(gè)主要項(xiàng)目：深度神經(jīng)網(wǎng)絡(luò)語音識(shí)別項(xiàng)目及長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識(shí)別項(xiàng)目。

4.1 深度神經(jīng)網(wǎng)絡(luò)語音識(shí)別項(xiàng)目

典型的深度神經(jīng)網(wǎng)絡(luò)語音識(shí)別模型[8-9]核心是對(duì)聲學(xué)特征進(jìn)行多層變換，并將特征提取和聲學(xué)建模在同一網(wǎng)絡(luò)中進(jìn)行優(yōu)化。神經(jīng)網(wǎng)絡(luò)可以通過非線性激活函數(shù)來擬合任何非線性函數(shù)，可以使用神經(jīng)網(wǎng)絡(luò)取代原有聲學(xué)模型中的高斯混合模型，用來計(jì)算每一幀的特征與每個(gè)音素的相似程度。深度神經(jīng)網(wǎng)絡(luò)原理的結(jié)構(gòu)示意圖如圖1所示。

圖1代表了一個(gè)擁有3個(gè)隱含層的深度神經(jīng)網(wǎng)絡(luò)。相鄰兩層中，每層的每一個(gè)節(jié)點(diǎn)都與另外一層的所有節(jié)點(diǎn)單向連接。數(shù)據(jù)由輸入層輸入，逐層向下一層傳播。對(duì)于節(jié)點(diǎn)間的連接權(quán)重，采用BP算法。BP算法對(duì)于給定的輸入輸出訓(xùn)練數(shù)據(jù)，首先通過正向傳播由輸入得到輸出，之后通過實(shí)際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據(jù)激活函數(shù)與連接權(quán)重反向傳播殘差，計(jì)算出每一個(gè)節(jié)點(diǎn)與理想值之間的殘差，最后根據(jù)每個(gè)節(jié)點(diǎn)的殘差修正節(jié)點(diǎn)間連接的權(quán)重，通過對(duì)權(quán)重的調(diào)整實(shí)現(xiàn)訓(xùn)練，從而更加靠近理論輸出結(jié)果。

將DNN實(shí)際利用到語音識(shí)別的聲學(xué)模型時(shí)，其結(jié)構(gòu)示意圖如圖2所示。深度神經(jīng)網(wǎng)絡(luò)的輸入層輸入從每一幀音頻中提取出的特征，通過網(wǎng)絡(luò)的正向傳播，在輸出?郵涑齙鼻爸《雜Σ煌?音素的相似程度，從而作為HMM的發(fā)射概率進(jìn)行語音識(shí)別?？紤]到DNN沒有記憶特性，而語音信號(hào)即使是在音素層級(jí)上，其前后也有相當(dāng)大的聯(lián)系。為了提高DNN在處理前后高度關(guān)聯(lián)的語音信號(hào)中的表現(xiàn)，一般選擇同時(shí)將當(dāng)前幀的前后部分幀作為網(wǎng)絡(luò)的輸入，從而提高對(duì)當(dāng)前幀識(shí)別的正確率。

4.2 長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識(shí)別項(xiàng)目

長短期記憶模型應(yīng)用于語音識(shí)別中聲學(xué)模型的思路和深度神經(jīng)網(wǎng)絡(luò)類似[10-11]，取代高斯混合模型用于計(jì)算輸入幀與各音素的匹配程度。原理為首先根據(jù)輸入門判斷輸入的數(shù)據(jù)可以進(jìn)入記憶細(xì)胞的比例，同時(shí)遺忘門決定記憶細(xì)胞遺忘的比例；之后由記憶細(xì)胞殘存的記憶部分和新輸入的部分求和，作為記憶細(xì)胞的新記憶值；將新的記憶值根據(jù)輸出門的控制得到記憶細(xì)胞的輸出，并通過遞歸投影層降維，降維之后的結(jié)果一方面作為3個(gè)控制門的反饋，另一方面作為網(wǎng)絡(luò)的輸出；非遞歸投影層則僅僅作為最終輸出的補(bǔ)充，而不會(huì)影響控制門。將長短期記憶模型實(shí)際利用到語音識(shí)別的聲學(xué)模型時(shí)，其結(jié)構(gòu)示意圖如圖3所示。

與深度神經(jīng)網(wǎng)絡(luò)不同，長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)因?yàn)橛杏洃浱匦裕圆恍枰~外的多幀輸入，只需要輸入當(dāng)前幀。然而，考慮到語音前后的關(guān)聯(lián)性，一般會(huì)將輸入的語音幀進(jìn)行時(shí)間偏移，使得對(duì)t時(shí)刻幀的特征計(jì)算得到的輸出結(jié)果是基于已知未來部分幀的特征之后進(jìn)行的，從而提高準(zhǔn)確度。

第9篇：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法范文

關(guān)鍵詞:故障診斷;神經(jīng)網(wǎng)絡(luò);徑向基函數(shù);地鐵列車

中圖分類號(hào):TM621文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 11-0000-02

The RBFNN Application in Fault Diagnosis for the Subway Train

Zhou Qiaolian1,Deng Yabo2,Chen Jianxiao2

(1.Shanghai Shentong Rail Transit Research and Consulting Co,Ltd,Shanghai2011031,China;2.Zhuzhou CSR Times Electric Co,Ltd,Zhuzhou4120012,China)

Abstract:The means is proposed in this paper about subway train malfunction diagnosing system applying RBFNN.Subway train running information is collected and preprocessed,which is used as training sample to build RBFNN.After RBFNN learned well,collected real-time information is inputted into the neural network,and then malfunction and coming malfunction is output correctly.

Keywords:Malfunction diagnosing;Neural network;Radial Basis

Function;Subway train

一、引言

我國城市軌道交通的高速發(fā)展,迫切需要保障地鐵機(jī)車的運(yùn)營安全。目前對(duì)地鐵列車的故障診斷等方面還沒有理想的解決方案。本文提出了一種方法,試圖借助徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)來解決地鐵列車的故障診斷的技術(shù)難題。

二、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial Basis Function Neural Network,以下簡稱RBFNN)是一類特殊的三層前饋神經(jīng)網(wǎng)絡(luò)。

圖1是RBFNN的基本結(jié)構(gòu)。它可以實(shí)現(xiàn)由輸入向量到輸出向量的映射。

三、故障診斷應(yīng)用

(一)建立神經(jīng)網(wǎng)絡(luò)

要把RBFNN運(yùn)用到地鐵列車的故障診斷中去,必須先利用訓(xùn)練樣本建立好RBFNN。

1.數(shù)據(jù)分類:地鐵列車的數(shù)據(jù)信息非常豐富,首先需要根據(jù)地鐵列車的特點(diǎn),將各類數(shù)據(jù)按功能單元分類,如中央控制單元的數(shù)據(jù)包括地鐵列車狀態(tài)、通信狀態(tài)、網(wǎng)絡(luò)命令、數(shù)字輸入輸出信號(hào)和模擬輸入信號(hào)等,牽引單元的數(shù)據(jù)包括牽引工作狀態(tài)、輸入指令、電機(jī)轉(zhuǎn)速、電機(jī)轉(zhuǎn)矩、電機(jī)電流、網(wǎng)壓、電機(jī)溫度、級(jí)位信號(hào)和載荷信號(hào)等,制動(dòng)單元的數(shù)據(jù)包括輪徑、載荷信號(hào)、速度信號(hào)、制動(dòng)級(jí)位、傳感器狀態(tài)等,門控單元的數(shù)據(jù)包括車門打開狀態(tài)、車門開關(guān)反饋、門速度反饋、門防夾狀態(tài)、門切除狀態(tài)等。

2.生成樣本數(shù)據(jù):針對(duì)地鐵列車的典型故障和臨界故障等情況,通過模擬產(chǎn)生n類故障方式,收集來自傳感器的檢測數(shù)據(jù)、表征地鐵列車狀態(tài)及車載設(shè)備的模擬量、數(shù)字量以及地鐵列車總線上的相關(guān)數(shù)據(jù)等信息。然后按照上述的分類方法,對(duì)數(shù)據(jù)信息按照功能單元(中央控制單元、牽引單元、制動(dòng)單元、門控單元等)分類和綜合(系統(tǒng)級(jí)),形成建立各徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練樣本向量,如中央控制單元的訓(xùn)練樣本向量為,牽引單元的訓(xùn)練樣本向量為,制動(dòng)單元的訓(xùn)練樣本向量為,門控單元的訓(xùn)練樣本向量為,系統(tǒng)級(jí)的訓(xùn)練樣本向量為。

3.建立RBFNN的基本結(jié)構(gòu)。通過上述訓(xùn)練樣本可以確定各神經(jīng)網(wǎng)絡(luò)輸入層節(jié)點(diǎn)個(gè)數(shù)為n,輸出層的節(jié)點(diǎn)個(gè)數(shù)為。

(二)訓(xùn)練神經(jīng)網(wǎng)絡(luò)

訓(xùn)練時(shí),隱含層神經(jīng)元學(xué)習(xí)采用無監(jiān)督學(xué)習(xí)的聚類算法;輸出層神經(jīng)元采用有監(jiān)督的最小二乘法學(xué)習(xí)方法。下面以中央控制單元RBFNN的建立為例作具體說明。

對(duì)于中央控制單元,在模擬產(chǎn)生n類故障后,得到的訓(xùn)練樣本的狀態(tài)向量,包括地鐵列車狀態(tài)、通信狀態(tài)、網(wǎng)絡(luò)命令、數(shù)字輸入輸出信號(hào)和模擬輸入信號(hào)等,該訓(xùn)練樣本將作為神經(jīng)網(wǎng)絡(luò)的輸入。

針對(duì)隱含層神經(jīng)元的學(xué)習(xí)算法的具體步驟如下:

1.從狀態(tài)向量中選取一組樣本作為隱含層的各神經(jīng)元中心,為隱含層神經(jīng)元數(shù)。

2.然后對(duì)所有狀態(tài)向量進(jìn)行歸類,輸入的狀態(tài)向量若滿足條件

(1)

則將其歸于第類向量;

3.歸類完畢后,再求出隱含層每個(gè)神經(jīng)元的新中心和寬度,即

對(duì)輸出層神經(jīng)元的學(xué)習(xí)的算法如下:記某故障診斷結(jié)果為,則對(duì)第個(gè)故障診斷結(jié)果有:

式中,表示隱含層第神經(jīng)元到輸出層第個(gè)故障診斷結(jié)果的權(quán)值,表示距的距離,是選取的高斯函數(shù),

式中是隱含層第個(gè)神經(jīng)元的輸出中間向量,為高斯函數(shù)的寬度。

定義故障診斷輸出的誤差函數(shù)為

式中,為輸出層第個(gè)神經(jīng)元的期望故障診斷值,為其實(shí)際故障診斷輸出值。將式(4)代入上式可得

求解使故障診斷誤差函數(shù)最小時(shí)的一組權(quán)系數(shù),可令

則得到一系列方程組,

求解上述方程組即可得到最優(yōu)權(quán)系數(shù)。

最優(yōu)權(quán)系數(shù)確定后,中央控制單元RBFNN就訓(xùn)練完畢。

通過相同的方法建立并訓(xùn)練牽引單元、制動(dòng)單元、門控單元和系統(tǒng)級(jí)等的RBFNN。

(三)故障診斷

當(dāng)?shù)罔F列車的單元或系統(tǒng)發(fā)生故障或?qū)⒁l(fā)生故障時(shí),采集的實(shí)時(shí)數(shù)據(jù)經(jīng)過分類和綜合處理后,輸入訓(xùn)練好的各RBFNN,其穩(wěn)態(tài)輸出即為已經(jīng)發(fā)生的故障種類或?qū)⒁l(fā)生的故障。

故障診斷系統(tǒng)原理見下圖2所示。

四、系統(tǒng)實(shí)現(xiàn)

為實(shí)現(xiàn)基于RBFNN的地鐵列車故障診斷方法,需構(gòu)建一個(gè)三層系統(tǒng),包括應(yīng)用層的上位機(jī)、采集數(shù)據(jù)的下位機(jī)和底層的傳感器等。

底層傳感器主要為現(xiàn)有地鐵列車沒有而故障診斷系統(tǒng)需要額外加裝的傳感器,如加速度傳感器等。

下位機(jī)包含采集轉(zhuǎn)換模塊、模擬量采集模塊、數(shù)字量采集模塊和總線接口模塊等。采集轉(zhuǎn)換模塊主要采集加裝的傳感器反饋的相關(guān)數(shù)據(jù)信息,如加速度、振動(dòng)等數(shù)據(jù)。模擬量采集模塊主要采集表征地鐵列車運(yùn)行狀態(tài)的一些模擬量,如電壓、電流、溫度等。數(shù)字量采集模塊主要采集表征地鐵列車運(yùn)行狀態(tài)的數(shù)字量,如開關(guān)閉合狀態(tài)、隔離裝置狀態(tài)等?？偩€接口模塊主要采集地鐵列車總線上的數(shù)據(jù)。針對(duì)不同的地鐵列車總線(如MVB,MTB等),通過相應(yīng)的接口和協(xié)議,采集需要的地鐵列車相關(guān)數(shù)據(jù)。下位機(jī)將數(shù)據(jù)集中后再匯總給上位機(jī)。

上位機(jī)是完成故障診斷的核心部分,主要負(fù)責(zé)接收、處理并存儲(chǔ)下位機(jī)匯總的地鐵列車狀態(tài)數(shù)據(jù)。首先完成對(duì)采集到的地鐵列車相關(guān)數(shù)據(jù)的分類處理。訓(xùn)練階段,把分類處理好后的數(shù)據(jù)作為各RBFNN的訓(xùn)練樣本,然后利用訓(xùn)練樣本生成地鐵列車故障診斷所需的各RBFNN。應(yīng)用階段則不斷采集地鐵列車的實(shí)時(shí)數(shù)據(jù)信息。當(dāng)?shù)罔F列車發(fā)生故障或?qū)⒁l(fā)生故障時(shí),上位機(jī)會(huì)依據(jù)各RBFNN診斷模塊的輸出作出相應(yīng)的判斷和預(yù)警。

系統(tǒng)結(jié)構(gòu)圖如圖2所示。

五、結(jié)束語

本文從人工智能的角度,提出了一種基于RBFNN的地鐵列車故障診斷方法。通過軟件編程,建立并應(yīng)用了故障診斷所需要的RBFNN。從應(yīng)用效果看,基本能達(dá)到預(yù)期目的。

參考文獻(xiàn):

[1]W.F.Gabriel,Using Spectral Estimation Techniques in Adaptive Processing Antenna Systems”,IEEE Trans,Antenn.Propagat,1986

[2]靳蕃.神經(jīng)計(jì)算智能基礎(chǔ)原理、方法.西南交通大學(xué)出版社,2000

注:

1該課題屬于國家863計(jì)劃課題《軌道交通運(yùn)營安全的關(guān)鍵裝備監(jiān)控預(yù)警及應(yīng)急技術(shù)》的子課題,863項(xiàng)目課題編號(hào):2007AA11Z247

作者介紹:

周巧蓮,女(1966-)漢族、上海、高級(jí)工程師。