量子神經(jīng)網(wǎng)絡(luò)算法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的量子神經(jīng)網(wǎng)絡(luò)算法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：多宇宙量子神經(jīng) 礦用通風(fēng)機(jī) 故障診斷

引言

近年來(lái)，煤炭工業(yè)正朝著安全、高效的方向迅猛發(fā)展，因此對(duì)煤炭工業(yè)生產(chǎn)的安全要求越來(lái)越高。煤礦機(jī)電設(shè)備運(yùn)行的安全性是煤礦安全生產(chǎn)中除瓦斯?jié)舛韧獾牧硪粋€(gè)重要安全因素。煤礦關(guān)鍵設(shè)備主要包括高壓異步電動(dòng)機(jī)、礦用通風(fēng)機(jī)、大中型采煤機(jī)及礦井提升設(shè)備等，如何保障這些關(guān)鍵設(shè)備的安全運(yùn)行已成為各煤炭企業(yè)急需解決的重大問(wèn)題。

人工神經(jīng)網(wǎng)絡(luò)以其強(qiáng)有力的學(xué)習(xí)和并行處理能力在故障診斷領(lǐng)域迅速興起，其本意是模擬人腦結(jié)構(gòu)去反映客觀世界以解決客觀世界的問(wèn)題。然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型僅能做到故障征兆特征空間與故障模式空間之間的非線(xiàn)性映射，泯滅了故障診斷的技術(shù)內(nèi)容和內(nèi)在實(shí)質(zhì)。為了使征兆參數(shù)模糊化后能更準(zhǔn)確的表達(dá)或量化輸入空間的樣本分布，提高旋轉(zhuǎn)機(jī)械故障診斷的精度，本文利用量子態(tài)的疊加現(xiàn)象將多宇宙觀點(diǎn)應(yīng)用到神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)之中，提出了一種多宇宙量子神經(jīng)網(wǎng)絡(luò)模型，并將該模型應(yīng)用到礦用通風(fēng)機(jī)故障診斷中，取得了較好的診斷效果。

1.多宇宙量子神經(jīng)網(wǎng)絡(luò)模型故障診斷

礦用通風(fēng)機(jī)故障診斷存在諸多不確定性，其主要原因有：故障原因較復(fù)雜、非線(xiàn)性、故障之間相互影響、故障甄別不準(zhǔn)確帶來(lái)的影響等。由于上述不確定性的存在，必然導(dǎo)致故障診斷的準(zhǔn)確率降低，甚至出現(xiàn)漏檢和誤診斷現(xiàn)象。針對(duì)煤礦通風(fēng)機(jī)故障診斷時(shí)的不確定性問(wèn)題，本文提出了一種多宇宙量子神經(jīng)網(wǎng)絡(luò)模型，并應(yīng)用于礦用通風(fēng)機(jī)的故障診斷，大大地提高了礦用通風(fēng)機(jī)的故障診斷精度與可靠度。

1.1 多宇宙量子神經(jīng)網(wǎng)絡(luò)模型

多宇宙量子神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)體系與相應(yīng)的經(jīng)典網(wǎng)絡(luò)大致相似，區(qū)別在于前者有整個(gè)網(wǎng)絡(luò)的多份拷貝或者是網(wǎng)絡(luò)的一部分拷貝，每一份拷貝都以適合該網(wǎng)絡(luò)體系結(jié)構(gòu)的學(xué)習(xí)規(guī)則來(lái)訓(xùn)練一個(gè)模式，而網(wǎng)絡(luò)中有一部分可能為經(jīng)典網(wǎng)絡(luò)，另一部分為量子網(wǎng)絡(luò)，網(wǎng)絡(luò)的經(jīng)典部分（非重復(fù)部分）用于處理所有的模式，其權(quán)值的改變?nèi)Q于所有其后的重復(fù)部分的反饋。本文以各部分均為疊加態(tài)的多宇宙量子神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，研究其在礦用通風(fēng)機(jī)故障診斷中的應(yīng)用。

1.2 多宇宙量子神經(jīng)網(wǎng)絡(luò)的主要算法

多宇宙量子神經(jīng)網(wǎng)絡(luò)的每一個(gè)輸入模式與子網(wǎng)絡(luò)一一對(duì)應(yīng)。根據(jù)坍縮規(guī)則，將子網(wǎng)絡(luò)對(duì)應(yīng)的訓(xùn)練模式與輸入模式比較，模式最接近的那個(gè)獲勝，即待識(shí)別輸入模式將坍縮到獲勝的子網(wǎng)絡(luò)進(jìn)行處理。

設(shè)共有x個(gè)子網(wǎng)絡(luò)組成了整個(gè)網(wǎng)絡(luò)的疊加，多宇宙量子神經(jīng)網(wǎng)絡(luò)算法的主要步驟如下：

1）從整個(gè)模式集合中選取x個(gè)模式作為訓(xùn)練集合；

2）對(duì)每個(gè)子網(wǎng)絡(luò)進(jìn)行初始化；

3）每個(gè)子網(wǎng)絡(luò)用其對(duì)應(yīng)的訓(xùn)練模式進(jìn)行訓(xùn)練，直到輸出誤差達(dá)到允許范圍；

4）將剩下的模式作為待識(shí)別樣本，利用特定的坍縮規(guī)則決定每個(gè)待識(shí)別樣本將坍縮到的宇宙；

5）用坍縮到的子網(wǎng)絡(luò)對(duì)待識(shí)別樣本進(jìn)行處理，得到輸出結(jié)果。

2.礦用通風(fēng)機(jī)故障診斷實(shí)例

為了驗(yàn)證本文提出的多宇宙量子神經(jīng)網(wǎng)絡(luò)的有效性，以某煤礦使用的礦用通風(fēng)機(jī)為研究對(duì)象，闡述該方法在通風(fēng)機(jī)故障診斷中的具體應(yīng)用。

現(xiàn)場(chǎng)采集到的試驗(yàn)數(shù)據(jù)建立故障樣本，樣本經(jīng)過(guò)去噪預(yù)處理并歸一化，選取其中30組典型數(shù)據(jù)建立故障樣本集，樣本維數(shù)為6，每維特征分別對(duì)應(yīng)特征頻譜0.01f-0.49f、0.50f、0.51f-0.99f、1.0f、2.0f、>3f共 6個(gè)頻段的幅值，其中f為工頻。

診斷實(shí)例：實(shí)例1，通風(fēng)機(jī)在工作過(guò)程中，2瓦軸振動(dòng)超標(biāo)，對(duì)2瓦水平方向采集到的振動(dòng)頻譜進(jìn)行特征提取并預(yù)處理后，得到故障模式x1，如表二所示。實(shí)例2，汽輪機(jī)經(jīng)過(guò)大修且過(guò)了大約一個(gè)月后，機(jī)組振動(dòng)異常，相位極不穩(wěn)定，振動(dòng)幅值隨轉(zhuǎn)速升高明顯加大，振動(dòng)頻譜的主要分量為基頻，并帶有明顯的2f及低頻分量，其振動(dòng)故障模糊隸屬度見(jiàn)表二所示。

將表二的故障樣本x1、x2分別與前面30組標(biāo)準(zhǔn)故障中心一起構(gòu)成數(shù)據(jù)集進(jìn)行聚類(lèi)分析，故障樣本與哪種標(biāo)準(zhǔn)故障中心聚為一類(lèi)，則說(shuō)明該故障屬于與多宇宙量子神經(jīng)網(wǎng)絡(luò)聚類(lèi)中心同類(lèi)的故障，聚類(lèi)中心經(jīng)過(guò)多宇宙量子神經(jīng)網(wǎng)絡(luò)算法診斷后，診斷結(jié)果如表三所示。對(duì)實(shí)例1，x1與F1聚為一類(lèi)，表明該故障屬于F1故障模式，即機(jī)組發(fā)生了不對(duì)中故障，與現(xiàn)場(chǎng)檢查結(jié)果一致。對(duì)實(shí)例2，表明最佳聚類(lèi)數(shù)為7，此時(shí)x2與F4聚為一類(lèi)，其余各中心自為一類(lèi)，表明該故障模式屬于F4的故障，即轉(zhuǎn)子支承系統(tǒng)松動(dòng)故障。

由表三可以看出，多宇宙量子神經(jīng)網(wǎng)絡(luò)模型在通風(fēng)機(jī)的故障診斷中，其診斷結(jié)果正確，與實(shí)際情況一致。其診斷結(jié)果的精度明顯高于BP網(wǎng)絡(luò)模型。這是因?yàn)?，多宇宙模糊量子神?jīng)網(wǎng)絡(luò)的各個(gè)子網(wǎng)絡(luò)相互獨(dú)立、并行運(yùn)算、互不干擾，多宇宙量子神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練時(shí)間很短、收斂性好、精度高。從而較大提高了故障診斷的識(shí)別精度，故障識(shí)別的準(zhǔn)確率達(dá)到100%。

3.結(jié)論

本文針對(duì)礦用通風(fēng)機(jī)故障診斷時(shí)的不確定性問(wèn)題，利用量子態(tài)的疊加現(xiàn)象將多宇宙觀點(diǎn)應(yīng)用到神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)之中，提出了一種多宇宙量子神經(jīng)網(wǎng)絡(luò)模型以及基于模糊c-均值的網(wǎng)絡(luò)坍縮算法。診斷實(shí)例仿真分析表明，相比于BP網(wǎng)絡(luò)，該方法能夠有效地解決通風(fēng)機(jī)故障診斷過(guò)程中的不確定性問(wèn)題，且具有收斂速度快、診斷精度高等特點(diǎn)。

參考文獻(xiàn)：

[1] 江澤標(biāo).人工神經(jīng)網(wǎng)絡(luò)在煤礦通風(fēng)機(jī)故障診斷中的應(yīng)用[J].煤礦機(jī)械， 2011， 32（7）： 266-268.

[2] 陳虹微，王榮杰.煤礦通風(fēng)機(jī)振動(dòng)原因及檢測(cè)方法[J].礦山機(jī)械， 2006，34（11）： 213-234.

[3]王學(xué)泰，馬春燕，姚景峰等.煤礦通風(fēng)機(jī)軸承振動(dòng)故障診斷技術(shù)的研究及應(yīng)用[J].煤礦機(jī)械2013，34（4）：280-282.

第2篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

 

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

 

本 科 生 畢 業(yè) 論 文（設(shè)計(jì)）

題目 陣列化的非晶體納米硅神經(jīng)突觸器件制備與數(shù)值模擬        

 

 

姓名與學(xué)號(hào)     鄭浩 315104964    

指導(dǎo)教師        皮孝東          

合作導(dǎo)師                        

年級(jí)與專(zhuān)業(yè)  2015級(jí) 材料科學(xué)工程  

所在學(xué)院        材料科學(xué)工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大學(xué)本科生畢業(yè)論文（設(shè)計(jì)）承諾書(shū)

1.本人鄭重地承諾所呈交的畢業(yè)論文（設(shè)計(jì)），是在指導(dǎo)教師的指導(dǎo)下嚴(yán)格按照學(xué)校和學(xué)院有關(guān)規(guī)定完成的。

2.本人在畢業(yè)論文（設(shè)計(jì)）中除了文別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不包含為獲得 浙江大學(xué) 或其他教育機(jī)構(gòu)的學(xué)位或證書(shū)而使用過(guò)的材料。

3.與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均已在論文中作了明確的說(shuō)明并表示謝意。

4. 本人承諾在畢業(yè)論文（設(shè)計(jì)）選題和研究?jī)?nèi)容過(guò)程中沒(méi)有偽造相關(guān)數(shù)據(jù)等行為。

5. 在畢業(yè)論文（設(shè)計(jì)）中對(duì)侵犯任何方面知識(shí)產(chǎn)權(quán)的行為，由本人承擔(dān)相應(yīng)的法律責(zé)任。

6.本人完全了解 浙江大學(xué) 有權(quán)保留并向有關(guān)部門(mén)或機(jī)構(gòu)送交本論文（設(shè)計(jì)）的復(fù)印件和磁盤(pán)，允許本論文（設(shè)計(jì)）被查閱和借閱。本人授權(quán) 浙江大學(xué) 可以將本論文（設(shè)計(jì)）的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索和傳播，可以采用影印、縮印或掃描等復(fù)制手段保存、匯編本論文（設(shè)計(jì)）。

 

 

作者簽名：                         導(dǎo)師簽名：

 

簽字日期：     年   月   日      簽字日期：      年   月   日

 

 

 

致  謝

致謝內(nèi)容。（仿宋字體或Times New Roman，小四號(hào)，兩端對(duì)齊，首行縮進(jìn)兩個(gè)漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

致謝內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息時(shí)代的來(lái)臨，人類(lèi)在處理大數(shù)據(jù)與多信息的任務(wù)面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計(jì)算機(jī)思想在處理這些問(wèn)題時(shí)出現(xiàn)了本質(zhì)上的不足，因此神經(jīng)網(wǎng)絡(luò)的應(yīng)用于硬件化變得十分迫切。隨著憶阻器的發(fā)現(xiàn)，類(lèi)腦計(jì)算的實(shí)際應(yīng)用變得可能。本文從硬件神經(jīng)網(wǎng)絡(luò)的興起出發(fā)，闡述了硬件神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀與實(shí)現(xiàn)途徑，之后引入了生物神經(jīng)元的特征，闡述了以往關(guān)于人類(lèi)神經(jīng)元建立的數(shù)學(xué)模型。之后本文提出了一種陣列化硅納米晶體神經(jīng)突觸器件的制備方法與過(guò)程，并且在基于這樣的器件上，得到相應(yīng)的LTP與STDP數(shù)據(jù)，將這些數(shù)據(jù)分別用于探究：神經(jīng)元激活函數(shù)數(shù)值模擬，有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)之tempotron算法數(shù)值模擬與STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)數(shù)值模擬，在得到結(jié)果的基礎(chǔ)上，提出了硬件化神經(jīng)網(wǎng)絡(luò)所需要的器件的基本性質(zhì)與要求。為未來(lái)的硬件化目標(biāo)提出了可行性與基本方向。

關(guān)鍵詞：硬件神經(jīng)網(wǎng)絡(luò)；神經(jīng)元；神經(jīng)突觸器件；激活函數(shù)；Tempotron算法；STDP；無(wú)監(jiān)督學(xué)習(xí)

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  畢業(yè)論文（設(shè)計(jì)）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 緒論

1.1.1 硬件神經(jīng)網(wǎng)絡(luò)的興起

1.1.2 硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

1.3.1 生物神經(jīng)元介紹

1.3.2 人工神經(jīng)元介紹

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹

3.1.1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3.1.2 神經(jīng)元硬件化結(jié)論

3.2.1 脈沖編碼

3.2.2 權(quán)值更新

3.2.3 數(shù)值模擬結(jié)果

3.2.4 LTP權(quán)值改變法

3.2.5 STDP權(quán)值改變法

3.2.6 結(jié)論

3.3.1 理論背景與基礎(chǔ)

3.3.2 網(wǎng)絡(luò)設(shè)計(jì)

3.3.3 模擬結(jié)果

作者簡(jiǎn)歷

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

畢業(yè)論文（設(shè)計(jì)）

第一章  緒論

11.1  硬件神經(jīng)網(wǎng)絡(luò)1.1.1  硬件神經(jīng)網(wǎng)絡(luò)的興起

21世紀(jì)進(jìn)入信息時(shí)代后，計(jì)算機(jī)的普及率大大上升，計(jì)算機(jī)本身也在計(jì)算力與邏輯處理上遠(yuǎn)遠(yuǎn)超過(guò)了人腦，然而不足的是，在數(shù)據(jù)的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類(lèi)大腦擁有10^11 個(gè)神經(jīng)元和10^15神經(jīng)突觸。這使得人類(lèi)處理信息的方式是高效的并行方式，并且功耗很低。例如人類(lèi)大腦看到一種東西，識(shí)別它的過(guò)程往往使視覺(jué)神經(jīng)信號(hào)與記憶信號(hào)同時(shí)作用的結(jié)果，功耗在fj量級(jí)。在使得馮-洛伊曼式計(jì)算機(jī)處理復(fù)雜指令與控制上體現(xiàn)出了根本性的缺陷。基于這一點(diǎn)，神經(jīng)網(wǎng)絡(luò)的研究開(kāi)始興起，在1943年，McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型后, 有關(guān)于神經(jīng)網(wǎng)絡(luò)的討論也逐漸火熱起來(lái)，但其發(fā)展的中途受到很多科學(xué)家對(duì)其的質(zhì)疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經(jīng)網(wǎng)絡(luò)，從數(shù)學(xué)上的形式，證明了這種算法的可行性，BP神經(jīng)網(wǎng)絡(luò)是一種前饋式的誤差逆向傳播網(wǎng)絡(luò)，通過(guò)訓(xùn)練集不斷縮小輸出值與目標(biāo)值的差值從而達(dá)到非線(xiàn)性?xún)?yōu)化的目的。由此，神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理得到證明，其實(shí)在1970年神經(jīng)網(wǎng)絡(luò)存在一段低落期，也受到了很多懷疑。但是BP神經(jīng)網(wǎng)絡(luò)的興起與提出，讓科學(xué)們對(duì)于神經(jīng)網(wǎng)絡(luò)的態(tài)度再次火熱起來(lái)。21世紀(jì)隨著深度學(xué)習(xí)的提出，又掀起了一股關(guān)于人工智能的熱潮，Deep learning 是在多層感知機(jī)的基礎(chǔ)上，不斷增加隱含層的層數(shù)，這上面又出現(xiàn)了一些數(shù)學(xué)上的問(wèn)題比如激活函數(shù)的梯度彌散問(wèn)題，但是由于Relu激活函數(shù)替代sigmod函數(shù)的提出，這些問(wèn)題逐步得到了解決，深度學(xué)習(xí)向前發(fā)展了一大步。比如IBM的“深藍(lán)”擊敗世界圍棋選手李智石等，但是實(shí)際上，“深藍(lán)”在擊敗李智石時(shí)消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個(gè)饅頭的熱量戰(zhàn)斗。也就是說(shuō)，這場(chǎng)比賽其實(shí)并不公平。其實(shí)這反應(yīng)的是人工智能的工作效率與真正人腦的學(xué)習(xí)效率仍然有很大的差距。神經(jīng)網(wǎng)絡(luò)本質(zhì)是由多個(gè)簡(jiǎn)單的信號(hào)處理單元組成，這些簡(jiǎn)單的信號(hào)單元之間由一種方式連接形成網(wǎng)絡(luò)，它意在模仿人類(lèi)大腦處理信息的模式，從而實(shí)現(xiàn)圖像識(shí)別，音像識(shí)別，特征提取和記憶等功能?，F(xiàn)在計(jì)算機(jī)能夠從軟件上對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)現(xiàn)，然而關(guān)于數(shù)據(jù)的存取方式仍然無(wú)法得到突破，數(shù)據(jù)的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類(lèi)識(shí)別圖像，獲得信息是并行的。因此硬件神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)是必要的，硬件神經(jīng)網(wǎng)絡(luò)能夠使用集成電路實(shí)現(xiàn)并行處理信息，并且能耗低，效率高，能夠更貼近人類(lèi)大腦的工作方式。因此硬件神經(jīng)網(wǎng)絡(luò)的開(kāi)發(fā)受到很多的關(guān)注與研究，未來(lái)人工智能和類(lèi)腦計(jì)算的發(fā)展前景中，硬件神經(jīng)網(wǎng)絡(luò)的研究是必須的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當(dāng)前關(guān)于硬件化神經(jīng)網(wǎng)絡(luò)的突破，現(xiàn)狀與發(fā)展形勢(shì)。

第二章主要從人類(lèi)的神經(jīng)元開(kāi)始，講述人類(lèi)生物神經(jīng)元的特點(diǎn)，講述現(xiàn)在人工神經(jīng)元的數(shù)學(xué)模型，以及硬件化神經(jīng)元需要的要求與方式

第三章主要講述制備實(shí)驗(yàn)器件的技術(shù)路線(xiàn)，與制備的過(guò)程和使用的材料

第四章從數(shù)值模擬的角度，探究神經(jīng)元硬件化的條件是怎么樣的，數(shù)值模擬選取MNIST數(shù)據(jù)集作為樣本數(shù)據(jù)集，通過(guò)使用實(shí)驗(yàn)得到的激活函數(shù)替論激活函數(shù)，觀察網(wǎng)絡(luò)的準(zhǔn)確率，得出相關(guān)結(jié)論，探究硬件需要滿(mǎn)足的條件

第五章從數(shù)值模擬的角度，探究突觸硬件需要滿(mǎn)足的條件，突觸與神經(jīng)元不同，它是作為神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)權(quán)值，改變權(quán)值的存在，與神經(jīng)元有本質(zhì)上的區(qū)別，數(shù)值模擬采用26個(gè)英文字母的圖片作為數(shù)據(jù)集，進(jìn)行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)值模擬，通過(guò)實(shí)驗(yàn)硬件得到的LTP與LTD圖像進(jìn)行權(quán)值更新。得到預(yù)測(cè)率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經(jīng)網(wǎng)絡(luò)硬件化的一個(gè)器件，為未來(lái)做出相關(guān)硬件網(wǎng)絡(luò)道出了一種可行性。

第六章主要是針對(duì)STDP的學(xué)習(xí)機(jī)制擴(kuò)大網(wǎng)絡(luò)規(guī)模，將數(shù)據(jù)集擴(kuò)展到MNIST手寫(xiě)數(shù)據(jù)集，使用STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)[16]對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，之后再對(duì)訓(xùn)練好的神經(jīng)元進(jìn)行分類(lèi)。得到我們想要的結(jié)果。

第七章主要是總結(jié)本文的工作得到的結(jié)論，以及對(duì)于未來(lái)硬件神經(jīng)網(wǎng)絡(luò)的發(fā)展的一些展望與看法

 

 

1.1.2  硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)

一般硬件神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方式有三種，即采用電子學(xué)方法——依靠微電子技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光電方法——依靠半導(dǎo)體光電集成技術(shù)實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò), 采用光學(xué)方法實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)[18]。微電子技術(shù)應(yīng)該是通過(guò)各種電路設(shè)計(jì)，例如放大電路，差分電路等集成電路，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的reference部分。依靠光電實(shí)現(xiàn)的硬件神經(jīng)網(wǎng)絡(luò)是本文的重點(diǎn)，利用電學(xué)元器件，憶阻器器件，或者是光電器件，模擬生物神經(jīng)元的膜電位變化曲線(xiàn)，與人類(lèi)大腦的權(quán)重學(xué)習(xí)規(guī)則，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的硬件化。采用光學(xué)的方法實(shí)現(xiàn)網(wǎng)絡(luò)計(jì)算的方法十分有趣，UCLA大學(xué)的研究小組發(fā)明了一種全光的深層神經(jīng)網(wǎng)絡(luò)，通過(guò)光的反射與折射傳遞信號(hào)，利用光入射的相位差記錄權(quán)值變化，實(shí)現(xiàn)了全光的神經(jīng)網(wǎng)絡(luò)，而且由于光的傳播速度是光速，在整個(gè)網(wǎng)絡(luò)的效率與速度上都十分驚人，能耗也十分低[21]。神經(jīng)網(wǎng)絡(luò)的電子學(xué)硬件實(shí)現(xiàn)方法主要有四種，其中分別是數(shù)字實(shí)現(xiàn)、模擬實(shí)現(xiàn)、混合數(shù)/模實(shí)現(xiàn)和脈沖技術(shù)實(shí)現(xiàn)等[18]。通過(guò)數(shù)字實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)一般精度很高[1,2]，權(quán)值易存儲(chǔ)也容易改變，并且能夠通過(guò)電路實(shí)現(xiàn)并行處理，克服傳統(tǒng)計(jì)算機(jī)串行處理數(shù)據(jù)的弊病，但是缺點(diǎn)是電路難以集成，體積很大，很難適用于計(jì)算機(jī)新型芯片這種地方。通過(guò)模擬實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)能夠很好克服上面的缺點(diǎn)[3,4,5]，但是由于突觸和神經(jīng)元器件對(duì)參數(shù)敏感，準(zhǔn)確度下降，更關(guān)鍵是對(duì)于權(quán)值的存儲(chǔ)存在困難。1987年是一個(gè)轉(zhuǎn)機(jī)，即脈沖技術(shù)第一次用于了神經(jīng)網(wǎng)絡(luò)，使用VLSI技術(shù)作為實(shí)現(xiàn)，從這以后，神經(jīng)網(wǎng)絡(luò)的脈沖技術(shù)受到了很多關(guān)注[9,12]。

脈沖技術(shù)，簡(jiǎn)單來(lái)說(shuō)就是將神經(jīng)元的興奮或者抑制狀態(tài)通過(guò)一定的編碼方式轉(zhuǎn)化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號(hào)是離散的，因此一定程度上可以簡(jiǎn)化運(yùn)算電路：例如突觸電路。神經(jīng)元與一般的電路元件不同，它本身的密度很高，正如人類(lèi)神經(jīng)元的密度很高一樣。這種緊密的排列方式使得脈沖信號(hào)把芯片和外圍設(shè)備的接口變得更容易連接。本文正是利用從脈沖神經(jīng)網(wǎng)絡(luò)出發(fā)，制備出硬件化的元件，通過(guò)數(shù)值模擬硬件的實(shí)際可行性，并且對(duì)于未來(lái)硬件化神經(jīng)網(wǎng)絡(luò)的方向提出一些看法

21.2  硬件神經(jīng)網(wǎng)絡(luò)研究進(jìn)展當(dāng)前的人工神經(jīng)網(wǎng)絡(luò)存在三種模式，第一種是非學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)，即網(wǎng)絡(luò)的前饋過(guò)程與權(quán)值計(jì)算過(guò)程全部由軟件進(jìn)行實(shí)現(xiàn)，權(quán)值是固定不變的，只用神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)完成之后，再與實(shí)際電路結(jié)構(gòu)匹配即可。另外一種是on-chip的模式，即前饋過(guò)程通過(guò)微電子電路進(jìn)行實(shí)現(xiàn)，權(quán)值的更新與計(jì)算通過(guò)計(jì)算機(jī)實(shí)現(xiàn)。還有一種off-chip模式，即是一種全自動(dòng)的自主性芯片，從神經(jīng)網(wǎng)絡(luò)的前饋環(huán)節(jié)到神經(jīng)網(wǎng)絡(luò)的BP算法實(shí)現(xiàn)都一并完成。目前的研究狀況，我們已經(jīng)能夠熟練通過(guò)電路的設(shè)計(jì)實(shí)現(xiàn)非學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。在on-chip式的人工神經(jīng)網(wǎng)絡(luò)上，我們也能通過(guò)一定的模擬方式得到實(shí)現(xiàn)?，F(xiàn)在的當(dāng)務(wù)之急是開(kāi)發(fā)off-chip式的神經(jīng)網(wǎng)絡(luò)，使用硬件對(duì)權(quán)值的存儲(chǔ)與改進(jìn)是必要的。自從20世紀(jì)60年代后期引入憶阻器概念以來(lái)，由于其簡(jiǎn)單性和功能相似性，它們被認(rèn)為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開(kāi)拓了RRAM和憶阻器之間聯(lián)系，做出了一定的應(yīng)用之后以非易失性存儲(chǔ)器件和神經(jīng)突觸晶體管為代表開(kāi)始成為神經(jīng)突觸器件的基礎(chǔ)。但將這些器件用于第二代神經(jīng)網(wǎng)絡(luò)（也就是多層感知機(jī)）上，取得了一定的成就，現(xiàn)在關(guān)于這方法的也在如火如荼的進(jìn)行著，但是由于第二代神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)仍然是基于計(jì)算機(jī)的算力達(dá)到的深度，也就是說(shuō)，加深隱含層的數(shù)目提高準(zhǔn)確度，知識(shí)因?yàn)橛兄鴱?qiáng)大的計(jì)算芯片作為支持。我們需要考慮一種完全類(lèi)似于人腦思考問(wèn)題的神經(jīng)網(wǎng)絡(luò)與算法，于是脈沖神經(jīng)網(wǎng)絡(luò)開(kāi)始興起，并且被譽(yù)為第三代神經(jīng)網(wǎng)絡(luò)，這是一種完全基于人腦計(jì)算模式的神經(jīng)網(wǎng)絡(luò)，從長(zhǎng)程記憶可塑性L(fǎng)TP，時(shí)間可塑依賴(lài)性STDP等研究的深入，這一網(wǎng)絡(luò)的硬件化也成為了可能

31.3  從生物神經(jīng)元到人工神經(jīng)網(wǎng)絡(luò)1.3.1 生物神經(jīng)元介紹

人的大腦中有超過(guò) 1011個(gè)神經(jīng)元，這些神經(jīng)元之間的連接的突觸又大約有10^15個(gè)，這些突觸使得神經(jīng)元互相連接，從而構(gòu)成了復(fù)雜多變而又有條不紊的神經(jīng)網(wǎng)絡(luò)[7]。這些神經(jīng)元的單獨(dú)處理信息的速度并不算很快，但是人類(lèi)的大腦能夠很有效的利用這些神經(jīng)元并行處理。即大量神經(jīng)元一起處理一個(gè)任務(wù)，這有些類(lèi)似于計(jì)算機(jī)里的多線(xiàn)程并行操作算法。人類(lèi)大腦的神經(jīng)元數(shù)目雖然龐大，但是它的能耗低卻是特點(diǎn)，我們每日攝入的熱量與一些機(jī)器的能源是不能夠比擬的，然而我們的大腦就能夠?qū)崿F(xiàn)很多計(jì)算功能，有數(shù)據(jù)顯示，腦神經(jīng)系統(tǒng)一個(gè)動(dòng)作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個(gè)數(shù)量級(jí)。

人的生物神經(jīng)元有兩個(gè)部分，分別是細(xì)胞體和突起。具有處理并且整合輸入的神經(jīng)信號(hào)，然后傳出這些信息的作用。突起有樹(shù)突和軸突兩種。樹(shù)突相對(duì)較短但分枝很多，其作用是接受其他神經(jīng)元軸突傳來(lái)的沖動(dòng)并傳給細(xì)胞體。軸突長(zhǎng)而分枝少，常常出現(xiàn)在軸丘，一般為粗細(xì)均勻的細(xì)長(zhǎng)突起，其作用是接受外來(lái)刺激，再由細(xì)胞體傳出。神經(jīng)元與神經(jīng)元之間的連接被稱(chēng)為神經(jīng)突觸，兩個(gè)神經(jīng)元之間連接強(qiáng)度或者關(guān)聯(lián)程度體現(xiàn)在突觸的連接強(qiáng)度。一般而言神經(jīng)元有以下的特點(diǎn)[8]：

1）：可塑性：即神經(jīng)元之間的突觸可以連接，也可以取消，連接可以變強(qiáng)，也可以慢慢變?nèi)?，方便與人類(lèi)去適應(yīng)不同的環(huán)境。

2）：興奮與抑制：神經(jīng)元受到外界刺激之后，會(huì)產(chǎn)生膜內(nèi)外滲透壓的差別從而導(dǎo)致Na+或者Ca2+的流入或者流出，這些離子的遷移會(huì)產(chǎn)生動(dòng)作電位，導(dǎo)致膜電位的上升或者下降，也就對(duì)應(yīng)了人類(lèi)神經(jīng)元的興奮和抑制過(guò)程。

3）：學(xué)習(xí)與遺忘：由于可塑性的存在，當(dāng)人類(lèi)在長(zhǎng)時(shí)間受到同一種刺激的時(shí)候，會(huì)產(chǎn)生我們的所說(shuō)的學(xué)習(xí)功能，而這種功能其實(shí)是神經(jīng)元之間的連接得到了加強(qiáng)，同理，如果我們慢慢遺忘了一些東西，是因?yàn)殚L(zhǎng)期不去使用從而神經(jīng)元之間的連接衰弱了。對(duì)應(yīng)的有LTP,LTD圖像來(lái)進(jìn)行表征。

4）：突觸的延時(shí)和不應(yīng)期。神經(jīng)沖動(dòng)的傳遞在突觸中是需要時(shí)間的，一般這個(gè)時(shí)間是1-150ms。另外，神經(jīng)元也不會(huì)在短時(shí)間內(nèi)接受兩次沖動(dòng)，一般需要間隔一定的時(shí)間，這個(gè)被稱(chēng)為不應(yīng)期。

從上面可以看到，想要用神經(jīng)元器件模擬人類(lèi)的生物的神經(jīng)元，一定要從生物本質(zhì)和特征去進(jìn)行模擬。本文后面的數(shù)值模擬會(huì)再把這些特征一一強(qiáng)調(diào)一次，從而達(dá)到一種仿真的目的。

1.3.2 人工神經(jīng)元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經(jīng)元的形式化模型, 神經(jīng)元可用簡(jiǎn)單的zha值函數(shù)表示，并完成邏輯函數(shù)功能[19]。20世紀(jì)初期，美國(guó)心理學(xué)家Willian Jame 提出，一個(gè)神經(jīng)元應(yīng)該是同時(shí)接受來(lái)自不同神經(jīng)元的信號(hào)后，由于不同神經(jīng)元之間的突觸連接強(qiáng)度不同，神經(jīng)元相當(dāng)于是一個(gè)加權(quán)和，并且由于興奮存在一個(gè)閾值電壓，需要一定的電壓值才會(huì)fire，因此神經(jīng)元可以用一個(gè)數(shù)學(xué)模型來(lái)勾畫(huà)，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每個(gè)神經(jīng)元的輸入值，表征神經(jīng)元之間的連接強(qiáng)度，b代表閾值電壓。外界的f函數(shù)則是一種神經(jīng)元的處理函數(shù)。

 

圖1-1 MP 神經(jīng)元模型

Fig.1.1 Neurons model

可以看到，對(duì)于神經(jīng)元的硬件實(shí)現(xiàn)實(shí)際上是一個(gè)乘法器的實(shí)現(xiàn)以及加權(quán)和非線(xiàn)性處理，這個(gè)可以通過(guò)放大電路等進(jìn)行實(shí)現(xiàn)。后續(xù)本文也將探究一下神經(jīng)元應(yīng)該具備怎樣的條件，或者怎么樣的器件適合作為神經(jīng)元器件。

1.3.3 人工神經(jīng)網(wǎng)絡(luò)介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經(jīng)網(wǎng)絡(luò), 引起了神經(jīng)網(wǎng)絡(luò)理論在優(yōu)化學(xué)術(shù)界的轟動(dòng)。然而熱潮還遠(yuǎn)遠(yuǎn)沒(méi)有結(jié)束。1986年，Rumelhart和McCelland提出了BP神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)是現(xiàn)在很多網(wǎng)絡(luò)算法的基礎(chǔ)，它是一種依靠逆向傳播輸出值與實(shí)際值誤差修正網(wǎng)絡(luò)權(quán)值的網(wǎng)絡(luò)，利用梯度下降算法或者隨機(jī)梯度下降法降低目標(biāo)值與實(shí)際值的誤差，隨機(jī)梯度下降算法時(shí)為了加速算法收斂速度提出的更好的方式，現(xiàn)在很多網(wǎng)絡(luò)也應(yīng)用這種方法

 

圖 1-2 經(jīng)典的神經(jīng)BP神經(jīng)網(wǎng)絡(luò)模型

從圖中我們可以看到的是，網(wǎng)絡(luò)一般由輸入層，隱含層和輸出層三個(gè)部分構(gòu)成，其中輸入層可以是圖像的像素值，音頻信號(hào)等等，因此神經(jīng)網(wǎng)絡(luò)現(xiàn)在廣泛用于人臉識(shí)別，圖像識(shí)別，聲音識(shí)別等等領(lǐng)域。隱含層的多少是決定一個(gè)網(wǎng)絡(luò)是否是深層網(wǎng)絡(luò)的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語(yǔ)言描述，訓(xùn)練的精度也會(huì)逐步的提升。輸出層是網(wǎng)絡(luò)的輸出，網(wǎng)絡(luò)的輸出后往往會(huì)選擇一個(gè)損失函數(shù)，這個(gè)損失函數(shù)是用于衡量目標(biāo)值與實(shí)際值的差值從而進(jìn)行誤差反向傳播計(jì)算。常見(jiàn)的損失函數(shù)有MSE函數(shù),Cross-Entorpy函數(shù)等等。

 

圖1-3 硬件神經(jīng)網(wǎng)絡(luò)的一種實(shí)現(xiàn)[15]

基于經(jīng)典的BP神經(jīng)網(wǎng)絡(luò)MLP的硬件實(shí)現(xiàn)如上圖所示，使用電路模擬整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進(jìn)行權(quán)值的存儲(chǔ)與更新。這樣的網(wǎng)絡(luò)往往需要得到的I-V曲線(xiàn)是對(duì)稱(chēng)的，就是說(shuō)，權(quán)值的變化需要是隨著強(qiáng)度的增加而增加，減少而減少，呈現(xiàn)一種線(xiàn)性的變化，從而保證在進(jìn)行BP算法時(shí)，誤差能夠不斷減小。

1.3.4 脈沖神經(jīng)網(wǎng)絡(luò)介紹隨著在21世紀(jì)早期計(jì)算能力的顯現(xiàn)，DNN（多層感知器，深層信念網(wǎng)絡(luò)，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)等等）迅速發(fā)展，DNN的基本特征是有很多隱含層，這些神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)監(jiān)督與非監(jiān)督學(xué)習(xí)，并且能夠優(yōu)秀的完成有大量數(shù)據(jù)的任務(wù)。然而實(shí)際上，現(xiàn)在的DNN的優(yōu)秀來(lái)源于GPU的并行加速機(jī)制，是在計(jì)算機(jī)多核算力上的體現(xiàn)，在其本身的算法上，其效率遠(yuǎn)遠(yuǎn)不如人腦高。SNN（脈沖神經(jīng)網(wǎng)絡(luò)）最近引起了很多關(guān)注，因?yàn)樗鼈兣c生物系統(tǒng)非常相似，在SNN中，輸入信號(hào)是尖峰，而不是傳統(tǒng)神經(jīng)元中的恒定饋送。 人們普遍認(rèn)為能夠處理尖峰是大腦在序列識(shí)別和記憶方面如此壯觀的主要原因之一[9]。序列識(shí)別是計(jì)算中更重要的主題之一，因?yàn)樗苯佑绊懴到y(tǒng)處理強(qiáng)烈時(shí)序依賴(lài)的刺激的能力，例如語(yǔ)音識(shí)別和圖像檢測(cè)[10]

 

圖1-4  STDP圖像

對(duì)應(yīng)STDP的最簡(jiǎn)單理解是，如果前突觸神經(jīng)元的信號(hào)在后突觸神經(jīng)元的信號(hào)之前達(dá)到，有理由認(rèn)為前突觸的信號(hào)導(dǎo)致后突觸神經(jīng)元的信號(hào)產(chǎn)生，那么這兩者之間的突觸連接強(qiáng)度應(yīng)該增加，反之就該減少。但如何保證這種訓(xùn)練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發(fā)表的文章[11]指出具有對(duì)稱(chēng)反饋權(quán)重的網(wǎng)絡(luò)將具有以下特性：“輸出單元”的小擾動(dòng)將向更好的預(yù)測(cè)傳播到內(nèi)部層，使得隱藏單元移動(dòng)到大致遵循預(yù)測(cè)誤差J相對(duì)于隱藏單元的梯度。而STDP規(guī)則大致對(duì)應(yīng)于預(yù)測(cè)誤差的梯度下降，即STDP的規(guī)則其實(shí)和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報(bào)告的實(shí)驗(yàn)已經(jīng)真實(shí)地表明這些近似值可以工作并且能夠訓(xùn)練有監(jiān)督的多層神經(jīng)網(wǎng)絡(luò)[12]。

脈沖神經(jīng)網(wǎng)絡(luò)被稱(chēng)為新一代神經(jīng)網(wǎng)絡(luò)，與經(jīng)典的神經(jīng)網(wǎng)絡(luò)不同在于它的輸入實(shí)際上不是一個(gè)連續(xù)值而是一系列脈沖，更為重要的是他的神經(jīng)元膜電位，一旦達(dá)到了膜電位的峰值，那么這個(gè)神經(jīng)元就被激活，后面的脈沖會(huì)進(jìn)入一段不應(yīng)期。關(guān)于神經(jīng)元的模型，已經(jīng)提出了HH模型，Izhikevich模型與LIF模型，其中以L(fǎng)IF模型為例，其微分方程的表示如下：

τdVdt=?(V?Vr)+RI

                      （2-2）

 

τ

是膜的時(shí)間常數(shù)，R為膜電阻，V是膜電位，Vr是復(fù)位電位，I是注入電流，當(dāng)膜電壓超過(guò)一個(gè)閾值時(shí)，神經(jīng)元會(huì)發(fā)送一個(gè)脈沖。如果后面沒(méi)有連續(xù)的刺激，這個(gè)產(chǎn)生的脈沖信號(hào)會(huì)不斷衰退，膜電位也會(huì)恢復(fù)到復(fù)位電位后穩(wěn)定。之后再接受電流再刺激。

 

針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，也分為有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)主要以STDP為主[13,14]，有監(jiān)督學(xué)習(xí)包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個(gè)詳細(xì)的介紹：

在Tempotron算法中，考慮在閾值下，突觸前神經(jīng)元產(chǎn)生的脈沖信號(hào)，對(duì)突觸后膜電位（PSPs）的貢獻(xiàn)是來(lái)自所有脈沖輸入的加權(quán)和：

V(t)=∑iωi∑tiK(t?ti)+Vrest

                  （2-3）

 

ti

表示第i個(gè)神經(jīng)元的脈沖發(fā)送時(shí)間，

K（t?ti）

表示第i個(gè)脈沖對(duì)于膜電位的貢獻(xiàn)，即突觸前神經(jīng)元發(fā)出的脈沖對(duì)于突觸后神經(jīng)元膜電位的影響。其標(biāo)準(zhǔn)形式如下：

 

K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])

          （2-4）

 

τ,τs

是時(shí)間常數(shù)，為了保證K(t)在（0,1）之內(nèi)變動(dòng)，我們需要用V_0進(jìn)行歸一化處理，K(t)圖像繪制如下圖：

 

 

圖1-5 K(t)隨時(shí)間變化圖

由監(jiān)督學(xué)習(xí)的重點(diǎn)是要將權(quán)重更新向著誤差減少的方向進(jìn)行，獲得期望的輸出脈沖，更新規(guī)則如下：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （2-5）

 

即以二分類(lèi)為例，ti

為突觸前神經(jīng)元峰值的產(chǎn)生時(shí)間，這里的

tmax

設(shè)定為我們?cè)O(shè)置的時(shí)間序列的終點(diǎn)，默認(rèn)為突觸后神經(jīng)元的峰值的產(chǎn)生時(shí)間，但這和一般的STDP不一樣，因?yàn)镾TDP的神經(jīng)網(wǎng)絡(luò)訓(xùn)練規(guī)則實(shí)際是不需要有監(jiān)督的，而這里有一個(gè)參數(shù)

λ

，用于控制輸出值與期望值的誤差方向，如果突觸前神經(jīng)元產(chǎn)生峰值超過(guò)閾值電壓的神經(jīng)脈沖，并且突觸后神經(jīng)元指向分類(lèi)標(biāo)準(zhǔn)與前神經(jīng)元指向的分類(lèi)相同，則不需要修改權(quán)值（說(shuō)明這個(gè)連接正確），如果突觸前神經(jīng)元峰值未超過(guò)閾值電壓，那么需要根據(jù)上式指定

λ

>0，并且計(jì)算需要增加的權(quán)值。反之當(dāng)

λ

<0時(shí)，需要進(jìn)行減小權(quán)值?？傮w看來(lái)，這是在借助有監(jiān)督學(xué)習(xí)的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線(xiàn)獲得修正的幅度（可以認(rèn)為是學(xué)習(xí)的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監(jiān)督學(xué)習(xí)的條件下，后突出神經(jīng)元的峰值由標(biāo)簽值決定，并且根據(jù)誤差值指明誤差修正放向（體現(xiàn)為

λ

的正負(fù)性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線(xiàn)用于有監(jiān)督學(xué)習(xí)的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  實(shí)驗(yàn)部分12.1  陣列化基于硅納米晶體雜化結(jié)構(gòu)的神經(jīng)突觸器件制備2.1.1  制備技術(shù)路線(xiàn)在本論文里面，采用了冷等離子方法制備了摻B的Si量子點(diǎn)，相比于其他的摻雜方法，冷等離子法是借助了動(dòng)力學(xué)的原理，從而實(shí)現(xiàn)了對(duì)硅納米晶體的高效摻雜，一定程度上避免了利用熱力學(xué)原理來(lái)?yè)诫s的過(guò)程中出現(xiàn)的“自潔凈”現(xiàn)象。相比之下能夠?qū)崿F(xiàn)比較高濃度的摻雜。

 

圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖

使用冷等離子體法制備摻雜硅納米晶體的裝置設(shè)計(jì)示意如圖2.1所示。先準(zhǔn)備每分鐘流量值12標(biāo)準(zhǔn)公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調(diào)節(jié)系統(tǒng)尾部的真空泵，使腔體內(nèi)的氣壓穩(wěn)定在6 mbar。石英管中間部位套有兩個(gè)銅環(huán)，分別接匹配箱和射頻發(fā)生器的正負(fù)兩級(jí)。在射頻發(fā)生器（功率約為150 w）的激發(fā)下，銅環(huán)之間的石英管內(nèi)將產(chǎn)生等離子體，混合氣體在通過(guò)等離子體區(qū)域時(shí)將會(huì)發(fā)生分解反應(yīng)，這個(gè)反應(yīng)的產(chǎn)生是因?yàn)闅怏w受到了高能粒子和電子的轟擊產(chǎn)生的，具體化學(xué)反應(yīng)式如下：

SiH4?Si+H2B2H6?2B+3H2

 

在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對(duì)載流子具有俘獲的性質(zhì)，首先與鈣鈦礦進(jìn)行雜化形成混合容易。通過(guò)旋涂工藝制備成了太陽(yáng)能電池結(jié)構(gòu)的神經(jīng)器件，器件的結(jié)構(gòu)是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au。在該結(jié)構(gòu)里面，ITO是通過(guò)光學(xué)刻蝕得到。PCBM, 鈣鈦礦與硅量子點(diǎn)雜化層， Spiro是通過(guò)旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子點(diǎn)在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發(fā)工藝得到，厚度大約為100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '這一段是不是應(yīng)該要?jiǎng)h掉？']2.1.1  器件制備路線(xiàn)

在器件制備方面，本文準(zhǔn)備利用硅納米顆粒的光電性能與decay長(zhǎng)的性質(zhì)，與鈣鈦礦進(jìn)行雜化形成自驅(qū)動(dòng)電池，在制備電池的工藝上，選擇旋涂工藝做成太陽(yáng)能電池的結(jié)構(gòu)，器件結(jié)構(gòu)分別是：Ito/pcbm/鈣鈦礦與硅量子點(diǎn)雜化層/spiro/Au，之后使用熱蒸發(fā)工藝將電極Au安裝上，設(shè)置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點(diǎn)摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內(nèi)容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  數(shù)值模擬13.1 神經(jīng)元硬件化數(shù)值模擬3.1.1  神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于神經(jīng)元的模擬，和突觸的模擬不同，神經(jīng)元的功能由上文中的MP模型已經(jīng)表述很清楚，他承擔(dān)一個(gè)乘法器和加權(quán)和、還有實(shí)現(xiàn)一個(gè)神經(jīng)元函數(shù)的功能，這個(gè)功能也是我們下面模擬要探索的。

 

圖3-1 MINST數(shù)據(jù)集對(duì)于的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

采用常用的MNIST手寫(xiě)識(shí)別數(shù)據(jù)集作為整個(gè)網(wǎng)絡(luò)的輸入，先將圖像的RGB值轉(zhuǎn)換成一個(gè)單位的灰度值，設(shè)計(jì)輸入層應(yīng)該有784個(gè)節(jié)點(diǎn)，隱含層300個(gè)節(jié)點(diǎn)，輸出層設(shè)置10個(gè)節(jié)點(diǎn)，分別對(duì)應(yīng)0-9個(gè)數(shù)字的pattern。在實(shí)際模擬時(shí)，采用兩種方式處理，第一種是利用STDP非線(xiàn)性函數(shù)直接對(duì)輸入的圖像像素值進(jìn)行處理，意在將灰度值轉(zhuǎn)換為強(qiáng)度值。再用網(wǎng)絡(luò)進(jìn)行訓(xùn)練。第二張利用STDP非線(xiàn)性函數(shù)作為神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)，意在探究神經(jīng)元的基本性質(zhì)。

訓(xùn)練模式采用SGD算法，樣本集總共55000個(gè)圖片，每張圖片28×28有784個(gè)輸入值，epoch設(shè)置掃描樣本集10次以上，損失函數(shù)使用交叉熵函數(shù)，激活函數(shù)選擇softmax函數(shù)進(jìn)行激活分類(lèi)，因?yàn)檫@個(gè)函數(shù)比較適合于多分類(lèi)問(wèn)題，在優(yōu)化上也得到了理論的證明。首先我們先將實(shí)驗(yàn)中得到的STDP數(shù)據(jù)擬合結(jié)果如下：

 

圖3-2 STDP Positive 擬合圖像

這里故意選擇了一個(gè)與常規(guī)激活函數(shù)相關(guān)性為負(fù)的激活函數(shù)，一般的激活函數(shù)比如sigmod，relu激活函數(shù)，其強(qiáng)度其實(shí)和輸入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']現(xiàn)正相關(guān)的，這里選取的作為負(fù)相關(guān)的原因是想探究是否能夠作為激活函數(shù)使用。其結(jié)果如下：

 

圖 3-3 擬合的Loss與Accuracy隨訓(xùn)練次數(shù)的變化圖

可以看到上述的結(jié)果是可觀的，也就是說(shuō)，激活函數(shù)的選取，與是否與輸入值正相關(guān)沒(méi)有關(guān)系。另外我比較了理論激活函數(shù)，實(shí)驗(yàn)激活函數(shù)，與對(duì)輸入直接非線(xiàn)性處理得到結(jié)果的異同性：

 

圖3-4 三種不同方法得到Loss函數(shù)變化情況

 

圖3-5 三種方法得到的Accuracy變化情況

可以看到，理論激活函數(shù)（紅色）在準(zhǔn)確率上仍然時(shí)最高的，最后的樣本內(nèi)準(zhǔn)確率有98.42%，但在loss的下降速度上，實(shí)驗(yàn)激活函數(shù)體現(xiàn)的更好，但實(shí)驗(yàn)的激活函數(shù)最后準(zhǔn)確率只有96.69%。

3.1.2  神經(jīng)元硬件化結(jié)論根據(jù)上面的模擬結(jié)果我們可以得到結(jié)論，對(duì)于神經(jīng)元的硬件模擬，作為激活函數(shù)，只需完成非線(xiàn)性這個(gè)條件即可，但是在實(shí)現(xiàn)乘法器的過(guò)程中，需要電路由很好的線(xiàn)性度。這個(gè)線(xiàn)性度的要求實(shí)際是從BP算法的推導(dǎo)中獲得的，這里簡(jiǎn)單的推導(dǎo)一下：

Δw=?Loss?w=?Loss?y??y?output??output?w

              （3-1）

 

上式想說(shuō)明的是，我們需要調(diào)節(jié)權(quán)值w使得我們計(jì)算出的loss函數(shù)達(dá)到最小值，因此我們需要求其導(dǎo)數(shù)從而獲得調(diào)整的方向，可以看到等式右邊第一項(xiàng)實(shí)際是損失函數(shù)對(duì)于輸入值的導(dǎo)數(shù)，第二項(xiàng)時(shí)激活函數(shù)對(duì)于輸入值的導(dǎo)數(shù)，這兩項(xiàng)在有輸入值的條件下是可以求出的。而根據(jù)神經(jīng)網(wǎng)絡(luò)的矩陣運(yùn)算：

output=w?x+b

                       （3-2）

 

可以看到，output值與輸入的值時(shí)存在線(xiàn)性關(guān)系的，那么也就是說(shuō)，我們權(quán)值變化量Δw

與輸入的x需要滿(mǎn)足線(xiàn)性關(guān)系。因此神經(jīng)元硬件化需要實(shí)現(xiàn)的線(xiàn)性度不僅僅影響了加權(quán)的效果，還影響到權(quán)值更新的效率性。很多關(guān)于神經(jīng)網(wǎng)絡(luò)硬件化的論文一定會(huì)提到這個(gè)線(xiàn)性度，因?yàn)檫@個(gè)線(xiàn)性度時(shí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)算法達(dá)到收斂的基本保障。

 

 

圖3-6.a SET與RESET模式下的I-V曲線(xiàn)；b SET模式下的權(quán)值變化隨刺激次數(shù)的變化；c RESET模式下的權(quán)值變化隨刺激次數(shù)的變化[15]

如上圖清華大學(xué)完成的憶阻器神經(jīng)突觸器件，選取電導(dǎo)作為權(quán)值時(shí)，需要I-V曲線(xiàn)在第一二想象有近似的對(duì)稱(chēng)值，其導(dǎo)數(shù)值(即權(quán)值)隨著固定電壓的刺激次數(shù)線(xiàn)性增加或者減小。一般而言，在硬件神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值跟新的時(shí)候，會(huì)選擇一個(gè)固定更新電壓，在這個(gè)指定的電壓下，我們需要保證權(quán)值的正向更新與負(fù)向更新有近似的值，這個(gè)在圖像上體現(xiàn)為圖像的對(duì)稱(chēng)。之前也有文章在圖像的對(duì)稱(chēng)性上做了相關(guān)的材料探究。證明這樣的對(duì)稱(chēng)性是必要的

23.2 有監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.2.1  脈沖編碼脈沖神經(jīng)網(wǎng)絡(luò)與第二代神經(jīng)網(wǎng)絡(luò)最為不同的一點(diǎn)在于，它的輸入并不是一系列連續(xù)的值，不是像圖像像素一樣一個(gè)個(gè)數(shù)據(jù)連續(xù)計(jì)入，也沒(méi)有二值化的操作。而是離散的脈沖值，就圖像識(shí)別而言，簡(jiǎn)單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進(jìn)行標(biāo)準(zhǔn)化后作為網(wǎng)絡(luò)的輸入。而脈沖神經(jīng)網(wǎng)絡(luò)需要對(duì)于輸入進(jìn)行一定的脈沖編碼處理，這個(gè)處理可以自己選擇，但轉(zhuǎn)化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發(fā)出的時(shí)間作為網(wǎng)絡(luò)的輸入。下面介紹本文中tempotron算法的編碼方式。

選取26個(gè)英文字母A-Z作為需要識(shí)別的樣本集。每一個(gè)字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會(huì)編程一個(gè)16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數(shù)組，然后我們對(duì)其進(jìn)行編碼，每次隨機(jī)從256個(gè)數(shù)中隨機(jī)去8個(gè)數(shù)且不放回，組成一個(gè)32×8的新矩陣，對(duì)于每一行數(shù)，得到的是一個(gè)8位的二進(jìn)制數(shù)，因此我們將其轉(zhuǎn)化成十進(jìn)制數(shù)，得到一個(gè)0-255范圍的數(shù)，將原來(lái)的矩陣轉(zhuǎn)化成了32×1的矩陣。且每一行代表一個(gè)脈沖的發(fā)送時(shí)間，即將一張16×16的圖像矩陣轉(zhuǎn)化成了在不同時(shí)間一共發(fā)送32次脈沖的輸入值。

3.2.2  權(quán)值更新按照tempotron算法的權(quán)值更新規(guī)則：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （3-3）

 

我們需要設(shè)置一個(gè)時(shí)間軸，并且對(duì)于這個(gè)時(shí)間軸上進(jìn)行時(shí)間窗口的劃分，等于說(shuō)我們需要將這個(gè)時(shí)間軸切割成一份份來(lái)進(jìn)行一個(gè)個(gè)的循環(huán)。由于之前在輸入編碼的時(shí)候，我們將16×16像素的黑白圖像轉(zhuǎn)換成了發(fā)送32次脈沖的輸入，這些輸入的脈沖的時(shí)間是0-255，也就是說(shuō)，我們建立一個(gè)長(zhǎng)度為256ms的時(shí)間軸，并且以1ms為一個(gè)時(shí)間窗口，每次檢查在當(dāng)前時(shí)間窗口前是否有脈沖輸入，并且每次都選取在當(dāng)前時(shí)間之前能夠發(fā)送脈沖的數(shù)據(jù)，認(rèn)為他們發(fā)送一次脈沖，將這個(gè)脈沖與核函數(shù)相乘，作為我們膜電壓，如果膜電壓超過(guò)了我們?cè)O(shè)置的threshold電壓值，我們則認(rèn)為該神經(jīng)元處于fire狀態(tài)，并且會(huì)進(jìn)入一段不應(yīng)期，即shut down后面在256ms內(nèi)的所有脈沖輸入。我們輸入是5個(gè)神經(jīng)元，這是因?yàn)槲覀冃枰獙?duì)26個(gè)英文字母分類(lèi)，即用5個(gè)二進(jìn)制數(shù)最大可以表示到0-31的每個(gè)數(shù)，于是我們用5個(gè)二進(jìn)制數(shù)表示我們分類(lèi)的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類(lèi)推。當(dāng)神經(jīng)處于fire狀態(tài)時(shí)，它會(huì)表現(xiàn)出1的狀態(tài)，反之如果它沒(méi)有能夠達(dá)到閾值電壓，它會(huì)處于0的狀態(tài)，我們將網(wǎng)絡(luò)的輸入與我們準(zhǔn)備好的標(biāo)簽值進(jìn)行對(duì)比，如果說(shuō)產(chǎn)生了不同，即分類(lèi)產(chǎn)生了誤差，我們就需要對(duì)其進(jìn)行權(quán)值更新，從而在慢慢的訓(xùn)練過(guò)程中，獲得我們期望得到的脈沖值。

即如果網(wǎng)絡(luò)發(fā)出了脈沖，但是實(shí)際沒(méi)有發(fā)送脈沖，我們降低該脈沖產(chǎn)生的權(quán)值，從而讓其在后面慢慢變得不發(fā)出脈沖。

如果網(wǎng)絡(luò)沒(méi)有發(fā)出脈沖，但是實(shí)際輸入應(yīng)該發(fā)出脈沖，我們應(yīng)該強(qiáng)化該脈沖的產(chǎn)生，即增大其權(quán)值。

 

圖3.7 訓(xùn)練前脈沖與訓(xùn)練后脈沖對(duì)比圖

我們?cè)O(shè)置1.0 v為閾值電壓，可以看到，隨著訓(xùn)練次數(shù)的增大，一開(kāi)始正的脈沖傾向于在后面發(fā)出超過(guò)閾值電壓的脈沖。但是一開(kāi)始負(fù)的脈沖，雖然一開(kāi)始超過(guò)了閾值電壓，但是由于隨著訓(xùn)練次數(shù)的增大，變得不斷被抑制，不再發(fā)出脈沖。我們的網(wǎng)絡(luò)就是基于這樣一種思路去訓(xùn)練與優(yōu)化。

3.2.3  數(shù)值模擬結(jié)果數(shù)值模擬上，本文選取了兩組實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了權(quán)值更新法則函數(shù)的模擬，即使用實(shí)驗(yàn)得到的LTP與STDP數(shù)據(jù)進(jìn)行了數(shù)值模擬，并且對(duì)比了兩者在應(yīng)用于tempotron算法的差異，提出一定看法。

3.2.4  LTP權(quán)值改變法數(shù)值LTP曲線(xiàn)是模擬人類(lèi)大腦學(xué)習(xí)時(shí)候的長(zhǎng)程可塑性，在圖像上體現(xiàn)為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經(jīng)過(guò)一段時(shí)間再進(jìn)行了衰減。表現(xiàn)的圖像如下：

 

圖3.8 LTP擬合圖像

線(xiàn)是得到實(shí)驗(yàn)的LTP數(shù)據(jù)后，使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行擬合，得到完美擬合的曲線(xiàn)，這樣保證了能夠使用完全的實(shí)驗(yàn)數(shù)據(jù)。另外由于實(shí)驗(yàn)的數(shù)據(jù)僅僅有LTP數(shù)據(jù)，然而對(duì)于我們的模擬也需要LTD數(shù)據(jù)，基于我們對(duì)于這兩個(gè)圖像的了解，他們?cè)谝欢ǔ潭壬鲜侵行膶?duì)稱(chēng)的。我們通過(guò)對(duì)于LTP數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)擬合，外推LTD的數(shù)據(jù)，將LTD的數(shù)據(jù)應(yīng)用于模型的抑制環(huán)節(jié)，保證權(quán)值的增加與減少對(duì)稱(chēng)。

將LTP的數(shù)據(jù)帶入，進(jìn)行訓(xùn)練，設(shè)置最大epoch數(shù)為100次，設(shè)置閾值電壓為1 v。訓(xùn)練結(jié)果如下：

 

圖 3.9 準(zhǔn)確率隨訓(xùn)練次數(shù)的變化圖像(LTP)

可以看到，在100 epoch下，準(zhǔn)確率在隨訓(xùn)練次數(shù)的增加而增加，最終穩(wěn)定在89%左右。

3.2.5  STDP權(quán)值改變法人腦的學(xué)習(xí)模式是STDP已經(jīng)被大部分論文和實(shí)驗(yàn)所證實(shí)，因此也許基于STDP的權(quán)值改變方法能夠更加促進(jìn)學(xué)習(xí)的效率。STDP的本質(zhì)定義是說(shuō)：如果突出前神經(jīng)元的峰值脈沖到達(dá)時(shí)間小于突觸后的神經(jīng)元峰值脈沖，那么認(rèn)為突觸前神經(jīng)元脈沖的產(chǎn)生可能是有利于突觸后神經(jīng)元的產(chǎn)生，即這兩者之間是存在一定的聯(lián)動(dòng)關(guān)系的。于是加強(qiáng)這兩個(gè)神經(jīng)元的連接。反之則減弱它們之間的連接。

利用實(shí)驗(yàn)得到對(duì)的STDP Positive數(shù)據(jù)，波張選取375nm的光做刺激。得到光驅(qū)動(dòng)下的STDP。但實(shí)驗(yàn)與理論存在偏差的一點(diǎn)，是光刺激下的STDP圖像實(shí)際上是存在于一、二象限的，這樣意味著，無(wú)論是突出前神經(jīng)元的脈沖先到達(dá)還是后到達(dá)，產(chǎn)生的權(quán)值更新過(guò)程，都是加強(qiáng)該兩個(gè)神經(jīng)元之間的連接。在保證權(quán)值更新雙向?qū)ΨQ(chēng)性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數(shù)據(jù)作為替代，這個(gè)數(shù)據(jù)是從電突觸元器件得到的。這里也可以得出一個(gè)設(shè)想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因?yàn)?，光學(xué)突觸器件的耗能相比于電學(xué)突觸器件要節(jié)省很多。如果能夠使用光電混合信號(hào)實(shí)現(xiàn)光電STDP，也不失為一種選擇。

擬合后正向STDP函數(shù)表達(dá)式如下：

y=?0.346ln(x)+2.708

 

負(fù)向STDP函數(shù)表達(dá)式如下：       

y=0.302ln(?x)?2.546

 

根據(jù)上面的STDP函數(shù)更新法則，帶入我們的temportron算法進(jìn)行求解。得到準(zhǔn)確率變化情況如下，設(shè)置參數(shù)與LTP更新規(guī)則相同。

 

圖3.10 準(zhǔn)確率隨訓(xùn)練次數(shù)變化情況(STDP)

可以看到，經(jīng)由STDP訓(xùn)練的網(wǎng)絡(luò)，在epoch=60左右的時(shí)候，已經(jīng)達(dá)到了準(zhǔn)確率100%，在訓(xùn)練的準(zhǔn)確度與效率上，高于使用LTP訓(xùn)練的結(jié)果。這也可能是為什么當(dāng)前很多的研究都著眼于STDP權(quán)重更新機(jī)制。這可能也和STDP實(shí)際上與人類(lèi)大腦的學(xué)習(xí)機(jī)制十分相似，本次模擬也證明了大腦學(xué)習(xí)模式在權(quán)值調(diào)整上的優(yōu)越性，基于LTP的調(diào)制模式，更多是對(duì)于算法當(dāng)中核函數(shù)K(t)的模擬，而并非是對(duì)于本質(zhì)上人類(lèi)大腦學(xué)習(xí)模式的仿真。

3.2.6  結(jié)論無(wú)論選取LTP，STDP作為權(quán)值更新的方式，神經(jīng)網(wǎng)絡(luò)的權(quán)值更新一定要是對(duì)稱(chēng)，這樣在梯度下降算法過(guò)程中，才能夠有正和負(fù)梯度，使得最后的結(jié)果收斂于局部最小點(diǎn)。另外，在學(xué)習(xí)機(jī)制上，STDP是存在一定優(yōu)越性的。后面本文將針對(duì)SDTP學(xué)習(xí)機(jī)制，將網(wǎng)絡(luò)擴(kuò)展到更大的規(guī)模，展現(xiàn)STDP學(xué)習(xí)機(jī)制的強(qiáng)大之處。

33.3 無(wú)監(jiān)督脈沖神經(jīng)網(wǎng)絡(luò)數(shù)值模擬3.3.1  理論背景與基礎(chǔ)這SNN的發(fā)展之所以廣受著名，是因?yàn)樗W(wǎng)絡(luò)的元器件要求是有一定硬件基礎(chǔ)的，不論是在神經(jīng)元的設(shè)計(jì)上，如LIF模型，HH模型，還是電導(dǎo)突觸，指數(shù)型的衰減機(jī)制，閾值電壓。都可以通過(guò)我們?cè)O(shè)計(jì)的電學(xué)或者光學(xué)器件進(jìn)行實(shí)現(xiàn)。

本文基于2015年P(guān)eter發(fā)表的關(guān)于STDP無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的代碼基礎(chǔ)上，加上實(shí)驗(yàn)得到的數(shù)據(jù)，進(jìn)行數(shù)值模擬。模擬之前，先了解一下網(wǎng)絡(luò)的具體結(jié)構(gòu)與基本理論。

對(duì)于神經(jīng)元的設(shè)置，應(yīng)用integrated -and-fire model模型：

τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)

            （3-6）

 

這里V是膜電壓，Erest

是神經(jīng)元在沒(méi)有外界刺激下的一種靜息電壓。

τ

是抑制或者興奮神經(jīng)元的時(shí)間時(shí)間常數(shù)，這個(gè)常數(shù)時(shí)間上就是用于控制各種不同的STDP圖像。

galignlink

和

gexc

是抑制性神經(jīng)元和興奮性神經(jīng)元的電導(dǎo)值，這個(gè)值在神經(jīng)網(wǎng)絡(luò)中表現(xiàn)為權(quán)重，也是我們需要訓(xùn)練的東西。訓(xùn)練模式與tempotron算法類(lèi)似，當(dāng)膜電壓到達(dá)閾值電壓的時(shí)候，就會(huì)發(fā)送尖峰脈沖信號(hào)，然后膜電位復(fù)位到靜息電壓。如果有神經(jīng)元的尖峰信號(hào)達(dá)到突觸，那么突觸就會(huì)提升權(quán)值，即電導(dǎo)，如果沒(méi)有，那么權(quán)值就會(huì)指數(shù)型的衰減。權(quán)值更新的模式仍然是取決于突觸前神經(jīng)元與突觸后神經(jīng)元的尖峰達(dá)到時(shí)間差。如圖3.11所示，由于前后神經(jīng)元的脈沖尖峰抵達(dá)時(shí)間差不一樣，產(chǎn)生了興奮和抑制兩種模式

 

 

圖 3.11 STDP權(quán)值更新模式圖[17]

我們需要定義興奮性神經(jīng)元與抑制性神經(jīng)元的權(quán)值改變方式。對(duì)于興奮性神經(jīng)元的電導(dǎo)更新模式如下：

τgedgedt=?ge

                      （3-7）

 

抑制性電導(dǎo)的更新模式其實(shí)只需要更換常數(shù)：

τgidgidt=?gi

                      （3-8）

 

時(shí)間常數(shù)得控制會(huì)影響STDP得學(xué)習(xí)曲線(xiàn)，人腦或者生物的時(shí)間常數(shù)一般是10 ms-20 ms量級(jí)。我們由實(shí)驗(yàn)得到得時(shí)間常數(shù)數(shù)值也靠近這個(gè)值

然后是基于STDP的權(quán)值更新法則：

Δw=η(xpre?xtar)(wmax?w)u

               （3-9）

 

實(shí)際上，STDP的更新規(guī)則很多，還有指數(shù)型的，這里選取一種更新規(guī)則，他們大多大同小異。這里的η

是學(xué)習(xí)的速率，

Xpre

是該脈沖產(chǎn)生時(shí)的上一次脈沖值，每當(dāng)有一次脈沖到達(dá)突觸時(shí)，

Xpre

會(huì)增加1，如果沒(méi)有，它會(huì)按照指數(shù)型進(jìn)行衰減。

Xtar

是前一次的突觸前神經(jīng)元產(chǎn)生的脈沖，其反應(yīng)在突觸后神經(jīng)元的目標(biāo)值。這其實(shí)也是在將突觸前神經(jīng)元和后神經(jīng)元產(chǎn)生的時(shí)間在進(jìn)行比較，從而正確的更新權(quán)值。

 

3.3.2  網(wǎng)絡(luò)設(shè)計(jì)脈沖神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與普通的經(jīng)典神經(jīng)網(wǎng)絡(luò)有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數(shù)據(jù)，脈沖的頻率由圖像像素點(diǎn)的灰度值，即成正比關(guān)系，28×28的像素值會(huì)變成一個(gè)784×1的一維序列，每一個(gè)值代表一定頻率的脈沖信號(hào)。

 

圖3.12 SNN神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[16]

 

之后進(jìn)入激活層，激活層放置激活神經(jīng)元，然后再進(jìn)入抑制層，放置抑制層神經(jīng)元。這里可以看到，非監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)是不存在標(biāo)簽值的。更新完全依靠激活層與抑制層之間的關(guān)系。從圖3.12可以看到，輸入層與激活層實(shí)際上時(shí)全連接模式，即每一個(gè)像素點(diǎn)產(chǎn)生的脈沖序列都會(huì)再激活層有一個(gè)對(duì)應(yīng)權(quán)重。激活層與抑制層之間時(shí)一一對(duì)應(yīng)連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經(jīng)與抑制層產(chǎn)生連接的神經(jīng)元。這樣的網(wǎng)絡(luò)設(shè)計(jì)模式實(shí)際上是由理由的。這應(yīng)用的winter take all法則，即當(dāng)某個(gè)激活層的神經(jīng)元產(chǎn)生興奮后，該興奮傳遞到抑制層后，抑制層會(huì)抑制其他所有神經(jīng)元產(chǎn)生脈沖。也就是說(shuō)，不斷的訓(xùn)練后，能夠產(chǎn)生脈沖的神經(jīng)元會(huì)趨向于越來(lái)越容易產(chǎn)生脈沖，而其他神經(jīng)元會(huì)越來(lái)越無(wú)法產(chǎn)生脈沖。從而達(dá)到訓(xùn)練的目的。這和傳統(tǒng)的K-means算法也有異曲同工之妙，但不同的是STDP 非監(jiān)督學(xué)習(xí)存在抑制層，從而避免了某幾個(gè)神經(jīng)元一直占據(jù)某個(gè)pattern。

3.3.3  模擬結(jié)果數(shù)值模擬將MNIST 六萬(wàn)個(gè)訓(xùn)練數(shù)據(jù)編碼后作為脈沖輸入，整個(gè)訓(xùn)練集進(jìn)行了6次迭代，一共是36萬(wàn)張圖片，訓(xùn)練結(jié)束后學(xué)習(xí)慮被置為零，動(dòng)態(tài)閾值被鎖定。之后輸入每一類(lèi)的數(shù)字圖片，記錄每個(gè)神經(jīng)元對(duì)應(yīng)該類(lèi)圖片的激活次數(shù)，并且選取其中激活次數(shù)最多的為該神經(jīng)元的標(biāo)簽。之后使用測(cè)試集的一萬(wàn)張圖片作為脈沖輸入，觀察每當(dāng)一張圖片輸入時(shí)，哪個(gè)神經(jīng)元的激活頻率最高，如果該神經(jīng)元的標(biāo)簽與輸入圖片屬于同一pattern，那么認(rèn)為分類(lèi)正確。統(tǒng)計(jì)10000萬(wàn)張圖片的平均準(zhǔn)確率，得到網(wǎng)絡(luò)的訓(xùn)練的評(píng)價(jià)值即Accuracy。

 

圖3.13 神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣圖

這里訓(xùn)練后激活層的權(quán)值矩陣。之前提到了，當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后，我們會(huì)輸入每一個(gè)圖片的pattern，以激活次數(shù)最高的神經(jīng)元作為該pattern的標(biāo)簽，在這樣經(jīng)過(guò)改進(jìn)后，圖5.3是激活層神經(jīng)元重組后的權(quán)值分布，可以看到，不同神經(jīng)元對(duì)于不同pattern的適應(yīng)程度不同，體現(xiàn)在顏色的深淺上。

 

圖3.14 輸入層到激活層權(quán)值矩陣可視化圖

 

圖3.15 激活層到抑制層權(quán)值矩陣可視化圖

從圖3.14我們可以看到，只有很少部分的權(quán)值很高，即呈現(xiàn)黃色小點(diǎn)模式，體現(xiàn)即只有少數(shù)pattern才能夠產(chǎn)生脈沖，其他的脈沖都被抑制，這個(gè)圖像很好體現(xiàn)了我們?cè)趯W(xué)習(xí)過(guò)程中的winer-take-all的模式。圖3.15體現(xiàn)的更加明顯的是，因?yàn)榫W(wǎng)絡(luò)的設(shè)計(jì)是激活層與抑制層一對(duì)一連接，抑制層與激活層反向全連接，但除去了從激活層連接過(guò)來(lái)的神經(jīng)元，因此在權(quán)值的對(duì)角線(xiàn)上都是winer，而其他的神經(jīng)元都被抑制，從而達(dá)到了我們從眾多神經(jīng)元中選取出適合當(dāng)前輸入的正確pattern。

之后我們輸入10000個(gè)MNIST的test集圖片進(jìn)行外推，結(jié)果是：Sum response - accuracy:  91.43  number incorrect:  857。即我們?cè)隍?yàn)證集上達(dá)到了91.43%的準(zhǔn)確度。總的來(lái)說(shuō)還是比較可觀的。

結(jié)  論本文用了三個(gè)數(shù)值模擬的方法，分別對(duì)于神經(jīng)元硬件化條件，神經(jīng)突觸硬件化條件，神經(jīng)元學(xué)習(xí)規(guī)則優(yōu)越性做了探究。在神經(jīng)元硬件化上，通過(guò)使用不同的非線(xiàn)性函數(shù)進(jìn)行數(shù)值模擬，得到了其實(shí)在當(dāng)選取激活函數(shù)時(shí)，函數(shù)與輸入值的正相關(guān)性并不是必要的，非線(xiàn)性才是最為重要的基準(zhǔn)。并且作者使用簡(jiǎn)單的鏈?zhǔn)角髮?dǎo)法則，證明了神經(jīng)元的硬件化需要有加權(quán)乘法器的功能，并且強(qiáng)調(diào)了乘法器的線(xiàn)性程度。也就推出了權(quán)值更新時(shí)，權(quán)值該變量與輸入值的正相關(guān)性的重要性，也可以說(shuō)是正負(fù)變化的對(duì)稱(chēng)性是對(duì)隨機(jī)梯度下降法達(dá)到收斂的充分條件。在SNN數(shù)值模擬上，本文先嘗試了tempotron有監(jiān)督SNN算法，并且對(duì)其權(quán)值改變的方程做出了LTP與STDP法則的兩種試探，發(fā)現(xiàn)STDP的效果更好，也不愧是貼近人類(lèi)大腦的學(xué)習(xí)模式。這里也需要指出tempotron算法的缺點(diǎn)在于該算法只能針對(duì)單神經(jīng)元，即脈沖只能判斷單個(gè)神經(jīng)元能不能發(fā)出脈沖，泛用性不是特別強(qiáng)，但是將輸入改成離散的脈沖輸入，在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和理念上是一個(gè)很大的突破。接著文章以STDP學(xué)習(xí)機(jī)制更為優(yōu)秀的基礎(chǔ)上，在基于2015年P(guān)eter教授的無(wú)監(jiān)督STDP學(xué)習(xí)網(wǎng)絡(luò)[16]這篇論文的基礎(chǔ)上，使用實(shí)驗(yàn)相關(guān)的數(shù)據(jù)進(jìn)行了數(shù)值模擬，指出了該網(wǎng)絡(luò)的結(jié)構(gòu)，采用winter-take-all模式與IF神經(jīng)元結(jié)構(gòu)，實(shí)現(xiàn)了在沒(méi)有任何標(biāo)簽和領(lǐng)域知識(shí)的無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)的模擬，并且在MNIST的test數(shù)據(jù)集上達(dá)到了91.43%的正確率。從實(shí)驗(yàn)上證實(shí)了STDP學(xué)習(xí)機(jī)制可以用于無(wú)監(jiān)督學(xué)習(xí)，指出了其在未來(lái)發(fā)展的巨大潛力。

最后本文提出一些對(duì)于當(dāng)前硬件神經(jīng)網(wǎng)絡(luò)研究的看法，目前實(shí)現(xiàn)硬件神經(jīng)網(wǎng)絡(luò)的方法在緒論也有提出，主要有微電子方法、半導(dǎo)體突觸和光學(xué)實(shí)現(xiàn)。作者認(rèn)為想要實(shí)現(xiàn)真正的類(lèi)腦計(jì)算。我們就需要研究更與人類(lèi)達(dá)到貼切的器件。盡管在微電子方面，目前的技術(shù)可以實(shí)現(xiàn)精度很高的數(shù)字模擬電路。但是實(shí)際上那也只是靠我們強(qiáng)大的算力與耗費(fèi)了很多資源達(dá)到的結(jié)果。再說(shuō)全光學(xué)的神經(jīng)網(wǎng)絡(luò)，這樣的設(shè)想只能夠用天才來(lái)形容，這樣的網(wǎng)絡(luò)耗能少，效率高，速度快。但這并不能夠算是類(lèi)腦計(jì)算，只是從物理的角度對(duì)于神經(jīng)網(wǎng)絡(luò)進(jìn)行了實(shí)現(xiàn)。真正的類(lèi)腦計(jì)算我相信應(yīng)該是基于STDP，LTP, LTD這些與人腦大腦對(duì)于信號(hào)實(shí)際反映做出的模型之上的。近年來(lái)已經(jīng)發(fā)展了很多基于STDP或者類(lèi)腦計(jì)算的算法，并且在數(shù)值模擬上都證實(shí)了其實(shí)現(xiàn)的可能性。目前的當(dāng)務(wù)之急應(yīng)該是制備出與這些理論符合的突觸器件或者神經(jīng)元元件，然后進(jìn)行集成，實(shí)現(xiàn)一個(gè)結(jié)合微電子設(shè)計(jì)電路與編碼處理，從而實(shí)現(xiàn)一個(gè)從輸入，到reference，再到自動(dòng)Back Propagation修改誤差的自主型芯片，真正達(dá)到off-chip模式的神經(jīng)網(wǎng)絡(luò)計(jì)算與硬件化。

參考文獻(xiàn)[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高麗娜 邱關(guān)源. 一種連續(xù)可調(diào)權(quán)值 CMOS 神經(jīng)網(wǎng)絡(luò). 電子學(xué)報(bào), 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]賀靜, 基于CMOS 模擬技術(shù)的多種前饋人工神經(jīng)網(wǎng)絡(luò)硬件的研究與實(shí)現(xiàn) [D]. 湘潭大學(xué), 2014 

[8]侯媛彬,杜京義,汪梅. 神經(jīng)網(wǎng)絡(luò) [M]. 西安:西安電子科技大學(xué)出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陳瓊. 鄭啟倫.人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)硬件實(shí)現(xiàn)的研究進(jìn)展.[J].電路與系統(tǒng)學(xué)報(bào).2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  錄代碼具體說(shuō)明請(qǐng)參考github.com/zhenghaobaby/graduated_design

作者簡(jiǎn)歷姓名：鄭浩  性別：男  民族：漢族  出生年月：1997-04-11  籍貫：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大學(xué)攻讀材料科學(xué)工程學(xué)士學(xué)位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授權(quán)專(zhuān)利：

[1]XXXXXX 

 

 

第3篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：徑向基概率神經(jīng)網(wǎng)絡(luò)；變壓器；故障診斷

中圖分類(lèi)號(hào)：TU7 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2017）01-0149-03

Abstract：Oil-immersed transformer fault diagnosis is mainly using gas chromatography analysis of modified three ratio method， but there are problems such as coding defects and critical value criterion defects. By constructing a radial basis probabilistic neural network （RBPNN） model， withits characteristics of distributed parallel processing， adaptive， self-learning， used in oil-immersed transformer fault diagnosis. Use a substation transformer data of the SGC province branch for model training and fault diagnosis. Simulation results show that the model based on RBPNN has higher accuracy， and can be used in oil-immersed transformer fault diagnosis.

Key words： radial basis probabilistic neural networks；transformer；fault diagnosis

引言

電網(wǎng)系統(tǒng)中，變壓器作為重要的組成設(shè)備，其安全運(yùn)行狀態(tài)對(duì)整個(gè)電網(wǎng)的安全運(yùn)行起著關(guān)鍵作用，因此對(duì)其進(jìn)行故障診斷具有重要意義。油中溶解氣體分析法通過(guò)分析變壓器中的溶解氣體組成來(lái)判斷故障類(lèi)別。目前，我國(guó)對(duì)油浸式變壓器進(jìn)行故障診斷主要采用國(guó)際電工委員會(huì)（International Electrotechnical Commission，IEC）三比值法或改良三比值法[1]。在實(shí)際診斷過(guò)程中，該判據(jù)存在兩方面的不足，即所謂編碼缺損和臨界值缺失[2]。隨著人工智能技術(shù)的發(fā)展，其在變壓器故障診斷方面也得到了應(yīng)用。徑向基概率神經(jīng)網(wǎng)絡(luò)（Radial Basis Probabilistic Neural Networks，RBPNN）是將徑向基函數(shù)神將網(wǎng)絡(luò)（Radial Basis Function Neural Networks，RBFNN）和概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Networks，PNN）組合而成的一種人工神經(jīng)網(wǎng)絡(luò)，既利用了RBFNN中樣本集中模式的交錯(cuò)影響，又利用了PNN時(shí)訓(xùn)練的優(yōu)點(diǎn)[4]。

本文將RBPNN模型應(yīng)用與變壓器故障診斷，首先建立變壓器狀態(tài)類(lèi)型及編碼對(duì)應(yīng)關(guān)系，然后使用訓(xùn)練數(shù)據(jù)集RBPNN故障預(yù)測(cè)模型，最后利用該模型在測(cè)試數(shù)據(jù)集上進(jìn)行故障預(yù)測(cè)。該方法結(jié)合國(guó)家電網(wǎng)某省某變電站變壓器實(shí)際數(shù)據(jù)，利用該方法進(jìn)行故障預(yù)測(cè)，結(jié)果表明其具有較低的預(yù)測(cè)誤差率。

1 徑向基概率神經(jīng)網(wǎng)絡(luò)

徑向基概率神經(jīng)網(wǎng)絡(luò)的構(gòu)成是將徑向基函數(shù)神將網(wǎng)絡(luò)的輸出層連接到概率神經(jīng)網(wǎng)絡(luò)的輸入層，構(gòu)成具有四層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，即第一輸入層、第二隱藏層、第三隱藏層和第四輸出層，其具體的模型結(jié)構(gòu)如圖1所示。

RBPNN模型的第一輸入層接收樣本數(shù)據(jù)輸入，并輸出到第二隱藏層。設(shè)樣本數(shù)據(jù)為

其中，xi是樣本數(shù)據(jù)中第i個(gè)特征，。

RBPNN模型的第二隱藏層由樣本空間中每個(gè)模式類(lèi)別的隱中心矢量組成，其節(jié)點(diǎn)的激活函數(shù)是滿(mǎn)足Parzen窗口函數(shù)的徑向基函數(shù)K（?）。第二隱藏層向第三隱藏層的輸出可表示為

其中，hi（x）是第二隱藏層第個(gè)輸出，ci是徑向基函數(shù)的中心矢量（代表了第一輸入層與第二隱藏層的連接權(quán)重Wi（1），即ci=Wi（1），并且可以通過(guò)自適應(yīng)學(xué)習(xí)來(lái)選擇），S1是第二隱藏層的節(jié)點(diǎn)數(shù)。

RBPNN模型的第三隱藏層對(duì)第二隱藏層的輸出按照隱中心矢量的類(lèi)別進(jìn)行由選擇的連接并進(jìn)行求和運(yùn)算。第三隱藏層向第四隱藏層的輸出可表示為

其中，Ok（x）是第三隱藏層第k個(gè)輸出，mk是第k個(gè)模式類(lèi)別的節(jié)點(diǎn)個(gè)數(shù)。

RBPNN模型的第四輸出層是線(xiàn)性輸出，相當(dāng)于單層線(xiàn)性感知機(jī)網(wǎng)絡(luò)。第三隱藏層與第四輸出層的連接權(quán)值Wi（2）通過(guò)樣本數(shù)據(jù)訓(xùn)練學(xué)習(xí)的到（具體訓(xùn)練過(guò)程見(jiàn)下節(jié)）。第四隱藏層的輸出，即整個(gè)RBPNN模型的輸出，可表示為

其中，yj（x）是第四輸出層第j個(gè)輸出，Wjk（2）是第三隱藏層第k個(gè)節(jié)點(diǎn)至第四輸出層第j個(gè)節(jié)點(diǎn)的連接權(quán)值。

則N個(gè)訓(xùn)練樣本訓(xùn)練RBPNN模型可表示為

其中，W是第三隱藏層與第四輸出層的連接權(quán)重矩陣，O是第三隱藏層輸出矩陣，Y是第四輸出層輸出矩陣。

2 遞推正交最小二乘學(xué)習(xí)算法

由于RBPNN的四層網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，第三隱藏層與第四輸出層的連接權(quán)重Wi（2）需要訓(xùn)練，而第四輸出層每個(gè)節(jié)點(diǎn)的輸出僅是與第三隱藏層輸出的線(xiàn)性累加。由此，可使用遞推正交最小二乘法（Recursive Orthogonal Least Squares Algorithm，ROLSA）求解權(quán)值Wi（2）。

2.1 正交最小二乘法

首先o出正交分解定理[5]：

定理1.1任一向量相對(duì)于向量子空間可以唯一被分解為相互垂直的兩個(gè)分量，其中一個(gè)分量平行于子空間Y，而另一個(gè)分量則垂直于子空間Y，即：

2.2 遞推求解過(guò)程

在對(duì)第三隱藏層的輸出矩陣O進(jìn)行正交分解時(shí)，由于樣本數(shù)量通常較多，需要大規(guī)模的計(jì)算負(fù)荷。為減少計(jì)算復(fù)雜度，采用遞推算法計(jì)算第三隱藏層與第四輸出層的連接權(quán)重，即使用第t-1樣本來(lái)計(jì)算t樣本的連接權(quán)重W。

設(shè)第t個(gè)樣本時(shí)RBPNN的損失函數(shù)為L(zhǎng)（t），

其中，T（t-1）和O（t-1）是第t-1個(gè)樣本的期望矩陣和第三隱藏層的輸出矩陣，t（t）和o（t）是第t個(gè)樣本的期望矩陣和第三隱藏層的輸出向量。

對(duì)式（2.10）進(jìn)行正交分解，化簡(jiǎn)整理，得：其中，e（t）是第t個(gè)樣本的殘留誤差。

由以上，得到使用ROLSA訓(xùn)練RBPNN連接權(quán)重的具體步驟如下：

算法2.1 訓(xùn)練RBPNN的遞推正交最小二乘算法

（1）隨機(jī)初始化上三角方陣R（0）和誤差矩陣，其中。

（2）t =1

（3）計(jì)算R（t），，

（4）如果，則，轉(zhuǎn)（3），否則，轉(zhuǎn)（4）。

（5）計(jì)算，和W，算法結(jié)束。

3 應(yīng)用分析

按照上述方法，選取國(guó)網(wǎng)公司某省某變電站油浸式變壓器油色譜及對(duì)應(yīng)故障數(shù)據(jù)94組作為樣本數(shù)據(jù)進(jìn)行模型構(gòu)建，以預(yù)測(cè)變壓器故障類(lèi)型。

具體過(guò)程如下：

（1）故障類(lèi)型編碼。

對(duì)變壓器9種狀態(tài)，其中故障類(lèi)型8種及正常狀態(tài)1種，采用二進(jìn)制形式編碼。變壓器狀態(tài)類(lèi)型及編碼對(duì)應(yīng)關(guān)系見(jiàn)表1。

（2）對(duì)變壓器油色譜及對(duì)應(yīng)故障數(shù)據(jù)進(jìn)行分組。

將94組樣本數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，其中訓(xùn)練數(shù)據(jù)集74組（約占78%），測(cè)試數(shù)據(jù)集20組（約占22%）。

（3）構(gòu)建RBPNN模型，并使用訓(xùn)練集數(shù)據(jù)及ROLSA算法對(duì)其進(jìn)行訓(xùn)練。圖2是RBPNN模型在訓(xùn)練數(shù)據(jù)上的效果及誤差。經(jīng)計(jì)算，訓(xùn)練誤差率（Error Rate）是0.081。

（4）使用訓(xùn)練后的RBPNN模型進(jìn)行預(yù)測(cè)分析。

使用訓(xùn)練后的RBPNN模型在測(cè)試數(shù)據(jù)集上進(jìn)行預(yù)測(cè)分析。圖3為測(cè)試數(shù)據(jù)預(yù)測(cè)結(jié)果。經(jīng)計(jì)算，測(cè)試誤差率（Error Rate）是0.05，預(yù)測(cè)較準(zhǔn)確。

4 結(jié)語(yǔ)

RBPNN模型具有RBFNN模型和PNN模型的優(yōu)點(diǎn)，使得它在油浸式變壓器故障診斷的模式識(shí)別任務(wù)中具有較突出的優(yōu)勢(shì)。本文應(yīng)用RBPNN模型對(duì)油浸式變壓器進(jìn)行故障診斷，實(shí)驗(yàn)結(jié)果證明了該模型誤差率較低，是一種有效方法。

參考文獻(xiàn)

[1]變壓器油中溶解氣體分析和判斷導(dǎo)則[S].GB/T 7525-2001.

[2]LIANG Y C， SUN X Y， LIU D H. Application of Combinatorial Probabilistic Neural Network in Fault Diagnosis of Power Transformer[C].International Conference on Machine Learning and Cybernetics，1115-1119，2006.

[3]肖鍵華.智能模式識(shí)別方法[M].華南理工大學(xué)出版社2006.

第4篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞： 有督導(dǎo)機(jī)器學(xué)習(xí)； 網(wǎng)絡(luò)流量識(shí)別； LSSVM； 協(xié)同量子粒子群優(yōu)化算法

中圖分類(lèi)號(hào)： TN711?34； TP393 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2015）21?0109?04

Network traffic identification system based on supervised machine learning

XING Yufeng， MAO Yanqiong

（School of Humanity and Art， Yunnan College of Business Management， Kunming 650106， China）

Abstract： In the real network environment， a large number of interference noise and outlier samples are existed， which seriously affect on the performance of the least square support vector machine （LSSVM） algorithm. A network traffic identification system combining cooperative quantum particle swarm optimization （CQPSO） algorithm with LSSVM is proposed. The network traffic is divided into 12 types， in which the data of network traffic are collected. The network traffic identification system is conducted with training and performance test by the collected data. To study the performance of the CQPSO?LSSVM based algorithm， the CQPSO?LSSVM based algorithm is compared with the PSO?LSSVM based algorithm. The comparison results show that the CQPSO?LSSVM based algorithm has faster identification speed and better identification accuracy， which can avoid the occurrence that the system is caught in local optimal solution.

Keywords： supervised machine learning； network traffic identification； LSSVM； CQPSO algorithm

0 引 言

隨著隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展壯大，不斷涌現(xiàn)出各種各樣的網(wǎng)絡(luò)服務(wù)和應(yīng)用類(lèi)型，這對(duì)互聯(lián)網(wǎng)管理提出了更高的要求，同時(shí)網(wǎng)絡(luò)安全問(wèn)題日益嚴(yán)重，對(duì)網(wǎng)絡(luò)流量進(jìn)行實(shí)時(shí)有效的檢測(cè)，具有非常重要的意義[1?2]。

傳統(tǒng)對(duì)網(wǎng)絡(luò)流量進(jìn)行分類(lèi)識(shí)別的方式手段主要有：基于端口識(shí)別技術(shù)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法；基于數(shù)據(jù)包載荷內(nèi)容的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法。傳統(tǒng)網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法雖然具有算法簡(jiǎn)單、效率高等優(yōu)點(diǎn)，但是由于其自身局限性已經(jīng)不再適用于當(dāng)今復(fù)雜多樣互聯(lián)網(wǎng)服務(wù)類(lèi)型和應(yīng)用。

現(xiàn)在應(yīng)用比較廣泛的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法主要有：基于統(tǒng)計(jì)特征的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法；基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法；基于無(wú)督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法。有督導(dǎo)機(jī)器學(xué)習(xí)算法又分為基于貝葉斯算法、基于決策樹(shù)算法和基于支持向量機(jī)算法以及基于神經(jīng)網(wǎng)絡(luò)算法等；無(wú)督導(dǎo)機(jī)器學(xué)習(xí)算法又分為基于模型方法、基于密度方法以及基于劃分方法等[3?6]。

1 網(wǎng)絡(luò)流量識(shí)別系統(tǒng)

1.1 網(wǎng)絡(luò)流量分類(lèi)

近年來(lái)，P2P技術(shù)已經(jīng)得到了非常廣泛的應(yīng)用，P2P應(yīng)用類(lèi)型也隨著其服務(wù)類(lèi)型的增長(zhǎng)而增長(zhǎng)，因此，過(guò)去文獻(xiàn)在對(duì)網(wǎng)絡(luò)流量識(shí)別進(jìn)行研究時(shí)，通常將網(wǎng)絡(luò)流量類(lèi)型分為10個(gè)類(lèi)型。本文根據(jù)P2P服務(wù)類(lèi)型將三種常用應(yīng)用類(lèi)型分別考慮，即分為P2P文件共享、音視頻以及即時(shí)通信應(yīng)用服務(wù)。因此，本文對(duì)網(wǎng)絡(luò)流量類(lèi)型劃分為12個(gè)類(lèi)型，如表1所示[7]。

1.2 基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別分類(lèi)方法

機(jī)器學(xué)習(xí)方法已經(jīng)得了非常成熟廣泛的發(fā)展，將機(jī)器學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)流量識(shí)別技術(shù)，能夠有效提高網(wǎng)絡(luò)流量識(shí)別系統(tǒng)的識(shí)別率以及識(shí)別速度。機(jī)器學(xué)習(xí)通常分為兩種，即有督導(dǎo)機(jī)器學(xué)習(xí)和無(wú)督導(dǎo)機(jī)器學(xué)習(xí)。相比無(wú)督導(dǎo)機(jī)器學(xué)習(xí)來(lái)說(shuō)，基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別系統(tǒng)具有更好的識(shí)別性能。

基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法一般通過(guò)大規(guī)模已知類(lèi)別的網(wǎng)絡(luò)流量會(huì)話(huà)流樣本數(shù)據(jù)對(duì)識(shí)別系統(tǒng)進(jìn)行訓(xùn)練，使得系統(tǒng)具有較強(qiáng)的泛化能力。基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別分類(lèi)訓(xùn)練過(guò)程如圖1所示[8]。

圖1 基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別分類(lèi)訓(xùn)練過(guò)程

基于有督導(dǎo)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)識(shí)別方法種類(lèi)繁多。其中最小二乘支持向量機(jī)法因其具有較好的魯棒性和實(shí)用性能，得了比較廣泛的應(yīng)用。最小二乘支持向量機(jī)法綜合了神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)兩種算法的優(yōu)點(diǎn)，摒棄了支持向量機(jī)訓(xùn)練過(guò)程復(fù)雜、效率低以及神經(jīng)網(wǎng)絡(luò)需要大數(shù)據(jù)樣本的缺點(diǎn)。因此最小二乘支持向量機(jī)法不僅具有較快的訓(xùn)練速度，而且具有較強(qiáng)的泛化能力[9]。

但是由于真實(shí)網(wǎng)絡(luò)環(huán)境中，存在大量干擾噪聲和野值樣本等，嚴(yán)重影響了最小二乘支持向量機(jī)算法的性能；因此本文提出一種結(jié)合協(xié)同量子粒子群優(yōu)化算法和最小二乘支持向量機(jī)的網(wǎng)絡(luò)流量識(shí)別系統(tǒng)。

2 協(xié)同量子粒子群算法

2.1 量子粒子群算法

設(shè)粒子群中有[N]個(gè)粒子，其中：第[i]個(gè)粒子的位置[xi=xi1，xi2，…，xiD；]第[i]個(gè)粒子的速度[vi=vi1，vi2，…，viD；]第[i]個(gè)粒子的歷史最優(yōu)位置[pi=pi1，pi2，…，piD；]整個(gè)粒子群體的歷史最優(yōu)位置是2.2.1 協(xié)同搜索策略

協(xié)同搜索策略的核心思想是，將整個(gè)種群分解成多個(gè)子群，整個(gè)種群使用的是對(duì)一個(gè)種群進(jìn)行搜索的策略，而將整個(gè)種群分解成多個(gè)子群后，能夠成功削弱種群的多樣性在迭代后期降低而產(chǎn)生的早熟問(wèn)題[11]。

2.2.2 粒子的學(xué)習(xí)行為

式中：[lcmax]和[lcmin]是學(xué)習(xí)參數(shù)的最大和最小值；[a]是不小于0的常數(shù)。

協(xié)同量子粒子群算法（簡(jiǎn)稱(chēng)CQPSO），就是使用上面描述的協(xié)同搜索策略的QPSO算法。

2.3 CQPSO?LSSVM的網(wǎng)絡(luò)流量識(shí)別步驟

步驟1：對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行采集，對(duì)數(shù)據(jù)進(jìn)行處理后，得到網(wǎng)絡(luò)流量特征向量。

步驟2：隨機(jī)得到[N]個(gè)粒子的位置[Xi，]對(duì)各個(gè)粒子的適應(yīng)值[fXi]進(jìn)行計(jì)算。

步驟3：將粒子群分成[s]個(gè)子群，計(jì)算每一個(gè)子群適應(yīng)值的最優(yōu)粒子序號(hào)：[k=argmin1≤i≤NsfXsi]，那么各個(gè)子群的最優(yōu)解為：[pgs=Xsk；][k=argmin1≤i≤sfpgi，][pgpop=pgk，]由基因比率[Rgene]選出子群中適應(yīng)值最優(yōu)的粒子來(lái)組建種群基因庫(kù)。

步驟4：對(duì)收縮擴(kuò)張系數(shù)[βt、]子群的[βti1≤i≤s]以及[lc]進(jìn)行計(jì)算，[qi]取決于[lc]與[lrand]關(guān)系。

步驟5：對(duì)粒子的適應(yīng)值、子群的[pi、]子群的[pg]以及種群最優(yōu)解[pgpop]進(jìn)行更新。

步驟6：當(dāng)?shù)竭_(dá)進(jìn)化的周期后，依據(jù)[Rdead]淘汰子群中劣質(zhì)粒子，更新種群的基因庫(kù)。

步驟7：重復(fù)步驟4到步驟6，直到迭代完成。

步驟8：求解[pgpop，]得到網(wǎng)絡(luò)流量識(shí)別的最優(yōu)特征子集。

步驟9：使用步驟8得到的網(wǎng)絡(luò)流量識(shí)別的最優(yōu)特征子集建立網(wǎng)絡(luò)流量識(shí)別模型[12]。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)采集

使用基于Libsvm軟件包的C#程序?qū)W(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行采集，使用Matlab軟件構(gòu)建基于PSO?LSSVM、QPSO?LSSVM和CQPSO?LSSVM算法的網(wǎng)絡(luò)流量識(shí)別模型，對(duì)采集的數(shù)據(jù)進(jìn)行處理。

將采集到的數(shù)據(jù)分為兩組：一組用于對(duì)基于三種算法的網(wǎng)絡(luò)流量識(shí)別模型進(jìn)行訓(xùn)練；另一組數(shù)據(jù)測(cè)試訓(xùn)練后的基于三種算法的網(wǎng)絡(luò)流量識(shí)別模型的識(shí)別性能。

3.2 網(wǎng)絡(luò)流量分類(lèi)方法性能評(píng)價(jià)標(biāo)準(zhǔn)

針對(duì)網(wǎng)絡(luò)流量識(shí)別方法的評(píng)價(jià)標(biāo)準(zhǔn)，人們通常使用反饋率（recall）、準(zhǔn)確率（precision）評(píng)估識(shí)別方法性能，具體表示為：

[recall=TPTP+FN×100%] （12）

[precision=TPTP+FP×100%] （13）

式中：TP（True Positive）是被系統(tǒng)正確識(shí)別的類(lèi)型A的樣本數(shù)量；FN（False Negative）是未被系統(tǒng)正確識(shí)別的類(lèi)型A的樣本數(shù)量；FP（False Positive）是被系統(tǒng)誤認(rèn)為是類(lèi)型A的樣本數(shù)量。

3.3 網(wǎng)絡(luò)流量識(shí)別流程

基于本文提出的CQPSO?LSSVM網(wǎng)絡(luò)流量識(shí)別流程如圖2所示[13]。

圖2 網(wǎng)絡(luò)流量識(shí)別流程

為了研究本文提出的CQPSO算法的優(yōu)化性能，使用QPSO作對(duì)比實(shí)驗(yàn)。設(shè)定粒子群個(gè)數(shù)為20，子群的規(guī)模是5，收縮擴(kuò)張系數(shù)[β]隨著迭代次數(shù)線(xiàn)性下降，由1.0降至0.5。得到兩種算法在Rosenbrock函數(shù)和Ackley函數(shù)這兩個(gè)測(cè)試函數(shù)下的性能對(duì)比如圖3所示?？梢钥闯?，CQPSO算法比QPSO算法具有更快的收斂速度和收斂精度，具有更好的穩(wěn)定性能[14]。

3.4 實(shí)驗(yàn)結(jié)果分析

使用本文提出的CQPSO?LSSVM識(shí)別算法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行識(shí)別后，得到表1中各種網(wǎng)絡(luò)服務(wù)類(lèi)型與應(yīng)用的識(shí)別準(zhǔn)確率和反饋率，見(jiàn)表2。

通過(guò)表2的數(shù)據(jù)可以看出，本文研究的CQPSO?LSSVM識(shí)別算法對(duì)12種類(lèi)型網(wǎng)絡(luò)服務(wù)與應(yīng)用均有較好的識(shí)別準(zhǔn)確率和反饋率。為了橫向比較本文研究算法的性能，使用基于PSO?LSSVM算法和基于QPSO?LSSVM算法的網(wǎng)絡(luò)流量識(shí)別系統(tǒng)對(duì)同樣的數(shù)據(jù)進(jìn)行模型訓(xùn)練和測(cè)試，得到了基于三種不同算法的識(shí)別系統(tǒng)的識(shí)別準(zhǔn)確率、反饋率以及識(shí)別速度[15?16]。

表2 各個(gè)網(wǎng)絡(luò)流量類(lèi)別的準(zhǔn)確率與反饋率

[類(lèi)別＼&應(yīng)用名稱(chēng)＼&反饋率 /%＼&準(zhǔn)確率 /%＼&WWW＼&HTTP＼&94.9＼&95.7＼&P2P文件共享＼&BitTorrent＼&92.9＼&93.6＼&P2P音頻視頻＼&PPlive＼&90.1＼&91.2＼&P2P即時(shí)通信＼&QQ＼&92.3＼&92.1＼&ATTACK＼&Virus＼&97.6＼&98.1＼&GAMES＼&Half?life＼&95.2＼&96.9＼&MULTIMEDIA＼&Real media player＼&86.2＼&86.8＼&INTERACTIVE＼&Telnet＼&90.7＼&88.8＼&DATABASE＼&SqLnet＼&94.8＼&95.1＼&BULK＼&FTP＼&92.5＼&90.9＼&SERVICES＼&DNS＼&92.6＼&93.9＼&MAIL＼&Stmp＼&98.3＼&97.2＼&]

圖3 CPSO與CQPSO算法性能對(duì)比

CQPSO?LSSVM識(shí)別算法的平均識(shí)別準(zhǔn)確率達(dá)到了93.36%，比QPSO?LSSVM算法的平均識(shí)別準(zhǔn)確率高出5.28%，比PSO?LSSVM算法的平均識(shí)別準(zhǔn)確率高出10.3%，CQPSO?LSSVM識(shí)別算法的平均識(shí)別反饋率達(dá)到了93.18%，比QPSO?LSSVM算法的平均識(shí)別反饋率高出4.32%，比PSO?LSSVM算法的平均識(shí)別反饋率高出9.37%?？梢哉f(shuō)明，相比粒子群優(yōu)化算法來(lái)說(shuō)，量子粒子群優(yōu)化算法能夠得到更優(yōu)良的特征子集，因此得到了更好的流量識(shí)別效果。另外由于CQPSO?LSSVM識(shí)別算法使用了協(xié)同策略，因此避免出現(xiàn)陷入局部最優(yōu)解的情況發(fā)生，因此加快了算法收斂速率，提高了識(shí)別準(zhǔn)確率[17?18]。

4 結(jié) 論

與傳統(tǒng)網(wǎng)絡(luò)流量分類(lèi)方法不同，本文將P2P應(yīng)用分為三類(lèi)，即P2P文件共享、P2P音視頻以及P2P即時(shí)通信服務(wù)，因此本文將網(wǎng)絡(luò)流量類(lèi)型劃分為12個(gè)類(lèi)別進(jìn)行研究。

將CQPSO算法和QPSO算法在Rosenbrock函數(shù)和Ackley函數(shù)這兩個(gè)測(cè)試函數(shù)下進(jìn)行性能測(cè)試，結(jié)果表明，CQPSO算法比QPSO算法具有更快的收斂速度和收斂精度，具有更好的穩(wěn)定性能。

將本文提出的基于CQPSO?LSSVM算法與基于PSO?LSSVM算法和基于QPSO?LSSVM算法在相同網(wǎng)絡(luò)環(huán)境下，使用相同數(shù)據(jù)進(jìn)行性能測(cè)試對(duì)比。結(jié)果表明基于CQPSO?LSSVM算法具有更快的識(shí)別速度以及更好的識(shí)別準(zhǔn)確率，避免了出現(xiàn)陷入局部最優(yōu)解的情況發(fā)生。

參考文獻(xiàn)

[1] 王濤，余順爭(zhēng).基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)研究進(jìn)展[J].小型微型計(jì)算機(jī)系統(tǒng)，2012（5）：1034?1040.

[2] 鄧河.基于機(jī)器學(xué)習(xí)方法的網(wǎng)絡(luò)流量分類(lèi)研究[D].株洲：湖南工業(yè)大學(xué)，2009.

[3] 楊飛虎.特征選擇算法及其在網(wǎng)絡(luò)流量識(shí)別中的應(yīng)用研究[D].南京：南京郵電大學(xué)，2012.

[4] 楊宜辰.基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)技術(shù)研究與應(yīng)用[D].淮南：安徽理工大學(xué)，2014.

[5] 儲(chǔ)慧琳，張興明.一種組合式特征選擇算法及其在網(wǎng)絡(luò)流量識(shí)別中的應(yīng)用[J].小型微型計(jì)算機(jī)系統(tǒng)，2012（2）：325?329.

[6] 陶維天.基于校園網(wǎng)的網(wǎng)絡(luò)流量監(jiān)控技術(shù)研究與應(yīng)用[D].蘭州：蘭州大學(xué)，2010.

[7] 王程.網(wǎng)絡(luò)流量識(shí)別分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].長(zhǎng)春：吉林大學(xué)，2014.

[8] 許孟晉.基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)系統(tǒng)研究與實(shí)現(xiàn)[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2010.

[9] 顧成杰，張順頤.基于改進(jìn)SVM的網(wǎng)絡(luò)流量分類(lèi)方法研究[J].儀器儀表學(xué)報(bào)，2011（7）：1507?1513.

[10] 楊子江.基于混沌量子粒子群算法的流水線(xiàn)調(diào)度[D].上海：華東理工大學(xué)，2013.

[11] 胡天騏，單劍鋒，宋曉濤.基于改進(jìn)PSO?LSSVM的模擬電路診斷方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2015（6）：193?196.

[12] 孟凡兵，彭順堂，陳華.一種QPSO優(yōu)化SVM的模擬電路故障診斷方法[J].計(jì)算機(jī)與數(shù)字工程，2015（6）：1149?1151.

[13] 朱大奇，袁義麗，鄧志剛.水下機(jī)器人參數(shù)辨識(shí)的量子粒子群算法[J].控制工程，2015（3）：531?537.

[14] 陳善學(xué)，楊政，朱江，等.一種基于累加PSO?SVM的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)模型[J].計(jì)算機(jī)應(yīng)用研究，2015（6）：1778?1781.

[15] 劉麗霞.基于小波理論與LSSVM的模擬集成電路故障診斷方法[D].西安：西安電子科技大學(xué)，2011.

[16] 黃麗，孫玉坤，嵇小輔，等.基于CPSO與LSSVM融合的發(fā)酵過(guò)程軟測(cè)量建模[J].儀器儀表學(xué)報(bào)，2011（9）：2066?2070.

第5篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

傳統(tǒng)的故障選相元件主要采用突變量與穩(wěn)態(tài)量相結(jié)合，以工頻量為基礎(chǔ)。在多數(shù)情況下這些選相元件對(duì)于簡(jiǎn)單故障能正確地選擇故障相，但其選相速度不夠快，且易受系統(tǒng)的運(yùn)行方式及故障接地電阻的影響，結(jié)果往往不理想。因此，新型快速的故障選相方法成為眾多學(xué)者研究的方向。新型的故障選相方法主要有：基于行波故障的選相元件和基于故障暫態(tài)量的選相元件。基于行波的選相元件主要是利用故障時(shí)信號(hào)的行波波頭所包含的信息進(jìn)行故障選相。雖然基于行波的選相元件能在故障發(fā)生的第一時(shí)間捕獲故障信息，與傳統(tǒng)的選相方法相比具有靈敏度高、識(shí)別率好等優(yōu)點(diǎn)，且對(duì)波頭進(jìn)行處理的方法也有很多。但基于行波的故障選相方法存在一些缺點(diǎn)，如初始行波受初始角、反射波、故障電弧等因素的影響。基于行波的選相元件由于計(jì)算量大，對(duì)處理器的運(yùn)算能力要求也比較高，費(fèi)用相對(duì)也就比較高，在嵌入式系統(tǒng)中難以做到實(shí)時(shí)性，這使得基于行波的故障選相方法具有很大局限性?；诠收蠒簯B(tài)量的選相是利用輸電線(xiàn)路發(fā)生故障時(shí)所產(chǎn)生的故障暫態(tài)信號(hào)實(shí)現(xiàn)故障選相，故障暫態(tài)信號(hào)與線(xiàn)路參數(shù)、故障情況等有關(guān)，不受系統(tǒng)運(yùn)行方式、過(guò)渡電阻、電流互感器飽和、系統(tǒng)振蕩、長(zhǎng)線(xiàn)分布電容等的影響。近年來(lái)又隨著硬件條件的實(shí)現(xiàn)和小波變換等信號(hào)處理工具的發(fā)展，使得大量、準(zhǔn)確、實(shí)時(shí)地獲取故障時(shí)產(chǎn)生的暫態(tài)電壓和電流信號(hào)，并使對(duì)其作進(jìn)一步的處理成為現(xiàn)實(shí)。這些豐富的故障暫態(tài)信號(hào)蘊(yùn)涵了大量的故障特征信息，其頻率成分貫穿于整個(gè)頻譜中，如果能充分利用這些信息就能快速地對(duì)故障相作出判斷。因此，基于故障暫態(tài)量的選相方法具有很大的發(fā)展前景，使得越來(lái)越多的學(xué)者從事電力系統(tǒng)暫態(tài)信號(hào)的研究。目前用于電力系統(tǒng)故障類(lèi)型識(shí)別的方法有很多，如小波分析、神經(jīng)網(wǎng)絡(luò)和模糊理論等智能算法、數(shù)學(xué)形態(tài)學(xué)等。1.小波分析文獻(xiàn)利用小波對(duì)暫態(tài)電流的模分量進(jìn)行分析，并通過(guò)比較各相暫態(tài)電流的能量和各模分量的大小進(jìn)行故障相判斷。文獻(xiàn)[16]利用小波提取故障暫態(tài)電流信號(hào)的特征，通過(guò)計(jì)算提取的信號(hào)特征沿尺度分布的權(quán)重得到暫態(tài)電流信號(hào)的小波熵權(quán)，進(jìn)而構(gòu)造故障選相判據(jù)。文獻(xiàn)[17]對(duì)線(xiàn)路兩端模量方向行波之差進(jìn)行小波變換，通過(guò)比較其幅值大小來(lái)判別故障類(lèi)型，但對(duì)兩相接地故障的具體類(lèi)型區(qū)分不明確。文獻(xiàn)通過(guò)比較（零、線(xiàn)）模量電流行波的幅值之間的大小關(guān)系從不同角度進(jìn)行故障選相。但是，由于零模量的嚴(yán)重衰減導(dǎo)致保護(hù)裝置不能正確反映故障點(diǎn)處零模與線(xiàn)模的大小關(guān)系，當(dāng)輸電線(xiàn)路遠(yuǎn)端發(fā)生單相接地或兩相接地故障時(shí)可能出現(xiàn)誤判。文獻(xiàn)將小波奇異熵應(yīng)用于識(shí)別高壓輸電線(xiàn)路的故障相，提出了一種基于暫態(tài)電壓的選相方案。通過(guò)取各相的小波奇異熵相對(duì)比值反映故障相和非故障相間的相對(duì)差異，構(gòu)成高壓輸電線(xiàn)路故障選相的依據(jù)。2.神經(jīng)網(wǎng)絡(luò)和模糊理論等智能算法文獻(xiàn)[20-21]利用提升小波變換對(duì)故障信號(hào)進(jìn)行處理，并作為神經(jīng)網(wǎng)絡(luò)的輸入構(gòu)造了一種新型的小波神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別輸電線(xiàn)路故障。文獻(xiàn)通過(guò)小波包將故障電壓和故障電流分解后分別獲得分解后的故障暫態(tài)量的能量值和熵值，并將能量值與熵值分別對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對(duì)輸電線(xiàn)路進(jìn)行故障分類(lèi)和定位。文獻(xiàn)在暫態(tài)信號(hào)多尺度的基礎(chǔ)上定義了小波能量熵，并與模糊邏輯系統(tǒng)相結(jié)合形成故障類(lèi)型識(shí)別方法。3.數(shù)學(xué)形態(tài)學(xué)文獻(xiàn)[25]在分析EHV線(xiàn)路發(fā)生故障后電流模分量的基礎(chǔ)上，利用數(shù)學(xué)形態(tài)學(xué)梯度提取暫態(tài)信號(hào)波頭能量，構(gòu)成故障選相方案。文獻(xiàn)提出了一種基于數(shù)學(xué)形態(tài)譜和神經(jīng)網(wǎng)絡(luò)相結(jié)合的識(shí)別接地短路故障類(lèi)型的新方案。該方法對(duì)三相電流進(jìn)行相模變換后，用數(shù)學(xué)形態(tài)學(xué)顆粒對(duì)電流各模量分析并提取模電流的形態(tài)譜，將各形態(tài)譜作為神經(jīng)網(wǎng)絡(luò)的輸入，進(jìn)而判斷出接地故障的類(lèi)型。

二、小波分析在電力系統(tǒng)暫態(tài)處理中的應(yīng)用

20世紀(jì)80年代初Morlet等人第一次提出了小波變換的概念。它可以根據(jù)處理信號(hào)頻率的高低自行調(diào)整窗口的大小，確保捕捉到有用的信息，可以對(duì)信號(hào)奇異點(diǎn)作多尺度分析。小波變換有以下特點(diǎn)：在高頻范圍內(nèi)時(shí)間分辨率高；在低頻范圍內(nèi)頻率分辨率高；既適合于分析平穩(wěn)信號(hào)及非平穩(wěn)信號(hào)；有快速算法——Matlab算法；利用離散小波變換可以將信號(hào)分解到各個(gè)尺度（頻帶）上。由于小波變換有以上優(yōu)點(diǎn)，所以它在各個(gè)應(yīng)用領(lǐng)域中都得到了廣泛應(yīng)用，比如生物醫(yī)學(xué)工程、機(jī)械故障診斷、非線(xiàn)性動(dòng)力系統(tǒng)、量子物理、模式識(shí)別、參數(shù)辨識(shí)、CT成像、數(shù)據(jù)壓縮等。近幾年小波變換技術(shù)在分析和處理電力系統(tǒng)暫態(tài)信號(hào)方面也顯示了其優(yōu)越性和良好的應(yīng)用前景，主要應(yīng)用領(lǐng)域包括電力信號(hào)去噪、數(shù)據(jù)壓縮、電力設(shè)備故障診斷、電能質(zhì)量信號(hào)分析、故障定位等。文獻(xiàn)[28]指出db6小波對(duì)電壓暫升、暫降、閃變信號(hào)均能獲得較好的去噪效果。文獻(xiàn)[29]提出了一種小波包去噪算法，用以消除暫態(tài)擾動(dòng)檢測(cè)中噪聲的影響，為在噪聲環(huán)境中檢測(cè)和定位暫態(tài)擾動(dòng)提供了依據(jù)。電能質(zhì)量信號(hào)分析方面：文獻(xiàn)[31]將小波包用于對(duì)諧波的檢測(cè)，并與IEC推薦的諧波檢測(cè)方法進(jìn)行了對(duì)比，仿真結(jié)果證明了基于小波包的檢測(cè)方法對(duì)非整次諧波與間小波的檢測(cè)要優(yōu)于IEC推薦的方法。電力設(shè)備診斷方面：文獻(xiàn)[30]通過(guò)對(duì)基于Shannon熵的最優(yōu)小波包基的快速搜索算法的探討，提出了基于最優(yōu)小波包基小波包方法。在輸電線(xiàn)路故障定位方面：（1）故障選線(xiàn)。文獻(xiàn)[31]提出了基于單相電流行波的故障選線(xiàn)原理。文獻(xiàn)[32]利用小波變換與電弧故障產(chǎn)生的突變相結(jié)合而進(jìn)行故障選相。文獻(xiàn)[33]提出用小波變換提取電流故障分量的暫態(tài)能量，并且以三相間暫態(tài)能量的大小及其相對(duì)關(guān)系來(lái)識(shí)別故障類(lèi)型和判斷故障相的新方案。文獻(xiàn)[34]利用小波變換提取故障后電流行波的線(xiàn)、零模量，根據(jù)提取出的電流行波波前1/8周期的能量進(jìn)行故障選相。文獻(xiàn)[35]通過(guò)小波變換利用故障電流行波幅值及極性邏輯關(guān)系相結(jié)合的故障類(lèi)型識(shí)別方法，并設(shè)計(jì)出了故障類(lèi)型識(shí)別的實(shí)用算法。該方法可以提高以往行波故障選相方案中利用零、線(xiàn)模量之間幅值關(guān)系判別單相接地或兩相接地故障時(shí)的可靠性?？偟膩?lái)說(shuō)，目前基于暫態(tài)信號(hào)，利用小波變換工具進(jìn)行選相的方法得到了很好的研究，但在實(shí)際應(yīng)用時(shí)仍需進(jìn)行相應(yīng)的分析論證。文獻(xiàn)[36]對(duì)電力系統(tǒng)暫態(tài)信號(hào)提取小波能量熵及能量熵權(quán)，并將其分別對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提出了小波能量熵與神經(jīng)網(wǎng)絡(luò)相結(jié)合的故障分類(lèi)方法。（2）故障測(cè)距。電力系統(tǒng)要求及時(shí)、準(zhǔn)確地得知線(xiàn)路故障位置，以便用最短的時(shí)間清楚故障，盡快恢復(fù)供電，現(xiàn)已有可用于解決實(shí)際問(wèn)題的各種故障測(cè)距方法。小波變換可以很好地表征輸電線(xiàn)路故障行波信號(hào)的突變點(diǎn)，故很多文獻(xiàn)提出用小波變換來(lái)進(jìn)行行波故障測(cè)距。主體思路是：運(yùn)用小波變換對(duì)故障信號(hào)進(jìn)行分解，并用小波變換模極大值表示故障信息，揭示了行波信號(hào)奇異、瞬時(shí)信號(hào)與小波變換模極大值的關(guān)系，運(yùn)用小波對(duì)奇異點(diǎn)檢測(cè)的原理，確定兩次行波波頭達(dá)到檢測(cè)點(diǎn)的時(shí)間間隔及故障發(fā)生的時(shí)刻，推算出故障位置，以達(dá)到故障定位的目的。

三、熵理論的應(yīng)用現(xiàn)狀

1948年Shannon把通信過(guò)程中信源訊號(hào)的平均信息量定義成為熵，這就是信息熵。小波熵是小波變換和信息熵的結(jié)合，它具有小波變換和信息熵的特點(diǎn)，對(duì)動(dòng)態(tài)系統(tǒng)參數(shù)的微小變化具有獨(dú)特的敏感性，反映了暫態(tài)信號(hào)在時(shí)-頻域空間的能量分布情況，隨著小波熵理論的不斷發(fā)展與完善，它被應(yīng)用機(jī)械、生物、電力系統(tǒng)等眾多領(lǐng)域。生物領(lǐng)域中，文獻(xiàn)[42]運(yùn)用小波熵分析心跳信號(hào)，并識(shí)別其變化規(guī)律；文獻(xiàn)[43-44]將小波熵應(yīng)用于EEG等非平穩(wěn)信號(hào)的分析，體現(xiàn)出小波熵區(qū)別非平穩(wěn)信號(hào)復(fù)雜度的特點(diǎn)，又有其反映微狀態(tài)信號(hào)快速變化的優(yōu)點(diǎn)。在機(jī)械故障診斷領(lǐng)域里，文獻(xiàn)[45]將小波包與特征熵結(jié)合提出了一種診斷高壓斷路器機(jī)械故障的新方法，并給出了切實(shí)可行的診斷步驟和分析。這幾年小波熵理論在電力系統(tǒng)中的應(yīng)用才剛剛開(kāi)始，所以這方面的文獻(xiàn)較少。文獻(xiàn)[46]提出采用離散小波變換和神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，對(duì)輸電線(xiàn)路故障進(jìn)行分類(lèi)和定位，雖然訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)可以準(zhǔn)確地對(duì)故障進(jìn)行分類(lèi)和定位，但存在計(jì)算量大、運(yùn)算費(fèi)用高的缺點(diǎn)。文獻(xiàn)[47]提出一種基于小波熵權(quán)和支持向量機(jī)相結(jié)合的故障識(shí)別方法。該方法識(shí)別速度快，有較好的通用和實(shí)用價(jià)值。文獻(xiàn)[48]雖采用了小波分析理論與信息熵理論，但并沒(méi)有對(duì)小波熵進(jìn)行一個(gè)完整的、系統(tǒng)的定義。文獻(xiàn)[49]綜合闡述了小波熵在電力系統(tǒng)中各方面應(yīng)用的可行性，表明了其在電力系統(tǒng)中具有良好的發(fā)展空間。文獻(xiàn)探討了小波熵在電力系統(tǒng)故障檢測(cè)征提取的應(yīng)用機(jī)理，通過(guò)仿真一些輸電線(xiàn)路故障檢測(cè)對(duì)文中給出的幾種小波熵進(jìn)行了驗(yàn)證，仿真分析結(jié)果表明小波熵測(cè)度在暫態(tài)信號(hào)檢測(cè)與分類(lèi)中有望得到較好的發(fā)展。小波熵作為近年來(lái)才發(fā)展的一種新理論在電力系統(tǒng)故障檢測(cè)中的應(yīng)用具有廣闊前景。所以，在電力系統(tǒng)暫態(tài)信號(hào)的檢測(cè)和分類(lèi)中運(yùn)用小波熵理論具有重要的研究意義。

四、結(jié)束語(yǔ)

第6篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

>> 數(shù)據(jù)加密機(jī)制的研究與實(shí)現(xiàn) 移動(dòng)數(shù)據(jù)加密的實(shí)現(xiàn) 數(shù)據(jù)庫(kù)敏感字段的加密研究 Web數(shù)據(jù)庫(kù)加密系統(tǒng)的研究與實(shí)現(xiàn) 淺議網(wǎng)絡(luò)傳輸中數(shù)據(jù)加密技術(shù)的研究 關(guān)于數(shù)據(jù)訪(fǎng)問(wèn)方式編程的研究 數(shù)據(jù)加密中的DES加密算法詳解 基于Excel的數(shù)據(jù)加密方案 基于VFP的數(shù)據(jù)加密之路 Vista的終極數(shù)據(jù)加密利器 計(jì)算機(jī)數(shù)據(jù)的安全加密 淺談數(shù)據(jù)加密技術(shù)的發(fā)展 基于混沌系統(tǒng)的數(shù)據(jù)加密方案 淺談網(wǎng)絡(luò)數(shù)據(jù)的加密傳輸 DES數(shù)據(jù)加密的FPGA實(shí)現(xiàn) 電子商務(wù)數(shù)據(jù)的量子加密的可行性研究 基于SSL加密的微博數(shù)據(jù)庫(kù)安全的研究 基于網(wǎng)絡(luò)安全的數(shù)據(jù)加密技術(shù)的研究 SOL Server的數(shù)據(jù)庫(kù)加密技術(shù)的研究與實(shí)現(xiàn) 基于數(shù)據(jù)加密的Hopfield神經(jīng)網(wǎng)絡(luò)技術(shù)研究 常見(jiàn)問(wèn)題解答 當(dāng)前所在位置：l.

[4] W3C. XML encryption syntax and processing [EB/OL]. [2002?12?10]. http：///TR/2002/REC?xmlenc?core.

[5] RSA. PKCS #5： password?basedencryption standard， version 1.5 [S]. UK： RSA， 1993.

[6] RSA. PKCS #1： RSA encryption standard， version 1.5 [S]. UK： RSA， 1993.

[7] RSA. PKCS #1： RSA encryption standard， version 2.1 [S]. UK： RSA， 2002.

[8] HOOK David. Beginning cryptography with Java [M]. [S.l.]： [s.n.]， 2005.

第7篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

大功率太赫茲回旋管的腔體分析與模擬

太赫茲量子級(jí)聯(lián)激光器及其光束表征技術(shù)

太赫茲高增益天線(xiàn)測(cè)量技術(shù)的可行性分析

基于氧化釩熱敏特性的太赫茲探測(cè)器

太赫茲成像雷達(dá)技術(shù)發(fā)展與制導(dǎo)應(yīng)用探討

基于FEKO和CST的太赫茲目標(biāo)RCS仿真

太赫茲波生物醫(yī)學(xué)研究的現(xiàn)狀與未來(lái)

傾轉(zhuǎn)旋翼飛行器飛控軟件的多線(xiàn)程實(shí)現(xiàn)

基于空間信息資源的巡航導(dǎo)彈可控攻擊技術(shù)

基于一種改進(jìn)IMMJPDA算法的地面目標(biāo)跟蹤

基于平衡Gold碼的TH-UWB系統(tǒng)性能分析

正交頻分復(fù)用技術(shù)在協(xié)作通信下的應(yīng)用

基于低壓電力線(xiàn)的高速載波模塊設(shè)計(jì)

數(shù)字陣列雷達(dá)波束駐留調(diào)度間隔分析算法

無(wú)線(xiàn)多媒體傳感器網(wǎng)絡(luò)部署控制算法

基于合成超構(gòu)材料的太赫茲調(diào)制器設(shè)計(jì)

基于DDS的低雜散捷變頻合成器設(shè)計(jì)

多特征融合的雷達(dá)信號(hào)脈內(nèi)調(diào)制識(shí)別

相控陣?yán)走_(dá)自適應(yīng)調(diào)度算法仿真

基于可編程顯卡的信息化雷達(dá)終端顯示系統(tǒng)

基于星間測(cè)距的衛(wèi)星自主定軌研究與仿真

一種基于介質(zhì)諧振器的新型電磁超材料

基于CC2431實(shí)現(xiàn)的無(wú)線(xiàn)傳感器網(wǎng)絡(luò)定位

空間三站時(shí)差定位的模糊及無(wú)解問(wèn)題

采用電磁帶隙和磁性材料的PCB電源結(jié)構(gòu)

大型復(fù)雜空氣板線(xiàn)饋電網(wǎng)絡(luò)工程設(shè)計(jì)

逆合成孔徑雷達(dá)抗干擾能力分析

四階雙模介質(zhì)濾波器的設(shè)計(jì)和分析

基于游標(biāo)內(nèi)插原理的多脈沖測(cè)距方法

基于神經(jīng)網(wǎng)絡(luò)和SVM的GPS干擾類(lèi)型識(shí)別

無(wú)源感應(yīng)數(shù)據(jù)傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

一種新的變步長(zhǎng)最小均方自適應(yīng)濾波算法

用于T型諧振變換器的耦合電感設(shè)計(jì)與仿真

一種寬帶信號(hào)發(fā)生器的設(shè)計(jì)與實(shí)現(xiàn)

粒子濾波在圖像數(shù)據(jù)分析中的應(yīng)用

AVS視頻解碼運(yùn)動(dòng)矢量預(yù)測(cè)模塊的硬件設(shè)計(jì)

一種實(shí)序列FFT新算法與C語(yǔ)言實(shí)現(xiàn)

X-波段導(dǎo)航雷達(dá)海浪圖像譜分析

高動(dòng)態(tài)短時(shí)突發(fā)通信系統(tǒng)數(shù)字鎖相環(huán)設(shè)計(jì)

時(shí)域有限差分電磁建模系統(tǒng)的研究與設(shè)計(jì)

利用地址解析協(xié)議的地址空間欺騙技術(shù)

自適應(yīng)濾波自編碼擴(kuò)頻系統(tǒng)的同步捕獲研究

一種用于無(wú)線(xiàn)信道的逐幸存處理均衡器

陣列天線(xiàn)系統(tǒng)的最小互信息盲接收器

一種改進(jìn)的數(shù)字圖像擴(kuò)頻水印技術(shù)

增強(qiáng)型衛(wèi)星導(dǎo)航接收機(jī)的定位模型

嵌入式操作系統(tǒng)編譯器優(yōu)化技術(shù)分析

第8篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

萘乙酸浸種對(duì)雜交水稻“開(kāi)優(yōu)8號(hào)”幼苗生理特性的影響

沉淀法制備新穎結(jié)構(gòu)的NaYF_4:Yb:Dr上轉(zhuǎn)換發(fā)光材料

淮南引進(jìn)綠化樹(shù)種喜樹(shù)繁殖特性的研究

淺談城市道路綠化設(shè)計(jì)——以淮南市為例

中立型多延遲微分方程Runge-Kutta方法的散逸性

高斯整數(shù)環(huán)的素元形成與商環(huán)性質(zhì)

三層網(wǎng)絡(luò)監(jiān)控的新型煤礦井下電力安全監(jiān)控系統(tǒng)研究

Harris角點(diǎn)檢測(cè)算法的實(shí)現(xiàn)及應(yīng)用效果分析

基于神經(jīng)網(wǎng)絡(luò)的雙小波混沌信號(hào)降噪

安徽高校體育專(zhuān)業(yè)畢業(yè)生心境狀態(tài)及其動(dòng)態(tài)變化的研究

安徽高校開(kāi)展競(jìng)技健美操必要性及可行性反思

戶(hù)外拓展在應(yīng)用型高校心理素質(zhì)教育中開(kāi)展的前景展望

我省高校經(jīng)濟(jì)責(zé)任審計(jì)面臨的問(wèn)題及解決途徑

現(xiàn)代風(fēng)險(xiǎn)導(dǎo)向?qū)徲?jì)下重大錯(cuò)報(bào)風(fēng)險(xiǎn)來(lái)源探究

我國(guó)農(nóng)村居民消費(fèi)行為的實(shí)證研究

淺談《尤利西斯》兩個(gè)中譯本中的人物塑造

中國(guó)洪水再生型神話(huà)的生態(tài)學(xué)意義

劉亮程散文中的生命焦慮意識(shí)考論

馬可戲曲改革思想探析

戰(zhàn)后“京派”作家的分化

轉(zhuǎn)型期我國(guó)社會(huì)公正問(wèn)題再考量

漢學(xué)開(kāi)山之新變——毛奇齡音樂(lè)史學(xué)思想論析

“資源詛咒”與“里昂惕夫之謎”的啟示

儒道視閾中的和諧思想探微

人對(duì)“精神家園”的向往——以陜軍作家為例看社會(huì)變遷大潮中人對(duì)精神家園的構(gòu)筑(二)

鄴下文學(xué)集團(tuán)的貴族化特征

文士?jī)?nèi)心的展示——“剪燈”小說(shuō)思想內(nèi)容摭談

超然獨(dú)騖一居士——以《采桑子》組詞為例析歐陽(yáng)修退居潁州時(shí)的形象

論傅玄詩(shī)歌對(duì)漢魏詩(shī)風(fēng)的承續(xù)

略論海子詩(shī)歌神話(huà)的基本成因

從《源氏物語(yǔ)》淺談中日文學(xué)的親緣性

轉(zhuǎn)型時(shí)期政治溝通的社會(huì)價(jià)值探析

服務(wù)型政府創(chuàng)新的制度供求、創(chuàng)新困境及創(chuàng)新特征分析

我國(guó)財(cái)政轉(zhuǎn)移支付制度研究

區(qū)域主導(dǎo)產(chǎn)業(yè)的選擇及其指標(biāo)體系的確定

基于顧客忠誠(chéng)的關(guān)系營(yíng)銷(xiāo)實(shí)施措施

科學(xué)發(fā)展觀指導(dǎo)下的淮南“兩型城市”建設(shè)

論承租人和按份共有人的優(yōu)先購(gòu)買(mǎi)權(quán)

《等待戈多》中的會(huì)話(huà)關(guān)聯(lián)性與荒誕主題

K3,4的生成子圖的計(jì)數(shù)和構(gòu)造

一類(lèi)帶干擾的多險(xiǎn)種風(fēng)險(xiǎn)模型的破產(chǎn)概率

函數(shù)性質(zhì)在解題中的應(yīng)用

鋼纖維混凝土低溫力學(xué)性能試驗(yàn)研究

半導(dǎo)體潔凈室溫濕度控制

五種硝酸酯紅外振動(dòng)光譜和熱力學(xué)性質(zhì)的密度泛函理論研究

量子化學(xué)研究水與DNA四種堿基相互作用的規(guī)律

多波段混合發(fā)射的有機(jī)發(fā)光材料的合成及光學(xué)性質(zhì)研究

淮南李咀孜礦煤中汞及其分布特征

苔蘚植物的研究進(jìn)展

化學(xué)實(shí)驗(yàn)綠色化研究

廣義對(duì)象數(shù)字化方法在模擬電子教學(xué)中的應(yīng)用

基于藍(lán)牙Ad-hoc網(wǎng)絡(luò)通信一種會(huì)話(huà)密鑰設(shè)計(jì)

基于ADT的操作系統(tǒng)基礎(chǔ)模型的研究

學(xué)校體育信息化的系統(tǒng)模式探析

Google在構(gòu)建協(xié)作學(xué)習(xí)環(huán)境中應(yīng)用研究

Java課程設(shè)置的探討

通用查詢(xún)會(huì)話(huà)Bean的設(shè)計(jì)

第9篇：量子神經(jīng)網(wǎng)絡(luò)算法范文

關(guān)鍵詞：小波變換，小波分析，損傷檢測(cè)，小波神經(jīng)網(wǎng)絡(luò)

對(duì)小波分析法的簡(jiǎn)述

小波變換的概念是由法國(guó)從事石油信號(hào)處理的工程師J.Morlet在1974年首先提出的，通過(guò)物理的直觀和信號(hào)處理的實(shí)際需要經(jīng)驗(yàn)的建立了反演公式，當(dāng)時(shí)未能得到數(shù)學(xué)家的認(rèn)可。1986年著名數(shù)學(xué)家Y.Meyer偶然構(gòu)造出一個(gè)真正的小波基，并與S.Mallat合作建立了構(gòu)造小波基的同意方法棗多尺度分析之后，小波分析才開(kāi)始蓬勃發(fā)展起來(lái)，其中比利時(shí)女?dāng)?shù)學(xué)家I.Daubechies撰寫(xiě)的《小波十講》對(duì)小波的普及起了重要的推動(dòng)作用，通過(guò)伸縮和平移等運(yùn)算功能對(duì)函數(shù)或信號(hào)進(jìn)行多尺度細(xì)化分析，解決了Fourier變換不能解決的許多困難問(wèn)題。從而小波變化被譽(yù)為“數(shù)學(xué)顯微鏡”，它是調(diào)和分析發(fā)展史上里程碑式的進(jìn)展。

“小波”就是小的波形?！靶　笔侵杆哂兴p性；而稱(chēng)之為“波”則是指它的波動(dòng)性，其振幅正負(fù)相間的震蕩形式。與Fourier變換相比，小波變換是時(shí)間(空間)頻率的局部化分析，它通過(guò)伸縮平移運(yùn)算對(duì)信號(hào)(函數(shù))逐步進(jìn)行多尺度細(xì)化，最終達(dá)到高頻的時(shí)間細(xì)分，低頻處頻率細(xì)分，能自動(dòng)適應(yīng)時(shí)頻信號(hào)分析的要求，從而可聚焦到信號(hào)的任意細(xì)節(jié)，解決了Fourier變換的困難問(wèn)題，成為繼Fourier變換以來(lái)在科學(xué)方法上的重大突破。有人把小波變換稱(chēng)為“數(shù)學(xué)顯微鏡”。小波分析的應(yīng)用是與小波分析的理論研究緊密地結(jié)合在一起地?，F(xiàn)在，它已經(jīng)在科技資訊產(chǎn)業(yè)領(lǐng)域取得了令人矚目的成就。 電子資訊技術(shù)是六大高新技術(shù)中重要的一個(gè)領(lǐng)域，它的重要方面是影像和信號(hào)處理?，F(xiàn)今，信號(hào)處理已經(jīng)成為當(dāng)代科學(xué)技術(shù)工作的重要部分，信號(hào)處理的目的就是：準(zhǔn)確的分析、診斷、編碼壓縮和量化、快速傳遞或存儲(chǔ)、精確地重構(gòu)（或恢復(fù)）。從數(shù)學(xué)地角度來(lái)看，信號(hào)與影像處理可以統(tǒng)一看作是信號(hào)處理（影像可以看作是二維信號(hào)），在小波分析地許多分析的許多應(yīng)用中，都可以歸結(jié)為信號(hào)處理問(wèn)題?，F(xiàn)在，對(duì)于其性質(zhì)隨實(shí)踐是穩(wěn)定不變的信號(hào)，處理的理想工具仍然是傅立葉分析。但是在實(shí)際應(yīng)用中的絕大多數(shù)信號(hào)是非穩(wěn)定的，而特別適用于非穩(wěn)定信號(hào)的工具就是小波分析。

小波分析法的應(yīng)用領(lǐng)域

長(zhǎng)期以來(lái)，傅立葉分析一直被認(rèn)為是最完美的數(shù)學(xué)理論和最實(shí)用的方法之一。1946年Gabor提出的加窗傅立葉變換就是其中的一種，但是傅立葉變換還沒(méi)有從根本上解決傅立葉分析的固有問(wèn)題。用傅立葉分析只能獲得信號(hào)的整個(gè)頻譜，而難以獲得信號(hào)的局部特性，特別是對(duì)于突變信號(hào)和非平穩(wěn)信號(hào)難以獲得希望的結(jié)果。為了克服經(jīng)典傅立葉分析本身的弱點(diǎn)，人們發(fā)展了信號(hào)的時(shí)頻分析法，但是傅立葉變換還沒(méi)有從根本上解決傅立葉分析的固有問(wèn)題。小波變換的誕生，正是為了克服經(jīng)典傅立葉分析本身的不足，現(xiàn)在小波分析法的應(yīng)用是十分廣泛的，它包括：數(shù)學(xué)領(lǐng)域的許多學(xué)科；信號(hào)分析、影像處理；量子力學(xué)、理論物理；軍事電子對(duì)抗與武器的智能化；電腦分類(lèi)與識(shí)別；音樂(lè)與語(yǔ)言的人工合成；醫(yī)學(xué)成像與診斷；地震勘探數(shù)據(jù)處理；大型機(jī)械的故障診斷等方面；例如，在數(shù)學(xué)方面，它已用于數(shù)值分析、構(gòu)造快速數(shù)值方法、曲線(xiàn)曲面構(gòu)造、微分方程求解、控制論等。在信號(hào)分析方面的濾波、去噪聲、壓縮、傳遞等。在影像處理方面的影像壓縮、分類(lèi)、識(shí)別與診斷，去污等。在醫(yī)學(xué)成像方面的減少B超、CT、核磁共振成像的時(shí)間，提高解析度等。(1)小波分析用于信號(hào)與影像壓縮是小波分析應(yīng)用的一個(gè)重要方面。它的特點(diǎn)是壓縮比高，壓縮速度快，壓縮后能保持信號(hào)與影像的特征不變，且在傳遞中可以抗干擾。基于小波分析的壓縮方法很多，比較成功的有小波包的方法，小波網(wǎng)域紋理模型方法，小波變換零樹(shù)壓縮，小波變換向量壓縮等。(2)小波在信號(hào)分析中的應(yīng)用也十分廣泛。它可以用于邊界的處理與濾波、時(shí)頻分析、信噪分離與提取弱信號(hào)、求分形指數(shù)、信號(hào)的識(shí)別與診斷以及多尺度邊緣偵測(cè)等。(3)在工程技術(shù)等方面的應(yīng)用。包括電腦視覺(jué)、電腦圖形學(xué)、曲線(xiàn)設(shè)計(jì)、湍流、遠(yuǎn)端宇宙的研究與生物醫(yī)學(xué)方面。

（三）小波分析法在土木工程中的應(yīng)用

隨著大型土木工程的興建,采用先進(jìn)的儀器和科學(xué)的方法來(lái)進(jìn)行在線(xiàn)監(jiān)測(cè)和診斷對(duì)結(jié)構(gòu)健康狀況的評(píng)估起著越來(lái)越重要的作用.但無(wú)論是基于固有頻率變化,還是振型變化,以及基于柔度或剛度變化的測(cè)量方法,都存在著一個(gè)共同的局限性,就是對(duì)微小損傷和疲勞損傷的識(shí)別,由于其探測(cè)靈敏度不夠,顯得力不從心,因此需要尋找一種更有效的損傷檢測(cè)手段.小波變換作為一種新的信號(hào)處理方法,綜合了時(shí)域分析方法和頻域分析方法的優(yōu)點(diǎn),屬于多分辨率的時(shí)頻分析方法,具有伸縮、平移和放大功能,可以用不同的尺度或分辨率來(lái)觀察信號(hào),實(shí)現(xiàn)既在時(shí)域又在頻域的高分辨局部定位,對(duì)于非平穩(wěn)信號(hào)的處理是非常適合和必要的,正是結(jié)構(gòu)損傷檢測(cè)的基本要求.給出了結(jié)構(gòu)整體進(jìn)行損傷判別的方法,將各層能量在各頻段進(jìn)行分解,通過(guò)能量變化情況給出了結(jié)構(gòu)損傷程度的判定方法,并且在三層鋼筋混凝土框架結(jié)構(gòu)的損傷判別試驗(yàn)中得到應(yīng)用,試驗(yàn)結(jié)果與理論分析吻合較好,從而證明了提出的損傷判別方法的可行性與準(zhǔn)確性.在施工過(guò)程中結(jié)構(gòu)發(fā)生損傷后，某些線(xiàn)性連接點(diǎn)變?yōu)榉蔷€(xiàn)性，造成其固有頻率和剛度的改變，進(jìn)而使得結(jié)構(gòu)的動(dòng)力響應(yīng)發(fā)生變化。線(xiàn)性和非線(xiàn)性系統(tǒng)動(dòng)力特性的主要差別之一是非線(xiàn)性系統(tǒng)具有高次諧波和亞諧波。利用小波變換分析結(jié)構(gòu)損傷前后的時(shí)域和頻域響應(yīng)，可以確定諸如高次諧波、亞諧波以及混沌現(xiàn)象等系統(tǒng)響應(yīng)的動(dòng)力學(xué)特性，進(jìn)而檢測(cè)結(jié)構(gòu)的非線(xiàn)性 。通過(guò)小波分析局部擴(kuò)大和局部壓縮的特性，可以對(duì)微弱信號(hào)進(jìn)行檢測(cè)，這在結(jié)構(gòu)損傷初期的檢測(cè)中是非常重要的。（1）直接利用小波分析檢測(cè)損傷，利用小波分析進(jìn)行損傷檢測(cè)較多的集中在復(fù)合材料損傷研究上 。復(fù)合材料由于其重量輕、剛性好，已廣泛應(yīng)用于航空航天結(jié)構(gòu)和許多民用工程結(jié)構(gòu)，其損傷可導(dǎo)致結(jié)構(gòu)性能的嚴(yán)重下降，因此發(fā)展連續(xù)健康監(jiān)測(cè)和自動(dòng)報(bào)警技術(shù)尤為重要。一般采用在復(fù)合材料結(jié)構(gòu)模型（如懸臂梁）上粘貼壓電材料，分別作為作動(dòng)器（產(chǎn)生激勵(lì)）和傳感器（感受振動(dòng)信號(hào)）。利用有限元數(shù)值仿真，假定在仿真過(guò)程中某些單元發(fā)生損傷，將被測(cè)點(diǎn)動(dòng)力響應(yīng)，如位移、速度或加速度，進(jìn)行小波分解。通過(guò)小波分解后各階信號(hào)波形上的突變點(diǎn)能夠準(zhǔn)確的判斷損傷的發(fā)生。由于小波分解后的信號(hào)比原始信號(hào)的分辨率高的多，利用小波分解信號(hào)的奇變性，可以識(shí)別原始信號(hào)中無(wú)法直接識(shí)別的突變。利用小波變換對(duì)結(jié)構(gòu)在地震作用下帶有噪聲的位移響應(yīng)信號(hào)進(jìn)行低周疲勞信號(hào)提取。低周疲勞模型采用結(jié)構(gòu)在隨機(jī)時(shí)刻點(diǎn)上某些構(gòu)件由于承受沖擊荷載而導(dǎo)致的剛度下降來(lái)模擬，得到了以下研究成果：A）用序號(hào)N較大的正交小波可以很好的估計(jì)有噪聲條件下疲勞破壞的發(fā)生時(shí)刻，B）用小波分析可以精確的識(shí)別諸如下降剛度等系統(tǒng)參數(shù)。利用時(shí)程分析程序計(jì)算結(jié)構(gòu)動(dòng)力響應(yīng)，并在其過(guò)程中允許結(jié)構(gòu)中某些構(gòu)件發(fā)生損傷如支撐剛度突然全部消失或部分消失。這些損傷造成了加速度的不連續(xù)，而這種不連續(xù)在加速度曲線(xiàn)中是難以觀察的。將得到的加速度響應(yīng)信號(hào)進(jìn)行離散小波變換，通過(guò)分解后高頻波形上的突起來(lái)判斷損傷的發(fā)生和發(fā)生的時(shí)刻。分析過(guò)程將對(duì)多個(gè)結(jié)點(diǎn)加速度進(jìn)行小波分解并通過(guò)分解后帶有突起的結(jié)點(diǎn)在整個(gè)結(jié)構(gòu)中所處的空間位置來(lái)判斷損傷的位置。

（四）小波分析與其他方法聯(lián)合運(yùn)用

此方法多是把小波分析作為前置處理手段，可先利用小波變換的消噪性能對(duì)原始信號(hào)進(jìn)行除噪，再對(duì)信號(hào)進(jìn)行奇異性檢測(cè)等其他處理 。小波分析可以單獨(dú)定位損傷，但都不夠精確。此方法是先利用損傷后構(gòu)件各階振型的殘余量，求出曲率模態(tài)，再通過(guò)小波分析得到曲率模態(tài)的小波分解灰度圖 ，進(jìn)而推斷出損傷位

置。這種聯(lián)合方法提高了損傷識(shí)別的靈敏性和精確度，但只運(yùn)用到一維梁構(gòu)件上，對(duì)于更復(fù)雜的情況需要進(jìn)一步研究。小波分析可以聚焦到信號(hào)的任意細(xì)節(jié)進(jìn)行時(shí)頻域處理，因此適用于非平穩(wěn)信號(hào)振動(dòng)波形特征提取。故可以先利用小波分析對(duì)原始信號(hào)進(jìn)行分解，提取各水平的小波細(xì)節(jié)的能量特征參數(shù)等與損傷相關(guān)聯(lián)的特征量或小波重構(gòu)系數(shù)的統(tǒng)計(jì)特性，如：波形指標(biāo)，峰值指標(biāo)，能量指標(biāo)等，輸入BP神經(jīng)網(wǎng)絡(luò)或小波神經(jīng)網(wǎng)絡(luò)，作為網(wǎng)絡(luò)的輸入?yún)?shù)，利用神經(jīng)網(wǎng)絡(luò)的識(shí)別功能判斷損傷情況 。采用小波分析和神經(jīng)網(wǎng)絡(luò)算法，通過(guò)將測(cè)得的原始結(jié)構(gòu)和損傷后結(jié)構(gòu)的振動(dòng)數(shù)據(jù)比較，估計(jì)損傷發(fā)生的位置及程度。首先利用小波分析的時(shí)頻定位特性提取突變發(fā)生位置，而模態(tài)形狀變化的大小反應(yīng)損傷程度，故它可以預(yù)測(cè)結(jié)構(gòu)的完整性。神經(jīng)網(wǎng)絡(luò)則通過(guò)映像小波分析中提取出的振動(dòng)特征的函數(shù)來(lái)量化健康狀態(tài)參數(shù)。

3.小波變換在結(jié)構(gòu)振動(dòng)方面的應(yīng)用。結(jié)構(gòu)抗震分析中的應(yīng)用 地震動(dòng)屬于非平穩(wěn)信號(hào)，而小波變換在處理非平穩(wěn)信號(hào)上具有不可比擬的優(yōu)勢(shì)。國(guó)外有一些研究者已經(jīng)將小波分析應(yīng)用于結(jié)構(gòu)震動(dòng)方面，國(guó)內(nèi)也有一些研究者應(yīng)用小波分析法地震作用下結(jié)構(gòu)的動(dòng)力響應(yīng) 。主要利用小波變換對(duì)地震作用下結(jié)構(gòu)的動(dòng)力反應(yīng)進(jìn)行了分析和計(jì)算，并利用能量分配關(guān)系分析了各頻段范圍內(nèi)地震輸入分量對(duì)結(jié)構(gòu)反應(yīng)的作用程度。通過(guò)算例知道，小波變換可以對(duì)提取的任意頻率范圍內(nèi)的輸入進(jìn)行動(dòng)力分析，且較傅里葉變換有明顯的優(yōu)點(diǎn)。

3，小波分析法在工程圖像壓縮中的應(yīng)用。小波分析法的膨脹和平移運(yùn)算可以對(duì)信號(hào)進(jìn)行多尺度的細(xì)致的動(dòng)態(tài)分析，從而能夠解決Fourier變換不能解決的許多困難問(wèn)題。利用小波變換可以一次變換整幅圖像，不僅可以達(dá)到很高的壓縮比，而且不會(huì)出現(xiàn)JPEG重建圖像中的"方塊"效應(yīng)，但編碼器復(fù)雜，有潛像問(wèn)題。 由于小波及小波包技術(shù)可以將信號(hào)或圖像分層次按小波基展開(kāi)，所以可以根據(jù)圖像信號(hào)的性質(zhì)以及事先給定的圖像處理要求確定到底要展開(kāi)到哪一級(jí)為止，從而不僅能有效地控制計(jì)算量，滿(mǎn)足實(shí)時(shí)處理的需要，而且可以方便地實(shí)現(xiàn)通常由子頻帶、層次

編碼技術(shù)實(shí)現(xiàn)的累進(jìn)傳輸編碼（即采取逐步浮現(xiàn)的方式傳送多媒體圖像）。這樣一種工作方式在多媒體數(shù)據(jù)瀏覽、醫(yī)學(xué)圖片遠(yuǎn)程診斷時(shí)是非常必要的。另外，利用小波變換具有放 大、縮小和平移的數(shù)學(xué)顯微鏡的功能，可以方便地產(chǎn)生各種分辨率的圖像，從而適應(yīng)于不同分辨率的圖像I/O設(shè)備和不同傳輸速率的通信系統(tǒng)。相比之，利用KL變換進(jìn)行壓縮編碼，只能對(duì)整幅圖像進(jìn)行；而利用小波變換則能夠比較精確地進(jìn)行圖像拼接，因此對(duì)較大的圖像可以進(jìn)行分塊處理，然后再進(jìn)行拼接。顯然，這種處理方式為圖像的并行處理提供了理論依據(jù)。由于小波變換繼承了Fourier分析的優(yōu)點(diǎn)，同時(shí)又克服它的許多缺點(diǎn)，所以它在靜態(tài)和動(dòng)態(tài)圖像壓縮領(lǐng)域得到廣泛的應(yīng)用，并且已經(jīng)成為某些圖像壓縮國(guó)際標(biāo)準(zhǔn)的重要環(huán)節(jié)。由于小波分析克服了Fourier分析的許多弱點(diǎn)，因此它不僅可以用于圖像壓縮，還可以用于許多其他領(lǐng)域，如信號(hào)分析、靜態(tài)圖像識(shí)別、計(jì)算機(jī)視覺(jué)、聲音壓縮與合成、視頻圖像分析、CT成像、地震勘探和分形力學(xué)等領(lǐng)域。所以許多工程在施工過(guò)程中會(huì)運(yùn)用此類(lèi)方法。

參考文獻(xiàn)：

[1] 彭玉華.小波變換與工程應(yīng)用[M]. 北京：科學(xué)出版社，1999.

[2] 胡昌華，張軍波等.基于 MATLAB 的系統(tǒng)分析與設(shè)計(jì)――小波分析[M]. 西安：西安電子科技大學(xué)出

版社，1999.