卷積神經(jīng)網(wǎng)絡(luò)的方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)的方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

【關(guān)鍵詞】深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 權(quán)值共享 下采樣 R-CNN Fast-R-CNN

1 緒論

隨著電子信息技術(shù)的快速發(fā)展，芯片的設(shè)計(jì)與生產(chǎn)進(jìn)入了納米時(shí)代，計(jì)算機(jī)的計(jì)算能力與計(jì)算速度得到了空前的提高，但是人們的需求是無限的，要求計(jì)算機(jī)能更加任性化的服務(wù)于我們的生活，這也就要求計(jì)算機(jī)本身能像人一樣識(shí)別與感知周圍的環(huán)境，并對(duì)復(fù)雜的環(huán)境做出正確的判斷。而圖片信息是我們周圍環(huán)境最直觀的，最容易獲取的信息，要求計(jì)算機(jī)能對(duì)為的環(huán)境做出識(shí)別與判斷也就要求計(jì)算機(jī)能夠智能的識(shí)別圖像信息。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一個(gè)新的研究領(lǐng)域。通過深度學(xué)習(xí)的方法構(gòu)建深度網(wǎng)絡(luò)來抽取目標(biāo)特征進(jìn)而識(shí)別周圍的環(huán)境。卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的處理具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性。在處理圖像是更加快捷和便利。卷積神經(jīng)網(wǎng)絡(luò)使得計(jì)算機(jī)在感知識(shí)別周圍環(huán)境的能力有了巨大的提升，使得計(jì)算機(jī)更加智能。卷積神經(jīng)網(wǎng)絡(luò)擁有強(qiáng)大的特征提取能力，使得其在圖像分類識(shí)別，目標(biāo)跟蹤等領(lǐng)域有著強(qiáng)大的運(yùn)用。

1.1 國(guó)內(nèi)外研究現(xiàn)狀

1986年，Rumelhart和Mc Celland提出BP算法。BP算法反向傳導(dǎo)神經(jīng)網(wǎng)絡(luò)輸出誤差進(jìn)行訓(xùn)練神經(jīng)網(wǎng)絡(luò)。通過BP算法，神經(jīng)網(wǎng)絡(luò)能夠從大量訓(xùn)練數(shù)據(jù)中的學(xué)習(xí)到相關(guān)統(tǒng)計(jì)信息，學(xué)習(xí)到的數(shù)據(jù)統(tǒng)計(jì)信息能夠反映關(guān)于輸入-輸出數(shù)據(jù)模型的函數(shù)映射關(guān)系。

自2006年以來，Geoffery Hinton教授提出深度信念網(wǎng)絡(luò)。從此深度學(xué)習(xí)在學(xué)術(shù)界持續(xù)升溫。深度學(xué)習(xí)不僅改變著傳統(tǒng)的機(jī)器學(xué)習(xí)方法，也影響著我們對(duì)人類感知的理解，迄今已在語音識(shí)別和圖像理解等應(yīng)用領(lǐng)域引起了突破性的變革。各種相關(guān)的算法和模型都取得了重要的突破，使得深度學(xué)習(xí)在圖像分類，語音識(shí)別，自然語言處理等領(lǐng)域有廣泛的運(yùn)用。

2013年百度成立百度深度學(xué)習(xí)研究院以來我國(guó)的人工智能領(lǐng)域取得了長(zhǎng)足的進(jìn)步。在人工智能專家吳恩達(dá)的帶領(lǐng)下，百度陸續(xù)推出一系列人工智能產(chǎn)品，無人駕駛技術(shù)，DuerOS語音交互計(jì)算平臺(tái)，人臉識(shí)別技術(shù)，美樂醫(yī)等優(yōu)秀產(chǎn)品。此外Imagenet圖像識(shí)別大賽中也誕生了一系列經(jīng)典的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，VGG，F(xiàn)ast-R-CNN，SPP-net等等，可以說人工智能技術(shù)在近幾年得到了空前的發(fā)展。

2 深度學(xué)習(xí)概述

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)新方向，通過學(xué)習(xí)樣本數(shù)據(jù)內(nèi)在規(guī)律和深層特征深度，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)能夠像人一樣有分析和學(xué)的能力，尤其在文字處理，圖像識(shí)別，語音等領(lǐng)域更加突出。能夠自主學(xué)習(xí)一些新的東西。目前深度學(xué)習(xí)使用的典型技術(shù)是通過特征表達(dá)和分類器來進(jìn)行目標(biāo)識(shí)別等任務(wù)的。并在語音識(shí)別、圖像處理、機(jī)器翻譯等領(lǐng)域取得很多成果。

深度學(xué)習(xí)不同于以往的淺層學(xué)習(xí)，淺層學(xué)習(xí)模型值包含一個(gè)隱藏層，或者不存在隱藏層，深度學(xué)習(xí)則是由很多隱藏層組成的，上一層的輸出作為下一層的輸入，實(shí)驗(yàn)對(duì)輸入信息進(jìn)行分級(jí)表達(dá)。目前深度學(xué)習(xí)框架主要包含三種深度學(xué)習(xí)框架，如圖1、2、3所示。

3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)層次比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)包含大量的隱藏層，相鄰的卷積核或者下采樣核采用局部感受野全鏈接，神經(jīng)元權(quán)值共享的規(guī)則，因此卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量遠(yuǎn)比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)少，卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和前向測(cè)試的復(fù)雜度大幅度降低，同時(shí)也減少了神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過擬合的幾率。卷積神經(jīng)網(wǎng)絡(luò)主要有兩部分，分別是卷積核和下采樣核。卷積核主要對(duì)上一層的圖像進(jìn)行卷積運(yùn)算，提取圖像特征，下采樣核則是對(duì)上層的數(shù)據(jù)進(jìn)行將為處理，減少神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

卷積神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元的輸入與前一層的局部感受野相連，提取局部感受野的特征，比如圖像的輪廓，顏色等特征，而這些特征不僅包括傳統(tǒng)人類能理解的特征，也包括神經(jīng)網(wǎng)絡(luò)自身能夠識(shí)別的特征，卷積核全職共享，因此這些特征提取與圖像的位置無關(guān)。

圖4是經(jīng)典的LeNet5卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，LeNet5架構(gòu)中卷積核和下采樣核交替出現(xiàn)，下采樣核及時(shí)的將卷積核生成的特征向量進(jìn)行降維，減少神經(jīng)網(wǎng)絡(luò)的運(yùn)算量。LeNet5算法在1962年幼Hubel等人提出，在識(shí)別手寫數(shù)字mnist中有極高的準(zhǔn)確率。

4 R-CNN、Fast-R-CNN對(duì)比分析

卷積神經(jīng)網(wǎng)絡(luò)在對(duì)圖像進(jìn)行識(shí)別具有平移，旋轉(zhuǎn)，扭曲不變的優(yōu)良特性，并且能夠?qū)崿F(xiàn)高準(zhǔn)確率識(shí)別圖像，但是在現(xiàn)實(shí)生活運(yùn)用中往往需要神經(jīng)網(wǎng)絡(luò)標(biāo)記出目標(biāo)的相對(duì)位置，這是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不具備的功能。因此在前人傳統(tǒng)卷積神經(jīng)網(wǎng)路基礎(chǔ)上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，產(chǎn)生了具有對(duì)圖像中目標(biāo)進(jìn)行識(shí)別和定位的卷積神經(jīng)網(wǎng)絡(luò)R-CNN，F(xiàn)ast-R-CNN等改良算法。

4.1 R-CNN

R-CNN為Region Convoluntional Neural Network的縮寫即對(duì)圖像進(jìn)行局部區(qū)域的卷積處理，其核心思想主要是利用候選區(qū)圖像對(duì)物體探測(cè)中位置信息進(jìn)行精確處理和利用監(jiān)督式預(yù)訓(xùn)練和區(qū)域特殊化的微調(diào)方法，代替了傳統(tǒng)的非監(jiān)督式預(yù)訓(xùn)練和監(jiān)督式微調(diào)。

在CNN中，全連接層輸入是固定大小的，因此R-CNN用計(jì)算機(jī)視覺算法將每一張圖片分割成1000-2000張的候選區(qū)圖片后，要將這些候選區(qū)圖片進(jìn)行變換，生成固定大小的候選圖片，在訓(xùn)練提取特征時(shí)一般采用經(jīng)過預(yù)訓(xùn)練的模型參數(shù)進(jìn)行finetuning，榱嗽黽友盜費(fèi)本，模型在也將生成的候選框以及標(biāo)定的標(biāo)簽作為訓(xùn)練樣本進(jìn)行訓(xùn)練。R-CNN采用SVMs分類器對(duì)特征向量進(jìn)行分類，在訓(xùn)練SVMs時(shí)將候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征和SVM標(biāo)定結(jié)果輸入到SVMs分類器訓(xùn)練分類器模型。而在測(cè)試時(shí)將圖像全部候選框經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)提取的特征輸入到SVMs分類器中，得到每一類的評(píng)分結(jié)果。但是R-CNN在處理一張圖片是要處理需要對(duì)一張圖片1000-2000個(gè)候選區(qū)圖像進(jìn)行前向運(yùn)算，保存所有后選取圖片的特征值，要求計(jì)算硬件有大量的存儲(chǔ)空間，同時(shí)處理每一張圖片的時(shí)間也會(huì)增加。由于訓(xùn)練集龐大，本文采用hard negative mining method方法提高存儲(chǔ)的利用率。

R-CNN的體現(xiàn)出了極大的優(yōu)勢(shì)，其中MAP也可以大幅度提高，但是正如本文上述，R-CNN計(jì)算的時(shí)間成本很大，達(dá)不到實(shí)時(shí)的計(jì)算效果，R-CNN在對(duì)候選區(qū)進(jìn)行處理時(shí)會(huì)使得圖像失真，部分信息丟失。

4.2 Fast-R-CNN

Fast-R-CNN則是再次改進(jìn)的一種基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)跟蹤定位算法。相比于R-CNN，F(xiàn)ast-R-CNN從單輸入變?yōu)殡p輸入，在全連接層后有了兩個(gè)輸出，引入了Rol層。

Fast-R-CNN在運(yùn)行的時(shí)候同樣會(huì)生成大量的候選區(qū)，同時(shí)將原始的圖片用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將原始圖片提取的特征與生成的候選區(qū)坐標(biāo)送入Rol層為每一個(gè)候選區(qū)生成一個(gè)固定大小的特征向量。最后將Rol生成的特征向量全連接層產(chǎn)生最終的LOSS。Fast-R-CNN中的LOSS采用多LOSS模式，SoftMax LOSS用于計(jì)算K+1分類的損失，K為第K個(gè)目標(biāo)，1為背景；Regression LOSS計(jì)算候選區(qū)的四個(gè)角的坐標(biāo)。

Fast-R-CNN在MAP上有了大幅度的提升，速度也得到了提升，但是在計(jì)算候選區(qū)是仍存在瓶頸，這也是限制Fast-R-CNN速度的因素。

5 實(shí)驗(yàn)測(cè)試

對(duì)于本文提出的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別圖像定位圖像目標(biāo)算法R-CNN，F(xiàn)ast-R-CNN，在本章給出實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)平臺(tái)為基于Linux系統(tǒng)的debian8下運(yùn)行caffe進(jìn)行訓(xùn)練，采用顯卡K620進(jìn)行實(shí)驗(yàn)。

訓(xùn)練模型初始化參數(shù)在是服從高斯隨機(jī)分布，R-CNN采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，F(xiàn)ast-R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

本次實(shí)現(xiàn)的訓(xùn)練樣本為錄制實(shí)驗(yàn)室視頻數(shù)據(jù)，將視頻數(shù)據(jù)轉(zhuǎn)換成幀圖片，對(duì)每張圖片數(shù)據(jù)進(jìn)行裁剪，裁剪后圖像大小在256*256，共有500張，再將裁剪后的圖片進(jìn)行旋轉(zhuǎn)，平移，扭曲，鏡像，加噪聲等處理，最后生成144萬張樣本圖片，其中136.8萬張圖片作為訓(xùn)練樣本，7.2萬張作為測(cè)試樣本。

6 總結(jié)

在目標(biāo)識(shí)別定位領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的圖像處理能力，對(duì)圖像的識(shí)別定位具有很高度平移，旋轉(zhuǎn)，扭曲不變形的優(yōu)良性能。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)R-CNN和Fast-R-CNN都有強(qiáng)大的圖像處理能力。Fast-R-CNN在識(shí)別準(zhǔn)確率上比R-CNN高。R-CNN算法復(fù)雜，對(duì)一張圖片需要進(jìn)行1000-2000次的卷積運(yùn)算，特征重復(fù)提取。因此在訓(xùn)練和前向測(cè)試時(shí)，R-CNN用的時(shí)間長(zhǎng)，不能很好的適用于處理實(shí)時(shí)圖片數(shù)據(jù)，尤其視頻數(shù)據(jù)。R-CNN在對(duì)每個(gè)候選區(qū)進(jìn)行特征提取之后需要將提取的特征向量存入內(nèi)存，降低訓(xùn)練測(cè)試時(shí)間的同時(shí)也需要耗費(fèi)大量?jī)?nèi)存。因此從各方面分析可知，F(xiàn)ast-R-CNN性能優(yōu)于R-CNN。

參考文獻(xiàn)

[1]謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)圖像分類方法研究[D].合肥工業(yè)大學(xué)，2015.

[2]鄭胤，陳權(quán)崎，章毓晉.深度學(xué)習(xí)及其在目標(biāo)和行為識(shí)別中的新進(jìn)展[J].中國(guó)圖象圖形學(xué)報(bào)，2014（02）：175-184.

[3]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與運(yùn)用研究[D].杭州：浙江工商大學(xué)，2006（04）：603-617.

[4]李彥冬，郝宗波，雷航等.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)應(yīng)用，2016.

[5]Gibson.J J.The perception of the Visual World[J].Cambridge，England，1950.

[6]HORN B，SCHUNCK P.Determining optical flow[J].Artificial Intelligence， 1981，17：185-203.

[7]R.Girshick，J.Donahue，T. Darrell，and J.Malik，“Rich feature hierarchies for accurate object detection and semantic segmentation，”in CVPR，2014

[8]Ross Girshick，Wicrosoft Research. Fast R-CNN，.

[9]R.Girshick.Fast R-CNN. arXiv：1504.08083，2015.

第2篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像處理；訓(xùn)練時(shí)間

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）33-0167-04

如今在機(jī)器學(xué)習(xí)領(lǐng)域中，深度學(xué)習(xí)方法已經(jīng)占據(jù)了相當(dāng)重要的地位，通過模仿人X學(xué)習(xí)方式構(gòu)造模型，在圖像、文本、語音處理方面取得了顯著成果[1]。目前應(yīng)用較為廣泛的深度學(xué)習(xí)模型包含多層感知器模型（MLP）[2]，卷積神經(jīng)網(wǎng)絡(luò)模型和限制性玻爾茲曼機(jī)模型等[4]。多層感知器[2]網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)節(jié)點(diǎn)一般分層排列，主要由輸入層，輸出層和一些隱層組成，同層之間的神經(jīng)元節(jié)點(diǎn)無連接，相鄰的兩層神經(jīng)元進(jìn)行全連接，前一層的神經(jīng)元的輸出作為后一層神經(jīng)元的輸入，但本身此種算法存在著一些問題，那就是它的學(xué)習(xí)速度非常慢，其中一個(gè)原因就是由于層與層之間進(jìn)行全連接，所以它所需要訓(xùn)練的參數(shù)的規(guī)模是非常大的，所以對(duì)其進(jìn)行改進(jìn)，產(chǎn)生了卷積神經(jīng)網(wǎng)絡(luò)模型。卷積神經(jīng)網(wǎng)絡(luò)模型在圖像識(shí)別方面的應(yīng)用十分廣泛[5，8，9]。從它的結(jié)構(gòu)上來看，層與層之間的神經(jīng)元節(jié)點(diǎn)采用局部連接模式，而并非MLP的全連接模型，這樣就降低了需要訓(xùn)練的參數(shù)的規(guī)模。而在它卷積層中，它的每一個(gè)濾波器作為卷積核重復(fù)作用于整個(gè)輸入圖像中，對(duì)其進(jìn)行卷積，而得出的結(jié)果作為輸入圖像的特征圖[6]，這樣就提取出了圖像的局部特征。而由于每一個(gè)卷積濾波器共享相同的參數(shù)，這樣也就大大降低了訓(xùn)練參數(shù)的時(shí)間成本。而本文，以卷積神經(jīng)網(wǎng)絡(luò)為研究對(duì)象，在其模型的基礎(chǔ)上通過對(duì)其結(jié)構(gòu)中卷積核也就是濾波器的大小進(jìn)行調(diào)整并結(jié)合卷積核個(gè)數(shù)調(diào)整和gpu加速等已有的訓(xùn)練提速方法，達(dá)到降低訓(xùn)練時(shí)間并且對(duì)識(shí)別結(jié)果并無太大影響的目的。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在MLP的基礎(chǔ)上，已經(jīng)對(duì)結(jié)構(gòu)進(jìn)行了優(yōu)化，通過層與層之間的局部連接以及權(quán)值共享等方式對(duì)要訓(xùn)練的參數(shù)的進(jìn)行了大幅減低。

1.1局部連接

BP神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元在本層中呈線性排列狀態(tài)，層與層之間進(jìn)行全連接，而在卷積神經(jīng)網(wǎng)絡(luò)中，為了減少每層之間的可訓(xùn)練參數(shù)數(shù)量，對(duì)連接方式進(jìn)行了修改，相對(duì)于BP神經(jīng)網(wǎng)絡(luò)的全連接，卷積神經(jīng)網(wǎng)絡(luò)采取了局部連接的連接方式[7]，也就是說按照某種關(guān)聯(lián)因素，本層的神經(jīng)元只會(huì)與上層的部分神經(jīng)元進(jìn)行連接。

2.2 權(quán)值共享

在CNN中，卷積層中的卷積核也就是濾波器，重復(fù)作用在輸入圖像上，對(duì)其進(jìn)行卷積，最后的輸出作為他的特征圖，由于每個(gè)濾波器共享相同的參數(shù)，所以說他們的權(quán)重矩陣以及偏置項(xiàng)是相同的。

我們從上圖看出，相同箭頭連線的權(quán)值是共享的，這樣在原有的局部連接的基礎(chǔ)上我們又降低了每層需要訓(xùn)練的參數(shù)的數(shù)量。

2.3卷積過程

特征圖是通過濾波器按照特定的步長(zhǎng)，對(duì)輸入圖像進(jìn)行濾波，也就是說我們用一個(gè)線性的卷積核對(duì)輸入圖像進(jìn)行卷積然后附加一個(gè)偏置項(xiàng)，最后對(duì)神經(jīng)元進(jìn)行激活。如果我們?cè)O(shè)第k層的特征圖記為[hk]，權(quán)重矩陣記為[Wk]，偏置項(xiàng)記為[bk]，那么卷積過程的公式如下所示（雙曲函數(shù)tanh作為神經(jīng)元的激活函數(shù)）：

2.4 最大池采樣

通過了局部連接與權(quán)值共享等減少連接參數(shù)的方式卷積神經(jīng)網(wǎng)絡(luò)中還有另外一個(gè)重要的概念那就是最大池采樣方法，它是一種非線性的采樣方法。最大池采樣法在對(duì)減少訓(xùn)練參數(shù)數(shù)量的作用體現(xiàn)在兩個(gè)方面：

1 ）它減小了來自m-1層的計(jì)算復(fù)雜度。

2 ）池化的單元具有平移不變性，所以即使圖像在濾波后有小的位移，經(jīng)過池化的特征依然會(huì)保持不變。

3卷積神經(jīng)網(wǎng)絡(luò)整體構(gòu)造以及減少訓(xùn)練時(shí)間的方法

3.1使用GPU加速

本次論文實(shí)驗(yàn)中，使用了theano庫(kù)在python環(huán)境下實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)模型，在lenet手寫數(shù)字識(shí)別模型上進(jìn)行改進(jìn)，由于theano庫(kù)本身支持GPU加速，所以在訓(xùn)練速度上實(shí)現(xiàn)了大幅度的提高。

3.2 數(shù)據(jù)集的預(yù)處理

本次實(shí)驗(yàn)使用的兩個(gè)數(shù)據(jù)集是mnist手寫數(shù)字庫(kù)以及cifar_10庫(kù)

Mnist手寫數(shù)字庫(kù)具有60000張訓(xùn)練集以及10000張測(cè)試集，圖片的像素都為28*28，而cifar_10庫(kù)是一個(gè)用于普適物體識(shí)別的數(shù)據(jù)集，它由60000張32*32像素的RGB彩色圖片構(gòu)成，50000張圖片組成訓(xùn)練集，10000張組成測(cè)試集。而對(duì)于cifar_10數(shù)據(jù)集來說，由于圖片都是RGB的，所以我們?cè)谶M(jìn)行實(shí)驗(yàn)的時(shí)候，先把其轉(zhuǎn)換為灰度圖在進(jìn)行存儲(chǔ)。由于實(shí)驗(yàn)是在python環(huán)境下運(yùn)行，theano函數(shù)庫(kù)進(jìn)行算法支持，所以我們把數(shù)據(jù)集進(jìn)行處理，此處我們對(duì)使用的數(shù)據(jù)集進(jìn)行了格式化。格式化的文件包括三個(gè)list，分別是訓(xùn)練數(shù)據(jù)，驗(yàn)證數(shù)據(jù)和測(cè)試數(shù)據(jù)。而list中每個(gè)元素都是由圖像本身和它的相對(duì)應(yīng)的標(biāo)簽組成的。以mnist數(shù)據(jù)集為例，我們包含train_set，valid_set，test_set三個(gè)list，每個(gè)list中包含兩個(gè)元素，以訓(xùn)練集為例，第一個(gè)元素為一個(gè)784*60000的二維矩陣，第二個(gè)元素為一個(gè)包含60000個(gè)元素的列向量，第一個(gè)元素的每一行代表一張圖片的每個(gè)像素，一共60000行，第二個(gè)元素就存儲(chǔ)了對(duì)相應(yīng)的標(biāo)簽。而我們?nèi)∮?xùn)練樣本的10%作為驗(yàn)證樣本，進(jìn)行相同的格式化，而測(cè)試樣本為沒有經(jīng)過訓(xùn)練的10000張圖片。在以cifar_10數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象時(shí)，把其進(jìn)行灰度化后，進(jìn)行相同的格式化處理方式。

3.3實(shí)驗(yàn)?zāi)Ｐ徒Y(jié)構(gòu)

本次實(shí)驗(yàn)是在python環(huán)境下基于theano函數(shù)庫(kù)搭建好的lenet模型進(jìn)行參數(shù)的調(diào)整，以達(dá)到在實(shí)驗(yàn)準(zhǔn)確度可接受情況下減少訓(xùn)練時(shí)間的目的。

上圖為實(shí)驗(yàn)中的基礎(chǔ)模型舉例說明實(shí)驗(yàn)過程，首先以mnist數(shù)據(jù)集為例，我們的輸入圖像為一個(gè)28*28像素的手寫數(shù)字圖像，在第一層中我們進(jìn)行了卷積處理，四個(gè)濾波器在s1層中我們得到了四張?zhí)卣鲌D。在這里要特別的說明一下濾波器的大小問題，濾波器的大小可根據(jù)圖像像素大小和卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)進(jìn)行設(shè)置，舉例說明，假如說我們的輸入圖像為28*28像素的圖像，我們把第一層卷積層濾波器大小設(shè)置為5*5，也就是說我們用一個(gè)大小為5*5的局部滑動(dòng)窗，以步長(zhǎng)為一對(duì)整張圖像進(jìn)行滑動(dòng)濾波，則滑動(dòng)窗會(huì)有24個(gè)不同的位置，也就是說經(jīng)過卷積處理后的C1層特征圖的大小為24*24。此處的濾波器大小可進(jìn)行調(diào)整，本論文希望通過對(duì)濾波器大小的調(diào)整，已達(dá)到減少訓(xùn)練時(shí)間的目的，并尋找調(diào)整的理論依據(jù)。C1層的特征圖個(gè)數(shù)與卷積過程中濾波器數(shù)量相同。S1層是C1經(jīng)過降采樣處理后得到的，也就是說四點(diǎn)經(jīng)過降采樣后變?yōu)橐粋€(gè)點(diǎn)，我們使用的是最大池方法，所以取這四個(gè)點(diǎn)的最大值，也就是說S1層圖像大小為12*12像素，具有4張?zhí)卣鲌D。而同理S1層經(jīng)過卷積處理得到C2層，此時(shí)我們?yōu)V波器的大小和個(gè)數(shù)也可以自行設(shè)置，得到的C2層有6張?zhí)卣鲌D，C2到S2層進(jìn)行降采樣處理，最后面的層由于節(jié)點(diǎn)個(gè)數(shù)較少，我們就用MLP方法進(jìn)行全連接。

3.4實(shí)驗(yàn)參數(shù)改進(jìn)分析

由此可見，我們對(duì)濾波器的大小以及個(gè)數(shù)的改變，可以直接影響到卷積訓(xùn)練參數(shù)的個(gè)數(shù)，從而達(dá)到減少訓(xùn)練時(shí)間的目的。

從另一種角度來看，增大濾波器的大小，實(shí)際效果應(yīng)該相似于縮小輸入圖像的像素大小，所以這樣我們可以預(yù)測(cè)增大濾波器的大小會(huì)減少樣本的訓(xùn)練時(shí)間，但是這樣也可能會(huì)降低訓(xùn)練后的分類的準(zhǔn)確率，而濾波器的大小是如何影響訓(xùn)練時(shí)間以及分類準(zhǔn)確率的，我們通過對(duì)兩種圖片庫(kù)的實(shí)驗(yàn)來進(jìn)行分析。

4 實(shí)驗(yàn)結(jié)果與分析

4.1以mnist手寫數(shù)字?jǐn)?shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

我們知道卷積層可訓(xùn)練參數(shù)的數(shù)字與濾波器的大小和數(shù)字有關(guān)，所以我們通過對(duì)卷積層濾波器大小的變化來尋找較為普遍的可減少訓(xùn)練參數(shù)從而達(dá)到減少訓(xùn)練時(shí)間的目的。在實(shí)驗(yàn)記錄中，我們表格縱列記錄兩層卷積層濾波器大小，橫列分別為對(duì)已經(jīng)過訓(xùn)練圖像識(shí)別和對(duì)未經(jīng)過訓(xùn)練的驗(yàn)證圖像進(jìn)行識(shí)別的錯(cuò)誤率，最后記錄每種濾波器大小搭配的使用時(shí)間。我們?cè)O(shè)定每次試驗(yàn)都進(jìn)行100次重復(fù)訓(xùn)練，每次對(duì)權(quán)重矩陣進(jìn)行優(yōu)化。

此處我們記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。兩層濾波器大小相加后相同的元素我們把其對(duì)應(yīng)時(shí)間做平均。

4.2以cifar_10數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)

同樣是以100次循環(huán)訓(xùn)練進(jìn)行測(cè)試，通過改變兩層中濾波器的大小來尋找減少訓(xùn)練時(shí)間的設(shè)定。

此處以同樣的方法，記錄兩層濾波器大小之和作為橫坐標(biāo)，比較濾波器大小與實(shí)驗(yàn)之間的關(guān)系。

4.3實(shí)驗(yàn)結(jié)果分析

從兩組試驗(yàn)中，在不同的數(shù)據(jù)集下，我們得到了濾波器的大小與訓(xùn)練時(shí)間成反比的關(guān)系，而在減少了訓(xùn)練時(shí)間的同時(shí)確實(shí)增大了訓(xùn)練的錯(cuò)誤率。

5 總結(jié)

通過實(shí)驗(yàn)結(jié)果分析表明，增大卷積層濾波器大小的方法，在此兩種數(shù)據(jù)庫(kù)的情況下，是有效減小訓(xùn)練時(shí)間的方式，而在不同的數(shù)據(jù)庫(kù)對(duì)分類準(zhǔn)確率的影響程度不同，mnist手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)中圖像之間的相似度非常高，所以濾波器的增大對(duì)準(zhǔn)確率產(chǎn)生的負(fù)面影響較小，而ifar_10數(shù)據(jù)集中圖像之間的相似度較小，所以增大濾波器的大小對(duì)其分類結(jié)果的準(zhǔn)確率的負(fù)面影響較大。

參考文獻(xiàn)：

[1]LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[2] Ruck D W， Rogers S K， Kabrisky M. Feature selection using a multilayer perceptron[J]. ]Journal of Neural Network Computing， 1990， 2（2）： 40-48.

[3]LeCun Y， Bengio Y. Convolutional networks for images， speech， and time series[J]. The handbook of brain theory and neural networks， 1995， 3361（10）： 1995.

[4] Larochelle H， Bengio Y. Classification using discriminative restricted Boltzmann machines[C]//Proceedings of the 25th international conference on Machine learning. ACM， 2008： 536-543.

[5]Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012： 1097-1105.

[6] Zeiler M D， Fergus R. Visualizing and understanding convolutional networks[C]//European Conference on Computer Vision. Springer International Publishing， 2014： 818-833.

[7] Jarrett K， Kavukcuoglu K， Lecun Y. What is the best multi-stage architecture for object recognition？[C]//2009 IEEE 12th International Conference on Computer Vision. IEEE， 2009： 2146-2153.

第3篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

過去10年，人們對(duì)機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，你都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日?qǐng)?bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個(gè)模型來推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)(node)，基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)進(jìn)行的。然而，為了得到好的結(jié)果需要大量時(shí)間和數(shù)據(jù)，這阻礙了神經(jīng)網(wǎng)絡(luò)的采用，因而人們的興趣也減少了。在21世紀(jì)初，計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，計(jì)算技術(shù)出現(xiàn)了“寒武紀(jì)大爆發(fā)”。在這個(gè)10年的爆炸式的計(jì)算增長(zhǎng)中，深度學(xué)習(xí)成為這個(gè)領(lǐng)域的重要的競(jìng)爭(zhēng)者，贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機(jī)器學(xué)習(xí)，就不得不提深度學(xué)習(xí)。

作者本人也注冊(cè)了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學(xué)習(xí)的動(dòng)機(jī)，以及從TensorFlow的復(fù)雜和/或大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)的智能系統(tǒng)的設(shè)計(jì)。在課程項(xiàng)目中，我使用并開發(fā)了用于圖像識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，用于自然語言處理的嵌入式神經(jīng)網(wǎng)絡(luò)，以及使用循環(huán)神經(jīng)網(wǎng)絡(luò)/長(zhǎng)短期記憶的字符級(jí)文本生成。

本文中，作者總結(jié)了10個(gè)強(qiáng)大的深度學(xué)習(xí)方法，這是AI工程師可以應(yīng)用于他們的機(jī)器學(xué)習(xí)問題的。首先，下面這張圖直觀地說明了人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間的關(guān)系。

人工智能的領(lǐng)域很廣泛，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，機(jī)器學(xué)習(xí)又是人工智能的一個(gè)子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與“經(jīng)典的”前饋式多層網(wǎng)絡(luò)區(qū)分開來的因素如下:

比以前的網(wǎng)絡(luò)有更多的神經(jīng)元更復(fù)雜的連接層的方法用于訓(xùn)練網(wǎng)絡(luò)的計(jì)算機(jī)能力的“寒武紀(jì)大爆炸”自動(dòng)特征提取

這里說的“更多的神經(jīng)元”時(shí)，是指神經(jīng)元的數(shù)量在逐年增加，以表達(dá)更復(fù)雜的模型。層(layers)也從多層網(wǎng)絡(luò)中的每一層都完全連接，到在卷積神經(jīng)網(wǎng)絡(luò)中層之間連接局部的神經(jīng)元，再到在循環(huán)神經(jīng)網(wǎng)絡(luò)中與同一神經(jīng)元的循環(huán)連接(recurrent connections)。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層的神經(jīng)網(wǎng)絡(luò)，包括以下四種基本網(wǎng)絡(luò)結(jié)構(gòu)：

無監(jiān)督預(yù)訓(xùn)練網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)

在本文中，主要介紹后三種架構(gòu)?；旧?，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一個(gè)標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，通過共享的權(quán)重在空間中擴(kuò)展。CNN設(shè)計(jì)用于通過內(nèi)部的卷積來識(shí)別圖像，它可以看到圖像中待識(shí)別的物體的邊緣。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)被設(shè)計(jì)用于識(shí)別序列，例如語音信號(hào)或文本。它的內(nèi)部有循環(huán)，這意味著網(wǎng)絡(luò)上有短的記憶。遞歸神經(jīng)網(wǎng)絡(luò)更像是一個(gè)層級(jí)網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，輸入必須以一種樹的方式進(jìn)行分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

1.反向傳播

反向傳播(Back-prop)是一種計(jì)算函數(shù)偏導(dǎo)數(shù)(或梯度)的方法，具有函數(shù)構(gòu)成的形式(就像神經(jīng)網(wǎng)絡(luò)中)。當(dāng)使用基于梯度的方法(梯度下降只是方法之一)解決優(yōu)化問題時(shí)，你需要在每次迭代中計(jì)算函數(shù)梯度。

對(duì)于神經(jīng)網(wǎng)絡(luò)，目標(biāo)函數(shù)具有組合的形式。如何計(jì)算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經(jīng)知道函數(shù)的形式，只需要用鏈?zhǔn)椒▌t(基本微積分)來計(jì)算導(dǎo)數(shù)。(ii)利用有限差分進(jìn)行近似微分。這種方法在計(jì)算上很昂貴，因?yàn)楹瘮?shù)值的數(shù)量是O(N)，N指代參數(shù)的數(shù)量。不過，有限差分通常用于在調(diào)試時(shí)驗(yàn)證back-prop實(shí)現(xiàn)。

2.隨機(jī)梯度下降法

一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標(biāo)正是河流努力達(dá)到的目標(biāo)——即，到達(dá)最底端(山腳)。

現(xiàn)在，如果山的地形是這樣的，在到達(dá)最終目的地之前，河流不會(huì)完全停下來(這是山腳的最低點(diǎn)，那么這就是我們想要的理想情況。)在機(jī)器學(xué)習(xí)中，相當(dāng)從初始點(diǎn)(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因?yàn)榈匦蔚男再|(zhì)迫使河流的路徑出現(xiàn)幾個(gè)坑，這可能迫使河流陷入困境。在機(jī)器學(xué)習(xí)術(shù)語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個(gè)問題。

因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(zhì)(用ML的術(shù)語來說是函數(shù)的性質(zhì))。但是，當(dāng)你有一種特殊的地形時(shí)(形狀像一個(gè)碗，用ML的術(shù)語來說，叫做凸函數(shù))，算法總是保證能找到最優(yōu)解。凸函數(shù)對(duì)ML的優(yōu)化來說總是好事，取決于函數(shù)的初始值，你可能會(huì)以不同的路徑結(jié)束。同樣地，取決于河流的速度(即，梯度下降算法的學(xué)習(xí)速率或步長(zhǎng))，你可能以不同的方式到達(dá)最終目的地。這兩個(gè)標(biāo)準(zhǔn)都會(huì)影響到你是否陷入坑里(局部極小值)。

3.學(xué)習(xí)率衰減

根據(jù)隨機(jī)梯度下降的優(yōu)化過程調(diào)整學(xué)習(xí)率(learning rate)可以提高性能并減少訓(xùn)練時(shí)間。有時(shí)這被稱為學(xué)習(xí)率退火(learning rate annealing)或自適應(yīng)學(xué)習(xí)率(adaptive learning rates)。訓(xùn)練過程中最簡(jiǎn)單，也是最常用的學(xué)習(xí)率適應(yīng)是隨著時(shí)間的推移而降低學(xué)習(xí)度。在訓(xùn)練過程開始時(shí)使用較大學(xué)習(xí)率具有進(jìn)行大的改變的好處，然后降低學(xué)習(xí)率，使得后續(xù)對(duì)權(quán)重的訓(xùn)練更新更小。這具有早期快速學(xué)習(xí)好權(quán)重，后面進(jìn)行微調(diào)的效果。

兩種常用且易于使用的學(xué)習(xí)率衰減方法如下：

逐步降低學(xué)習(xí)率。在特定的時(shí)間點(diǎn)較大地降低學(xué)習(xí)率。

4?. Dropout

具有大量參數(shù)的深度神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的機(jī)器學(xué)習(xí)系統(tǒng)。然而，過擬合在這樣的網(wǎng)絡(luò)中是一個(gè)嚴(yán)重的問題。大型網(wǎng)絡(luò)的使用也很緩慢，這使得在測(cè)試時(shí)將許多不同的大型神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)合起來變得困難。Dropout是解決這個(gè)問題的一種方法。

Dropout的關(guān)鍵想法是在訓(xùn)練過程中隨機(jī)地從神經(jīng)網(wǎng)絡(luò)中把一些units(以及它們的連接)從神經(jīng)網(wǎng)絡(luò)中刪除。這樣可以防止單元過度適應(yīng)。在訓(xùn)練過程中，從一個(gè)指數(shù)級(jí)的不同的“稀疏”網(wǎng)絡(luò)中刪除一些樣本。在測(cè)試時(shí)，通過簡(jiǎn)單地使用一個(gè)具有較小權(quán)重的單一網(wǎng)絡(luò)，可以很容易地估計(jì)所有這些“變瘦”了的網(wǎng)絡(luò)的平均預(yù)測(cè)效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進(jìn)。研究表明，在視覺、語音識(shí)別、文檔分類和計(jì)算生物學(xué)等監(jiān)督學(xué)習(xí)任務(wù)中，神經(jīng)網(wǎng)絡(luò)的表現(xiàn)有所提高，在許多基準(zhǔn)數(shù)據(jù)集上獲得了state-of-the-art的結(jié)果。

5. Max Pooling

最大池化(Max pooling)是一個(gè)基于樣本的離散化過程。目標(biāo)是對(duì)輸入表示(圖像，隱藏層輸出矩陣等)進(jìn)行下采樣，降低其維度，并允許對(duì)包含在分區(qū)域中的特征進(jìn)行假設(shè)。

這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時(shí)，它通過減少學(xué)習(xí)的參數(shù)數(shù)量，并為內(nèi)部表示提供基本的平移不變性(translation invariance)，從而減少計(jì)算成本。最大池化是通過將一個(gè)最大過濾器應(yīng)用于通常不重疊的初始表示的子區(qū)域來完成的。

6.批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。而批量標(biāo)準(zhǔn)化有助于實(shí)現(xiàn)這一點(diǎn)。

權(quán)重問題：無論權(quán)重的初始化如何，是隨機(jī)的也好是經(jīng)驗(yàn)性的選擇也罷，都距離學(xué)習(xí)到的權(quán)重很遙遠(yuǎn)。考慮一個(gè)小批量(mini batch)，在最初時(shí)，在所需的特征激活方面將會(huì)有許多異常值。

深度神經(jīng)網(wǎng)絡(luò)本身是有缺陷的，初始層中一個(gè)微小的擾動(dòng)，就會(huì)導(dǎo)致后面層巨大的變化。在反向傳播過程中，這些現(xiàn)象會(huì)導(dǎo)致對(duì)梯度的分散，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值，而這將導(dǎo)致需要額外的時(shí)間才能收斂。

批量歸一化將梯度從分散規(guī)范化到正常值，并在小批量范圍內(nèi)向共同目標(biāo)(通過歸一化)流動(dòng)。

學(xué)習(xí)率問題：一般來說，學(xué)習(xí)率保持較低，只有一小部分的梯度校正權(quán)重，原因是異常激活的梯度不應(yīng)影響學(xué)習(xí)的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程。

7.長(zhǎng)短時(shí)記憶

LSTM網(wǎng)絡(luò)在以下三個(gè)方面與RNN的神經(jīng)元不同：

能夠決定何時(shí)讓輸入進(jìn)入神經(jīng)元；能夠決定何時(shí)記住上一個(gè)時(shí)間步中計(jì)算的內(nèi)容；能夠決定何時(shí)讓輸出傳遞到下一個(gè)時(shí)間步長(zhǎng)。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前的輸入本身來決定所有這些。所以，你看下面的圖表：

當(dāng)前時(shí)間標(biāo)記處的輸入信號(hào)x(t)決定所有上述3點(diǎn)。輸入門從點(diǎn)1接收決策，遺忘門從點(diǎn)2接收決策，輸出門在點(diǎn)3接收決策，單獨(dú)的輸入能夠完成所有這三個(gè)決定。這受到我們的大腦如何工作的啟發(fā)，并且可以基于輸入來處理突然的上下文/場(chǎng)景切換。

8. Skip-gram

詞嵌入模型的目標(biāo)是為每個(gè)詞匯項(xiàng)學(xué)習(xí)一個(gè)高維密集表示，其中嵌入向量之間的相似性顯示了相應(yīng)詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)單詞嵌入算法的模型。

Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個(gè)詞匯項(xiàng)(vocabulary term)共享的上下文相似，那么這兩個(gè)詞匯項(xiàng)就相似。

換句話說，假設(shè)你有一個(gè)句子，比如“貓是哺乳動(dòng)物”。如果你用“狗”去替換“貓”，這個(gè)句子仍然是一個(gè)有意義的句子。因此在這個(gè)例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動(dòng)物”)。

基于上述假設(shè)，你可以考慮一個(gè)上下文窗口(context window，一個(gè)包含k個(gè)連續(xù)項(xiàng)的窗口)，然后你跳過其中一個(gè)單詞，試著去學(xué)習(xí)一個(gè)能夠得到除跳過項(xiàng)外所有項(xiàng)的神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)跳過的項(xiàng)是什么。如果兩個(gè)詞在一個(gè)大語料庫(kù)中反復(fù)共享相似的語境，則這些詞的嵌入向量將具有相近的向量。

9.連續(xù)詞袋(Continuous Bag Of Words)

在自然語言處理問題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為一個(gè)數(shù)字向量，使得出現(xiàn)在相似的上下文中的單詞具有彼此接近的向量。在連續(xù)的單詞模型中，我們的目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測(cè)特定單詞。

我們通過在一個(gè)龐大的語料庫(kù)中抽取大量的句子來做到這一點(diǎn)，每當(dāng)我們看到一個(gè)單詞時(shí)，我們就會(huì)提取它周圍的單詞。然后，我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)，并預(yù)測(cè)位于這個(gè)上下文中心的單詞。

當(dāng)我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。訓(xùn)練神經(jīng)網(wǎng)絡(luò)，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當(dāng)我們對(duì)大量的句子進(jìn)行訓(xùn)練時(shí)也能發(fā)現(xiàn)，類似語境中的單詞得到的是相似的向量。

10.遷移學(xué)習(xí)

第4篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；反向傳播算法；仿射變換；sloth；python；theano

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）04-0096-02

隨著環(huán)保壓力的增大，各國(guó)已經(jīng)開始利用攝像頭來監(jiān)控漁船的捕撈活動(dòng)，并運(yùn)用機(jī)器學(xué)習(xí)技術(shù)來對(duì)漁船捕獲的魚類圖像進(jìn)行自動(dòng)的識(shí)別與分類從而扼制非法的捕撈。

目前計(jì)算機(jī)性能的飛速發(fā)展、圖像數(shù)據(jù)采集設(shè)備的廉價(jià)與普及促進(jìn)了機(jī)器學(xué)習(xí)理論與方法的發(fā)展，數(shù)據(jù)科學(xué)家已經(jīng)可以構(gòu)建復(fù)雜的機(jī)器學(xué)習(xí)模型并利用從廉價(jià)的數(shù)碼攝像頭設(shè)備采集到大量的數(shù)據(jù)快速的訓(xùn)練模型。吳一全等[1]采用了手動(dòng)選擇特征的方法， 基于支持向量機(jī)對(duì)5種魚進(jìn)行識(shí)別，各類魚的識(shí)別精度平均為83.33%。萬鵬等[2]計(jì)算魚的長(zhǎng)軸方向各段的平均寬度與長(zhǎng)度的比值并將其作為特征參數(shù)，利用3層BP（back propagation）神經(jīng)網(wǎng)絡(luò)對(duì)鯽魚和鯉魚進(jìn)行識(shí)別，識(shí)別精度為92.50%。但是這些方法都是基于手動(dòng)選擇特征的機(jī)器學(xué)習(xí)方法，手動(dòng)選擇特征的方法基于人的經(jīng)驗(yàn)選擇特征， 會(huì)導(dǎo)致遺漏重要的特征， 導(dǎo)致分類準(zhǔn)確率低。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)能在訓(xùn)練過程中自動(dòng)學(xué)到“好”特征，避免了手動(dòng)選擇特征。本次研究采用了基于VGG16的卷積神經(jīng)網(wǎng)絡(luò)（CNN）來進(jìn)行魚類分類，并運(yùn)用了數(shù)據(jù)集擴(kuò)增方法，dropout方法， batch normalization方法來降低模型的過擬合。但是原始數(shù)據(jù)集背景干擾很大，船上的人、物體和甲板上捕獲的魚類糅合在一起，直接采用原始數(shù)據(jù)集訓(xùn)練會(huì)導(dǎo)致訓(xùn)練出的模型穩(wěn)定性不好。

基于上述分析，本文從原始數(shù)據(jù)出發(fā)，設(shè)計(jì)了一種目標(biāo)檢測(cè)方法，即在原始訓(xùn)練數(shù)據(jù)已經(jīng)有魚類類別標(biāo)簽的基礎(chǔ)上，再標(biāo)注上一層表示魚類在圖片中坐標(biāo)位置的標(biāo)簽，然后利用這些二次標(biāo)注過的數(shù)據(jù)訓(xùn)練模型，就可得到一個(gè)既能預(yù)測(cè)魚在圖片中的坐標(biāo)位置又能預(yù)測(cè)魚的分類的糅合模型。因?yàn)檫@兩種預(yù)測(cè)網(wǎng)絡(luò)在卷積層共同訓(xùn)練一套濾波器，所以在訓(xùn)練濾波器預(yù)測(cè)魚的坐標(biāo)位置時(shí)，訓(xùn)練完成的濾波器便能在另一方面輔助預(yù)測(cè)魚的分類，使特征提取只專注于魚的坐標(biāo)區(qū)域，這樣就有效的排除了背景干擾。實(shí)驗(yàn)結(jié)果顯示此模型具有很高的識(shí)別精度和魯棒性，能在背景干擾很強(qiáng)的圖片數(shù)據(jù)集上準(zhǔn)確的完成魚類的識(shí)別和分類。

1 模型構(gòu)建

實(shí)驗(yàn)數(shù)據(jù)來源于某組織舉辦的圖像識(shí)別競(jìng)賽。數(shù)據(jù)通過固定在漁船某個(gè)位置的攝像頭采集，通過采集甲板上捕獲的魚類照片，共采集到3777張共8個(gè)分類的照片作為訓(xùn)練樣本，分別為長(zhǎng)鰭金槍魚、大眼金槍魚、黃鰭金槍魚、鰍魚、月魚、鯊魚、其他、無魚類（表示沒有魚出現(xiàn)在照片里）。按一定比例做分層采樣，其中2984張用作訓(xùn)練集，394張用作驗(yàn)證集，399張用作測(cè)試集。訓(xùn)練集用經(jīng)過錯(cuò)切幅度值為0.15的仿射變換作數(shù)據(jù)集擴(kuò)增來降低過擬合，因?yàn)樵趶脑紨?shù)據(jù)集上分層采樣得來的小樣本數(shù)據(jù)集上驗(yàn)證顯示當(dāng)錯(cuò)切幅度值等于0.15時(shí)，模型在測(cè)試集上的分類精度最高。

在訓(xùn)練集上采用sloth@款圖片標(biāo)注工具手動(dòng)標(biāo)注魚類在圖片中的位置，并把這些標(biāo)注結(jié)果和已有的魚類分類標(biāo)注結(jié)果當(dāng)做輸入數(shù)據(jù)和圖片數(shù)據(jù)一起傳給模型訓(xùn)練。

本次研究的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。卷積層采用了被廣泛使用在圖像分類任務(wù)中的VGG模型的卷積濾波器的權(quán)重[3]，并在其模型上作微調(diào)來實(shí)現(xiàn)本次研究的目標(biāo)。

輸入層將不同尺寸的圖片統(tǒng)一轉(zhuǎn)換成244*244大小。

匯合層（max pooling）是指取一小塊像素區(qū)域的像素最大值，作用是可減少數(shù)據(jù)量，控制過擬合。

全連接層的權(quán)重采用反向傳播算法（back propagation）訓(xùn)練，參數(shù)尋優(yōu)采用隨機(jī)梯度下降方法。動(dòng)態(tài)學(xué)習(xí)率設(shè)定方法采用了 Adam方法，可根據(jù)損失函數(shù)在迭代訓(xùn)練中產(chǎn)生的信息自動(dòng)調(diào)整學(xué)習(xí)率。

激活層函數(shù)采用RELU方法，公式為。最后一層預(yù)測(cè)魚類分類的激活曾需要把對(duì)應(yīng)于各個(gè)分類的分?jǐn)?shù)值轉(zhuǎn)換成總和為1的對(duì)應(yīng)于各個(gè)分類的概率值，所以激活函數(shù)采用Softmax方法，公式如下

由于卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)強(qiáng)大的表示能力，為了降低模型的過擬合以及加快模型的訓(xùn)練速度，本次工作在激活曾后面再依次加入一層dropout層和batch normalization層。dropout層是指隨機(jī)的舍棄一部分激活曾神經(jīng)元的值，并將其置為0[4]。batch normalization層是指規(guī)范化每層激活層的輸出，并加入4個(gè)規(guī)范化參數(shù)來抑制模型訓(xùn)練過程中的反規(guī)范化現(xiàn)象[5]。

2 程序?qū)崿F(xiàn)

具體的軟件實(shí)現(xiàn)采用python編程語言和keras框架平臺(tái)。keras底層采用輕量易用的theano框架，并依賴計(jì)算機(jī)的顯卡來進(jìn)行更快速的訓(xùn)練工作。整個(gè)圖像分類的軟件框架主要由4部分組成，分別是輸入圖像數(shù)據(jù)處理、模型各個(gè)網(wǎng)絡(luò)層的實(shí)現(xiàn)及拼接、模型編譯、模型訓(xùn)練及預(yù)測(cè)。下面按數(shù)據(jù)在模型中流動(dòng)的順序具體的闡述各個(gè)部分的程序?qū)崿F(xiàn)。

2.1 輸入圖像數(shù)據(jù)處理

第5篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：Deep Learning；多隱含層感知；DropConnect；算法

中圖分類號(hào)：TP181

Deep Learning是機(jī)器學(xué)習(xí)研究的新領(lǐng)域，它掀起了機(jī)器學(xué)習(xí)領(lǐng)域的第二次浪潮，并受到學(xué)術(shù)界到工業(yè)界高度重視。Deep Learning概念根源于人工神經(jīng)網(wǎng)絡(luò)[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模擬人腦分析學(xué)習(xí)機(jī)制的多層次神經(jīng)網(wǎng)絡(luò)，并通過這種網(wǎng)絡(luò)分析解釋數(shù)據(jù)，如視頻、文本和聲音等。Deep Learning的多隱含層使得它具有優(yōu)異的特征學(xué)習(xí)能力，而且學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類。它的“逐層初始化”（layer-wise pre-training[4]）可以有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度。本文在對(duì)Deep Learning算法分析的基礎(chǔ)上，著重闡述了對(duì)Regularization of Neural Networks using DropConnect模型的改進(jìn)。

1 Deep Learning算法分析

1.1 Deep Learning多隱含層感知架構(gòu)

Deep Learning算法最優(yōu)秀特征是多隱含層感知器架構(gòu)，這種架構(gòu)通過組合低層特征來形成更加抽象的高層屬性類別或特征，并實(shí)現(xiàn)對(duì)數(shù)據(jù)分布式表示。Deep Learning的多隱含層結(jié)構(gòu)是由輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)（如圖1所示），只有相鄰層神經(jīng)元之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個(gè)淺層機(jī)器學(xué)習(xí)模型（如logistic regression，Support Vector Machines）。

圖1 含多個(gè)隱含層的Deep Learning模型

Deep Learning的多隱含層感知結(jié)構(gòu)模擬的是人腦的大腦皮層工作。人大腦皮層計(jì)算也是分多層進(jìn)行[5]，例如圖像在人腦中是分多個(gè)階段處理，首先是進(jìn)入大腦皮層V1區(qū)提取邊緣特征，然后進(jìn)入大腦皮層V2區(qū)抽象成圖像的形狀或者部分，再到更高層，以此類推。高層的特征是由底層組合而成。使用含多隱含層感知器架構(gòu)網(wǎng)絡(luò)主要優(yōu)勢(shì)在于它能以更簡(jiǎn)潔的方式表達(dá)比淺層網(wǎng)絡(luò)大得多的函數(shù)關(guān)系（如圖2）。通過這種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，Deep Learning可以實(shí)現(xiàn)復(fù)雜函數(shù)的逼近，表征輸入數(shù)據(jù)的分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。

圖2 多層次實(shí)現(xiàn)復(fù)雜函數(shù)圖

1.2 Deep Learning訓(xùn)練過程

（1）首先逐層構(gòu)建單層神經(jīng)元，使得每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。

（2）當(dāng)所有層訓(xùn)練完后，使用Wake-Sleep算法[6]進(jìn)行調(diào)優(yōu)。

將除最頂層的其它層間的權(quán)重是雙向的。向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓“認(rèn)知”和“生成”達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。

1.3 Deep Learning數(shù)據(jù)處理一般過程

Deep Learning算法通過傳感器等方式獲得數(shù)據(jù)之后，首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在數(shù)據(jù)預(yù)處理中，標(biāo)準(zhǔn)的第一步是數(shù)據(jù)歸一化處理，第二步是數(shù)據(jù)白化處理（如PCA白化和ZCA白化）。其次特征提取和特征選擇。然后將輸出作為下層的輸入，不斷進(jìn)行特征提取和特征選擇，直到學(xué)習(xí)到合符要求的最佳特征。在特征提取和特征選擇過程中，常用自動(dòng)編碼、稀疏編碼、聚類算法、限制波爾茲曼機(jī)、卷積神經(jīng)網(wǎng)絡(luò)等算法進(jìn)行特征提取和特征選擇。然后用反向傳播算法、隨機(jī)梯度下降算法、批量梯度下降算法等進(jìn)行調(diào)優(yōu)處理，再用池化等算法避免特征過度擬合，從而得到最終提取特征。最后將學(xué)習(xí)到的最終提取特征輸入到分類器（如softmax分類器，logistic回歸分類器）進(jìn)行識(shí)別、推理或預(yù)測(cè)。

2 基于Regularization of Neural Networks using DropConnect模型改進(jìn)

2.1 Regularization of Neural Networks using DropConnect模型[2]

該模型的四個(gè)基本組成成分是：

（1）特征提取：v=g（x；Wg）。x是輸入層的輸入數(shù)據(jù)，Wg是特征提取函數(shù)的參數(shù)，v是輸出的提取特征，特征提取函數(shù)g（）。其中g(shù)（）為多層卷積神經(jīng)網(wǎng)絡(luò)算法函數(shù)，而Wg卷積神經(jīng)網(wǎng)絡(luò)的偏值。

（2）DropConnect層：r=a（u）=a（（M*W）v）如圖3。v是輸出的提取特征，W是完全連接的權(quán)重矩陣，M是二進(jìn)制掩碼矩陣，該矩陣的每個(gè)元素隨機(jī)的以1-p概率設(shè)置為0或以p概率設(shè)置為1，a（）是一個(gè)非線性激活函數(shù)，r是輸出向量。M*W是矩陣對(duì)應(yīng)元素相乘。

（3）Softmax分類器層：o=s（r；Ws）。將r映射到一個(gè)k維的輸出矩陣（k是類的個(gè)數(shù)），Ws是softmax分類函數(shù)的參數(shù)。

（4）交叉熵?fù)p失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是標(biāo)簽，o是概率。

圖3 DropConnect示意圖

2.2 模型改進(jìn)描述和分析

對(duì)DropConnect模型的改進(jìn)主要集中在上面它的四個(gè)基本組成成分中的DropConnect層。由于該層以隨機(jī)方式讓掩碼矩陣M的每個(gè)元素Mij按1-p的概率設(shè)置為0，然后讓掩碼矩陣與層間的權(quán)重矩陣對(duì)應(yīng)相乘即M*W。相對(duì)DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比較好的特征r，同時(shí)也提高算法的泛化性。因?yàn)镈ropconnect模型在權(quán)重W和v運(yùn)算之前，將權(quán)重以一定的概率稀疏了，從運(yùn)行結(jié)果看整體算法的錯(cuò)誤率降低了。但是，由于是隨機(jī)的讓Mij按1-p的概率為0，并且這種隨機(jī)是不可以預(yù)測(cè)的，故可能會(huì)導(dǎo)致某些重要特征對(duì)應(yīng)的權(quán)重被屏蔽掉，最終造成輸出ri的準(zhǔn)確性降低。故就此提出了新的設(shè)計(jì)思想。

改進(jìn)思想是用單層稀疏編碼層代替DropConnect層，通過稀疏編碼訓(xùn)練出一組最佳稀疏的特征。具體描述：讓經(jīng)過多層卷積神經(jīng)網(wǎng)絡(luò)提取到的特征v作為稀疏編碼的輸入，經(jīng)過稀疏編碼重復(fù)訓(xùn)練迭代，最終得到最佳的稀疏的特征r。因?yàn)橄∈杈幋a算法是一種無監(jiān)督學(xué)習(xí)方法，用它可以尋找出一組“超完備”基向量來更高效地表示輸入數(shù)據(jù)。

總之任何對(duì)Deep Learning算法的改進(jìn)，都是為了提取出最佳特征，并使用優(yōu)秀的分類算法來分類、預(yù)測(cè)或推理，最終降低算法的錯(cuò)誤率。而對(duì)于怎樣改進(jìn)算法，以何種方式降低錯(cuò)誤率，則沒有具體的限制。并且各種提取特征和特征選擇的算法之間并不是互斥的，它們之間可以有各種形式的嵌套，最終的目標(biāo)都是提高算法的正確率和效率。

3 結(jié)束語

Deep Learning使得語音、圖像和文本等的智能識(shí)別和理解取得驚人進(jìn)展，如Google Brain項(xiàng)目和微軟推同聲傳譯系統(tǒng)。它極大地推動(dòng)了人工智能和人機(jī)交互快速發(fā)展。隨著從學(xué)術(shù)界到工業(yè)界的廣泛重視，Deep Learning算法的改進(jìn)依然在繼續(xù)，Deep Learning算法的正確率和效率仍在不斷提高。Deep Learning的發(fā)展將加快“大數(shù)據(jù)+深度模型”時(shí)代來臨。

參考文獻(xiàn)：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507

[2]湯姆?米切爾.機(jī)器學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2003：1-280.

[3]吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學(xué)，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.

[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

第6篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

當(dāng)今的社會(huì)是信息的社會(huì)。要使信息得到及時(shí)利用，為國(guó)民經(jīng)濟(jì)和科學(xué)技術(shù)以及國(guó)防工業(yè)的發(fā)展服務(wù)，必須對(duì)信息數(shù)據(jù)的采集、加工處理、傳輸、存儲(chǔ)、決策和執(zhí)行等進(jìn)行全面的技術(shù)革新，以適應(yīng)社會(huì)發(fā)展形式的需求。因此，信息科學(xué)技術(shù)有著極其廣泛的重要應(yīng)用領(lǐng)域，如通信、雷達(dá)、聲納、電子測(cè)量?jī)x器、生物醫(yī)學(xué)工程、振動(dòng)工程、地震勘探、圖像處理、計(jì)算機(jī)科學(xué)等。各領(lǐng)域的電子信息系統(tǒng)往往具有不同的性能和特征，但是電子信息系統(tǒng)設(shè)備的設(shè)計(jì)都涉及到信息表征和信息處理技術(shù)，如果這種信息科技能獲得新的突破，電子信息系統(tǒng)產(chǎn)品將走上新的臺(tái)階。

當(dāng)前信息系統(tǒng)智能化和具有高的魯棒性及容錯(cuò)性是值得研究的重大問題，雖然人工智能和專家系統(tǒng)已取得好的成績(jī)，但還不適應(yīng)信息社會(huì)發(fā)展的需求，需尋求新的發(fā)展途徑。21世紀(jì)被稱為“智能化世紀(jì)和人工神經(jīng)網(wǎng)絡(luò)世紀(jì)”，信息科學(xué)與腦科學(xué)、認(rèn)知科學(xué)、神經(jīng)生物學(xué)、計(jì)算機(jī)科學(xué)、非線性科學(xué)、數(shù)學(xué)、物理學(xué)諸學(xué)科相結(jié)合所產(chǎn)生的神經(jīng)計(jì)算科學(xué)，為實(shí)現(xiàn)新的信息表征和信息處理提供了新的手段，將使信息技術(shù)和信息系統(tǒng)智能化得到飛躍的發(fā)展。

21世紀(jì)是信息社會(huì)的智能化時(shí)代，信息高速公路的發(fā)展加速了通信技術(shù)和多媒體通信系統(tǒng)進(jìn)入網(wǎng)絡(luò)化、智能化進(jìn)程；開拓國(guó)際互聯(lián)網(wǎng)，使千家萬戶能在因特網(wǎng)和大型計(jì)算機(jī)網(wǎng)絡(luò)上搜索和瀏覽各種信息，這都涉及到通信系統(tǒng)和信息處理系統(tǒng)的高度智能化問題。

現(xiàn)代信息處理要解決的問題往往是很復(fù)雜的，它要完成由輸入空間到輸出空間的映射，這個(gè)映射可以是線性的，也可以是非線性的，所以信息處理系統(tǒng)是有序結(jié)構(gòu)的物理系統(tǒng)中的映射，恰好是與神經(jīng)網(wǎng)絡(luò)信息處理同構(gòu)。

2　人工神經(jīng)網(wǎng)絡(luò)信息處理

一般來說，智能信息處理可以劃分為兩大類，一類為基于傳統(tǒng)計(jì)算機(jī)的智能信息處理，另一類為基于神經(jīng)計(jì)算的智能信息處理。前者信息系統(tǒng)包括智能儀器、自動(dòng)跟蹤監(jiān)測(cè)儀器系統(tǒng)、自動(dòng)控制制導(dǎo)系統(tǒng)、自動(dòng)故障診斷和報(bào)警系統(tǒng)等。在人工智能系統(tǒng)中，它們具有模仿或代替與人的思維有關(guān)的功能，通過邏輯符號(hào)處理系統(tǒng)的推理規(guī)則來實(shí)現(xiàn)自動(dòng)診斷、問題求解以及專家系統(tǒng)的智能。這種智能實(shí)際上體現(xiàn)了人類的邏輯思維方式，主要應(yīng)用串行工作程序按照一些推理規(guī)則一步一步進(jìn)行計(jì)算和操作，應(yīng)用領(lǐng)域很廣。后者是用人工神經(jīng)網(wǎng)絡(luò)來模仿延伸人腦認(rèn)知功能的新型智能信息處理系統(tǒng)，即仿造人腦的思維、聯(lián)想記憶、推理及意識(shí)等高級(jí)精神活動(dòng)的智能，這類神經(jīng)智能系統(tǒng)可以解決傳統(tǒng)方法所不能或難以解決的問題。例如美國(guó)研制出的一種電子“偵探”(蘇聯(lián)《科學(xué)與生活》，1990年)，就是用神經(jīng)網(wǎng)絡(luò)做的能辨識(shí)人面孔的智能系統(tǒng)，只要讓它看一下某人或他的照片就能記住描述此人面貌的256個(gè)數(shù)字參數(shù)，同時(shí)能記住達(dá)500人，思考辨認(rèn)時(shí)間總共為1s。人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)具有很高的容錯(cuò)性和魯棒性及自組織性，即使連接線被破壞了50％，它仍能處在優(yōu)化工作狀態(tài)，這在軍事系統(tǒng)電子設(shè)備中有著特別重要的意義，故美國(guó)無人偵察飛機(jī)已用上這種神經(jīng)信息系統(tǒng)。美國(guó)許多公司生產(chǎn)的神經(jīng)網(wǎng)絡(luò)芯片及神經(jīng)智能系統(tǒng)已商品化。今年最新報(bào)導(dǎo)：美Attrasoft公司做出世界上最大的百萬個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)(軟件)。

3　盲信號(hào)處理技術(shù)

盲信號(hào)處理包括多個(gè)信源混合的盲源分離、多通道傳輸信道的參數(shù)估計(jì)和系統(tǒng)辨識(shí)、盲解卷積和盲均衡技術(shù)、盲陣列信號(hào)處理和盲波束形成技術(shù)等，在通信、雷達(dá)、聲納、控制工程、地震勘探、生物醫(yī)學(xué)工程等領(lǐng)域有著極其重要的應(yīng)用價(jià)值，是國(guó)際上非常重視的熱門研究課題。從數(shù)學(xué)上講，盲信號(hào)處理問題可以用X(t)=AS(t)來描述，這里X(t)是已知觀測(cè)數(shù)據(jù)矢量，而信號(hào)矢量S(t)和系統(tǒng)參數(shù)矩陣A都是未知的，如何只由觀測(cè)矢量X(t)來推求S(t)或A，其解將存在不定因素，可能有許多不同的兩個(gè)量相乘而得到同一個(gè)觀測(cè)數(shù)據(jù)X(t)。求解這類問題是一個(gè)國(guó)際性的盲處理難題，但該問題有很高的實(shí)用價(jià)值。圖像、語聲、中文詩(shī)詞及英文文字等多媒體信息混合后的盲分離問題，最高信號(hào)干擾之比高于70dB。

第7篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：圖像采集和處理；圖像檢測(cè)；Gabor紋理濾波；神經(jīng)網(wǎng)絡(luò)

DoI：10.15938/j.jhust.2016.06.009

中圖分類號(hào)：TPl83；TP391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-2683（2016）06-0044-06

0.引言

鋼鐵企業(yè)為了提高競(jìng)爭(zhēng)力，對(duì)帶鋼的生產(chǎn)提出了新的要求，也對(duì)帶鋼表面檢測(cè)系統(tǒng)提出了更高的要求，既要有更高的檢測(cè)速度還要有更加準(zhǔn)確的檢測(cè)精度，而與此同時(shí)，跟隨機(jī)器視覺技術(shù)的發(fā)展，帶鋼表面檢測(cè)系統(tǒng)也得到了廣泛的研究與應(yīng)用，主要研究包括：①光源技術(shù)，由于帶鋼檢測(cè)對(duì)光源要求頻度高、體積小，這限制了傳統(tǒng)光源在其應(yīng)用，激光具有方向性好、亮度高、體積小等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測(cè)應(yīng)用中，國(guó)內(nèi)的徐科等提出熱軋鋼檢測(cè)中用綠光作為激光光源，但激光照明需解決均勻性問題.②掃描技術(shù)，由于電荷耦合元件（charge-coupled device，CCD）能夠?qū)崿F(xiàn)實(shí)時(shí)檢測(cè)，成為目前研究和應(yīng)用的主流技術(shù)，但是，CCD電荷耦合器需在同步時(shí)鐘的控制下，以行為單位一位一位地輸出信息，速度較慢，而互補(bǔ)金屬氧化物半導(dǎo)體（complementary metal oxide semiconductor，CMOS）光電傳感器采集光信號(hào)的同時(shí)就可以取出電信號(hào)，還能同時(shí)處理各單元的圖像信息，速度比CCD電荷耦合器快很多，③圖像處理算法，受限于帶鋼加工過程的特性，帶鋼表面呈現(xiàn)出隨機(jī)紋理的特點(diǎn)，對(duì)于隨機(jī)紋理圖像的處理分析，目前常用的方法有共生矩陣法、頻域?yàn)V波法、分形法等，作為頻域?yàn)V波法的代表，二維Gabor濾波器有著與生物視覺系統(tǒng)相近的特點(diǎn)，廣泛應(yīng)用于紋理圖像的處理分析，但是，CPU很難滿足現(xiàn)在的帶鋼檢測(cè)的實(shí)時(shí)要求，④分類算法，特征選擇的主流算法是主成分分析和信息增益，主成分分析存在特征向量方向不一致的問題，而且如何確定主成分存在主觀性，信息增益可以衡量特征的劣，利用它可對(duì)特征進(jìn)行排序，方便后面的特征選擇，但信息增益適用于離散特征，信息增益率既適用于離散特征也適用于連續(xù)特征，被廣泛應(yīng)用于特征選擇的過程中，圖像分類算法主流算法包括支持向量機(jī)和BP神經(jīng)網(wǎng)絡(luò)，支持向量機(jī)不適用于大樣本的分類問題，BP神經(jīng)網(wǎng)絡(luò)方法具有能夠解決非線性分類問題，對(duì)噪聲不敏感等優(yōu)點(diǎn)，被廣泛應(yīng)用于帶鋼檢測(cè)中，如王成明等提出的基于BP神經(jīng)網(wǎng)絡(luò)的帶鋼表面質(zhì)量檢測(cè)方法等，但是BP神經(jīng)網(wǎng)絡(luò)的超參的設(shè)定往往具有隨機(jī)性，這嚴(yán)重影響了分類效果。

本文首先介紹了帶鋼表面缺陷高速高分辨率成像系統(tǒng)的設(shè)計(jì)，針對(duì)光源的不均勻性、圖像處理速度慢等問題，提出改進(jìn)方法，然后介紹了分類器的構(gòu)建，針對(duì)樣本劃分的隨機(jī)性、特征選擇的隨機(jī)性以及BP神經(jīng)網(wǎng)絡(luò)超參設(shè)定的隨機(jī)性問題，做出改進(jìn)，最后介紹試驗(yàn)結(jié)果。

1.帶鋼表面缺陷高速高分辨率的成像系統(tǒng)的設(shè)計(jì)

1）大功率半導(dǎo)體均勻發(fā)光激光器技術(shù)，激光能夠保證帶鋼表面缺陷的檢出率，本系統(tǒng)選用808mm半導(dǎo)體激光器作為照明源，出光功率可達(dá)30w，亮度可達(dá)1500流明，激光照明需解決均勻性的問題，本文采用了基于鮑威爾棱鏡的激光線發(fā)生辦法，解決了激光照明的均勻性問題，其光路如圖1所示。

該方法首先在激光聚焦位置放置圓形球面透鏡，負(fù)責(zé)將發(fā)散的激光束匯聚成準(zhǔn)平行光，同時(shí)控制光柱的粗細(xì)，然后，利用鮑威爾棱鏡的擴(kuò)散效果對(duì)圓柱的一個(gè)方向進(jìn)行擴(kuò)束，最終形成激光線，為保證亮度及寬度的適應(yīng)性，激光器出光口距離圓透鏡、鮑威爾棱鏡的距離可以精密調(diào)整，為了降低反射亮度損失，在透鏡表面鍍上808±5nm的T≥99%的增透膜。

GPU的算法分為兩個(gè)流程：訓(xùn)練過程主要針對(duì)無缺陷圖像進(jìn)行，通過訓(xùn)練完成紋理圖像的背景建模，一方面消除背景變化帶來的干擾，另一方面形成有效的Gabor卷積參數(shù)，以便在檢測(cè)過程中得到最優(yōu)的檢出效果.檢測(cè)過程對(duì)實(shí)際拍攝的缺陷圖像進(jìn)行分析，首先按照GPU的核心數(shù)和緩存大小對(duì)圖像進(jìn)行分解，本文所有GPU的核心數(shù)為1024，顯存2G，因此將原始圖像分解為1000塊，分別加載到1000個(gè)核心中，同時(shí)并發(fā)運(yùn)行卷積運(yùn)算.最后將各個(gè)窗口的卷積結(jié)果合并到一起，得到完成的濾波結(jié)果，最后借助于背景模式，將背景的干擾消除，得到干凈的缺陷區(qū)域。

3）成像系統(tǒng)，根據(jù)缺陷檢測(cè)的精度要求（1800m/min的檢測(cè)速度，0.25mm的精度），帶鋼的規(guī)格要求（1900 mm規(guī)格），對(duì)帶鋼進(jìn)行成像系統(tǒng)設(shè)計(jì)，基于互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）的成像芯片具有速度快，用電低等優(yōu)勢(shì)，選用兩個(gè)4K線掃描CMOS相機(jī)作為成像核心器件，選用Camera Link Full接口作為數(shù)據(jù)輸出，兩個(gè)4K掃描中間重疊100mm作為圖像拼接區(qū)，兩組線激光光源與線掃描組成系統(tǒng)的主要成像模塊，成像系統(tǒng)結(jié)構(gòu)如圖3所示。

2.構(gòu)建分類器

檢測(cè)缺陷類別及其特征描述如表1所示：

1）訓(xùn)練集和樣本集劃分.主要缺陷類別有5個(gè)，每個(gè)類別收集樣本7000，共計(jì)35000個(gè)樣本，為了避免訓(xùn)練集和樣本集劃分的盲目性，采用10一折交叉驗(yàn)證的方式劃分訓(xùn)練集和測(cè)試集，即將樣本集分成10份，從中選1份為測(cè)試集，剩下的為訓(xùn)練集，如圖4所示，究竟選擇哪一份作為測(cè)試集，需在后面的嵌套循環(huán)中實(shí)現(xiàn)。

2）特征選擇，缺陷區(qū)域的長(zhǎng)度、寬度、面積、區(qū)域?qū)Ρ榷鹊裙灿?jì)138個(gè)特征形成初始特征集合，利用信息增益率來對(duì)各個(gè)特征排序。

上述各循環(huán)組合在一起就是一個(gè)嵌套循環(huán)，其N-S盒圖如圖5所示，最外層是測(cè)試集和訓(xùn)練集的10折交叉驗(yàn)證，第1層是確定最優(yōu)的特征數(shù)，第3層是確定最優(yōu)的隱含層節(jié)點(diǎn)數(shù)，第4、5層是確定最優(yōu)的輸入層和隱含層、隱含層和輸出層的初始權(quán)值。

經(jīng)以上循環(huán)，確定D3作為測(cè)試集，最優(yōu)特征數(shù)為23個(gè)，最優(yōu)的隱含層節(jié)點(diǎn)數(shù)是46個(gè)，同時(shí)也確定了最優(yōu)的初始權(quán)值，對(duì)應(yīng)的3層BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型如圖6所示。

3.實(shí)驗(yàn)結(jié)果

1）鮑威爾棱鏡與柱透鏡進(jìn)行對(duì)比在實(shí)際工作距離1.5m處，采用0.1m為間隔使用光功率計(jì)測(cè)試光源功率，如圖7所示，橫軸為測(cè)試點(diǎn)，縱軸為測(cè)試點(diǎn)的光功率。實(shí)驗(yàn)表明，鮑威爾棱鏡均勻性優(yōu)于柱透鏡。

2）Gabor濾波方法與其他方法比較將動(dòng)態(tài)閾值法+Blob分析法（方法A）和灰度共生矩陣紋理背景消除法（方法B）兩種方法與Gabor濾波方法進(jìn)行比較，如圖8所示.由于缺陷與背景灰度相近（圖（a）），致使方法A缺陷丟失（圖（b）），由于缺陷與背景紋理相近（圖（d）），致使方法B產(chǎn)生噪聲（圖（e）），Gabor方法取得了不錯(cuò)的效果（圖（e）、（圖（f）））。

3）GPU與CPU比較以4096×4096的圖像為例，選10幅有代表性圖像，利用CPU（最新的inteli7-2600處理器，4核8線程，2.6GHz，內(nèi)存8G）和GPU（nVidiaGTX970，4G存顯卡）進(jìn)行Ga-bor運(yùn)算，計(jì)算時(shí)間如表2所示，GPU計(jì)算效率明顯優(yōu)于CPU，其中CPU的平均耗時(shí)為290.4ms，而GPU的平均耗時(shí)為31.7ms。

4）檢測(cè)效果在產(chǎn)線速度為1775m/min，最小檢測(cè)缺陷的尺寸為0.25mm的檢測(cè)系統(tǒng)中，對(duì)帶鋼的主要4種類型缺陷進(jìn)行檢測(cè)統(tǒng)計(jì)，檢測(cè)結(jié)果如表3所示。

可計(jì)算出整體檢出率99.9%，檢測(cè)準(zhǔn)確率99.4%。

第8篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：智能科學(xué)與技術(shù)；興趣導(dǎo)向；逆向教學(xué)

0引言

智能科學(xué)與技術(shù)是信息科學(xué)與技術(shù)的核心、前沿與制高點(diǎn)，也是整個(gè)現(xiàn)代科學(xué)技術(shù)體系的頭腦中樞，是現(xiàn)代科學(xué)技術(shù)創(chuàng)新的引領(lǐng)和示范，是現(xiàn)代社會(huì)（包括經(jīng)濟(jì)、社會(huì)、文化、民生、國(guó)防等）走向智能化的主導(dǎo)技術(shù)支柱。在越來越激烈尖銳的國(guó)際競(jìng)爭(zhēng)環(huán)境中，智能科學(xué)與技術(shù)水平已經(jīng)成為一個(gè)國(guó)家綜合國(guó)力與科技實(shí)力的標(biāo)志。智能科學(xué)與技術(shù)的發(fā)展和智能科學(xué)與技術(shù)學(xué)科的人才培養(yǎng)，不僅僅是智能科學(xué)與技術(shù)研究與教育本身的事情，更是關(guān)系到整個(gè)社會(huì)智能化發(fā)展優(yōu)劣的大事情，也是關(guān)系到整個(gè)國(guó)家強(qiáng)弱興衰的大事情。

科技發(fā)展，關(guān)鍵在于人才。在新的發(fā)展機(jī)遇下，國(guó)家對(duì)智能科學(xué)與技術(shù)專門人才的需求更加旺盛。因此，如何促進(jìn)智能科學(xué)與技術(shù)教學(xué)方式的改革是培養(yǎng)厚基礎(chǔ)、高層次的智能科學(xué)與技術(shù)人才的基本途徑。智能科學(xué)與技術(shù)教學(xué)方式的改革，不僅發(fā)展智能科學(xué)與技術(shù)本身，而且對(duì)受教育者創(chuàng)新能力的提高也至關(guān)重要。

目前，網(wǎng)絡(luò)的普及與全社會(huì)信息化程度的提高，對(duì)我國(guó)人才培養(yǎng)提出了更高的要求，特別是高校在課堂教學(xué)方面，部分原有教材及培養(yǎng)模式亟待調(diào)整。以智能科學(xué)與技術(shù)為代表的前沿新興學(xué)科，在學(xué)科發(fā)展途徑、應(yīng)用技術(shù)轉(zhuǎn)化及從業(yè)人員年齡、成長(zhǎng)環(huán)境等方面，均與很多傳統(tǒng)學(xué)科存在較大的差異，而使用傳統(tǒng)教學(xué)方式進(jìn)行人才培養(yǎng)，也出現(xiàn)了一些水土不服的現(xiàn)象。

1教學(xué)理念的改變

相對(duì)于傳統(tǒng)學(xué)科，智能科學(xué)與技術(shù)從業(yè)人員平均年齡顯現(xiàn)出年輕化的特點(diǎn)，且由于從業(yè)人員及學(xué)生普遍年齡較輕，在他們的成長(zhǎng)過程中，外在環(huán)境相對(duì)寬松，自由、平等的理念在他們的成長(zhǎng)過程中不斷被提及和強(qiáng)化。傳統(tǒng)“教師講、學(xué)生聽”的演講式講授方式雖然能夠在一定時(shí)間內(nèi)讓學(xué)生了解大量信息，但學(xué)生接收到的大部分信息只停留在記憶層面，很難上升到理解層面，導(dǎo)致學(xué)生只是被動(dòng)的“填鴨式”接受。

在科技發(fā)達(dá)、網(wǎng)絡(luò)互聯(lián)的今天，人們不是自投羅網(wǎng)就是被網(wǎng)羅其中，知識(shí)獲取的渠道不再局限于紙質(zhì)媒介和言傳身教，更多來自于電子資源及網(wǎng)絡(luò)媒介，教師和學(xué)生獲取知識(shí)的途徑及資源差異越來越小，在知識(shí)量、閱歷等方面縮小了師生間的差距，師生之間傳統(tǒng)的信息不對(duì)稱差距逐步縮小，導(dǎo)致教師在知識(shí)積淀上沒有了絕對(duì)優(yōu)勢(shì)。

與此同時(shí)，逐步深入青年學(xué)生內(nèi)心的自由、平等觀念對(duì)中國(guó)傳統(tǒng)的尊師重道思想帶來了不小的沖擊。在當(dāng)今開放的網(wǎng)絡(luò)環(huán)境下，針對(duì)新興時(shí)代的學(xué)生，傳統(tǒng)習(xí)俗中的師長(zhǎng)觀念由于知識(shí)獲取渠道的平等化而缺乏強(qiáng)有力的現(xiàn)實(shí)支撐，教師的身份權(quán)威性和知識(shí)權(quán)威性都受到了不同程度的質(zhì)疑，繼續(xù)使用“填鴨式”“訓(xùn)導(dǎo)式”教學(xué)方式，將會(huì)事倍功半。

因此，針對(duì)新興學(xué)科，一線教師需要進(jìn)行教學(xué)理念上的修正，特別是教師應(yīng)順應(yīng)培養(yǎng)對(duì)象的整體特點(diǎn)，基于自由和平等的觀念進(jìn)行自我定位，以交流討論式代替居高臨下布施式的教學(xué)觀念，充分與學(xué)生打成一片，以便更好地調(diào)動(dòng)學(xué)生的思維，引導(dǎo)學(xué)生進(jìn)行主動(dòng)思考和主動(dòng)學(xué)習(xí)。

2教學(xué)素材的改進(jìn)與提高

當(dāng)今時(shí)代是知識(shí)爆炸的時(shí)代，科學(xué)技術(shù)日新月異，新知識(shí)、新成果層出不窮，特別是智能科學(xué)與技術(shù)這一前沿學(xué)科，正在向理論創(chuàng)新和大規(guī)模實(shí)際應(yīng)用發(fā)展，新理論、新方法不斷被提出并驗(yàn)證，新模型、新實(shí)例、新應(yīng)用不斷產(chǎn)出。

“教學(xué)素材對(duì)教育理念的滲透發(fā)揮著重要作用，它已經(jīng)成為促進(jìn)或阻礙教學(xué)模式轉(zhuǎn)變的活躍而關(guān)鍵的要素。隨著新時(shí)代知識(shí)的快速更新?lián)Q代和知識(shí)面的不斷拓寬，教學(xué)素材是否優(yōu)秀的標(biāo)準(zhǔn)不僅僅是包含多少知識(shí)，更重要的是包含多少最新的知識(shí)；不僅僅是傳遞解決問題的方法，更重要的是傳遞超前、新穎的解決問題的方法。

當(dāng)今學(xué)生知識(shí)涉獵面廣，現(xiàn)有的網(wǎng)絡(luò)環(huán)境也為他們提供了很好的平臺(tái)，如果他們已經(jīng)獲取的知識(shí)及應(yīng)用的先進(jìn)程度遠(yuǎn)遠(yuǎn)超過課本素材羅列的知識(shí)，將會(huì)極大地削弱他們對(duì)本學(xué)科的興趣，進(jìn)而影響課堂教學(xué)效果。

此外，作為智能科學(xué)與技術(shù)這一前沿學(xué)科的教學(xué)素材，必須體現(xiàn)出時(shí)代性、開放性、多元性與全面性。因此，教學(xué)過程中所采用素材的改進(jìn)和提高，應(yīng)該向著不斷更新、與時(shí)俱進(jìn)的方向靠攏，教師應(yīng)該不斷將最新理論、最新方法、最新應(yīng)用融合于一線基礎(chǔ)教學(xué)過程中，使學(xué)生在學(xué)習(xí)過程中始終緊跟前沿技術(shù)的發(fā)展，在未來工作中能更快、更好地融入行業(yè)中。

3教學(xué)方式的轉(zhuǎn)變

目前，學(xué)生群體主要為90后，高校即將迎來00后，他們成長(zhǎng)過程中的家庭環(huán)境和社會(huì)環(huán)境與早期學(xué)生相比更為平等和寬松，他們的學(xué)習(xí)需求也由目標(biāo)導(dǎo)向型逐步演化為興趣導(dǎo)向型。因此，如何激發(fā)學(xué)生的興趣，進(jìn)而以興趣為基礎(chǔ)激發(fā)學(xué)生自主學(xué)習(xí)的動(dòng)力，將是教學(xué)效果事半功倍的途徑。

青年學(xué)生正處于思維高度活躍的階段，他們往往對(duì)新興成果和前沿?zé)狳c(diǎn)有著超過常人的關(guān)注，如何巧妙而有效地將這種關(guān)注轉(zhuǎn)化為針對(duì)本學(xué)科的興趣，進(jìn)而反向推導(dǎo)出基礎(chǔ)理論并讓學(xué)生消化、吸收，就成為一線教師面臨的重要問題。

從1997年國(guó)際象棋大師卡斯帕羅夫和電腦“深藍(lán)”第一次人機(jī)大戰(zhàn)開始，智能科學(xué)與技術(shù)迅速躋身科技前沿?zé)狳c(diǎn)，且經(jīng)久不衰。2016年3月，Alpha Go再次燃起人工智能之火，經(jīng)過媒體的推波助瀾，成為社會(huì)關(guān)注的焦點(diǎn)，大大增強(qiáng)了智能科學(xué)與技術(shù)的關(guān)注度。而青年學(xué)生作為最容易追趕潮流的群體，自然對(duì)此類熱點(diǎn)趨之若鶩。

作為智能科學(xué)與技術(shù)學(xué)科的一線教師，應(yīng)把握和利用社會(huì)輿論的潮流以及學(xué)生心理的律動(dòng)，及時(shí)以此熱點(diǎn)為突破口，吸引學(xué)生的興趣，引起共鳴，進(jìn)而進(jìn)行反向推導(dǎo)相關(guān)基礎(chǔ)理論并加以詳解。

例如，教師以Alpha Go為課堂開篇討論，引導(dǎo)學(xué)生思考，并說明Alpha Go的核心原理是深度學(xué)習(xí)。在這個(gè)實(shí)例中，Alpha Go模擬人類下棋的推理與思考過程，其中推理過程通過搜索樹來搜索可能的棋局，思考過程通過兩個(gè)深度神經(jīng)網(wǎng)絡(luò)確定可能的搜索方向和評(píng)估棋局，這兩個(gè)神經(jīng)網(wǎng)絡(luò)包括：

（1）落子選擇器（policy network），這是一種深度卷積神經(jīng)網(wǎng)絡(luò)，主要通過當(dāng)前棋盤布局預(yù)測(cè)下一步走棋位置的概率。

（2）棋局評(píng)估器（value network），與落子選擇器具有相似的結(jié)構(gòu)，主要在給定棋子位置的情況下，輸出雙方棋手獲勝的可能性，從而對(duì)棋局進(jìn)行評(píng)估。

如此，教師可以帶領(lǐng)學(xué)生了解搜索樹及搜索算法，也可以從深度卷積神經(jīng)網(wǎng)絡(luò)到普通神經(jīng)網(wǎng)絡(luò)，講解神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，分析神經(jīng)網(wǎng)絡(luò)到深度學(xué)習(xí)的發(fā)展過程。這樣就可以將學(xué)生對(duì)Alpha Go本身的興趣，巧妙地引導(dǎo)到對(duì)神經(jīng)網(wǎng)絡(luò)等基礎(chǔ)概念和原理方面，以此強(qiáng)化學(xué)生對(duì)基礎(chǔ)知識(shí)的掌握。

同時(shí)，開放式的考核方式也是促進(jìn)學(xué)生創(chuàng)新、使教學(xué)方法適應(yīng)新時(shí)代的一種有效途徑。對(duì)于本學(xué)科感興趣的話題，教師應(yīng)鼓勵(lì)學(xué)生多談自己的思路和想法；對(duì)于開放式課題，應(yīng)給學(xué)生提供展示的舞臺(tái)，鼓勵(lì)學(xué)生分享自己在查找資料、解決難點(diǎn)、編程過程中的心得體會(huì)，充分調(diào)動(dòng)學(xué)生的積極性和主動(dòng)性；將這些考核成績(jī)按比例計(jì)入學(xué)生課業(yè)總成績(jī)中，充分肯定學(xué)生的創(chuàng)新能力。

4結(jié)語

教學(xué)成效是設(shè)計(jì)和構(gòu)建教學(xué)方式的基本出發(fā)點(diǎn)，教師應(yīng)該結(jié)合學(xué)生需求從學(xué)習(xí)成效、教學(xué)技巧、教學(xué)內(nèi)容上總體把握教學(xué)方式閣，采用不同于傳統(tǒng)講授方式的逆向教學(xué)（如圖1所示），使其滿足和順應(yīng)新一代青年學(xué)生的心理認(rèn)同需求和學(xué)習(xí)需求，將新理論、新應(yīng)用不斷融入基礎(chǔ)教學(xué)中，達(dá)到更好的教學(xué)效果。

第9篇：卷積神經(jīng)網(wǎng)絡(luò)的方法范文

關(guān)鍵詞：蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)；基團(tuán)編碼；正交編碼；SVM

0引言

氨基酸序列的研究是生物信息學(xué)中對(duì)生物序列展開探討設(shè)計(jì)的主要工作，氨基酸序列決定了蛋白質(zhì)的空間結(jié)構(gòu)，而蛋白質(zhì)的空間結(jié)構(gòu)決定了蛋白質(zhì)生理功能的多樣性。在利用x射線結(jié)晶學(xué)及核磁共振等技術(shù)對(duì)蛋白質(zhì)結(jié)構(gòu)進(jìn)行探測(cè)時(shí)發(fā)現(xiàn)，蛋白質(zhì)結(jié)構(gòu)有4個(gè)層次，蛋白質(zhì)的二級(jí)結(jié)構(gòu)是認(rèn)識(shí)了解蛋白質(zhì)的折疊模式和三級(jí)結(jié)構(gòu)的基礎(chǔ)，進(jìn)一步為研究蛋白質(zhì)的功能以及彼此之間的相互作用模式提供結(jié)構(gòu)基礎(chǔ)，同時(shí)還可以為新藥研發(fā)提供幫助。故研究蛋白質(zhì)的二級(jí)結(jié)構(gòu)具有重要的意義。