卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；圖像分類(lèi)；空間變換；可變形卷積

DOIDOI：10.11907/rjdk.171863

中圖分類(lèi)號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）006-0198-04

0 引言

圖像分類(lèi)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基礎(chǔ)而重要的核心問(wèn)題，具有大量的實(shí)際應(yīng)用場(chǎng)景和案例。很多典型的計(jì)算機(jī)視覺(jué)問(wèn)題（如物體檢測(cè)、圖像分割）都可以演化為圖像分類(lèi)問(wèn)題。圖像分類(lèi)問(wèn)題有很多難點(diǎn)需要解決，觀測(cè)角度、光照條件的變化、物體自身形變、部分遮擋、背景雜波影響、類(lèi)內(nèi)差異等問(wèn)題都會(huì)導(dǎo)致被觀測(cè)物體的計(jì)算機(jī)表示（二維或三維數(shù)值數(shù)組）發(fā)生劇烈變化。一個(gè)良好的圖像分類(lèi)模型應(yīng)當(dāng)對(duì)上述情況（以及不同情況的組合）不敏感。使用深度學(xué)習(xí)尤其是深度卷積神經(jīng)網(wǎng)絡(luò)，用大量圖像數(shù)據(jù)進(jìn)行訓(xùn)練后可以處理十分復(fù)雜的分類(lèi)問(wèn)題。

卷積神經(jīng)網(wǎng)絡(luò)是為識(shí)別二維形狀而專(zhuān)門(mén)設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、縮放、傾斜等擾動(dòng)具有高度不變性，并且具有強(qiáng)大的特征學(xué)習(xí)與抽象表達(dá)能力，可以通過(guò)網(wǎng)絡(luò)訓(xùn)練獲得圖像特征，避免了復(fù)雜的特征提取與數(shù)據(jù)重建過(guò)程。通過(guò)網(wǎng)絡(luò)層的堆疊，集成了低、中、高層特征表示。AlexNet等網(wǎng)絡(luò)模型的出F，也推動(dòng)了卷積網(wǎng)絡(luò)在海量圖像分類(lèi)領(lǐng)域的蓬勃發(fā)展。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，其“局部感知”“權(quán)值共享”[1]等特性使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)模型復(fù)雜度大大降低，網(wǎng)絡(luò)訓(xùn)練更容易，多層的網(wǎng)絡(luò)結(jié)構(gòu)有更好的抽象表達(dá)能力，可以直接將圖像作為網(wǎng)絡(luò)輸入，通過(guò)網(wǎng)絡(luò)訓(xùn)練自動(dòng)學(xué)習(xí)圖像特征，從而避免了復(fù)雜的特征提取過(guò)程。

Yann LeCun等[2]設(shè)計(jì)的LeNet-5是當(dāng)前廣泛使用的卷積網(wǎng)絡(luò)結(jié)構(gòu)原型，它包含了卷積層、下采樣層（池化層）、全連接層以及輸出層，構(gòu)成了現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的基本組件，后續(xù)復(fù)雜的模型都離不開(kāi)這些基本組件。LeNet-5對(duì)手寫(xiě)數(shù)字識(shí)別率較高，但在大數(shù)據(jù)量、復(fù)雜的物體圖片分類(lèi)方面不足，過(guò)擬合也導(dǎo)致其泛化能力較弱。網(wǎng)絡(luò)訓(xùn)練開(kāi)銷(xiāo)大且受制于計(jì)算機(jī)性能。

2012年，在ILSVRC競(jìng)賽中AlexNet模型[3]贏得冠軍，將錯(cuò)誤率降低了10個(gè)百分點(diǎn)。擁有5層卷積結(jié)構(gòu)的AlexNet模型證明了卷積神經(jīng)網(wǎng)絡(luò)在復(fù)雜模型下的有效性，并將GPU訓(xùn)練引入研究領(lǐng)域，使得大數(shù)據(jù)訓(xùn)練時(shí)間縮短，具有里程碑意義。AlexNet還有如下創(chuàng)新點(diǎn)：①采用局部響應(yīng)歸一化算法（Local Response Normalization，LRN），增強(qiáng)了模型的泛化能力，有效降低了分類(lèi)錯(cuò)誤率；②使用Dropout技術(shù)，降低了神經(jīng)元復(fù)雜的互適應(yīng)關(guān)系，有效避免了過(guò)擬合；③為了獲得更快的收斂速度，AlexNet使用非線性激活函數(shù)ReLU（Rectified Linear Units）來(lái)代替?zhèn)鹘y(tǒng)的Sigmoid激活函數(shù)。

Karen等[4]在AlexNet的基礎(chǔ)上使用更小尺寸的卷積核級(jí)聯(lián)替代大卷積核，提出了VGG網(wǎng)絡(luò)。雖然VGG網(wǎng)絡(luò)層數(shù)和參數(shù)都比AlexNet多，但得益于更深的網(wǎng)絡(luò)和較小的卷積核尺寸，使之具有隱式規(guī)則作用，只需很少的迭代次數(shù)就能達(dá)到收斂目的。

復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)能表達(dá)更高維的抽象特征。然而，隨著網(wǎng)絡(luò)層數(shù)增加，參數(shù)量也急劇增加，導(dǎo)致過(guò)擬合及計(jì)算量大增，解決這兩個(gè)缺陷的根本辦法是將全連接甚至一般的卷積轉(zhuǎn)化為稀疏連接。為此，Google團(tuán)隊(duì)提出了Inception結(jié)構(gòu)[5]，以將稀疏矩陣聚類(lèi)為較為密集的子矩陣來(lái)提高計(jì)算性能。以Inception結(jié)構(gòu)構(gòu)造的22層網(wǎng)絡(luò)GoogLeNet，用均值池化代替后端的全連接層，使得參數(shù)量只有7M，極大增強(qiáng)了泛化能力，并增加了兩個(gè)輔助的Softmax用于向前傳導(dǎo)梯度，避免梯度消失。GoogLeNet在2014年的ILSVRC競(jìng)賽中以Top-5錯(cuò)誤率僅6.66%的成績(jī)摘得桂冠。

網(wǎng)絡(luò)層數(shù)的增加并非永無(wú)止境。隨著網(wǎng)絡(luò)層數(shù)的增加，將導(dǎo)致訓(xùn)練誤差增大等所謂退化問(wèn)題。為此，微軟提出了一種深度殘差學(xué)習(xí)框架[6]，利用多層網(wǎng)絡(luò)擬合一個(gè)殘差映射，成功構(gòu)造出152層的ResNet-152，并在2015年的ILSVRC分類(lèi)問(wèn)題競(jìng)賽中取得Top-5錯(cuò)誤率僅5.71%的成績(jī)。隨后，對(duì)現(xiàn)有的瓶頸式殘差結(jié)構(gòu)進(jìn)行改進(jìn)，提出了一種直通結(jié)構(gòu)[7]，并基于此搭建出驚人的1001層網(wǎng)絡(luò)，在CIFAR-10分類(lèi)錯(cuò)誤率僅4.92%。至此，卷積神經(jīng)網(wǎng)絡(luò)在越來(lái)越“深”的道路上一往直前。

2 可變形的卷積神經(jīng)網(wǎng)絡(luò)

2.1 空間變換網(wǎng)絡(luò)

空間變換網(wǎng)絡(luò)（Spatial Transformer Network，STN）[8]主要由定位網(wǎng)絡(luò)（Localisation net）、網(wǎng)格生成器（Grid generator）和可微圖像采樣（Differentiable Image Sampling）3部分構(gòu)成，如圖1所示。

定位網(wǎng)絡(luò)將輸入的特征圖U放入一個(gè)子網(wǎng)絡(luò)（由卷積、全連接等構(gòu)成的若干層子網(wǎng)絡(luò)），生成空間變換參數(shù)θ。θ的形式可以多樣，如需要實(shí)現(xiàn)2D仿射變換，那么θ就是一個(gè)2×3的向量。

2.3 本文模型

本文以自建的3層卷積網(wǎng)絡(luò)C3K5（如圖6所示）和VGG-16作為基準(zhǔn)網(wǎng)絡(luò)，分別引入空間變換網(wǎng)絡(luò)、可變形卷積和可變形池化，構(gòu)造出8個(gè)卷積神經(jīng)網(wǎng)絡(luò)，用以驗(yàn)證可變形模塊對(duì)淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)的影響，如表1所示。

圖6中C3K5網(wǎng)絡(luò)模型包含3個(gè)帶有ReLU層、LRN層和池化層的卷積模塊，卷積層采用步長(zhǎng)為1的5×5卷積核，輸出保持原大小，池化層采用步長(zhǎng)為2核為2×2的最大值池化，即每經(jīng)過(guò)一個(gè)卷積模塊，特征圖縮小為原來(lái)的一半。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)環(huán)境：CPU為Intel i5-7400，8G內(nèi)存，顯卡為GTX1060，采用Cuda8+CuDNN6.0加速。

實(shí)驗(yàn)數(shù)據(jù)集包括公共圖像數(shù)據(jù)集mnist、cifar-10、cifar-100和自建圖像數(shù)據(jù)集pen-7。公共數(shù)據(jù)集分別有50 000張訓(xùn)練樣本圖像和10 000張測(cè)試樣本圖像。自建數(shù)據(jù)集pen-7為京東商城的七類(lèi)筆圖像庫(kù)，每類(lèi)有600張圖片，圖像分辨率為200×200，總計(jì)訓(xùn)練樣本數(shù)3 360，測(cè)試樣本數(shù)840， 圖7為其中的14個(gè)樣本。

3.2 結(jié)果與分析

分別將表1中的10個(gè)卷積網(wǎng)絡(luò)應(yīng)用到mnist、cifar-10、cifar-100和pen-7四個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練，batch-size設(shè)置100，即每次傳入100張圖片進(jìn)行訓(xùn)練，每訓(xùn)練100次測(cè)試一次（記為一次迭代），總共迭代100次，取最后10次迭代的準(zhǔn)確率計(jì)算平均值，得各網(wǎng)絡(luò)應(yīng)用在不同數(shù)據(jù)集的分類(lèi)結(jié)果，如表2所示。

實(shí)驗(yàn)結(jié)果表明，在卷積網(wǎng)絡(luò)中引入空間變換網(wǎng)絡(luò)、用可變形的卷積層和可變形的池化層替換傳統(tǒng)的卷積層和池化層，不管是在淺層網(wǎng)絡(luò)還是在深層網(wǎng)絡(luò)，都能獲得更高的分類(lèi)準(zhǔn)確率，這驗(yàn)證了空間變換網(wǎng)絡(luò)和可變形卷積（池化）結(jié)構(gòu)，豐富了卷積神經(jīng)網(wǎng)絡(luò)的空間特征表達(dá)能力，提升了卷積網(wǎng)絡(luò)對(duì)樣本的空間多樣性變化的魯棒性。包含3種模塊的網(wǎng)絡(luò)獲得了最高的分類(lèi)精度，使空間變換網(wǎng)絡(luò)、可變形卷積層和可變形池化層在更多應(yīng)用場(chǎng)景中并駕齊驅(qū)成為可能。

4 結(jié)語(yǔ)

通過(guò)在現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)中引入空間變換網(wǎng)絡(luò)、可變形的卷積層和可變形的池化層，使得卷積網(wǎng)絡(luò)在mnist、cifar-10、cifar-100及自建的pen-7數(shù)據(jù)集中獲得了更高的分類(lèi)精度，包含3種模塊的網(wǎng)絡(luò)獲得了最高分類(lèi)精度，證明了空間變換網(wǎng)絡(luò)、可變形的卷積層和可變形池化層都能豐富網(wǎng)絡(luò)的空間特征表達(dá)能力，協(xié)同應(yīng)用于圖像分類(lèi)工作，這為后續(xù)研究打下了堅(jiān)實(shí)的基礎(chǔ)。

參考文獻(xiàn)：

[1]BOUVRIE J. Notes on convolutional neural networks[J].Neural Nets，2006（1）：159-164.

[2]Y LECUN，L BOTTOU，Y BENGIO，et al.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[3]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc，2012：1097-1105.

[4]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science， 2014（6）：1211-1220.

[5]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[J]. CVPR， 2015（3）：1-9.

[6]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Computer Vision and Pattern Recognition. IEEE， 2015：770-778.

[7]HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks[J]. arXiv，2016（1603）：5-27.

[8]JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks[J].Computer Science， 2015（5）：1041-1050.

[9]DAI J， QI H， XIONG Y， et al. Deformable convolutional networks[J]. arXiv： 2017（1703）：62-111.

第2篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞：無(wú)人機(jī)；STM32；道路檢測(cè)；神經(jīng)網(wǎng)絡(luò)；模型訓(xùn)練

傳統(tǒng)的道路巡檢和保養(yǎng)主要由人工來(lái)完成，需要投入大量的人力物力來(lái)保證道路的相對(duì)安全，這種方式存在著低效率、高成本且難以保證道路的決定安全[1]。固定式交通檢測(cè)設(shè)備大量設(shè)置在道路的主干路上，也存在著一些缺陷：（1）監(jiān)控?cái)z像頭不能做到全覆蓋且具有一定的探測(cè)盲區(qū)。（2）監(jiān)控系統(tǒng)采用多屏幕方式，工作人員進(jìn)行道路故障判斷時(shí)受限。（3）不能靈活的通知有關(guān)部門(mén)對(duì)事故的快速應(yīng)急處理。為了克服上述的缺點(diǎn)，本文設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)人機(jī)道路巡檢系統(tǒng)，對(duì)發(fā)生故障和需要保養(yǎng)的道路能快速響應(yīng)，及時(shí)的通知有關(guān)部門(mén)，避免事故的發(fā)生。

1系統(tǒng)的總體設(shè)計(jì)

在無(wú)人機(jī)道路巡檢系統(tǒng)中，我們主要考慮了以下幾個(gè)要求[3]：（1）無(wú)人機(jī)系統(tǒng)能滿(mǎn)足正常的工作；（2）無(wú)人機(jī)系統(tǒng)能適應(yīng)各種天氣和氣候變化等；（3）無(wú)人機(jī)系統(tǒng)應(yīng)充分考慮控制的安全性；（4）視頻流的傳輸應(yīng)避免較長(zhǎng)的延時(shí)。無(wú)人機(jī)道路巡檢系統(tǒng)主要由無(wú)人機(jī)系統(tǒng)設(shè)計(jì)、遠(yuǎn)程控制系統(tǒng)、PC端系統(tǒng)三大部分組成，系統(tǒng)的總體結(jié)構(gòu)框圖如圖1所示。系統(tǒng)的具體工作原理為：無(wú)人機(jī)將道路環(huán)境檢測(cè)的結(jié)果，將處理后的視頻流通過(guò)遠(yuǎn)程傳輸?shù)姆绞?，發(fā)送到PC端進(jìn)行實(shí)時(shí)監(jiān)控道路狀況。遠(yuǎn)程控制系統(tǒng)以STM32作為主控芯片，主要包括在無(wú)人機(jī)端和遙控端兩個(gè)部分，遙控端將控制指令通過(guò)2.4G通信發(fā)送到無(wú)人機(jī)端，此時(shí)無(wú)人機(jī)的做出相應(yīng)的位姿變化，完成遙控端對(duì)無(wú)人機(jī)位姿的控制。無(wú)人機(jī)系統(tǒng)的圖像采集模塊芯片為樹(shù)莓派，完成圖像的采集并采用TCP通信實(shí)現(xiàn)遠(yuǎn)程視頻的傳輸，將獲取的視頻流傳輸?shù)絇C端。PC端上使用OpenCV對(duì)圖像進(jìn)行處理[4]，利用深度學(xué)習(xí)模塊對(duì)設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)訓(xùn)練，從而得到檢測(cè)模型，最后在PC上接收處理過(guò)的數(shù)據(jù)并實(shí)時(shí)監(jiān)測(cè)道路狀況。上述工作原理可實(shí)現(xiàn)無(wú)人機(jī)道路巡檢系統(tǒng)，下文將對(duì)其包括的三大模塊進(jìn)行說(shuō)明介紹。

2無(wú)人機(jī)系統(tǒng)設(shè)計(jì)

本次使用的是RaspberryPi3(modelB+)作為無(wú)人機(jī)的主控制板[7]，無(wú)人機(jī)的飛行控制算法和圖像采集模塊集成在樹(shù)莓派中。遠(yuǎn)程控制系統(tǒng)通過(guò)2.4G無(wú)線通信模塊連接，通過(guò)控制器實(shí)現(xiàn)對(duì)無(wú)人機(jī)飛行和圖像采集的控制。無(wú)人機(jī)系統(tǒng)總體結(jié)構(gòu)如圖2所示。

3PC端系統(tǒng)設(shè)計(jì)

在PC端系統(tǒng)設(shè)計(jì)主要分為圖像預(yù)處理、模型訓(xùn)練和視頻監(jiān)控三大部分，通過(guò)TCP通信協(xié)議進(jìn)行通信，TCP通信是一種面向連接的通信，可完成客戶(hù)端（樹(shù)莓派）和服務(wù)端（PC）的信息傳遞[9]。下面主要對(duì)前兩部分詳細(xì)介紹。

3.1圖像預(yù)處理

本系統(tǒng)對(duì)地面裂縫檢測(cè)的圖像預(yù)處理流程如圖3所示具體工作原理為：（1）采用加權(quán)平均灰度化對(duì)獲取的無(wú)人機(jī)影像進(jìn)行灰度化處理；（2）對(duì)灰度化處理后的影像進(jìn)行直方圖均衡化，使得影像具有高對(duì)比度和多元的灰度色調(diào)變化，為后續(xù)的濾波降噪奠定基礎(chǔ)；（3）對(duì)處理后的影像進(jìn)行濾波降噪，消除孤立的噪聲點(diǎn)，采用方法的是中值濾波降噪；（4）使用迭代二值化處理將影像的灰度值設(shè)置合適的閾值，使得圖像更簡(jiǎn)單，目標(biāo)更突出，然后對(duì)圖像進(jìn)行分割，計(jì)算迭代的閾值，判斷迭代的閾值是否收斂到某一值或者達(dá)到限定的迭代次數(shù)，如果是的話(huà)，將完成二值化處理和濾波，否則將初始二值化閾值；（5）最終完成道路故障的識(shí)別與標(biāo)記。

3.2模型檢測(cè)

3.2.1卷積神經(jīng)網(wǎng)絡(luò)原理使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，首先使用卷積層實(shí)現(xiàn)特征的提取，原理如圖4所示。如圖5所示，卷積操作是模仿神經(jīng)元的機(jī)制。不同的輸入在權(quán)重的影響下會(huì)有不同的輸出，根據(jù)損失函數(shù)的計(jì)算來(lái)不斷的更新權(quán)重，直到獲得合理的權(quán)重參數(shù)。初始傳遞的信號(hào)為x，中間通過(guò)權(quán)重w，再經(jīng)過(guò)偏置b后連接在末端，最后輸出信號(hào)變成wx+b。fun(?)表示激活函數(shù)，最終f(z為輸出的結(jié)果，如式（1）所示。3.2.2卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程通過(guò)相機(jī)采集到的缺陷和問(wèn)題圖像作為訓(xùn)練樣本，這部分是檢測(cè)道路安全的關(guān)鍵一步，（1）訓(xùn)練標(biāo)記數(shù)據(jù)：首先使用圖像預(yù)處理中標(biāo)記好的道路故障提取出來(lái)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)標(biāo)記框內(nèi)的目標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練；（2）提取特征數(shù)據(jù)：將道路故障的類(lèi)型統(tǒng)計(jì)并歸納；（3）誤差反饋學(xué)習(xí)：對(duì)測(cè)試樣本進(jìn)行誤差反饋學(xué)習(xí)，并進(jìn)行測(cè)試；（4）優(yōu)化訓(xùn)練數(shù)據(jù)：根據(jù)實(shí)際應(yīng)用場(chǎng)景增加圖像的種類(lèi)和數(shù)量，不斷訓(xùn)練模型。3.2.3故障的基本分類(lèi)道路故障主要路面缺陷（例如裂縫、殘缺等）和路面增加（例如長(zhǎng)時(shí)間靜止的車(chē)輛和路人），各自訓(xùn)練集數(shù)量為1000張。如表1所示。3.2.4實(shí)驗(yàn)測(cè)試為實(shí)現(xiàn)故障的檢測(cè)，測(cè)試數(shù)據(jù)集為100張，不同類(lèi)型故障數(shù)據(jù)50張，均采集自新道路且與訓(xùn)練樣本一致，實(shí)驗(yàn)結(jié)果如表2所示。由表2可知，檢測(cè)路面增加（例如長(zhǎng)時(shí)間靜止的車(chē)輛和路人）的準(zhǔn)確率高達(dá)96%，但是地面缺陷的準(zhǔn)確率相比較而言略低，可能造成的原因是：①硬件原因?qū)е虏杉膱D像清晰度比較低；②地面缺陷太小，無(wú)人機(jī)難以識(shí)別；③訓(xùn)練的數(shù)據(jù)集較少，特征學(xué)習(xí)誤差大；但是滿(mǎn)足了設(shè)計(jì)需求，還需進(jìn)一步改進(jìn)。

4總結(jié)與展望

第3篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞：圖像復(fù)原；盲復(fù)原；逆濾波；神經(jīng)網(wǎng)絡(luò)復(fù)原

1 圖像退化及復(fù)原模型

1.1 圖像降質(zhì)的數(shù)學(xué)模型

圖像復(fù)原處理的關(guān)鍵問(wèn)題在于如何建立退化模型。假定輸入圖像f（x，y）經(jīng)過(guò)某個(gè)退化系統(tǒng)后輸出的是一幅退化的圖像。為了方便討論， 把噪聲引起的退化（即噪聲）對(duì)圖像的影響一般作為加性噪聲考慮，這也與許多實(shí)際應(yīng)用情況一致，如圖像數(shù)字化時(shí)的量化噪聲、隨機(jī)噪聲等就可以作為加性噪聲，即使不是加性噪聲而是乘性噪聲，也可以用對(duì)數(shù)方式將其轉(zhuǎn)化為相加形式。原始圖像f（x，y） 經(jīng)過(guò)一個(gè)退化算子或系統(tǒng)H（x，y） 的作用，然后和噪聲n（x，y）進(jìn)行疊加，形成退化后的圖像g（x，y）。圖像退化的過(guò)程可以用數(shù)學(xué)表達(dá)式寫(xiě)成如下的形式：

g（x，y）=H[f（x，y）]+n（x，y）

n（x，y）是一種統(tǒng)計(jì)性質(zhì)的信息下圖表示退化過(guò)程的輸入和輸出的關(guān)系，其中H（x，y）包含了退化系統(tǒng)的物理過(guò)程，即所要尋找的退化數(shù)學(xué)模型。

1.2 圖像的退化恢復(fù)模型

數(shù)字圖像的圖像恢復(fù)問(wèn)題可以看作是：根據(jù)退化圖像g（x ，y）和退化算子H（x ，y）的形式，沿著逆向過(guò)程去求解原始圖像f（x ，y）， 或者說(shuō)逆向地尋找原始圖像的最佳近似估計(jì)。

2 研究背景與意義

圖像復(fù)原是數(shù)字圖像處理技術(shù)的一個(gè)重要研究方向，在現(xiàn)實(shí)生活中，有著非常廣闊的應(yīng)用前景和市場(chǎng)。數(shù)字圖像處理研究很大部分是服務(wù)于數(shù)字圖像復(fù)原的，而運(yùn)動(dòng)模糊圖像的復(fù)原又是圖像復(fù)原中的重要課題之一，從六十年代起就有人研究它。初期研究的主要原因是對(duì)衛(wèi)星所拍攝的圖像進(jìn)行復(fù)原，因?yàn)樾l(wèi)星相對(duì)地球是運(yùn)動(dòng)的，所拍出的圖像是模糊的（當(dāng)然衛(wèi)星所拍攝圖像的模糊原因不僅僅是相對(duì)運(yùn)動(dòng)而造成的，還有其他原因如大氣湍流所造的模糊等等）。美國(guó)的噴氣推進(jìn)實(shí)驗(yàn)室（JPL）對(duì)徘徊者飛行器發(fā)回的月球照片進(jìn)行了圖像恢復(fù)處理。傳統(tǒng)的圖像恢復(fù)方法可以很好地恢復(fù)出來(lái)原始圖像，但是需要事先知道系統(tǒng)的先驗(yàn)知識(shí)（例如系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)）。在先驗(yàn)知識(shí)不足的情況下，如何恢復(fù)出來(lái)原始圖像？這就需要模糊圖像盲恢復(fù)技術(shù)。根據(jù)不同的應(yīng)用背景和先驗(yàn)知識(shí)，大致可以?xún)煞N方法恢復(fù)兩種類(lèi)型的模糊圖像，以滿(mǎn)足不同的應(yīng)用要求。

第一種方法：如何快速恢復(fù)模糊圖像，進(jìn)行適時(shí)性圖像處理？這個(gè)技術(shù)在實(shí)際生活中有著廣泛應(yīng)用。

第二種方法：如何在事先不能確定模糊系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的情況下，恢復(fù)模糊圖像，改善圖像的質(zhì)量，這就是圖像盲恢復(fù)的問(wèn)題。

3 國(guó)際國(guó)內(nèi)研究發(fā)展和現(xiàn)狀

從歷史上來(lái)看，數(shù)字圖像處理研究有很大部分是在圖像恢復(fù)方面進(jìn)行的，包括對(duì)算法的研究和針對(duì)特定問(wèn)題的圖像處理程序的編寫(xiě)。數(shù)字圖像處理中很多值得注意的成就就是在這兩方面取得的。

在六十年代中期，去卷積（逆濾波）開(kāi)始被廣泛地應(yīng)用于數(shù)字圖像恢復(fù)。這一階段對(duì)模糊圖像的研究主要是把因相對(duì)運(yùn)動(dòng)而拍攝的模糊圖像復(fù)原過(guò)來(lái)，從而增強(qiáng)人們的判讀能力。早期做圖像復(fù)原研究，主要強(qiáng)調(diào)盡可能使模糊圖像復(fù)原到原貌，增加它的判讀性，在此發(fā)展了很多的復(fù)原方法，諸如：差分復(fù)原、維納濾波等.這些方法各有特點(diǎn)，較好的解決了運(yùn)動(dòng)模糊圖像的判讀問(wèn)題，但是在應(yīng)用上均有一定的限制。

雖然經(jīng)典的圖象復(fù)原方法不少，但歸納起來(lái)大致可分為逆濾波法，或稱(chēng)相關(guān)變換法（ inv ersefiltering or t ransfo rm related techniques） 和代數(shù)方法（ alg ebraic techniques） 兩種。

3.1 傳統(tǒng)復(fù)原法

3.1.1 逆濾波方法

逆濾波法大致有經(jīng)典逆濾波法、維納濾波法、卡爾曼濾波法等. 其中，在傅立葉變換域，經(jīng)典逆濾波的變換函數(shù)是引起圖象失真的變換函數(shù)的逆變換，其雖在沒(méi)有噪聲的情況下，可產(chǎn)生精確的復(fù)原圖象，但在有噪聲時(shí)，將對(duì)復(fù)原圖象產(chǎn)生嚴(yán)重的影響，雖然濾波函數(shù)經(jīng)過(guò)修改，有噪聲的圖象也能復(fù)原，但它僅適用于極高信噪比條件下的圖象復(fù)原問(wèn)題； 維納濾波法是通過(guò)選擇變換函數(shù)，同時(shí)使用圖象和噪聲的統(tǒng)計(jì)信息來(lái)極小化均方復(fù)原誤差，這雖然在一定程度上克服了逆濾波法的缺點(diǎn)，但是維納濾波法需要較多有關(guān)圖象的先驗(yàn)知識(shí)，如需要對(duì)退化圖象進(jìn)行滿(mǎn)足廣義平穩(wěn)過(guò)程的假設(shè)，還需要知道非退化圖象的相關(guān)函數(shù)或功率譜特性等等，而在實(shí)際應(yīng)用中，要獲得這些先驗(yàn)知識(shí)有較大的困難，為此，Ozkan 等人在研究圖象序列的復(fù)原問(wèn)題時(shí)，提出了一種解決空間和時(shí)間相關(guān)性的多幀維納濾波法，是近年來(lái)維納濾波法的新發(fā)展； 卡爾曼濾波是一種遞歸濾波方法，其雖可用于非平穩(wěn)圖象的復(fù)原，但是因計(jì)算量過(guò)大，而限制了其實(shí)際應(yīng)用的效果。 Wu 和Kundu 又對(duì)卡爾曼濾波方法進(jìn)行了改進(jìn)，不僅提高了速度，并考慮了應(yīng)用于非高斯噪聲的情況； Cit rin 和Azimi-Sadjadi 也對(duì)卡爾曼濾波方法進(jìn)行了改進(jìn)，提出了塊卡爾曼濾波方法； Koch 等提出了擴(kuò)展卡爾曼濾波（ extended Kalmam filter） 復(fù)原方法，該方法可以較好地復(fù)原模糊類(lèi)型不相似的退化圖象.除了上述的逆濾波方法外，還有參數(shù)估計(jì)濾波法，它實(shí)質(zhì)上是維納濾波法的變種. 20 世紀(jì)90 年代初，又提出了基于遞歸圖象濾波的自適應(yīng)圖象復(fù)原方法及合成濾波方法，它代表了濾波方法新的發(fā)展方向. 1998 年Kundur 等人首先明確提出了遞歸逆濾波（ recursiv e inv er se filter ing ） 算法 ，2000 年Chow 等人又進(jìn)行了改進(jìn)，即在代價(jià)函數(shù)中增加了空間自適應(yīng)正則化項(xiàng)，從而很好地抑制了噪聲，并減少了振鈴現(xiàn)象，較好實(shí)現(xiàn)了在低SNR 條件下的盲圖象復(fù)原. 2001 年，Eng 等人結(jié)合模糊集的概念，提出了自適應(yīng)的軟開(kāi)關(guān)中值濾波方法，它能在有效地去掉脈沖噪聲的同時(shí)，很好地保存圖象的細(xì)節(jié)，是一種值得重視的新的圖象復(fù)原方法。

3.1 2 代數(shù)方法

Andrews 和Hunt 提出了一種基于線性代數(shù)的圖象復(fù)原方法。這種方法可能比較適合那些相對(duì)于積分運(yùn)算，則更喜歡矩陣代數(shù)，而相對(duì)于分析連續(xù)函數(shù)，又更喜歡離散數(shù)學(xué)的人的口味。它為復(fù)原濾波器的數(shù)字計(jì)算提供了一個(gè)統(tǒng)一的設(shè)計(jì)思路。代數(shù)方法可分為偽逆法、奇異值分解偽逆法、維納估計(jì)法和約束圖象復(fù)原方法等。 其中，偽逆法，實(shí)質(zhì)上是根據(jù)圖象退化的向量空間模型來(lái)找到引起圖象退化的模糊矩陣，但由于模糊矩陣總是很大的，因此在計(jì)算上往往不可行； 而奇異值分解偽逆法則是利用矩陣可分解成特征矩陣系列的思想，將模糊矩陣進(jìn)行分解，由于簡(jiǎn)化了計(jì)算，從而有利于模糊矩陣的估計(jì)計(jì)算，但在有噪聲存在時(shí)，經(jīng)常會(huì)出現(xiàn)不穩(wěn)定的現(xiàn)象； 維納估計(jì)法雖然考慮了噪聲的情況，但它僅適合噪聲是二維隨機(jī)過(guò)程，且已知其期望和協(xié)方差的情況。前面的方法僅把圖象看成是數(shù)字的陣列，然而一個(gè)好的復(fù)原圖象應(yīng)該在空間上是平滑的，其在幅度值上是正的，而約束圖象復(fù)原方法就是將這些因素作為約束條件，如基于維納估計(jì)法和回歸技術(shù)而提出的圖象復(fù)原方法就是一種約束圖象復(fù)原方法，而且通過(guò)選取不同的約束參數(shù)和回歸方法可以得到不同的圖象復(fù)原算法。傳統(tǒng)的圖象復(fù)原算法或面臨著高維方程的計(jì)算問(wèn)題，或要求恢復(fù)過(guò)程滿(mǎn)足廣義平穩(wěn)過(guò)程的假設(shè)，這就是，使得具有廣泛應(yīng)用價(jià)值的圖象復(fù)原問(wèn)題沒(méi)有得到圓滿(mǎn)的解決的根本原因。

3.2 神經(jīng)網(wǎng)絡(luò)圖象復(fù)原的方法

神經(jīng)網(wǎng)絡(luò)圖象復(fù)原方法的發(fā)展方向自從神經(jīng)網(wǎng)絡(luò)圖象復(fù)原首次提出十多年來(lái)，其研究在不斷地深入和發(fā)展，描述它的現(xiàn)狀已屬不易，展望它的未來(lái)更是困難，況且科學(xué)研究具有不確定性. 據(jù)筆者判斷，如下諸方面是亟待解決的問(wèn)題，或研究活動(dòng)已有向這些方面集中的趨勢(shì)。

3. 2.1小波神經(jīng)網(wǎng)絡(luò)用于圖象復(fù)原將是研究的重點(diǎn)

自1992 年Zhang 提出小波神經(jīng)網(wǎng)絡(luò)以來(lái)，如今已提出了各種類(lèi)型的小波網(wǎng)絡(luò)，且小波與神經(jīng)網(wǎng)絡(luò)的結(jié)合成了一個(gè)十分活躍的研究領(lǐng)域。通過(guò)學(xué)者們的理論分析和模擬實(shí)驗(yàn)表明： 由于小波神經(jīng)網(wǎng)絡(luò)具有逼近能力強(qiáng)、可顯著降低神經(jīng)元的數(shù)目、網(wǎng)絡(luò)學(xué)習(xí)收斂的速度快、參數(shù)（ 隱層結(jié)點(diǎn)數(shù)和權(quán)重） 的選取有理論指導(dǎo)、能有效避免局部最小值問(wèn)題等優(yōu)點(diǎn)，因此將其用于圖象復(fù)原是一個(gè)值得研究的方向。將小波的時(shí)頻域局部性、多分辨性等性質(zhì)，與神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性、自學(xué)習(xí)特性等優(yōu)點(diǎn)結(jié)合起來(lái)，不僅將使用于圖象復(fù)原的小波神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)分辨性，也將使正則化參數(shù)的選取更具有自適應(yīng)能力. 最終使復(fù)原圖象既能保持圖象的細(xì)節(jié)，又能很好地抑制圖象中的各種噪聲。

3.2.2細(xì)胞神經(jīng)網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)、自組神經(jīng)網(wǎng)絡(luò)

值得進(jìn)一步研究細(xì)胞神經(jīng)網(wǎng)絡(luò)（ CNN ） 由于其具有易于硬件實(shí)現(xiàn)的特點(diǎn)，因而具有很強(qiáng)的商業(yè)價(jià)值，但由于其自身還有很不成熟的地方，因此值得深入地研究. 其研究方向有： 細(xì)胞神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)的進(jìn)一步完善及在此基礎(chǔ)上建立細(xì)胞神經(jīng)網(wǎng)絡(luò)中鄰域系統(tǒng)的概念； 與圖象數(shù)據(jù)局部相關(guān)性等概念結(jié)合起來(lái)研究，以建立新的圖象復(fù)原理論，形成新的圖象復(fù)原技術(shù)。BP 網(wǎng)絡(luò)對(duì)受污染或帶噪聲的訓(xùn)練樣本，不僅能進(jìn)行正確的映射，且與其純樣本仍相似。 正是BP 網(wǎng)絡(luò)的泛化能力強(qiáng)，使它在解決圖象復(fù)原問(wèn)題時(shí)，可能比其他神經(jīng)網(wǎng)絡(luò)具有更好的潛在性能。 將BP 網(wǎng)絡(luò)用于圖象復(fù)原是很值得進(jìn)一步研究的.大家知道，人腦的學(xué)習(xí)方式是“自主的”，即有自組織和自適應(yīng)的能力的，即人腦能在復(fù)雜、非平穩(wěn)和有“干擾”的環(huán)境及其變化的情況下，來(lái)調(diào)整自己的思維和觀念，還能根據(jù)對(duì)外界事物的觀察和學(xué)習(xí)，找到其內(nèi)在的規(guī)律和本質(zhì)屬性，并能在一定的環(huán)境下，估計(jì)到可能出現(xiàn)的情況以及預(yù)期會(huì)遇到和感覺(jué)到的各種內(nèi)容及情況。 自組織神經(jīng)網(wǎng)絡(luò)（SONN） 正是基于人腦的這些功能而生成的，由于它具有能從輸入的數(shù)據(jù)中，揭示出它們之間內(nèi)在關(guān)系的能力，因此將其用于“盲圖象”的復(fù)原將是非常有利的。

3.2.3 需要提出更適合圖象復(fù)原的新神經(jīng)網(wǎng)絡(luò)模型

小波神經(jīng)網(wǎng)絡(luò)是為逼近任意非線性函數(shù)而提出來(lái)的，但為了圖象復(fù)原的需要，可考慮針對(duì)圖象復(fù)原的特殊情況，提出新的神經(jīng)網(wǎng)絡(luò)模型。 如，因?yàn)榇蠖鄶?shù)圖象是由平滑區(qū)域和輪廓細(xì)節(jié)組成的，其圖象數(shù)據(jù)在平滑區(qū)域雖具有較強(qiáng)的相關(guān)性，但與輪廓細(xì)節(jié)相鄰的數(shù)據(jù)應(yīng)極不相關(guān)，所以，提出一種專(zhuān)用于圖象復(fù)原的“相關(guān)性神經(jīng)網(wǎng)絡(luò)模型”是必然的期待； 再有，因?yàn)槎囗?xiàng)式具有較廣的擬合性和較好的收斂性，所以應(yīng)提出的“多項(xiàng)式神經(jīng)網(wǎng)絡(luò)”，將它們用于圖象復(fù)原也是值得研究的。

3.2.4 神經(jīng)網(wǎng)絡(luò)與其他理論的結(jié)合

研究是尋求新模型、新方法的重要途徑目前神經(jīng)網(wǎng)絡(luò)的研究正由單純的神經(jīng)計(jì)算轉(zhuǎn)向計(jì)算智能，并結(jié)合腦科學(xué)的研究向生物智能方向發(fā)展。 為此，神經(jīng)網(wǎng)絡(luò)圖象復(fù)原的研究也應(yīng)考慮吸收模糊、分形、混沌、進(jìn)化計(jì)算、信息融合等交叉學(xué)科的研究成果。 與模糊系統(tǒng)的結(jié)合將是一個(gè)重要的研究方向，因?yàn)?，神?jīng)網(wǎng)絡(luò)與模糊系統(tǒng)有如下很多的相同之處： （ 1） 它們?cè)谔幚砗徒鉀Q問(wèn)題時(shí)，無(wú)需建立對(duì)象的精確數(shù)學(xué)模型，而只需要根據(jù)輸入的采樣數(shù)據(jù)去估計(jì)其要求的決策； （ 2） 在對(duì)信息的加工處理過(guò)程中，均表現(xiàn)出了很強(qiáng)的容錯(cuò)能力； （ 3） 它們都可以用硬件來(lái)實(shí)現(xiàn). 由此可見(jiàn)，將神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)結(jié)合，用于圖象復(fù)原將是有意義的研究工作。

4 未來(lái)展望

圖像恢復(fù)發(fā)展到現(xiàn)在，已經(jīng)有了許多成熟的算法，但是還是存在許多問(wèn)題，等待著我們?nèi)ソ鉀Q。目前圖像恢復(fù)的最新發(fā)展有：

1. 非穩(wěn)圖像復(fù)原，即空間可變圖像復(fù)原。

2. 退化視頻信號(hào)的復(fù)原問(wèn)題，以及攝像機(jī)拍照?qǐng)D像復(fù)原，這是一個(gè)需要進(jìn)一步研究的領(lǐng)域。

3. 運(yùn)動(dòng)補(bǔ)償時(shí)空復(fù)原濾波，同時(shí)將時(shí)間相關(guān)應(yīng)用到運(yùn)動(dòng)補(bǔ)償中。

4. “Telemedicine“的出現(xiàn)，遠(yuǎn)程診斷極大的依賴(lài)于遠(yuǎn)程接受的圖像質(zhì)量，圖像恢復(fù)在醫(yī)學(xué)領(lǐng)域中有相當(dāng)重要的作用。

5. 模糊 PSF 的 Identification 仍然是一個(gè)困難的問(wèn)題，尤其在空間可變的 PSF 的估計(jì)中。

6. 空間可變恢復(fù)方法，可以利用 Wavelets 和 Markov 隨機(jī)場(chǎng)等方法進(jìn)行復(fù)圖像恢復(fù)，這是一個(gè)具有發(fā)展?jié)摿Φ难芯糠较颉?/p>

參考文獻(xiàn)

1 馮久超，黃海東. 基于神經(jīng)網(wǎng)絡(luò)的盲圖象恢復(fù)[ J ] . 計(jì)算機(jī)科學(xué)，2000，27（ 1） ： 67～68.

2 Er ler K，Jernigan E. Adaptive image restorat ion using recursive image f ilters [ J ] . IEE E Trans actions on Signal Process ing，1994，42（ 7） ： 1877～1881.

第4篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞： 積分投影； 循環(huán)神經(jīng)網(wǎng)絡(luò)； 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)； 防止過(guò)擬合技術(shù)； 精度； 留一法

中圖分類(lèi)號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）04-13-04

Abstract： The existing research on micro expression recognition is mainly based on the improved LBP （local binary patterns） algorithm and SVM （support vector machine）. Recently， integral projection has been applied in the field of face recognition. The long and short memory network （LSTM）， as a kind of recurrent neural network， can be used to process time series data. So LSTM-IP model， which combines integral projection with LSTM， is proposed， and experimented on the latest micro-expression database CASME II. The horizontal and vertical projection vectors obtained by integral projection are used as the input of LSTM and classified， and the over-fitting preventing method is used. The experimental results show that LSTM-IP algorithm gets better results than the previous method.

Key words： integral projection； recurrent neural network； long and short memory network； prevent over-fitting； accuracy； leave-one-subject-out cross validation

0 引言

人們表情的短時(shí)間變化，也叫微表情，心理學(xué)在這方面的研究很早就開(kāi)始了。近年來(lái)，有關(guān)利用機(jī)器學(xué)習(xí)的方法來(lái)對(duì)微表情進(jìn)行研究的學(xué)者越來(lái)越多，其成為當(dāng)前一個(gè)熱門(mén)研究方向。微表情的研究成果可用于測(cè)謊[2-4]、臨床診斷等方面，因橐話(huà)閎思幢閌切睦硪繳也很難注意到1/25～1/5秒人表情的變化[1]，而這時(shí)，機(jī)器可以很好的對(duì)微表情進(jìn)行自動(dòng)的識(shí)別。

最近，基于積分投影和紋理描述符的方法被用在人臉識(shí)別[5]，然而，很少有研究將積分投影用于包含人臉的時(shí)間序列中進(jìn)行識(shí)別。微表情與人臉識(shí)別有很大不同，特征很難單從每幀圖片中提取，這時(shí)就需要考慮時(shí)間軸。LSTM可以對(duì)時(shí)序數(shù)據(jù)進(jìn)行分類(lèi)，以前基本用在語(yǔ)音識(shí)別和自然語(yǔ)言處理的任務(wù)中，很少用于圖像識(shí)別，可能是因?yàn)長(zhǎng)STM處理的是一維的數(shù)據(jù)，而圖像是二維的數(shù)據(jù)。將圖像的二維信息積分投影到一維（水平方向和垂直方向），并以此作為L(zhǎng)STM的輸入并分類(lèi)，這樣就能將二者很好的結(jié)合起來(lái)。

本文構(gòu)造了基于積分投影和LSTM的深度學(xué)習(xí)的模型來(lái)對(duì)微表情進(jìn)行識(shí)別。得到的結(jié)果不僅比以前的基于局部二值模式（LBP）的方法好，而且也略微的優(yōu)于最近基于積分投影的論文中的方法。

1 CASME II微表情數(shù)據(jù)集介紹

2014年，中科院心理研究所建立了更進(jìn)一步改進(jìn)的自然誘發(fā)的微表情數(shù)據(jù)庫(kù)CASMEII[8]。CASMEII有26個(gè)平均年齡為22歲左右的亞洲人，9類(lèi)表情（happiness， surprise， disgust， fear， sadness， anger， repression， tense， negative）組成。用來(lái)錄制的高速相機(jī)為200 fps。高速相機(jī)可以捕捉更細(xì)節(jié)的微表情。CASMEII是據(jù)我們所知目前最好的自然誘發(fā)的微表情數(shù)據(jù)庫(kù)。

2 基于差分圖像的積分投影

Mateos等人的開(kāi)拓性工作[6-7]表明積分投影可以提取同一人臉圖像的共同基本特征。積分投影將人臉的特征水平和垂直投影，可以用公式⑴和⑵表示：

其中It（x，y）表示時(shí)間為t時(shí)，圖像位于（x，y）時(shí)的像素值，Ht（y）和Vt（x）表示水平和垂直積分投影。直接將積分投影應(yīng)用到CASME II微表情數(shù)據(jù)集上效果如圖1所示。

然而，由于微表情的變化是十分微小的，若直接采用上面的積分投影會(huì)有很多噪聲，從圖1（c）可以看出區(qū)分不是很明顯。因此，我們采用改進(jìn)的積分投影方法?？梢杂霉舰呛廷缺硎荆?/p>

我們將每個(gè)視頻下的2到N幀微表情的圖像減去第1幀，將得到的差分圖像做積分投影，效果如圖2所示。

從圖2的（c）可以看出，采用基于差分圖像的水平積分投影效果更好，去掉了不必要的噪聲。

3 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）可以用來(lái)處理時(shí)序數(shù)據(jù)，但它有一個(gè)明顯的缺陷，就是不能記憶發(fā)生在較久以前的信息。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）[9]是一種特殊的RNN，比RNN多了一些特殊的門(mén)和細(xì)胞，可以學(xué)習(xí)長(zhǎng)期依賴(lài)信息。LSTM結(jié)構(gòu)如圖3所示。

最上面橫著帶箭頭的線包含細(xì)胞單元，作用是記憶之前LSTM單元的信息。x和+表示點(diǎn)分的乘法與加法，表示Sigmoid激活函數(shù)（如公式⑸），tanh表示雙曲正切激活函數(shù)（如公式⑹）。

最下面圓圈中的X和最上面圓圈中的h分別表示時(shí)序輸入和輸出。

通用的LSTM結(jié)構(gòu)可以參考圖4，圖4中，底層節(jié)點(diǎn)為輸入，頂層節(jié)點(diǎn)為輸出，中間層為隱藏層節(jié)點(diǎn)或記憶塊。（a）描述的是傳統(tǒng)的 感知機(jī)（MLP）網(wǎng)絡(luò)，即不考慮數(shù)據(jù)的時(shí)序性，認(rèn)為數(shù)據(jù)是獨(dú)立的；（b）將輸入序列映射為一個(gè)定長(zhǎng)向量（分類(lèi)標(biāo)簽），可用于文本、視頻分類(lèi)；（c）輸入為單個(gè)數(shù)據(jù)點(diǎn)，輸出為序列數(shù)據(jù)，典型的代表為圖像標(biāo)注；（d）這是一種結(jié)構(gòu)序列到序列的任務(wù)，常被用于機(jī)器翻譯，兩個(gè)序列長(zhǎng)度不一定相等；（e）這種結(jié)構(gòu)會(huì)得到一個(gè)文本的生成模型，每詞都會(huì)預(yù)測(cè)下一時(shí)刻的字符。

4 LSTM-IP模型

因?yàn)镃ASME II數(shù)據(jù)集每個(gè)視頻下微表情圖像幀數(shù)是不一樣的，為了方便我們統(tǒng)一LSTM的輸入，所以我們提取了最能代表這個(gè)視頻微表情的10幀，同時(shí)，本文將整個(gè)數(shù)據(jù)集圖像的尺寸統(tǒng)一到200×200像素，將原來(lái)彩色圖像轉(zhuǎn)化為灰度圖像。通過(guò)基于差分圖像的積分投影，得到一個(gè)視頻下差分圖像每幀圖像的水平和垂直投影，一個(gè)圖像可以得到一個(gè)200維的水平向量和一個(gè)200維的垂直向量，因?yàn)椴罘謭D像是后面9張減去了第一張圖像，所以一個(gè)視頻下共有9個(gè)水平向量和9個(gè)垂直向量，初始化兩個(gè)9×200大小的一維向量分別保存水平向量和垂直向量。

本文采用圖4（b）和圖4（e）結(jié)合的LSTM結(jié)構(gòu)，如圖5所示。

頂層的X_IP表示將一個(gè)視頻下9個(gè)差分圖像的水平投影組成的9×200的一維特征向量作為輸入，經(jīng)過(guò)第一層LSTM得到9×128的一維特征向量，接著經(jīng)過(guò)第二層LSTM得到9×128的一維特征向量，最后經(jīng)過(guò)一層LSTM得到一個(gè)128的特征向量，Y_IP也是同樣的處理過(guò)程。最后將這兩部分的128的特征向量連接起來(lái)作為一個(gè)256的特征向量輸入softmax分類(lèi)器，結(jié)果輸出屬于五類(lèi)微表情的哪一類(lèi)。在圖5的每?jī)蓪又g加入一層Dropout層，Dropout的比率設(shè)為0.5。LSTM內(nèi)部參數(shù)初始化采用了glorot_normal，相比較于其他初始化方法，glorot_normal效果最好。

Softmax和Dropout在深度學(xué)習(xí)中都是常用的技術(shù)。Softmax是邏輯斯特回歸應(yīng)用于多分類(lèi)的推廣。Dropout[10]這種技術(shù)的作用是減少過(guò)擬合，是一種正則化技術(shù)，通過(guò)防止由完全連接的層引起神經(jīng)元的參數(shù)過(guò)多，有助于減少神經(jīng)網(wǎng)絡(luò)的過(guò)度擬合問(wèn)題。給定 dropout率p，其在我們的LSTM中被設(shè)置為0.5，50%單位將被保留，而另外50%將被放棄。簡(jiǎn)單地說(shuō)，“Dropout”只是隨機(jī)忽略一些神經(jīng)元。然而在測(cè)試階段，每個(gè)神經(jīng)元的輸出將通過(guò)因子1-p（保持率）加權(quán)以保持與訓(xùn)練階段中產(chǎn)生相同的效果。如圖6所示。

我們的實(shí)驗(yàn)采用基于Theano的keras框架，keras借b了Torch的搭建深度學(xué)習(xí)網(wǎng)絡(luò)的方式，而且使用筆者比較熟悉的Python語(yǔ)言（Torch使用Lua語(yǔ)言），keras的底層可以是Theano或者Tensorflow，可能是因?yàn)閗eras最先在Theano開(kāi)發(fā)的，經(jīng)過(guò)實(shí)驗(yàn)比較單個(gè)GPU下，Theano的速度要比Tensorflow快，所以我們的底層采用Theano。

5 實(shí)驗(yàn)結(jié)果與分析

現(xiàn)在微表情識(shí)別的算法主要是基于LBP改進(jìn)的算法，例如LBP-TOP[11]（Local Binary Pattern-Three Orthogonal Planes）、LBP-SIP[12]（LBP-Six Intersection Points）和LOCP-TOP[13]（Local ordinal contrast pattern-

TOP）等。我們將LSTM-IP算法與以前的方法做了比較，如表1所示。

實(shí)驗(yàn)是在CASME II上做的，因?yàn)镃ASME II微表情數(shù)據(jù)集是最新最好的微表情數(shù)據(jù)集。STLBP-IP也是基于積分投影的，結(jié)合了1DLBP來(lái)提取特征。通過(guò)表1的比較我們發(fā)現(xiàn)，基于積分投影的算法效果好于原來(lái)基于LBP的算法，可以得出，采用提取積分投影特征的方法在微表情數(shù)據(jù)集CASME II上效果比較好?？梢钥闯?，STLBP-IP的性能優(yōu)于文獻(xiàn)[27]的重新實(shí)現(xiàn)，STLBP-IP的精度提高了20.64%。從表1中可知，時(shí)間插值法（TIM）可以提高LBP-TOP的性能，其中LBP-TOP增加到39.68%。然而，與STLBP-IP相比，LBP-TOP在微表情識(shí)別上的效果上有很大的差距（19.43%）。比較兩種基于積分投影的方法，本文提出的方法略微好于STLBP-IP，但通過(guò)閱讀STLBP-IP的論文筆者發(fā)現(xiàn)，這種方法存在繁瑣的調(diào)參過(guò)程，比如圖像如何分塊，SVM核參數(shù)的選擇，而本文提出的LSTM-IP算法可以自動(dòng)從差分圖像的積分投影中學(xué)習(xí)，調(diào)參的內(nèi)容比較少，而且速度也很快。這些結(jié)果表明，LSTM-IP實(shí)現(xiàn)了令人滿(mǎn)意的效果，而不是LOCP-TOP和LBP-SIP。 這部分地解釋了LSTM-IP通過(guò)使用積分投影來(lái)保持形狀和辨識(shí)的能力。

實(shí)驗(yàn)采用了留一法交叉驗(yàn)證，CASME II有26個(gè)subjects，通過(guò)把每個(gè)subject作為測(cè)試，其余作為訓(xùn)練，循環(huán)26次，最后把每次測(cè)試得到的正確視頻個(gè)數(shù)相加除以總的視頻數(shù)，得到識(shí)別精度，這種方法現(xiàn)在是微表情識(shí)別主流的驗(yàn)證方法。

6 Y束語(yǔ)

基于差分圖像的積分投影方法，保存了我們微表情形狀的特征，然后增強(qiáng)微表情的辨別力。深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域已經(jīng)取得了很不錯(cuò)的成績(jī)，而現(xiàn)在深度學(xué)習(xí)的技術(shù)還沒(méi)有應(yīng)用于微表情識(shí)別。本文將差分圖像的積分投影與LSTM結(jié)合，從實(shí)驗(yàn)結(jié)果上看，結(jié)果要好于以前的方法。我們認(rèn)為深度學(xué)習(xí)的探索不會(huì)停止，會(huì)有越來(lái)越多新的網(wǎng)絡(luò)模型產(chǎn)生，也會(huì)有越來(lái)越多的深度學(xué)習(xí)的技術(shù)應(yīng)用于微表情識(shí)別。

我們將繼續(xù)探索基于深度學(xué)習(xí)的微表情識(shí)別的方法及技術(shù)手段。卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上取得了很好的成績(jī)，但筆者也將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于微表情上，效果并不好，可能是因?yàn)槲⒈砬樵趫D像上變化比較細(xì)微，卷積神經(jīng)網(wǎng)絡(luò)不容易捕捉到特征，但如果考慮了一個(gè)視頻時(shí)間序列的特性，也許會(huì)有比較好的結(jié)果，對(duì)此還有待進(jìn)一步研究。隨著技術(shù)的進(jìn)步，相信微表情識(shí)別效果會(huì)越來(lái)越好，并最終能夠應(yīng)用于我們的生活中。

參考文獻(xiàn)（References）：

[1] Ekman P. Micro Expressions Training Tool[M]. Emotion-

srevealed. com，2003.

[2] Ekman P. Darwin， deception， and facial expression[J].

Annals of the New York Academy of Sciences，2003.1000（1）：205-221

[3] Ekman P. Lie catching and microexpressions[J]. The

philosophy of deception，2009：118-133

[4] Ekman P， O'Sullivan M. From flawed self-assessment to

blatant whoppers： the utility of voluntary and involuntary behavior in detecting deception[J]. Behavioral sciences & the law，2006.24（5）：673-686

[5] Benzaoui A， Boukrouche A. Face recognition using 1dlbp

texture analysis[J]. Proc. FCTA，2013： 14-19

[6] Mateos G G. Refining face tracking with integral projections

[C]//International Conference on Audio-and Video-Based Biometric Person Authentication. Springer Berlin Heidelberg，2003： 360-368

[7] García-Mateos G， Ruiz-Garcia A， López-de-Teruel P

E. Human face processing with 1.5 D models[C]//International Workshop on Analysis and Modeling of Faces and Gestures. Springer Berlin Heidelberg，2007：220-234

[8] Yan W J， Li X， Wang S J， et al. CASME II： An improved

spontaneous micro-expression database and the baseline evaluation[J]. PloS one， 2014.9（1）：e86041

[9] Hochreiter S， Schmidhuber J. Long short-term memory[J].

Neural computation，1997.9（8）：1735-1780

[10] Hinton G E， Srivastava N， Krizhevsky A， et al. Improving

neural networks by preventing co-adaptation of feature detectors[J]. Computer Science，2012.3（4）：212-223

[11] Zhao G， Pietikainen M. Dynamic texture recognition

using local binary patterns with an application to facial expressions[J]. IEEE transactions on pattern analysis and machine intelligence，2007.29（6）.

[12] Wang Y， See J， Phan R C W， et al. Lbp with six

intersection points： Reducing redundant information in lbp-top for micro-expression recognition[C]//Asian Conference on Computer Vision. Springer International Publishing，2014：525-537

[13] Chan C H， Goswami B， Kittler J， et al. Local ordinal

contrast pattern histograms for spatiotemporal， lip-based speaker authentication[J]. IEEE Transactions on Information Forensics and Security，2012.7（2）：602-612

第5篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

P鍵詞關(guān)鍵詞：視網(wǎng)膜；PCNN；血管分割；MATLAB；GUIDE

DOIDOI：10.11907/rjdk.161883

中圖分類(lèi)號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2016）008-0068-03

0 引言

眼睛是人體接受外界信息最主要的器官，約75%左右的信息來(lái)源于視覺(jué)信息。因此，眼睛健康與否對(duì)人的學(xué)習(xí)、生活和工作的影響非常大。而眼底則是這個(gè)器官的重要組成部分，主要包括視網(wǎng)膜、脈絡(luò)膜、黃斑和視盤(pán)等。眼底視網(wǎng)膜中的血管是人體內(nèi)唯一可以非創(chuàng)傷的方式直接觀察到的較深層微血管，其顏色、亮度、位置分布、形狀以及曲率等變化可以直接反映出疾病對(duì)血管網(wǎng)絡(luò)形態(tài)結(jié)構(gòu)的影響，是心腦血管疾病對(duì)血管微循環(huán)檢查的重要部位。因此，視網(wǎng)膜圖像中血管網(wǎng)絡(luò)的檢測(cè)與分割對(duì)心腦血管疾病的診斷及治療具有重要意義[1]。

由于該方法計(jì)算公式復(fù)雜，涉及參數(shù)較多，且目前主要使用編寫(xiě)腳本程序的方式進(jìn)行視網(wǎng)膜眼底圖像中的血管分割，各個(gè)參數(shù)的調(diào)整都要在腳本程序中進(jìn)行，非常復(fù)雜，不便于可視化地觀察實(shí)驗(yàn)結(jié)果變化。因此，設(shè)計(jì)開(kāi)發(fā)一款界面友好、操作簡(jiǎn)單的視網(wǎng)膜血管分割系統(tǒng)是非常必要的。

MATLAB是一款由Mathworks公司推出的數(shù)學(xué)軟件，它在數(shù)值分析、矩陣運(yùn)算、數(shù)值擬合以及圖形繪制等方面均有極其強(qiáng)大的功能，已被廣泛應(yīng)用于數(shù)字圖像處理、信號(hào)處理和系統(tǒng)仿真等各個(gè)領(lǐng)域。同時(shí)，MATLAB 軟件具有界面友好、操作簡(jiǎn)單的圖形可視化界面設(shè)計(jì)工具，其集成圖形用戶(hù)界面GUIDE（Graphical User Interface Development Environment）包含了窗口菜單、對(duì)話(huà)框、按鈕和文本等各種控件[2]。用戶(hù)通過(guò)對(duì)控件進(jìn)行布局，編寫(xiě)控件的回調(diào)函數(shù)即可實(shí)現(xiàn)GUI 與用戶(hù)之間的交互，操作十分方便。

本系統(tǒng)在對(duì)視網(wǎng)膜眼底圖像中的血管進(jìn)行預(yù)處理并運(yùn)用脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）迭代原理分割的基礎(chǔ)上，利用MATLAB 的圖形用戶(hù)界面開(kāi)發(fā)環(huán)境（GUIDE）實(shí)現(xiàn)了視網(wǎng)膜血管分割系統(tǒng)。該系統(tǒng)為醫(yī)學(xué)圖像研究提供了一種有效的視網(wǎng)膜血管分割方法，也為醫(yī)學(xué)圖像處理提供了一個(gè)操作方便的實(shí)驗(yàn)平臺(tái)。

1 研究方法

首先是對(duì)視網(wǎng)膜眼底圖像中的血管進(jìn)行預(yù)處理，然后利用PCNN方法對(duì)視網(wǎng)膜圖像中的血管進(jìn)行分割。

1.1 視網(wǎng)膜血管圖像預(yù)處理

所處理的視網(wǎng)膜圖像為眼底視網(wǎng)膜RGB彩色圖像，通過(guò)將RGB 彩色圖像分解成紅、綠、藍(lán)三通道單色圖像可以發(fā)現(xiàn)，綠色通道的視網(wǎng)膜圖像中血管和背景對(duì)比度最高， 而紅、藍(lán)色通道的單色圖像中噪聲較多、對(duì)比度較低， 因此采用綠色通道的視網(wǎng)膜圖像進(jìn)行處理。

由于視網(wǎng)膜眼底圖像是由專(zhuān)門(mén)的醫(yī)學(xué)設(shè)備采集的，血管周?chē)鷧^(qū)域難免會(huì)對(duì)后續(xù)處理產(chǎn)生干擾，因此需要對(duì)視網(wǎng)膜圖像進(jìn)行有效區(qū)域的選取。將RGB圖像進(jìn)行二值化處理，使其歸一化到[0，1]之間，再依次應(yīng)用形態(tài)學(xué)中的開(kāi)運(yùn)算、閉運(yùn)算和腐蝕操作，生成二值掩膜圖像。

由于血管直徑大小不一、背景干擾以及成像時(shí)光照不均等因素影響，使得血管與背景的對(duì)比度較低。為獲得理想的分割效果，要對(duì)眼底圖像進(jìn)行預(yù)處理，以增強(qiáng)血管和背景的對(duì)比度。本系統(tǒng)主要采用對(duì)比度受限制的自適應(yīng)直方圖均衡化（CLAHE）[3]與二維高斯匹配濾波[4]方法對(duì)視網(wǎng)膜血管進(jìn)行對(duì)比度的增強(qiáng)。

直方圖均衡化（HE）的基本思想是通過(guò)圖像的灰度分布直方圖確定一條映射曲線，用來(lái)對(duì)圖像進(jìn)行灰度變換，以達(dá)到提高圖像對(duì)比度的目的。然而HE是對(duì)圖像全局進(jìn)行調(diào)整的方法，不能有效提高局部對(duì)比度。為了提高圖像的局部對(duì)比度，有研究者提出自適應(yīng)直方圖均衡化（AHE）方法，將圖像分成若干子塊，對(duì)子塊進(jìn)行HE處理。但是AHE 對(duì)局部對(duì)比度提高過(guò)大，將導(dǎo)致圖像失真。為了解決這個(gè)問(wèn)題，必須對(duì)局部對(duì)比度進(jìn)行限制，這便是CLAHE方法。CLAHE處理后的圖像既能體現(xiàn)不同位置灰度分布之間的差異，又能使全局灰度較為協(xié)調(diào)。

二維高斯匹配濾波的原理主要是根據(jù)血管曲率較小且寬度漸進(jìn)改變這一特點(diǎn)，將血管近似分段為等寬度的線段，然后用高斯曲線模擬其橫截面的灰度輪廓。由于血管方向具有任意性，因此需要旋轉(zhuǎn)高斯曲線來(lái)匹配不同方向的血管。每30°旋轉(zhuǎn)一次，得到從0°～180°的6個(gè)匹配濾波器，再分別與經(jīng)過(guò)CLAHE處理后的圖像進(jìn)行卷積，選擇其中最大的卷積值作為增強(qiáng)圖像的像素值。

最后，將經(jīng)過(guò)CLAHE處理之后的圖像減去經(jīng)過(guò)CLAHE、二維高斯匹配濾波后的圖像，即可得到最終的預(yù)處理結(jié)果。

1.2 基于PCNN的視網(wǎng)膜血管分割

脈沖耦合神經(jīng)網(wǎng)絡(luò) （PCNN ，Pulse Coupled Neutral Network）[5]是20世紀(jì)90年代形成和發(fā)展的與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)有著根本不同的新型神經(jīng)網(wǎng)絡(luò)，其模型直接來(lái)源于高級(jí)哺乳動(dòng)物的視覺(jué)神經(jīng)系統(tǒng)，具有現(xiàn)實(shí)的生物學(xué)依據(jù)，在圖像處理與分析及計(jì)算機(jī)視覺(jué)領(lǐng)域中有著廣泛應(yīng)用。它不僅能夠克服微小變化造成的影響，而且能夠較完整地保留圖像的區(qū)域信息。因此，使用PCNN進(jìn)行視網(wǎng)膜血管圖像分割具有一定優(yōu)勢(shì)。

本系統(tǒng)采用PCNN簡(jiǎn)化模型對(duì)視網(wǎng)膜圖像血管自動(dòng)分割，該模型不僅保持了原始模型的重要特性，而且減少了部分參數(shù)。用迭代公式可以描述為：

式中，Sij是外部刺激，即點(diǎn)（i，j）對(duì)應(yīng)像素的灰度值，F(xiàn)ij是神經(jīng)元的輸入項(xiàng)，Lij、Uij、Yij、Eij分別是神經(jīng)元的耦合連接輸入、內(nèi)部活動(dòng)項(xiàng)、脈沖輸出和動(dòng)態(tài)閾值。VL為連接輸入域的放大系數(shù)，β為神經(jīng)元之間的連接強(qiáng)度系數(shù)，VE和αE分別為動(dòng)態(tài)閾值的放大系數(shù)和衰減常數(shù)因子，W為連接加權(quán)系數(shù)矩陣。PCNN應(yīng)用于眼底圖像處理時(shí)，其神經(jīng)元數(shù)目與圖像像素?cái)?shù)目一致，各神元與像素一一對(duì)應(yīng)，像素的灰度值作為對(duì)應(yīng)神經(jīng)元的輸入Sij。當(dāng)連接加權(quán)系數(shù)矩陣W所在鄰域內(nèi)有相似灰度值像素時(shí)，若其中某個(gè)神經(jīng)元點(diǎn)火產(chǎn)生脈沖輸出，會(huì)引起鄰域內(nèi)相近灰度值像素對(duì)應(yīng)的神經(jīng)元點(diǎn)火，產(chǎn)生脈沖序列輸出，這些輸出脈沖序列構(gòu)成的二值圖像Y即為輸出的分割圖像。

2 系統(tǒng)設(shè)計(jì)思路及方法

根據(jù)上述分割過(guò)程，將系統(tǒng)設(shè)計(jì)成兩大模塊，分別對(duì)應(yīng)于兩個(gè)界面，主界面為視網(wǎng)膜圖像預(yù)處理模塊，子界面為視網(wǎng)膜血管分割模塊。通過(guò)使用MATLAB GUIDE中的控件進(jìn)行布局和編寫(xiě)相應(yīng)的回調(diào)函數(shù)來(lái)實(shí)現(xiàn)各模塊功能。

利用MATLAB GUI實(shí)現(xiàn)視網(wǎng)膜血管分割系統(tǒng)的過(guò)程可以分為GUI 圖形界面布局和GUI 程序?qū)崿F(xiàn)兩部分[6]。對(duì)于界面布局，首先要考慮窗口大小、控件位置以及界面所要實(shí)現(xiàn)的功能及各控件需要完成的任務(wù)。完成控件的布局之后，接著應(yīng)對(duì)控件屬性進(jìn)行設(shè)置，通過(guò)在相應(yīng)的控件上雙擊鼠標(biāo)左鍵，打開(kāi)屬性查看器，設(shè)置該控件屬性。最后需要對(duì)各個(gè)控件進(jìn)行回調(diào)函數(shù)的編寫(xiě)，這是界面設(shè)計(jì)的關(guān)鍵一步，直接影響界面各個(gè)功能的實(shí)現(xiàn)。

3 系統(tǒng)功能實(shí)現(xiàn)

3.1 視網(wǎng)膜圖像預(yù)處理模塊

視網(wǎng)膜圖像預(yù)處理模塊包括選擇圖片、選擇RGB通道、CLAHE增強(qiáng)處理、二維高斯匹配濾波處理以及最終預(yù)處理結(jié)果5個(gè)子模塊，如圖1所示。

具體操作如下：界面初始化后自動(dòng)加載一幅默認(rèn)圖片，也可以由用戶(hù)選擇其它圖片；單擊“選擇圖片”按鈕，之后會(huì)彈出一個(gè)對(duì)話(huà)框，選擇要載入的圖片，可以看到圖片顯示在界面的左上角，文件名顯示在圖片正下方；然后選擇彩色通道，默認(rèn)為綠色通道，選擇的通道圖像顯示在右邊區(qū)域左上角。如果勾選 “生成掩膜”選項(xiàng)，則后面的運(yùn)行結(jié)果均會(huì)顯示出單擊“生成掩膜”之后的圖像，默認(rèn)狀態(tài)為未勾選；接下來(lái)需要進(jìn)行CLAHE處理，以增強(qiáng)圖像對(duì)比度。在這里，主要是對(duì)adapthisteq函數(shù)中的參數(shù)進(jìn)行設(shè)置；最后單擊“運(yùn)行”按鈕，結(jié)果顯示在右邊區(qū)域的右上角。在進(jìn)行CLAHE處理之后，需要進(jìn)行二維高斯匹配濾波處理，主要是對(duì)濾波核個(gè)數(shù)、血管半徑及血管段長(zhǎng)度進(jìn)行設(shè)置，以進(jìn)一步增強(qiáng)血管與背景的對(duì)比度；然后單擊“運(yùn)行”按鈕，結(jié)果顯示在右邊區(qū)域的左下角；單擊“最終預(yù)處理結(jié)果”按鈕，結(jié)果顯示在右邊區(qū)域的右下角。

3.2 視網(wǎng)膜血管分割模塊

視網(wǎng)膜血管圖像分割模塊主要是根據(jù)PCNN算法迭代原理，調(diào)節(jié)PCNN各個(gè)參數(shù)，對(duì)視網(wǎng)膜血管圖像進(jìn)行分割，如圖2所示。

具體操作如下：?jiǎn)螕糁鹘缑嬷械摹癙CNN分割”按鈕，即可進(jìn)入視網(wǎng)膜血管分割模塊的界面；接著選擇所需PCNN模型和核，并設(shè)置核的半徑大小。若選擇“原始模型”，則需要設(shè)置PCNN的6個(gè)參數(shù)，若選擇“改進(jìn)模型”，則只需設(shè)置PCNN的4個(gè)參數(shù)；之后設(shè)置迭代次數(shù)和beta的值，單擊“運(yùn)行”按鈕，在彈出的對(duì)話(huà)框中，選擇一幅迭代圖片，將自動(dòng)生成分割結(jié)果；對(duì)于分割后的結(jié)果，單擊“保存”按鈕，可以保存圖片；最后單擊“返回”按鈕，可以返回主界面。

4 結(jié)語(yǔ)

基于MATLAB 軟件在圖形繪制、數(shù)值運(yùn)算及可視化界面開(kāi)發(fā)等方面的優(yōu)勢(shì)，在對(duì)視網(wǎng)膜眼底圖像中的血管預(yù)處理并運(yùn)用PCNN算法迭代原理進(jìn)行分割的基礎(chǔ)上，通過(guò)MATLAB GUI 設(shè)計(jì)完成了視網(wǎng)膜血管分割系統(tǒng)，可以實(shí)現(xiàn)視網(wǎng)膜血管圖像的增強(qiáng)處理，進(jìn)而利用脈沖耦合神經(jīng)網(wǎng)絡(luò)方法對(duì)視網(wǎng)膜血管圖像進(jìn)行分割。本系統(tǒng)提供了一種有效的視網(wǎng)膜血管分割方法，在醫(yī)學(xué)圖像研究方面具有一定參考價(jià)值。同時(shí)，系統(tǒng)具有界面友好、操作簡(jiǎn)單等特點(diǎn)，為醫(yī)學(xué)圖像處理提供了一個(gè)操作方便的實(shí)驗(yàn)平臺(tái)。

參考文獻(xiàn)：

[1] 姚暢，陳后金，李居朋. 基于過(guò)渡區(qū)提取的視網(wǎng)膜血管分割方法[J].電子學(xué)報(bào)，2008，36（5）：974-978.

[2] 姚秀芳，崔松菲. 基于MATLAB GUIDE的程序設(shè)計(jì)[J]. 電腦知識(shí)與技術(shù)，2009，27（5）：7767-7768.

[3] 陳萌夢(mèng)，熊興良，張琰，等. 1種視網(wǎng)膜眼底圖像增強(qiáng)的新方法[J]. 重慶醫(yī)科大學(xué)學(xué)報(bào)，2014，39（8）：1087-1090.

[4] 姚暢，陳后金. 一種新的視網(wǎng)膜血管網(wǎng)絡(luò)自動(dòng)分割方法[J].光電子?激光，2009，20（2）：274-278.

第6篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

本文作者：工作單位：安徽埃夫特智能裝備有限公司

從控制系統(tǒng)設(shè)計(jì)角度來(lái)說(shuō)，可以采用辯證法內(nèi)外因基本原理來(lái)分析影響重載機(jī)器人控制品質(zhì)的因素，首先，如果系統(tǒng)存在動(dòng)力學(xué)耦合、柔性等非線性因素，僅僅采用傳統(tǒng)的線性控制很難獲得良好的控制品質(zhì)，底層伺服回路的控制缺陷是影響機(jī)器人控制品質(zhì)的內(nèi)因。第二，如果運(yùn)動(dòng)規(guī)劃環(huán)節(jié)處理不當(dāng)，傳輸給底層運(yùn)動(dòng)控制回路的運(yùn)動(dòng)指令不合理，即存在位置不連續(xù)，速度不連續(xù)，加速度躍變等情況，對(duì)系統(tǒng)會(huì)產(chǎn)生嚴(yán)重的沖擊，即便底層伺服控制設(shè)計(jì)再優(yōu)秀，同樣也會(huì)嚴(yán)重影響系統(tǒng)控制品質(zhì)，這就是所謂的外因。下面就從內(nèi)外因角度對(duì)目前在機(jī)器人運(yùn)動(dòng)規(guī)劃和底層伺服控制方面的相關(guān)進(jìn)展進(jìn)行綜述。機(jī)器人運(yùn)動(dòng)規(guī)劃方法運(yùn)動(dòng)規(guī)劃與軌跡規(guī)劃是指根據(jù)一定規(guī)則和邊界條件產(chǎn)生一些離散的運(yùn)動(dòng)指令作為機(jī)器人伺服回路的輸入指令。運(yùn)動(dòng)規(guī)劃的輸入是工作空間中若干預(yù)設(shè)點(diǎn)或其他運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)的約束條件；運(yùn)動(dòng)規(guī)劃的輸出為一組離散的位置、速度和加速度序列。運(yùn)動(dòng)規(guī)劃算法設(shè)計(jì)過(guò)程中主要需要考慮以下三個(gè)問(wèn)題：（1）規(guī)劃空間的選?。和ǔＧ闆r下，機(jī)器人軌跡規(guī)劃是在全局操作空間內(nèi)進(jìn)行的，因?yàn)樵谌植僮骺臻g內(nèi)，對(duì)運(yùn)動(dòng)過(guò)程的軌跡規(guī)劃、避障及幾何約束描述更為直觀。然而在一些情況下，通過(guò)運(yùn)動(dòng)學(xué)逆解，運(yùn)動(dòng)規(guī)劃會(huì)轉(zhuǎn)換到關(guān)節(jié)空間內(nèi)完成。在關(guān)節(jié)空間內(nèi)進(jìn)行運(yùn)動(dòng)規(guī)劃優(yōu)點(diǎn)如下：a.關(guān)節(jié)空間內(nèi)規(guī)劃可以避免機(jī)構(gòu)運(yùn)動(dòng)奇異點(diǎn)及自由度冗余所帶來(lái)種種問(wèn)題[1-4]；b.機(jī)器人系統(tǒng)控制量是各軸電機(jī)驅(qū)動(dòng)力矩，用于調(diào)節(jié)各軸驅(qū)動(dòng)力矩的軸伺服算法設(shè)計(jì)通常情況也是在關(guān)節(jié)空間內(nèi)的，因此更容易將兩者結(jié)合起來(lái)進(jìn)行統(tǒng)一考慮[5,6]；c.關(guān)節(jié)空間運(yùn)動(dòng)規(guī)劃可以避免全局操作空間運(yùn)動(dòng)規(guī)劃帶來(lái)的每一個(gè)指令更新周期內(nèi)進(jìn)行運(yùn)動(dòng)規(guī)劃和運(yùn)動(dòng)學(xué)正逆計(jì)算帶來(lái)的計(jì)算量，因?yàn)槿绻噶罡轮芷谳^短，將會(huì)對(duì)CPU產(chǎn)生較大的計(jì)算負(fù)荷。（2）基礎(chǔ)函數(shù)光滑性保證：至少需要位置指令C2和速度指令C1連續(xù)，從而保證加速度信號(hào)連續(xù)。不充分光滑的運(yùn)動(dòng)指令會(huì)由于機(jī)械系統(tǒng)柔性激起諧振，這點(diǎn)對(duì)高速重載工業(yè)機(jī)器人更為明顯。在產(chǎn)生諧振的同時(shí)，軌跡跟蹤誤差會(huì)大幅度增加，諧振和沖擊也會(huì)加速機(jī)器人驅(qū)動(dòng)部件的磨損甚至損壞[7]。針對(duì)這一問(wèn)題，相關(guān)學(xué)者引入高次多項(xiàng)式或以高次多項(xiàng)式為基礎(chǔ)的樣條函數(shù)進(jìn)行軌跡規(guī)劃，其中Boryga利用多項(xiàng)式多根的特性，分別采用5次、7次和9次多項(xiàng)式對(duì)加速度進(jìn)行規(guī)劃，表達(dá)式中僅含有一個(gè)獨(dú)立參數(shù)，通過(guò)運(yùn)動(dòng)約束條件，最終確定參數(shù)值，并比較了各自性能[8]。Gasparetto采用五次B樣條作為規(guī)劃基礎(chǔ)函數(shù)，并將整個(gè)運(yùn)動(dòng)過(guò)程中加速度平方的積分作為目標(biāo)函數(shù)進(jìn)行優(yōu)化，以確保運(yùn)動(dòng)指令足夠光滑[9]。劉松國(guó)基于B樣條曲線，在關(guān)節(jié)空間內(nèi)提出了一種考慮運(yùn)動(dòng)約束的運(yùn)動(dòng)規(guī)劃算法，將運(yùn)動(dòng)學(xué)約束轉(zhuǎn)化為樣條曲線控制頂點(diǎn)約束，可保證角度、角速度和角加速度連續(xù)，起始點(diǎn)和終止點(diǎn)角速度和角加速度可以任意配置[10]。陳偉華則在Cartesian空間內(nèi)分別采用三次均勻B樣條，三次非均勻B樣條，三次非均勻有理B樣條進(jìn)行運(yùn)動(dòng)規(guī)劃[11]。（3）運(yùn)動(dòng)規(guī)劃中最優(yōu)化問(wèn)題：目前常用的目標(biāo)函數(shù)主要為運(yùn)行時(shí)間、運(yùn)行能耗和加速度。其中關(guān)于運(yùn)行時(shí)間最優(yōu)的問(wèn)題，較為經(jīng)典是Kang和Mckay提出的考慮系統(tǒng)動(dòng)力學(xué)模型以及電機(jī)驅(qū)動(dòng)力矩上限的時(shí)間最優(yōu)運(yùn)動(dòng)規(guī)劃算法，然而該算法加速度不連續(xù)，因此對(duì)于機(jī)器人來(lái)說(shuō)力矩指令也是不連續(xù)的，即加速度為無(wú)窮大，對(duì)于真實(shí)的電驅(qū)伺服系統(tǒng)來(lái)說(shuō)，這是無(wú)法實(shí)現(xiàn)的，會(huì)對(duì)系統(tǒng)產(chǎn)生較大沖擊，大幅度降低系統(tǒng)的跟蹤精度，對(duì)機(jī)械本體使用壽命也會(huì)產(chǎn)生影響[12]。針對(duì)上述問(wèn)題Constantinescu提出了解決方法，在考慮動(dòng)力學(xué)特性的基礎(chǔ)上，增加對(duì)力矩和加速度的約束，并采用可變?nèi)莶罘▽?duì)優(yōu)化問(wèn)題進(jìn)行求解[13]。除了以時(shí)間為優(yōu)化目標(biāo)外，其他指標(biāo)同樣被引入最優(yōu)運(yùn)動(dòng)規(guī)劃模型中。Martin采用B函數(shù)，以能耗最少為優(yōu)化目標(biāo)，并將該問(wèn)題轉(zhuǎn)化為離散參數(shù)的優(yōu)化問(wèn)題，針對(duì)數(shù)值病態(tài)問(wèn)題，提出了具有遞推格式的計(jì)算表達(dá)式[14]。Saramago則在考慮能耗最優(yōu)的同時(shí)，將執(zhí)行時(shí)間作為優(yōu)化目標(biāo)之一，構(gòu)成多目標(biāo)優(yōu)化函數(shù)，最終的優(yōu)化結(jié)果取決于兩個(gè)目標(biāo)的權(quán)重系數(shù)，且優(yōu)化結(jié)果對(duì)于權(quán)重系數(shù)選擇較為敏感[15]。Korayem則在考慮機(jī)器人負(fù)載能力，關(guān)節(jié)驅(qū)動(dòng)力矩上限和彈性變形基礎(chǔ)上，同時(shí)以在整個(gè)運(yùn)行過(guò)程中的位置波動(dòng)，速度波動(dòng)和能耗為目標(biāo)，給出了一種最優(yōu)運(yùn)動(dòng)規(guī)劃方法[6]，然而該方法在求解時(shí)，收斂域較小，收斂性較差，計(jì)算量較大。

考慮部件柔性的機(jī)器人控制算法機(jī)器人系統(tǒng)剛度是影響動(dòng)態(tài)性能指標(biāo)重要因素。一般情況下，電氣部分的系統(tǒng)剛度要遠(yuǎn)遠(yuǎn)大于機(jī)械部分。雖然重載工業(yè)機(jī)器人相對(duì)于輕型臂來(lái)說(shuō)，其部件剛度已顯著增大，但對(duì)整體質(zhì)量的要求不會(huì)像輕型臂那么高，而柔性環(huán)節(jié)仍然不可忽略，原因有以下兩點(diǎn)：（1）在重載情況下，如果要確保機(jī)器人具有足夠的剛度，必然會(huì)增加機(jī)器人部件質(zhì)量。同時(shí)要達(dá)到高速高加速度要求，對(duì)驅(qū)動(dòng)元件功率就會(huì)有很高的要求，實(shí)際中往往是不可實(shí)現(xiàn)（受電機(jī)的功率和成本限制）。（2）即使驅(qū)動(dòng)元件功率能夠達(dá)到要求，機(jī)械本體質(zhì)量加大會(huì)導(dǎo)致等效負(fù)載與電機(jī)慣量比很大，這樣就對(duì)關(guān)節(jié)剛度有較高的要求，而機(jī)器人關(guān)節(jié)剛度是有上限的（主要由減速器剛度決定）。因此這種情況下不管是開(kāi)鏈串聯(lián)機(jī)構(gòu)還是閉鏈機(jī)構(gòu)都會(huì)體現(xiàn)出明顯的關(guān)節(jié)柔性[16,17]，在重載搬運(yùn)機(jī)器人中十分明顯。針對(duì)柔性部件帶來(lái)的系統(tǒng)控制復(fù)雜性問(wèn)題，傳統(tǒng)的線性控制將難以滿(mǎn)足控制要求[17-19]，目前主要采用非線性控制方法，可以分成以下幾大類(lèi)：（1）基于奇異攝動(dòng)理論的模型降階與復(fù)合控制首先針對(duì)于柔性關(guān)節(jié)控制問(wèn)題，美國(guó)伊利諾伊大學(xué)香檳分校著名控制論學(xué)者M(jìn)arkW.Spong教授于1987年正式提出和建立柔性關(guān)節(jié)的模型和奇異攝動(dòng)降階方法。對(duì)于柔性關(guān)節(jié)的控制策略絕大多數(shù)都是在Spong模型基礎(chǔ)上發(fā)展起來(lái)的。由于模型的階數(shù)高，無(wú)法直接用于控制系統(tǒng)設(shè)計(jì)，針對(duì)這個(gè)問(wèn)題，相關(guān)學(xué)者對(duì)系統(tǒng)模型進(jìn)行了降階。Spong首先將奇異攝動(dòng)理論引入了柔性關(guān)節(jié)控制，將系統(tǒng)分成了慢速系統(tǒng)和邊界層系統(tǒng)[20]，該方法為后續(xù)的研究奠定了基礎(chǔ)。Wilson等人對(duì)柔性關(guān)節(jié)降階后所得的慢速系統(tǒng)采用了PD控制律，將快速邊界層系統(tǒng)近似為二階系統(tǒng)，對(duì)其阻尼進(jìn)行控制，使其快速穩(wěn)定[21]。針對(duì)慢速系統(tǒng)中的未建模非線性誤差，Amjadi采用模糊控制完成了對(duì)非線性環(huán)節(jié)的學(xué)習(xí)[22]。彭濟(jì)華在對(duì)邊界層系統(tǒng)提供足夠阻尼的同時(shí)，將神經(jīng)網(wǎng)絡(luò)引入慢速系統(tǒng)控制，有效的克服了參數(shù)未知和不確定性問(wèn)題。連桿柔性會(huì)導(dǎo)致系統(tǒng)動(dòng)力學(xué)方程階數(shù)較高，Siciliano和Book將奇異攝動(dòng)方法引入柔性連桿動(dòng)力學(xué)方程的降階，其基本思想與將奇異攝動(dòng)引入柔性關(guān)節(jié)系統(tǒng)動(dòng)力學(xué)方程一致，都將柔性變形產(chǎn)生的振動(dòng)視為暫態(tài)的快速系統(tǒng)，將名義剛體運(yùn)動(dòng)視為準(zhǔn)靜態(tài)的慢速系統(tǒng)，然后分別對(duì)兩個(gè)系統(tǒng)進(jìn)行復(fù)合控制，并應(yīng)用于單柔性連桿的控制中[23]。英國(guó)Sheffield大學(xué)A.S.Morris教授領(lǐng)導(dǎo)的課題組在柔性關(guān)節(jié)奇異攝動(dòng)和復(fù)合控制方面開(kāi)展了持續(xù)的研究。在2002年利用Lagrange方程和假設(shè)模態(tài)以及Spong關(guān)節(jié)模型建立柔性關(guān)節(jié)和柔性連桿的耦合模型，并對(duì)奇異攝動(dòng)理論降階后的慢速和快速子系統(tǒng)分別采用計(jì)算力矩控制和二次型最優(yōu)控制[24]。2003年在解決柔性關(guān)節(jié)機(jī)器人軌跡跟蹤控制時(shí)，針對(duì)慢速系統(tǒng)參數(shù)不確定問(wèn)題引入RBF神經(jīng)網(wǎng)絡(luò)代替原有的計(jì)算力矩控制[25].隨后2006年在文獻(xiàn)[24]所得算法和子系統(tǒng)模型的基礎(chǔ)上，針對(duì)整個(gè)系統(tǒng)穩(wěn)定性和魯棒性要求，在邊界層采用Hinf控制，在慢速系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)算法，并給出了系統(tǒng)的穩(wěn)定性分析[26]。隨著相關(guān)研究的開(kāi)展，有些學(xué)者開(kāi)始在奇異攝動(dòng)理論與復(fù)合控制的基礎(chǔ)上作出相應(yīng)改進(jìn)。由于奇異攝動(dòng)的數(shù)學(xué)復(fù)雜性和計(jì)算量問(wèn)題，Spong和Ghorbel提出用積分流形代替奇異攝動(dòng)[27]。針對(duì)奇異攝動(dòng)模型需要關(guān)節(jié)高剛度假設(shè)，在關(guān)節(jié)柔度較大的情況下，劉業(yè)超等人提出一種剛度補(bǔ)償算法，拓展了奇異攝動(dòng)理論的適用范圍[28]。（2）狀態(tài)反饋和自適應(yīng)控制在采用奇異攝動(dòng)理論進(jìn)行分析時(shí)，常常要同時(shí)引入自適應(yīng)控制律來(lái)完成對(duì)未知或不精確參數(shù)的處理，而采用積分流形的方式最大的缺點(diǎn)也在于參數(shù)的不確定性，同樣需要結(jié)合自適應(yīng)控制律[29,30]。因此在考慮柔性環(huán)節(jié)的機(jī)器人高動(dòng)態(tài)性能控制要求下，自適應(yīng)控制律的引入具有一定的必要性。目前對(duì)于柔性關(guān)節(jié)機(jī)器人自適應(yīng)控制主要思路如下：首先根據(jù)Spong模型，機(jī)器人系統(tǒng)階數(shù)為4，然后通過(guò)相應(yīng)的降階方法獲得一個(gè)二階的剛體模型子系統(tǒng)，而目前的大多數(shù)柔性關(guān)節(jié)自適應(yīng)控制律主要針對(duì)的便是二階的剛體子系統(tǒng)中參數(shù)不確定性。Spong等人提出了將自適應(yīng)控制律引入柔性關(guān)節(jié)控制，其基于柔性關(guān)節(jié)動(dòng)力學(xué)奇異攝動(dòng)方程，對(duì)降階剛體模型采用了自適應(yīng)控制律，主要采用的是經(jīng)典的Slotine-Li自適應(yīng)控制律[31]，并通過(guò)與Cambridge大學(xué)Daniel之間互相糾正和修改，確立一套較為完善的基于奇異攝動(dòng)模型的柔性關(guān)節(jié)自適應(yīng)控制方法[32-34]。（3）輸入整形控制輸入整形最原始的思想來(lái)自于利用PosicastControl提出的時(shí)滯濾波器，其基本思想可以概括為在原有控制系統(tǒng)中引入一個(gè)前饋單元,包含一系列不同幅值和時(shí)滯的脈沖序列。將期望的系統(tǒng)輸入和脈沖序列進(jìn)行卷積,產(chǎn)生一個(gè)整形的輸入來(lái)驅(qū)動(dòng)系統(tǒng)。最原始的輸入整形方法要求系統(tǒng)是線性的，并且方法魯棒性較差，因此其使用受到限制。直到二十世紀(jì)九十年初由MIT的Signer博士大幅度提高該方法魯棒性，并正式將該方法命名為輸入整形法后[35]，才逐漸為人們重視，并在柔性機(jī)器人和柔性結(jié)構(gòu)控制方面取得了一系列不錯(cuò)的控制效果[36-39]。輸入整形技術(shù)在處理柔性機(jī)器人控制時(shí)，可以統(tǒng)一考慮關(guān)節(jié)柔性和連桿柔性。對(duì)于柔性機(jī)器人的點(diǎn)對(duì)點(diǎn)控制問(wèn)題，要求快速消除殘余振蕩，使機(jī)器人快速精確定位。

這類(lèi)問(wèn)題對(duì)于輸入整形控制來(lái)說(shuō)是較容易實(shí)現(xiàn)的，但由于機(jī)器人柔性環(huán)節(jié)較多，呈現(xiàn)出多個(gè)系統(tǒng)模態(tài)，因此必須解決多模態(tài)輸入整形問(wèn)題。相關(guān)學(xué)者對(duì)多模態(tài)系統(tǒng)的輸入整形進(jìn)行了深入研究。多模態(tài)系統(tǒng)的輸入整形設(shè)計(jì)方法一般有:a)級(jí)聯(lián)法：為每個(gè)模態(tài)設(shè)計(jì)相應(yīng)的濾波器，然后將所有模態(tài)的時(shí)滯濾波器進(jìn)行級(jí)聯(lián),組合成一個(gè)完整的濾波器，以抑制所有模態(tài)的振蕩；b)聯(lián)立方程法:直接根據(jù)系統(tǒng)的靈敏度曲線建立一系列的約束方程，通過(guò)求解方程組來(lái)得到濾波器。這兩種方法對(duì)系統(tǒng)的兩種模態(tài)誤差均有很好的魯棒性。級(jí)聯(lián)法設(shè)計(jì)簡(jiǎn)單，且對(duì)高模態(tài)的不敏感性比聯(lián)立方程法要好；聯(lián)立方程法比較直接，濾波器包含的脈沖個(gè)數(shù)少,減少了運(yùn)行時(shí)間。對(duì)于多模態(tài)輸入整形控制Singer博士提出了一種高效的輸入整形方法，其基本思想為：首先在靈敏度曲線上選擇一些滿(mǎn)足殘留振蕩最大幅值的頻段，在這些特定的頻帶中分別選擇一些采樣頻率，計(jì)算其殘留振蕩；然后將各頻率段的殘留振蕩與期望振蕩值的差平方后累加求和，構(gòu)成目標(biāo)函數(shù)，求取保證目標(biāo)函數(shù)最小的輸入整形序列。將頻率選擇轉(zhuǎn)化為優(yōu)化問(wèn)題，對(duì)于多模態(tài)系統(tǒng)，則在每個(gè)模態(tài)處分別選擇頻率采樣點(diǎn)和不同的阻尼系數(shù)，再按上述方法求解[40]。SungsooRhim和WayneBook在2004年針對(duì)多模態(tài)振動(dòng)問(wèn)題提出了一種新的時(shí)延整形濾波器，并以控制對(duì)象柔性模態(tài)為變量的函數(shù)形式給出了要消除殘余振動(dòng)所需最基本條件。同時(shí)指出當(dāng)濾波器項(xiàng)數(shù)滿(mǎn)足基本條件時(shí)，濾波器的時(shí)延可以任意設(shè)定，消除任何給定范圍內(nèi)的任意多個(gè)柔性振動(dòng)模態(tài)產(chǎn)生的殘余振動(dòng)，為輸入整形控制器實(shí)現(xiàn)自適應(yīng)提供了理論基礎(chǔ)[41]，同時(shí)針對(duì)原有輸入整形所通常處理的點(diǎn)對(duì)點(diǎn)控制問(wèn)題進(jìn)行了有益補(bǔ)充，M.C.Reynolds和P.H.Meckl等人將輸入整形應(yīng)用于關(guān)節(jié)空間的軌跡控制，提出了一種時(shí)間和輸入能量最優(yōu)的軌跡控制方法[42]。（4）不基于模型的軟計(jì)算智能控制針對(duì)含有柔性關(guān)節(jié)機(jī)器人動(dòng)力學(xué)系統(tǒng)的復(fù)雜性和無(wú)法精確建模，神經(jīng)網(wǎng)絡(luò)等智能計(jì)算方法更多地被引入用于對(duì)機(jī)器人動(dòng)力學(xué)模型進(jìn)行近似。Ge等人利用高斯徑向函數(shù)神經(jīng)網(wǎng)絡(luò)完成柔性關(guān)節(jié)機(jī)器人系統(tǒng)的反饋線性化，仿真結(jié)果表明相比于傳統(tǒng)的基于模型的反饋線性化控制，采用該方法系統(tǒng)動(dòng)態(tài)跟蹤性能較好，對(duì)于參數(shù)不確定性和動(dòng)力學(xué)模型的變化魯棒性較強(qiáng)，但是整個(gè)算法所用的神經(jīng)網(wǎng)絡(luò)由于所需節(jié)點(diǎn)較多，計(jì)算量較大，并且需要全狀態(tài)反饋，狀態(tài)反饋量獲取存在一定困難[43]。孫富春等人對(duì)于只具有關(guān)節(jié)傳感器的機(jī)器人系統(tǒng)在輸出反饋控制的基礎(chǔ)上引入神經(jīng)網(wǎng)絡(luò)，用于逼近機(jī)器人模型，克服無(wú)法精確建模的非線性環(huán)節(jié)帶來(lái)的影響，從而提高機(jī)器人系統(tǒng)的動(dòng)態(tài)跟蹤性能[44]。A.S.Morris針對(duì)整個(gè)柔性機(jī)器人動(dòng)力學(xué)模型提出了相應(yīng)的模糊控制器，并用GA算法對(duì)控制器參數(shù)進(jìn)行了優(yōu)化，之后在模糊控制器的基礎(chǔ)上，綜合了神經(jīng)網(wǎng)絡(luò)的逼近功能對(duì)剛?cè)狁詈线\(yùn)動(dòng)進(jìn)行了補(bǔ)償[45]。除采用神經(jīng)網(wǎng)絡(luò)外，模糊控制也在柔性機(jī)器人控制中得以應(yīng)用。具有代表性的研究成果有V.G.Moudgal設(shè)計(jì)了一種具有參數(shù)自學(xué)習(xí)能力的柔性連桿模糊控制器，對(duì)系統(tǒng)進(jìn)行了穩(wěn)定性分析，并與常規(guī)的模糊控制策略進(jìn)行了實(shí)驗(yàn)比較[46]。Lin和F.L.Lewis等人在利用奇異攝動(dòng)方法基礎(chǔ)上引入模糊控制器，對(duì)所得的快速子系統(tǒng)和慢速子系統(tǒng)分別進(jìn)行模糊控制[4748]。快速子系統(tǒng)的模糊控制器采用最優(yōu)控制方法使柔性系統(tǒng)的振動(dòng)快速消退，慢速子系統(tǒng)的模糊控制器完成名義軌跡的追蹤，并對(duì)單柔性梁進(jìn)行了實(shí)驗(yàn)研究。Trabia和Shi提出將關(guān)節(jié)轉(zhuǎn)角和末端振動(dòng)變形分別設(shè)計(jì)模糊控制器進(jìn)行控制，由于對(duì)每個(gè)子系統(tǒng)只有一個(gè)控制目標(biāo)，所以模糊規(guī)則相對(duì)簡(jiǎn)單，最后將兩個(gè)控制器的輸出進(jìn)行合成，完成復(fù)合控制，其思想與奇異攝動(dòng)方法下進(jìn)行復(fù)合控制類(lèi)似[49]。隨后又對(duì)該算法進(jìn)行改進(jìn)，同樣采用分布式結(jié)構(gòu)，通過(guò)對(duì)輸出變量重要性進(jìn)行評(píng)估，得出關(guān)節(jié)和末端點(diǎn)的速度量要比位置量更為重要，因此將模糊控制器分成兩部分，分別對(duì)速度和位置進(jìn)行控制，并利用NelderandMeadSimplex搜索方法對(duì)隸屬度函數(shù)進(jìn)行更新[50]。采用基于軟計(jì)算的智能控制方法相對(duì)于基于模型的控制方法具有很多優(yōu)勢(shì)，特別是可以與傳統(tǒng)控制方法相結(jié)合，完成對(duì)傳統(tǒng)方法無(wú)法精確建模的非線性環(huán)節(jié)進(jìn)行逼近，但是目前這些方法的研究絕大部分還處于仿真階段，或在較簡(jiǎn)單的機(jī)器人（如單自由度或兩自由度機(jī)器人）進(jìn)行相關(guān)實(shí)驗(yàn)研究。其應(yīng)用和工程實(shí)現(xiàn)受限的主要原因在于計(jì)算量大，但隨著處理器計(jì)算能力的提高，這些方法還有廣泛的應(yīng)用前景。

第7篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞：交通標(biāo)志檢測(cè)；ITS；TSR；顏色檢測(cè)；形狀檢測(cè)

中圖分類(lèi)號(hào)：TB

文獻(xiàn)標(biāo)識(shí)碼：A

doi：10.19311/ki.16723198.2017.12.089

1引言

隨著經(jīng)濟(jì)的發(fā)展，汽車(chē)出行在為人們帶來(lái)便利的同時(shí)也增加了安全事故的發(fā)生。智能交通系統(tǒng)ITS（Intelligent Transportation System）作為一種全新的汽車(chē)識(shí)別模式，能夠緩解交通事故的發(fā)生。具體表現(xiàn)在，汽車(chē)在行駛過(guò)程中，利用車(chē)載系統(tǒng)對(duì)交通標(biāo)志進(jìn)行識(shí)別，再反饋給駕駛員，為駕駛提供路況信息，使駕駛員能夠?qū)β窙r做出準(zhǔn)確的判斷，減少交通意外的發(fā)生。另一方面，對(duì)于無(wú)人駕駛和交通標(biāo)志的識(shí)別，也l揮著重要的維護(hù)作用。

近幾十年來(lái)，交通標(biāo)志檢測(cè)與識(shí)別受到了諸多學(xué)者的關(guān)注與研究，ITS在減少安全事故和緩解道路壓力方面發(fā)揮著重要作用，交通標(biāo)志識(shí)別系統(tǒng)TSR（Traffic Sign Recognition）也應(yīng)運(yùn)而生。交通標(biāo)志識(shí)別系統(tǒng)包括很多方面，交通標(biāo)志檢測(cè)是其一個(gè)子方面，但其重視程度不言而喻，它的應(yīng)用范圍很廣，如無(wú)人駕駛車(chē)輛和駕駛員輔助系統(tǒng)等，在行車(chē)過(guò)程中，為駕駛員提供實(shí)時(shí)路況檢測(cè)。雖然目前在交通標(biāo)志檢測(cè)方面取得了一些突破性的進(jìn)展和一些階段性的成果，但隨著道路環(huán)境的多樣化和不確定因素，使得檢測(cè)仍存在諸多困難?？偟膩?lái)說(shuō)，交通標(biāo)志檢測(cè)實(shí)用性強(qiáng)，關(guān)注度高，在任何時(shí)候熱度都不會(huì)消減，會(huì)引發(fā)更多的人去深入研究。

2交通標(biāo)志檢測(cè)系統(tǒng)組成

交通標(biāo)志檢測(cè)包括五部分：圖像采集，預(yù)處理，顏色分割，形狀檢測(cè)，精準(zhǔn)定位。圖形的采集尤為重要，對(duì)于采集到傾斜的圖像，我們需要對(duì)其進(jìn)行矯正處理。對(duì)于正常圖像，大多數(shù)情況我們需要對(duì)其做預(yù)處理，以消除光照等的影響，然后可以通過(guò)交通標(biāo)志特有的顏色和形狀信息對(duì)其進(jìn)行分割處理，以得到待選區(qū)域。再根據(jù)一些特定的算法對(duì)干擾區(qū)域進(jìn)行剔除，從而得到目標(biāo)區(qū)域。對(duì)于目前交通標(biāo)志檢測(cè)的研究現(xiàn)狀，雖然取得了突破性的進(jìn)展，但各種算法亦有優(yōu)缺點(diǎn)，面對(duì)復(fù)雜多變的交通環(huán)境很難做出很好的檢測(cè)，所以有必要對(duì)交通標(biāo)志的檢測(cè)進(jìn)行更進(jìn)一步的討論和研究。

3國(guó)內(nèi)外研究現(xiàn)狀

3.1國(guó)外研究現(xiàn)狀

早在1987年日本就進(jìn)行了交通標(biāo)志的檢測(cè)與識(shí)別，采用了模板匹配的經(jīng)典算法，其平均識(shí)別時(shí)間為0.5秒。發(fā)到國(guó)家也不甘落后，1993年美國(guó)針對(duì)“停車(chē)”的標(biāo)志研究開(kāi)發(fā)了ADIS系統(tǒng)，采用了顏色聚類(lèi)的方法對(duì)目標(biāo)進(jìn)行檢測(cè)，然而AIDS存在一個(gè)明顯的缺陷，就是時(shí)間不穩(wěn)定。為了滿(mǎn)通標(biāo)志時(shí)間識(shí)別的精確性，1994年，戴姆勒-奔馳汽車(chē)公司與大學(xué)合作開(kāi)發(fā)，最終，一個(gè)全新的系統(tǒng)誕生了，其速度之快令人嘆服，達(dá)到3.2s/幅，交通標(biāo)志數(shù)據(jù)庫(kù)中，有40000多幅圖像，其識(shí)別準(zhǔn)確率為98%。交通標(biāo)志檢測(cè)與識(shí)別研究進(jìn)入新千年。越來(lái)越多的科研工作者和科研機(jī)構(gòu)加入到交通標(biāo)志檢測(cè)與識(shí)別中去，使得檢測(cè)技術(shù)有了很大的進(jìn)步。在2001年Winconsin大學(xué)的Liu和Ran基于HIS空間的顏色閾值分割法，結(jié)合神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，經(jīng)過(guò)實(shí)驗(yàn)顯示該系統(tǒng)的準(zhǔn)確率為95%。2005年Carethloy實(shí)驗(yàn)室和Nick Barnes自動(dòng)化研究所利用交通標(biāo)志在圖形上的對(duì)稱(chēng)性來(lái)確定交通標(biāo)志的質(zhì)心位置，其建立的交通標(biāo)志識(shí)別系統(tǒng)的準(zhǔn)確率為95%。在2009年Muhammad等人運(yùn)用多個(gè)方法進(jìn)行識(shí)別實(shí)驗(yàn)得到最好的識(shí)別準(zhǔn)確率為97%。2011年德國(guó)以德國(guó)交通標(biāo)志數(shù)據(jù)庫(kù)（GTSRB）為基礎(chǔ)舉辦了交通標(biāo)志識(shí)別大賽（IJCNN2011）。標(biāo)志著交通標(biāo)志檢測(cè)與識(shí)別受到了全世界的高度關(guān)注，這也促進(jìn)了交通標(biāo)志檢測(cè)與識(shí)別的研究進(jìn)展。Ciresan等人在IJCNN2011大賽上采用深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network）識(shí)別算法得到了比人類(lèi)識(shí)別平均率高的結(jié)果。2013年，對(duì)于交通標(biāo)志檢測(cè)系統(tǒng)，Kim J.B將視覺(jué)顯著性模型運(yùn)用到其中，使交通識(shí)別的準(zhǔn)確性更高。

3.2國(guó)內(nèi)研究現(xiàn)狀

與國(guó)外相比，在時(shí)間上，對(duì)于交通檢測(cè)系統(tǒng)，我國(guó)運(yùn)用的稍微落后。在交通標(biāo)志檢測(cè)研究方面，將顏色和形狀結(jié)合的相關(guān)檢測(cè)方法較為廣泛，在識(shí)別算法方面，國(guó)內(nèi)一些學(xué)者也取得了顯著性的成果。在2000年郁梅提出了一種基于顏色的快速檢測(cè)方法。2004年，根據(jù)不變矩特征和BP神經(jīng)網(wǎng)絡(luò)，王坤明等人對(duì)交通識(shí)別系統(tǒng)做了進(jìn)一步的闡述。2008年，交通識(shí)別系統(tǒng)有了進(jìn)一步的發(fā)展，以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，寧波大學(xué)朱雙東教授等人將交通標(biāo)志的顏色區(qū)分成了五種最基本的顏色。2012年朱淑鑫在RGB和HIS空間上進(jìn)行多閾值分割。2013年，“紅色位圖”方法被提出，其主要利用在邊緣信息的形狀檢測(cè)上，王剛毅希望通過(guò)這一方法來(lái)提高紅色圓形標(biāo)志區(qū)域的檢測(cè)率。

4交通標(biāo)志檢測(cè)算法現(xiàn)狀

我國(guó)的交通標(biāo)志主要分為警告、禁止、指示三大類(lèi)，交通標(biāo)志顏色主要有紅色、藍(lán)色、黑色、黃色和白色五種基本顏色，交通標(biāo)志的形狀有四大類(lèi)，即三角形、矩陣、八邊形和圓形。目前針對(duì)道路交通標(biāo)志檢測(cè)的算法主要是基于顏色的檢測(cè)、形狀的檢測(cè)以及顏色和形狀相結(jié)合的檢測(cè)，下面我們對(duì)常見(jiàn)的檢測(cè)方法進(jìn)行簡(jiǎn)單的概述。

4.1基于色的檢測(cè)方法

由于交通標(biāo)志具有很明顯的顏色特征，所以很多文獻(xiàn)都對(duì)這一方法做了討論和研究。常見(jiàn)的顏色空間有RGB、HSI、Lab、Ycgcr、Ycbcr等。De La Escalear A等人運(yùn)用RGB閾值的方法將顏色分類(lèi)。但此方法受光照影響因素較大，為了減少光照等環(huán)境因素的影響，Ruta等人提出了RGB空間顏色增強(qiáng)的方法，這種方法可以快速將標(biāo)志區(qū)域檢測(cè)出來(lái)。由于RGB空間亮度和色度的混合在一起的，后來(lái)研究者們運(yùn)用了更符合人類(lèi)對(duì)顏色的視覺(jué)理解的HIS、HSV空間。為了使交通標(biāo)志的檢測(cè)精度更高，在HIS空間中設(shè)定閾值這個(gè)方法被提出了，事實(shí)上，一個(gè)交通標(biāo)志可以由幾種顏色構(gòu)成，因此，S.LafuenteCArroyo等人希望通過(guò)這種方法對(duì)于不同顏色的交通標(biāo)志都能檢測(cè)出來(lái)。但HIS顏色空間聚類(lèi)效果不好，因此，為了更好的對(duì)交通標(biāo)志的顏色進(jìn)行區(qū)分，選擇聚類(lèi)效果好的顏色空間至關(guān)重要，在此基礎(chǔ)上，Jitendra N.Chourasia等人主張使用Ycbcr顏色區(qū)間。

4.2基于形狀的檢測(cè)方法

除了利用顏色對(duì)交通標(biāo)志進(jìn)行檢測(cè)之外，還可以利用交通標(biāo)志的形狀，這也是其另一個(gè)重要的特點(diǎn)。最常用的檢測(cè)圓形和直線是Hough變換，事實(shí)證明，Kuo W J等人通過(guò)Hough變換，對(duì)交通標(biāo)志進(jìn)行檢測(cè)，效果顯著，但由于其計(jì)算量大的原因不適用于實(shí)時(shí)性監(jiān)測(cè)。另一種形狀檢測(cè)法是基于拐角提取算法，Escalera等人提出拐角檢測(cè)算法，簡(jiǎn)單來(lái)說(shuō)，就是根據(jù)形狀的變化所產(chǎn)生的像素點(diǎn)判斷能否為拐點(diǎn)，來(lái)進(jìn)行檢測(cè)，但是，其唯一的缺點(diǎn)是誤檢率也比較高。Rangarajan等人提出了一種最優(yōu)拐角檢測(cè)方法，通過(guò)設(shè)計(jì)好的掩膜與圖像做卷積運(yùn)算后將拐角檢測(cè)出來(lái)，魯棒性好。

4.3基于顏色和形狀的檢測(cè)方法

既然基于顏色和基于形狀的方法都不能得到很好的交通標(biāo)志檢測(cè)，于是很多學(xué)者將這兩種方法結(jié)合起來(lái)，產(chǎn)生了綜合顏色和形狀的檢測(cè)方法。并也取得了一些顯著性的成果。M.Zadeh等人利用圖像處理的相關(guān)知識(shí)，先把圖像進(jìn)行顏色分割，再運(yùn)用形態(tài)學(xué)的相關(guān)方法提取區(qū)域邊緣，最后對(duì)待定區(qū)域進(jìn)行跟蹤和幾何分析，從而提取得到目標(biāo)檢測(cè)區(qū)域。但該方法對(duì)噪聲特別敏感。所以當(dāng)圖像的噪聲很強(qiáng)時(shí)這種檢測(cè)方法的效果并不理想。

5交通標(biāo)志檢測(cè)與識(shí)別難點(diǎn)

盡管近幾十年提出了很多新的檢測(cè)方法，但目前的研究成果還不能夠勝任復(fù)雜多變的現(xiàn)實(shí)場(chǎng)景。交通標(biāo)志識(shí)別系統(tǒng)TSR設(shè)計(jì)到多個(gè)研究領(lǐng)域，包括圖像處理、人工智能、模式識(shí)別和機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域，因此，關(guān)于交通標(biāo)志識(shí)別系統(tǒng)的研究任重而道遠(yuǎn)，在未來(lái)，不管是自然場(chǎng)景下，還是復(fù)雜場(chǎng)景下，對(duì)于交通識(shí)別系統(tǒng)研究，都應(yīng)重點(diǎn)關(guān)注。現(xiàn)階段交通標(biāo)志檢測(cè)與識(shí)別主要面臨的困難和挑戰(zhàn)如下：

（1）環(huán)境對(duì)交通標(biāo)志的影響。這主要表現(xiàn)在四季中風(fēng)雨對(duì)交通標(biāo)志的損壞，這在一定程度上會(huì)降低圖像的清晰度。交通標(biāo)志長(zhǎng)年暴露在外面，難免會(huì)出現(xiàn)變形、污損、褪色等情況，這對(duì)檢測(cè)也造成了困難。

（2）拍攝角度的影響。不同的拍攝角度對(duì)檢測(cè)具有比較大的影響，對(duì)傾斜的圖像我們需要對(duì)其做一個(gè)矯正處理。

（3）現(xiàn)場(chǎng)場(chǎng)景環(huán)境中有很多干擾物體，使得在分割的時(shí)候會(huì)把不是標(biāo)志的物體也分割出來(lái)，對(duì)我們檢測(cè)帶來(lái)了一定程度上的干擾。

（4）交通標(biāo)志類(lèi)型復(fù)雜，種類(lèi)多，目前所了解的就有130多種，包括警告標(biāo)志、指示標(biāo)志、禁令標(biāo)志、指路標(biāo)志等等，給檢測(cè)大大增加了難度。

（5）實(shí)時(shí)性改進(jìn)的問(wèn)題，由于汽車(chē)移動(dòng)速度快，而且在移動(dòng)過(guò)程中往往在一定程度上有抖動(dòng)和變速等動(dòng)作，捕捉到的圖像會(huì)產(chǎn)生變形模糊，處理時(shí)間過(guò)長(zhǎng)會(huì)導(dǎo)致司機(jī)反應(yīng)時(shí)間縮短。

（6）準(zhǔn)確率有待進(jìn)一步提升。準(zhǔn)確率太低的話(huà)不但達(dá)不到駕駛輔助作用，反而會(huì)引起交通事故發(fā)生。

（7）沒(méi)有公用樣本數(shù)據(jù)。國(guó)內(nèi)目前統(tǒng)一的評(píng)判標(biāo)準(zhǔn)和數(shù)據(jù)庫(kù)尚未建立起來(lái)。

（8）智能交通識(shí)別系統(tǒng)服務(wù)于大眾，因此需要考慮經(jīng)濟(jì)成本問(wèn)題。

綜合以上可知，由于在現(xiàn)實(shí)場(chǎng)景中以上問(wèn)題的存在，所以在設(shè)計(jì)道路交通標(biāo)志檢測(cè)與識(shí)別算法的時(shí)候必須有針對(duì)性的解決上訴問(wèn)題。

6總結(jié)

總的來(lái)說(shuō)，交通標(biāo)志檢測(cè)與識(shí)別系統(tǒng)（TSR）的發(fā)展前景非常好，被廣泛運(yùn)用于輔助駕駛系統(tǒng)、無(wú)人汽車(chē)駕駛和各種道路檢測(cè)標(biāo)志的檢測(cè)修復(fù)等領(lǐng)域。本文主要對(duì)國(guó)內(nèi)外的研究現(xiàn)狀做了一個(gè)回顧和分析，許多研究學(xué)者也做出了一些階段性的成果和進(jìn)展，但由于自然環(huán)境下一些復(fù)雜多變的因素對(duì)檢測(cè)造成了困難和挑戰(zhàn)，因此TSR系統(tǒng)的研究還面臨許多難題有待解決。隨著人工智能和機(jī)器學(xué)習(xí)等算法的提升，我們堅(jiān)信未來(lái)的道路交通標(biāo)志檢測(cè)與識(shí)別會(huì)邁上一個(gè)新的臺(tái)階。

參考文獻(xiàn)

[1]徐華青，陳瑞南，林錦川等.道路交通標(biāo)志檢測(cè)方法研究[J].福州大學(xué)學(xué)報(bào)，2010，（3）：387392.

[2]常發(fā)亮，黃翠，劉成云等.基于高斯顏色模型和SVM的交通標(biāo)志檢測(cè)[J].儀器儀表學(xué)報(bào)，2014，35（1）：4349.

[3]Salichs M A.TRAFFIC SIGN DETECTION FOR DRIVER SUPPORT SYSTEMS[C].2001.

[4]Kehtarnavaz N，Griswold N C，Kang D S.Stop-sign recognition based on color/shape processing[J].Machine Vision and Applications，1993，6（4）：206208.

[5]Priese L，Lakmann R，Rehrmann V.Ideogram identification in a realtime traffic sign recognition system[C].Intelligent Vehicles 95 Symposium. Proceedings of the.IEEE，1995：310314.

[6]Liu H，Ran B.Vision-Based Stop Sign Detection and Recognition System for Intelligent Vehicles[J].Transportation Research Record Journal of the Transportation Research Board，2001，1748（1）：161166.

[7]Barnes N，Loy G，Shaw D，et al.Regular polygon detection[C].Tenth IEEE International Conference on Computer Vision.IEEE，2014：778785.

[8]Muhammad A S，Lavesson N，Davidsson P，et al.Analysis of Speed Sign Classification Algorithms Using Shape Based Segmentation of Binary Images[J].Lecture Notes in Computer Science，2009，5702：12201227.

[9]Kim J B.Detection of traffic signs based on eigen-color model and saliency model in driver assistance systems[J].International Journal of Automotive Technology，2013，14（3）：429439.

[10]郁梅，郁伯康.基于彩色D像的指示標(biāo)志檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2000，36（4）：169172.

[11]王坤明，許忠仁.基于不變矩和神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別方法研究[J].計(jì)算機(jī)應(yīng)用研究，2004，21（3）：254255.

[12]朱雙東，蔣甜甜，劉蘭蘭.基于顏色規(guī)格化的交通標(biāo)志識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件，2008，25（1）：220222.

[13]朱淑鑫.基于顏色特征的交通標(biāo)志圖像分割研究[J].考試周刊，2012，（81）：111112.

[14]Wang G，Ren G，Jiang L，et al.Hole-based traffic sign detection method for traffic signs with red rim[J].The Visual Computer，2014，30（5）：539551.

[15]De l E A，Moreno L E，Salichs M A，et al.Road traffic sign detection and classification[J].IEEE Transactions on Industrial Electronics，1997，44（6）：848859.

[16]Ruta A，Li Y，Liu X.Real-time traffic sign recognition from video by class-specific discriminative features[J].Pattern Recognition，2010，43（1）：416430.

[17]Lafuente-Arroyo S，Salcedo-Sanz S，Maldonado-Basc，et al.A decision support system for the automatic management of keep-clear signs based on support vector machines and geographic information systems[J].2010，37（1）：767773.

[18]Chourasia J N，Bajaj P.Centroid Based Detection Algorithm for Hybrid Traffic Sign Recognition System[C].International Conference on Emerging Trends in Engineering and Technology.IEEE，2010：96100.

[19]Kuo W J，Lin C C.Two-Stage Road Sign Detection and Recognition[C].IEEE International Conference on Multimedia and Expo.IEEE Xplore，2007：14271430.

[20]De l E A，Moreno L E，Salichs M A，et al.Road traffic sign detection and classification[J].IEEE Transactions on Industrial Electronics，1997，44（6）：848859.

第8篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

關(guān)鍵詞：載荷反求；正則化；虛擬減縮；迭代方法

中圖分類(lèi)號(hào)：TP391.9 文獻(xiàn)標(biāo)志碼：A

Load Identification of Virtual Iteration Based

on Tikhonov Regularization and Model Reduction

ZHANG Bangji，ZHOU Shouyu， XIE Qingxi，ZHANG Nong

（State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body，Hunan University， Changsha 410082， China）

Abstract： The model reduction technique was applied to solve the dynamic response. In order to make the system show the actual responses of the expected signals， the iteration procedure was then used to modify the load signals based on Tikhonov regularization load identification. Furthermore， the accuracy of the load signals was identified. The comparison of the proposed method with the traditional Tikhonov method shows that the proposed method can retain a good anti-noise characteristic， and improve the precision of load identification. The accuracy of the load identification by the proposed method is much higher than that of the traditional method.

Key words：load identification； regularization； virtual reduction； iterative methods

工程振動(dòng)問(wèn)題備受關(guān)注，結(jié)構(gòu)動(dòng)態(tài)載荷的精確獲取可為工程結(jié)構(gòu)的振動(dòng)分析、疲勞分析等提供基礎(chǔ)，然而因經(jīng)濟(jì)性或技術(shù)條件的限制，許多情況下載荷難以通過(guò)直接測(cè)量的方式獲取，如汽車(chē)車(chē)身所受的激振力、輪船行駛時(shí)受到的波浪式?jīng)_擊載荷等.因此利用載荷反求方法間接獲取激振載荷具有重要意義.

載荷反求是通過(guò)系統(tǒng)響應(yīng)和振動(dòng)特性來(lái)反求結(jié)構(gòu)所受載荷，是動(dòng)力學(xué)第二類(lèi)反問(wèn)題[1].國(guó)內(nèi)外學(xué)者針對(duì)動(dòng)態(tài)載荷反求的理論和技術(shù)研究做了很多工作[2-4].傳統(tǒng)的反求方法有時(shí)域法與頻域法兩大類(lèi)[5]，隨著計(jì)算機(jī)技術(shù)的發(fā)展，遺傳算法[6]、神經(jīng)網(wǎng)絡(luò)[7]等新方法被應(yīng)用于載荷反求領(lǐng)域.Kim等人[8]利用結(jié)構(gòu)動(dòng)力學(xué)關(guān)系構(gòu)建載荷反求動(dòng)力學(xué)方程，通過(guò)頻響函數(shù)求逆法進(jìn)行載荷反求，用奇異值分解法（SVD）改善頻響函數(shù)求逆過(guò)程中的矩陣病態(tài)問(wèn)題；Choi等人[9-10]運(yùn)用最小二乘的Tikhonov正則化方法解決矩陣的病態(tài)問(wèn)題，在提高載荷反求結(jié)果穩(wěn)定性與抗干擾性方面效果良好，并對(duì)比分析了不同正則化參數(shù)選擇方法對(duì)載荷反求精度的影響.國(guó)內(nèi)在正則化反求法方面做了很多研究[11-13]，其中應(yīng)用較廣的是Tikhonov正則化反求法.郭榮等[14]綜合運(yùn)用Tikhonov正則化與奇異值分解的反求方法，有效提高了結(jié)構(gòu)載荷反求精度.

然而Tikhonov等正則化反求法存在其自身的缺陷，由于該方法對(duì)反求載荷有平滑的作用，導(dǎo)致在響應(yīng)測(cè)試噪聲水平較高，或者系統(tǒng)線性程度不高的情況下，在反求信號(hào)的峰值處將很難得到較好結(jié)果[12].對(duì)此，結(jié)合文獻(xiàn)[15]中室內(nèi)試驗(yàn)臺(tái)架驅(qū)動(dòng)文件生成方法，提出新的載荷反求方法.其基本流程是，將Tikhonov正則化所反求的載荷重新激勵(lì)系統(tǒng)，將獲得的響應(yīng)與真實(shí)期望響應(yīng)對(duì)比，通過(guò)誤差反饋補(bǔ)償來(lái)逐步修正Tikhonov正則化反求法所得到的載荷信號(hào)，以提高在載荷峰值處的反求精度.考慮到在實(shí)際工程中，所研究的對(duì)象往往是復(fù)雜結(jié)構(gòu)仿真模型，迭代中l(wèi)繁的正向求解過(guò)程相當(dāng)耗時(shí)，甚至導(dǎo)致反求過(guò)程難以實(shí)現(xiàn).對(duì)此，本文結(jié)合模型減縮技術(shù)，對(duì)大型有限元結(jié)構(gòu)進(jìn)行降階處理，得到規(guī)模較小的等價(jià)模型，在保證響應(yīng)計(jì)算精度的同時(shí)，極大縮短正問(wèn)題的求解時(shí)間，提高計(jì)算效率.

1 虛擬迭代載荷反求原理

1.1 Tikhonov正則化理論

對(duì)于線性系統(tǒng)，在待反求載荷f（t）的作用下，系統(tǒng)的響應(yīng)可以由單位脈沖響應(yīng)函數(shù)與動(dòng)態(tài)載荷的卷積分形式表示為：

y（x，t）=∫t0G（x，t-t）f（t）dt（1）

式中：y（x，t）為結(jié)構(gòu)測(cè)點(diǎn)x處的響應(yīng)，可以是位移、速度、加速度等；f（t）為載荷的時(shí)間歷程；G（x，t）是相應(yīng)的載荷作用點(diǎn)到響應(yīng)點(diǎn)的Green函數(shù)，即單位脈沖響應(yīng).

考慮零初始條件系統(tǒng)，可將式（1）中的卷積分在時(shí)域內(nèi)進(jìn)行n個(gè)等間隔時(shí)間點(diǎn)離散，可化為一組線性方程組：

1.2 迭代反求算法

線性時(shí)不變系統(tǒng)響應(yīng)噪聲水平不高時(shí)，采用最優(yōu)正則化參數(shù)的Tikhonov方法可較精確地反求激勵(lì)載荷，但是當(dāng)系統(tǒng)響應(yīng)噪聲水平較高時(shí)，即使是最優(yōu)的正則化參數(shù)，也難以平衡解的逼近性與穩(wěn)定性這對(duì)矛盾；且在工程實(shí)際中，系統(tǒng)的各個(gè)環(huán)節(jié)，如汽車(chē)的襯墊等連接部件，在一定程度上都存在非線性因素，導(dǎo)致反求難度增大.對(duì)此，采用迭代的方法，根據(jù)響應(yīng)誤差反饋補(bǔ)償，逐步修正所求載荷信號(hào)，使其達(dá)到要求[16].

首先，對(duì)一個(gè)已知系統(tǒng)，其響應(yīng)信號(hào)Yδ，由上述Tikhonov正則化方法反求，計(jì)算出初始載荷信號(hào)為：

1.3 減縮技術(shù)

載荷的迭代反求過(guò)程，需要反復(fù)計(jì)算仿真系統(tǒng)的動(dòng)響應(yīng)，仿真系統(tǒng)通常用有限元的方式表達(dá).但對(duì)于有限元模型，通常網(wǎng)格越密仿真精度越高，但密集的網(wǎng)格會(huì)導(dǎo)致響應(yīng)求解時(shí)間增長(zhǎng)，尤其在反復(fù)迭代計(jì)算過(guò)程中，正問(wèn)題的求解時(shí)間過(guò)長(zhǎng)是影響迭代的重要因素.對(duì)此，采用模型減縮技術(shù)，對(duì)原始有限元模型進(jìn)行降階等效，再對(duì)降階模型進(jìn)行迭代響應(yīng)計(jì)算，從而解決計(jì)算精度與計(jì)算效率之間的矛盾.本文采用的減縮方法是IRS[19]方法.

IRS 減縮方法是一種基于 Guyan靜力減縮法并考慮慣性力影響的改進(jìn)方法.系統(tǒng)的運(yùn)動(dòng)方程可以表示為：

1.4 迭代收斂條件

上述Tikhonov迭代正則化算法可用流程框圖表示，如圖1所示.

2 數(shù)值算例

為了驗(yàn)證上述迭代法對(duì)Tikhonov正則化反求結(jié)果的優(yōu)化作用，以及模型減縮技術(shù)對(duì)迭代效率改善的正確性與有效性，下面給出幾種不同載荷形式的算例進(jìn)行仿真對(duì)比分析.選用一塊帶約束的平板，在ABAQUS中建立如圖2所示的有限元模型，平板一邊兩端用螺栓夾緊固定，模型中平板的彈性模量為210 GPa，密度為7.85 g/cm3，厚度為4 mm，邊長(zhǎng)為500 mm.

2.1 模型減縮應(yīng)用及結(jié)果分析

為提高響應(yīng)計(jì)算速度以及迭代效率，對(duì)該模型進(jìn)行減縮降階，在確保模型精度不受影響的情況下，用近似的低階模型代替原來(lái)復(fù)雜的高階系統(tǒng)模型來(lái)進(jìn)行迭代反求.對(duì)該有限元模型，質(zhì)量矩陣和剛度矩陣通過(guò)ABAQUS被直接導(dǎo)出，在模型上選取包括激振點(diǎn)與拾振點(diǎn)在內(nèi)共 176個(gè)節(jié)點(diǎn)，用IRS減縮法在 MATLAB 中對(duì)平板模型進(jìn)行模型減縮，并用模態(tài)置信度（MAC值）分析減縮前后模型模態(tài)振型吻合程度，驗(yàn)證該減縮模型的精度[20].

2.1.1 減縮前后振型對(duì)比

2.1.2 動(dòng)響應(yīng)計(jì)算效率分析

在載荷反求過(guò)程中往往需要反復(fù)多次求取系統(tǒng)響應(yīng)，因此動(dòng)響應(yīng)計(jì)算效率是衡量反求實(shí)際效果的重要標(biāo)準(zhǔn).分別對(duì)算例原模型、IRS減縮模型求動(dòng)態(tài)響應(yīng)，比較相同時(shí)間歷程的動(dòng)態(tài)響應(yīng)所消耗實(shí)際CPU時(shí)間，結(jié)果如圖4所示.

由此可見(jiàn)，相比于原模型，IRS減縮模型大大減少了動(dòng)響應(yīng)計(jì)算時(shí)間，因此，模型減縮很大程度上提高了計(jì)算效率，所需計(jì)算響應(yīng)時(shí)間歷程越長(zhǎng)，效果越明顯.在本文數(shù)十次迭代計(jì)算動(dòng)態(tài)響應(yīng)過(guò)程中，IRS模型減縮技術(shù)的應(yīng)用將極大地提高迭代計(jì)算響應(yīng)效率.

2.2 載荷反求對(duì)比分析

在板面節(jié)點(diǎn)308#施加垂直于板面的單位載荷，選取響應(yīng)節(jié)點(diǎn)62#垂直板面方向速度作為響應(yīng)（如圖2所示）.首先計(jì)算載荷點(diǎn)到響應(yīng)節(jié)點(diǎn)對(duì)應(yīng)的Green函數(shù)；再以不同形式載荷下的響應(yīng)，進(jìn)行載荷反求；最后對(duì)仿真得到的響應(yīng)數(shù)據(jù)加入一定水平的隨機(jī)噪聲來(lái)模擬測(cè)試誤差.此時(shí)帶噪聲的速度響應(yīng)可用下式來(lái)表示：

式中：Y（t）為仿真得到的速度響應(yīng)；std（Y（t））為速度響應(yīng)Y（t）的標(biāo)準(zhǔn)差；lnoise為噪聲水平的百分?jǐn)?shù)；rand（-1，1）是區(qū)間-1，1的隨機(jī)數(shù)[12].

在速度響應(yīng)中加入15%的模擬噪聲，首先用傳統(tǒng)的Tikhonov正則化方法進(jìn)行載荷反求，以L曲線法確定最優(yōu)正則化參數(shù)，得到待求載荷，計(jì)算反求精度；再以此反求載荷，作為初始激勵(lì)載荷，用上述虛擬迭代方法修正載荷信號(hào)，進(jìn)行反求優(yōu)化，以達(dá)到精度要求；最后對(duì)比優(yōu)化前后載荷反求精度.

選用不同頻率、不同幅值周期正弦、正弦掃頻（10～100 Hz）、三角波以及隨機(jī)激勵(lì)等形式的激振力激振進(jìn)行載荷反求，反求結(jié)果如圖5-圖9所示.

由圖5-圖9可以看出，對(duì)不同形式的激勵(lì)，在一定噪聲水平情況下，傳統(tǒng)的L曲線法確定最優(yōu)參數(shù)的Tikhonov正則化方法能夠很好地抑制噪聲對(duì)反求結(jié)果的干擾，具有很強(qiáng)的穩(wěn)健性.但在載荷峰值處，反求誤差較大，反求整體精度受影響，這主要是由于正則化方法對(duì)反求載荷有平滑的作用，使得該方法在載荷峰值難以得到準(zhǔn)確的反求結(jié)果.Tikhonov正則化方法對(duì)這幾種載荷反求的加權(quán)誤差為8.0%左右.而本文提出的迭代Tikhonov正則化方法不僅能夠繼承傳統(tǒng)正則化方法反求結(jié)果穩(wěn)健性的優(yōu)點(diǎn)，同時(shí)還可以改善其在載荷峰值處反求結(jié)果，提高反求精度，反求結(jié)果加權(quán)誤差最低可降至2.0%.迭代Tikhonov正則化方法無(wú)論對(duì)確定信號(hào)還是隨機(jī)載荷激勵(lì)都有很好的反求精度，且對(duì)如圖9所示中的高頻載荷段迭代反求也有很高的精度.

3 結(jié) 論

本文在傳統(tǒng)Tikhonov正則化反求方法的基礎(chǔ)上，提出了一種新的迭代改進(jìn)方案.結(jié)合有限元算例和模型減縮技術(shù)，分別采用傳統(tǒng)Tikhonov方法和本文迭代方法對(duì)三角、正弦以及隨機(jī)載荷等激勵(lì)進(jìn)行載荷反求.結(jié)果表明：

1）本文提出的基于Tikhonov正則化迭代反求方法不僅能夠繼承傳統(tǒng)Tikhonov正則化反求法有效抑制噪聲的特點(diǎn)，同時(shí)還可以提高其在峰值載荷處的反求精度，整體反求精度高；

2）應(yīng)用模型減縮技術(shù)可以提高動(dòng)響應(yīng)求解效率，有助于載荷反求迭代過(guò)程的開(kāi)展，最終又快又好的求得激勵(lì)載荷.

參考文獻(xiàn)

[1] MARCHUK G I. Methods of numerical mathematics[M]. Berlin： Springer-Verlag， 1975： 16-18.

[2] O興盛，劉杰，丁飛，等.基于矩陣攝動(dòng)的隨機(jī)結(jié)構(gòu)動(dòng)態(tài)載荷識(shí)別技術(shù)[J].機(jī)械工程學(xué)報(bào)，2014， 50（13）：148-156.

SUN Xingcheng， LIU Jie， DING Fei， et al. Identification method of dynamic loads for stochastic structures based on matrix perturbation theory[J]. Journal of Mechanical Engineering， 2014， 50（13）： 148-156.（In Chinese）

[3] 彭凡，馬慶鎮(zhèn)，肖健，等.整體平動(dòng)自由結(jié)構(gòu)載荷時(shí)域識(shí)別技術(shù)研究[J].振動(dòng)與沖擊，2016， 35（6）：91-95.

PENG Fan， MA Qingzhen， XIAO Jian， et al. Load identification technique in time domain for free structures with overall translation[J]. Journal of Vibration and Shock， 2016， 35（6）： 91-95.（In Chinese）

[4] SANCHEZ J， BENAROYA H. Review of force reconstruction techniques[J]. Journal of Sound and Vibration， 2014， 333（14）： 2999-3018.

[5] 胡寅寅，率志君，李玩幽，等.設(shè)備載荷識(shí)別與激勵(lì)源特性的研究現(xiàn)狀[J].噪聲與振動(dòng)控制，2011（4）：1-5.

HU Yinyin， LV Zhijun， LI Wanyou， et al. Status QUO of study on machine，s load identification technique[J]. Noise and Vibration Control， 2011（4）： 1-5.（In Chinese）

[6] 劉杰，許燦，李凡，等.基于λ-PDF 和一次二階矩的不確定性反求方法[J].機(jī)械工程學(xué)報(bào)，2015， 51（20）：135-143.

LIU Jie， XU Can， LI Fan， et al. Uncertain inverse method based on λ-PDF and first order second moment[J]. Journal of Mechanical Engineering， 2015， 51（20）： 135-143.（In Chinese）

[7] 莫旭輝，韓旭，鐘志華.基于漸近神經(jīng)網(wǎng)絡(luò)的汽車(chē)前輪定位參數(shù)反求[J].湖南大學(xué)學(xué)報(bào)：自然科學(xué)版，2008， 35（6）：18-22.

MO Xuhui， HAN Xu， ZHONG Zhihua. Identification of front wheel alignment based on the progressive neutral NETW ORK method[J]. Journal of Hunan University：Natural Sciences， 2008， 35（6）： 18-22.（In Chinese）

[8] KIM Y C， NELSON P A. Optimal regularisation for acoustic source reconstruction by inverse methods[J]. Journal of Sound and Vibration， 2004， 275（3）： 463-487.

[9] CHOI H G， THITE A N， THOMPSON D J. Comparison of methods for parameter selection in Tikhonov regularization with application to inverse force determination[J]. Journal of Sound and Vibration， 2007， 304（3/5）： 894-917.

[10]CHOI H G， THITE A N， THOMPSON D J. A threshold for the use of Tikhonov regularization in inverse force determination[J]. Applied Acoustics， 2006， 67（7）： 700-719.

[11]張磊，曹越云.總體最小二乘正則化算法的載荷識(shí)別[J].振動(dòng)與沖擊，2014， 33（9）：159-164.

ZHANG Lei， CAO Yueyun. Load identification using CG-TLS regulariztion algorithm[J]. Journal of Vibration and Shock， 2014， 33（9）： 159-164.（In Chinese）

[12]韓旭，劉杰.時(shí)域內(nèi)多源動(dòng)態(tài)載荷的一種計(jì)算反求技術(shù)[J].力學(xué)學(xué)報(bào)，2009， 41（4）：595-602.

HAN Xu， LIU Jie. A computational reverse technique for multi source dynamic loads in time domain[J]. ACTA Mechanica， 2009， 41（4）： 595-602.（In Chinese）

[13]常曉通，閻云聚.基于Green函數(shù)和正則化的動(dòng)態(tài)載荷識(shí)別方法[J].振動(dòng)、測(cè)試與診斷，2014， 34（1）：124-129.

CHANG Xiaotong， YAN Yunju. Dynamic load identification method based on Green function and regularization[J]. Journal of Vibration，Measurement & Diagnosis， 2014， 34（1）： 124-129.（In Chinese）

[14]郭s，房懷慶.基于Tikhonov正則化及奇異值分解的載荷識(shí)別方法[J].振動(dòng)與沖擊，2014， 33（6）：53-58.

GUO Rong， FANG Huaiqing. Novel load identification method based on the combination of Tikhonov regularization and singular value decomposition[J]. Journal of Vibration and Shock， 2014， 33（6）： 53-58.（In Chinese）

[15]HAY N C， ROBERTS D E. Road simulators： the iterative algorithm for drive file creation[C]//2006 SAE World Congress.Detroit， Michigan， 2006： 2006-2011.

[16]陳棟華，靳曉雄，周f.汽車(chē)室內(nèi)道路模擬試驗(yàn)系統(tǒng)控制算法的研究[J].噪聲與振動(dòng)控制，2006（1）：31-35.

CHEN Donghua， JIN Xiaoxiong， ZHOU Hong. Study on contorl algoirthm for vehicle road simulation test system[J]. Noise and Vibration Control， 2006（1）： 31-35.（In Chinese）

[17]杜永昌.車(chē)輛道路模擬試驗(yàn)迭代算法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2002， 33（2）：5-7.

DU Yongchang. Research on iteration algorithm used for vehicle road simulation[J]. Transactions of the Chinese Society of Agricultural Machinery， 2002， 33（2）： 5-7.（In Chinese）

[18]汪斌，過(guò)學(xué)迅，李孟良.基于迭代學(xué)習(xí)控制的道路模擬算法[J].汽車(chē)工程，2010， 32（8）：686-689.

WANG Bin， GUO Xuexun， LI Mengliang. Road simulation algorithn based on iterative leaming control[J]. Automotive Engineering， 2010， 32（8）： 686-689.（In Chinese）

[19]O'CALLAHAN J C. A procedure for an improved reduced system （IRS） model[C]//Proceedings of the 7th International Modal Analysis.Las Vegas： Union College Press， 1989： 17-21.

第9篇：卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)范文

獨(dú)立分量分析(ICA)是統(tǒng)計(jì)信號(hào)處理近年來(lái)的一項(xiàng)發(fā)展。顧名思義,這是一種分解技術(shù),其特點(diǎn)是把信號(hào)分解成若干相互獨(dú)立的成分。主分量分析(PCA)和奇異值分解(SVD)是人們較熟悉的分解信號(hào)的線性代數(shù)方法,ICA與它們的主要不同之處表現(xiàn)在:

(1)后者只要求分解出來(lái)的各分量互相正交(不相關(guān)),但并不要求它們互相獨(dú)立。用統(tǒng)計(jì)信號(hào)處理的語(yǔ)言來(lái)表達(dá),即:后者只考慮二階統(tǒng)計(jì)特性,而前者則要更全面考慮其概率密度函數(shù)的統(tǒng)計(jì)獨(dú)立性。

(2)后者按能量大小排序來(lái)考慮被分解分量的重要性。這樣的分解雖然在數(shù)據(jù)壓縮和去除弱噪聲方面有其優(yōu)點(diǎn),但分解結(jié)果往往缺乏明確的生理意義。前者雖然分解出的分量其能量大小存在不確定性,但當(dāng)測(cè)量值確實(shí)是由若干獨(dú)立信源混合而成時(shí),分解結(jié)果往往具有更好的生理解釋。由于測(cè)得的生理信號(hào)往往是若干獨(dú)立成分的加權(quán)迭加(例如,誘發(fā)腦電總是被自發(fā)腦電所淹沒(méi),而且常伴隨有心電、眼動(dòng)、頭皮肌電等干擾),此ICA是一項(xiàng)值得注意的分解方法。

此外,神經(jīng)生理研究認(rèn)為,人類(lèi)對(duì)認(rèn)知、感知信息的前期處理有“去冗余”的特點(diǎn)。ICA在這方面也表現(xiàn)出類(lèi)似特性,因?yàn)榛ハ嗒?dú)立的分量之間互信息是最少的。ICA是伴隨著盲信號(hào)處理,特別是盲信源分離發(fā)展起來(lái)。其研究熱潮方興未艾,也正在引起生物醫(yī)學(xué)工程界的注意,IEEETransBME正在組織出版以它為重點(diǎn)的專(zhuān)輯。就國(guó)際范圍看,以下幾個(gè)研究單位目前工作比較領(lǐng)先:(1)美國(guó)加州大學(xué)生物系計(jì)算神經(jīng)生物學(xué)實(shí)驗(yàn)室,(2)日本Riken腦科學(xué)研究所腦信息研究室,(3)芬蘭赫爾辛基工業(yè)大學(xué)計(jì)算機(jī)及信息科學(xué)實(shí)驗(yàn)室,目前發(fā)表有關(guān)文獻(xiàn)較多的刊物有IEEETrans的SP和NN以及NeuralComputation等。本文目的是對(duì)ICA的原理、算法及應(yīng)用作一簡(jiǎn)述,以引起國(guó)內(nèi)同行對(duì)它的關(guān)注。將側(cè)重于概念說(shuō)明,而不追求數(shù)學(xué)上的嚴(yán)謹(jǐn)性。

2原理

2.1問(wèn)題的提法,s-(n)是一組互相獨(dú)立的信源,A是混合矩陣,x-(n)是觀察記錄,即x-(n)=As-(n)。問(wèn)題的任務(wù)是:在A陣未知且對(duì)s-(n)除獨(dú)立性外無(wú)其它先驗(yàn)知識(shí)的情況下,求解混矩陣B,使得處理結(jié)果y-(n)=Bx-(n)中各分量盡可能互相獨(dú)立,且逼近s(n)。容易理解,解答不是唯一的,它至少受以下條件的限制:(1)比例不定性:s-(n)中某一分量大K倍時(shí),只要使相應(yīng)的A陣系數(shù)減小K倍,x-(n)便保持不變。

因此,求解時(shí)往往把s-(n)假設(shè)成具有單位協(xié)方差陣,即s-中各分量均值為零,方差為1,且互相獨(dú)立。(2)排序不定性:y-與s-中各分量排序可以不同。因?yàn)橹灰獙?duì)調(diào)B陣中任意兩行,y-中相應(yīng)元素的位置也便對(duì)調(diào)。(3)s-(n)中至多只能有一個(gè)高斯型信源:這是因?yàn)楦咚剐旁吹木€性組合仍是高斯型的,因此混合后便無(wú)法再區(qū)別。(4)信源數(shù)目N只能小于或等于觀測(cè)通道數(shù)M。N>M情況目前尚未解決。以下討論設(shè)M=N。因此,y-(n)只是在上述條件下對(duì)s-(n)的逼近。換名話(huà)說(shuō),任務(wù)的實(shí)質(zhì)是優(yōu)化問(wèn)題,它包括兩個(gè)主要方面:優(yōu)化判據(jù)(目標(biāo)函數(shù))和尋優(yōu)算法。

2.2目標(biāo)函數(shù)

這一領(lǐng)域的研究者已經(jīng)從不同角度提出了多種判據(jù)。其中以互信息極小判據(jù)(MinimizationofMutualInformation,簡(jiǎn)記MMI)和信息或熵極大判據(jù)(Informax或MaximizationofEntropy,簡(jiǎn)記ME)應(yīng)用最廣。由于最基本的獨(dú)立性判據(jù)應(yīng)由概率密度函數(shù)(probabilitydensityfunction,簡(jiǎn)記pdf)引出,而工作時(shí)pdf一般是未知的,估計(jì)它又比較困難,因此通常采用一些途徑繞過(guò)這一困難。

常用的方法有兩類(lèi):①把pdf作級(jí)數(shù)展開(kāi),從而把對(duì)pdf的估計(jì)轉(zhuǎn)化為對(duì)高階統(tǒng)計(jì)量的估計(jì);②在圖1的輸出端引入非線性環(huán)節(jié)來(lái)建立優(yōu)化判據(jù)。后一作法實(shí)際上隱含地引入了高階統(tǒng)計(jì)量。(1)互信息極小判據(jù):統(tǒng)計(jì)獨(dú)立性的最基本判據(jù)如下:令p(y-)是y-的聯(lián)合概率密度函數(shù),pi(yi)是y-中各分量的邊際概率密度函數(shù)。當(dāng)且僅當(dāng)y-中各分量獨(dú)立時(shí)有:p(y-)=∏Ni=1pi(yi)因此用p(y-)與∏i=1pi(yi)間的Kullback-Leibler散度作為獨(dú)立程度的定量度量:I(y-)=KL[p(y-),∏Ni=1pi(yi)]=∫p(y-)log[p(y-)∏Ni=1pi(yi)]dy-(1)顯然,I(y-)0,當(dāng)且僅當(dāng)各分量獨(dú)立時(shí)I(y-)=0。因此,互信息極小判據(jù)的直接形式是:在y-=Bx-條件下尋找B,使(1)式的I(y-)極小為了使判據(jù)實(shí)際可用,需要把I(y-)中有關(guān)的pdf展成級(jí)數(shù)。

由于在協(xié)方差相等的概率分布中高斯分布的熵值最大,因此展開(kāi)時(shí)常用同協(xié)方差的高斯分布作為參考標(biāo)準(zhǔn)。例如,采用Gram-Charlier展開(kāi)時(shí)有:P(yi)PG(yi)=1+13!k2yih3(y-i)+14!k4yih4(yi)+…式中PG(yi)是與P(yi)具有同樣方差(σ2=1)和均值(μ=0)的高斯分布。k3yi、k4yi是yi的三、四階累計(jì)量(cumulant),hn(yi)是n階Hermit多項(xiàng)式。此外還有許多其他展開(kāi)辦法,如Edgeworth展開(kāi),利用負(fù)熵(Negentropy)等。不論采用何種展開(kāi)方式,經(jīng)推導(dǎo)后總可把式(1)近似改成k3、k4的函數(shù):I(y)=F(k3y-,k4y-,B)(1)’F(·)的具體形式多種多樣,視推導(dǎo)時(shí)的假設(shè)而異。

這樣就得到互信息判據(jù)的實(shí)用近似形式:在y-=Bx-條件下尋找B,使式(1)的I(y-)極小(2)Infomax判據(jù):這一判據(jù)的特點(diǎn)是在輸出端逐分量地引入一個(gè)合適的非線性環(huán)節(jié)把yi轉(zhuǎn)成ri(如圖2)。可以證明,如果gi(·)取為對(duì)應(yīng)信源的累積分布函數(shù)cdf(它也就是概率密度函數(shù)的積分),則使r-=(r1…rN)T的熵極大等效于使I(y-)極小,因此也可達(dá)使y-中各分量獨(dú)立的要求。從而得到Infomax判據(jù):在選定適當(dāng)gi(·)后,尋找B使熵H(r-)極大需要指出的是,雖然理論上gi(·)應(yīng)取為各信源的cdf,但實(shí)踐證明此要求并不很?chē)?yán)格,有些取值在0～1之間的單調(diào)升函數(shù)也可以被采用,如sigmoid函數(shù)、tanh(·)等。估計(jì)H(r-)固然也涉及pdf,但由于其作用已通過(guò)gi(·)引入,所以可以不必再作級(jí)數(shù)展開(kāi)而直接用自適應(yīng)選代尋優(yōu)步驟求解。文獻(xiàn)中還提出了一些其他判據(jù),如極大似然、非線性PCA等,但它們本質(zhì)上都可統(tǒng)一在信息論的框架下,所以不再一一列舉[1]。

3處理算法優(yōu)化算法

可大致分為兩類(lèi),即批處理與自適應(yīng)處理。

3.1批處理批處理比較成熟的方法有兩類(lèi)。較早提出的是成對(duì)旋轉(zhuǎn)法[2],其特點(diǎn)是把優(yōu)化過(guò)程分解成兩步。先把x-(n)經(jīng)W陣加以“球化”得z-(n),使z-(n)T=IN,即:各分量不相關(guān)且方差為1,然后再尋找合適的正交歸一陣U達(dá)到使y-各分量獨(dú)立的目的。前一步類(lèi)似于PCA,后一步則可利用Givens旋轉(zhuǎn),根據(jù)目標(biāo)函數(shù),將z-中各分量?jī)蓛沙蓪?duì)反復(fù)旋轉(zhuǎn)直到收斂。這種方法計(jì)算量較大。1999年,Gadoso提出幾種方法對(duì)它作了進(jìn)一步改進(jìn)[3],其中包括:Maxkurt法、JADE法、SHIBBS法等,限于篇幅,本文不再敘述。近年來(lái),提出的另一類(lèi)方法是所謂“固定點(diǎn)”法(FixedPointMethod)[4,5],其思路雖來(lái)源于自適應(yīng)處理,但最終算法屬于批處理。

簡(jiǎn)單地說(shuō),通過(guò)隨機(jī)梯度法調(diào)節(jié)B陣來(lái)達(dá)到優(yōu)化目標(biāo)時(shí),有:B(k+1)=B(k)+ΔB(k)ΔB(k)=-μεkB(k)式中k是選代序號(hào),εk是瞬時(shí)目標(biāo)函數(shù)。當(dāng)?shù)竭_(dá)穩(wěn)態(tài)時(shí)必有[E是總集均值算子]:E[ΔB(k)]=0(2)如果ΔB(k)與B(k)有關(guān),就可由(2)式解出B的穩(wěn)態(tài)值。不過(guò)由于(2)式總是非線性方程,因此求解時(shí)仍需要采用數(shù)值方法(如牛頓法、共軛梯度法等)迭代求解。實(shí)踐證明,不論是收斂速度還是計(jì)算量,此法均優(yōu)于前一種方法,而且它還可以根據(jù)需要逐次提取最關(guān)心的yi,因此是一類(lèi)值得注意的方法。

3.2結(jié)合神經(jīng)網(wǎng)絡(luò)的自適應(yīng)處理結(jié)合神經(jīng)網(wǎng)絡(luò)的自適應(yīng)處理算法的框圖。1994年Cichocki提出的調(diào)節(jié)算法是:B(k+1)=B(k)+ΔB(k)ΔB(k)=μk[I-Ψ(y-k)ΦT(y-k)]B(k)式中Ψ、Φ都是N維矢量,其各元素都是單調(diào)升的非線性函數(shù):Ψ(yk)=sgnyk·y2k,ΦTy-k=3tanh(10yk)所得結(jié)果雖令人鼓舞,但是方法是經(jīng)驗(yàn)性的。其后學(xué)者們從理論上沿著這一方向作了更深入的討論,并發(fā)展出多種算法。概括地說(shuō),主要發(fā)展有以下幾點(diǎn):

(1)引入自然梯度(或相對(duì)梯度)。按照最陡下降的隨機(jī)梯度法推導(dǎo)出的系數(shù)調(diào)節(jié)公式往往具有如下一般形式:ΔB(k)=μk[B-T(k)-Ψ(y-k)x-Tk]式中的Ψ(y-k)視具體算法而異。Infomax法中Ψ(·)由所選用的g(·)決定;MMI法中則與yk的三、四階矩有關(guān)。B-T(k)是矩陣求逆再轉(zhuǎn)置,它的計(jì)算量很大。Amari[7]在1998年提出將最陡下降梯度改為“自然梯度”,兩者間關(guān)系是:[自然梯度]=[最陡下降梯度]·BT(k)B(k)于是有:ΔB(k)=μk[B-T(k)-Ψ(y-k)x-Tk]BT(k)B(k)=μk[I-Ψ(y-k)y-Tk]B(k)由于此式避免了矩陣求逆,因此計(jì)算量明顯降低且收斂加快。目前,這一作法已被普遍接受。

(2)引入自然梯度后,采用不同的優(yōu)化判據(jù)得出的調(diào)節(jié)公式雖各有千秋,但大致都可表示為如下的“串行更新”形式:B(k+1)=B(k)+ΔB(k)=[I+H(y-k)]B(k)只是H(y-k)的具體形式各不相同。串行矩陣更新的算法還具有一些理論上值得注意的性質(zhì),如均勻特性(uniformproperty)和等變性(equivariant)等[8,9]。

(3)四階累計(jì)量k4>0的超高斯信號(hào)和k4<0的欠高斯信號(hào),其處理過(guò)程應(yīng)當(dāng)予以區(qū)別。采用同一算法效果往往不好。目前的辦法多是在調(diào)節(jié)公式中引入一個(gè)開(kāi)關(guān)。根據(jù)估計(jì)得k4的符號(hào)來(lái)切換不同算法,如擴(kuò)展的Infomax法就是一例[10]。此法的系數(shù)調(diào)節(jié)公式是:ΔB(k)=μk[I-Ktanh(y-k)·y-Tk-y-ky-Tk]B(k)其中K是對(duì)角陣,其對(duì)角元素之值為+1或-1,視該信號(hào)分量k4>0或<0而定。為了實(shí)時(shí)應(yīng)用,估計(jì)K4也可采用遞歸算法?？傊?自適應(yīng)算法是目前采用較廣的方法。

4應(yīng)用舉例

4.1仿真計(jì)算為檢驗(yàn)經(jīng)ICA算法分解信源的能力,左圖是一組源信號(hào),它們對(duì)系統(tǒng)來(lái)說(shuō)是未知的。這一組信號(hào)經(jīng)混合后的觀察信號(hào)作為(中圖所示)ICA算法的輸入,分解后的結(jié)果如右圖所示?？梢钥吹?除了波形的次序、極性和波幅發(fā)生變化之外,源信號(hào)的波形被很好地分解出來(lái)。一般情況下,臨床腦電信號(hào)中既有超高斯成分(如誘發(fā)電位),也有亞高斯成分(如肌電和工頻干擾)。為了檢驗(yàn)擴(kuò)展Infomax算法處理這類(lèi)情況的能力,我們又用此法進(jìn)行了如圖6所示仿真實(shí)驗(yàn)。左圖第一行是一段自發(fā)腦電信號(hào),第二行是仿真的視覺(jué)誘發(fā)電位,第三行是肌電干擾?；旌虾蟮男盘?hào)(圖中第二列所示)經(jīng)ICA分解得到如右圖所示的結(jié)果。這一結(jié)果表明擴(kuò)展ICA算法在同時(shí)存在超高斯和亞高斯信號(hào)的情況下,仍然能夠很好地實(shí)現(xiàn)盲分解。但應(yīng)指出:這一仿真結(jié)果并不說(shuō)明通過(guò)ICA分解就能直接得到視覺(jué)誘發(fā)電位,因?yàn)檫€沒(méi)有涉及頭皮上的多導(dǎo)數(shù)據(jù)。

4.2實(shí)驗(yàn)VEP分析(1)多導(dǎo)腦電觀察中VEP的增強(qiáng):需要強(qiáng)調(diào),把多導(dǎo)腦電作ICA分解后直接取出其中與VEP有關(guān)的成分,得到的并不是頭皮電極處的VEP分量,因?yàn)樗鼈冎皇欠纸獬鰜?lái)的信源,而這些信源的位置并不在頭皮上,為了得到電極處測(cè)量值中的VEP成分,需按下述步驟處理:用訓(xùn)練得的W陣直接對(duì)頭皮上取得的多導(dǎo)腦電數(shù)據(jù)進(jìn)行ICA分解,得到各獨(dú)立分量組成的矩恥y=Bx(見(jiàn)圖7a);再根據(jù)各分量的波形特征及產(chǎn)生時(shí)段,選擇與VEP有關(guān)的一部分分量(例如在前300ms中具有較大幅度的分量),并將其余分量置0,得到新的獨(dú)立分量矩陣y’;再反變換回頭皮各電極處得x’=B-1-y’。這樣才能得到去除噪聲和干擾后各電極處的VEP。

采用這樣的方法可顯著地減少提取VEP所需要的累加次數(shù)。左圖是經(jīng)3次累加所得VEP,中圖是經(jīng)50次累加所得結(jié)果,右圖則是用左圖經(jīng)圖7中ICA處理后提取的VEP。比較中、右兩圖,兩者波形趨勢(shì)基本相同,但后者比前者其主要峰、谷顯然更清楚,而累加次數(shù)由50減到3。(2)ICA分量的空間模式:把某一個(gè)ICA分量的瞬時(shí)值經(jīng)B-1逆推回頭皮各電極處得x-’后,就可以按斷層圖的插補(bǔ)方法得到該時(shí)該分量在頭皮上的空間分布模式。這個(gè)空間分布模式也可以用更簡(jiǎn)單辦法得到:只要把逆矩陣B-1中相應(yīng)于某ICA分量的列中各元素的值賦與頭皮各電極處,再作斷層圖插值,就可以表現(xiàn)該ICA分量在任意時(shí)刻的空間分布模式。也就是:x’i(t)=b’ijy’j(t),i=1～N式中b’ij是B-1的第i行第j列元素。

可見(jiàn)ICA分量y’j(t)在頭皮各電極處的對(duì)應(yīng)值等于用逆陣B-1第j列各元素來(lái)對(duì)y’j(t)加權(quán)。因此,列矢量b’j=[b’1,…,b’Nj]可以用來(lái)統(tǒng)一地表現(xiàn)任意時(shí)刻y’j的空間模式。

5總結(jié)與展望

本文粗略介紹了ICA的原理、算法和應(yīng)用,可以看到ICA確是一個(gè)值得注意的研究方向,但其理論體系尚未完整,實(shí)際采用的處理方法多少還帶有經(jīng)驗(yàn)性。例如為什么對(duì)非線性特性gi的要求不甚嚴(yán)格就沒(méi)有明確解釋;又如算法的穩(wěn)定性、收斂性在實(shí)踐中是經(jīng)常遇到的問(wèn)題。從應(yīng)用方面看也還有許多待開(kāi)發(fā)的領(lǐng)域,例如如何應(yīng)用于生理信號(hào)的模式識(shí)別與系統(tǒng)建模等。從生物醫(yī)學(xué)信號(hào)分析的角度看,還有一些亟待深入的問(wèn)題。例如:

(1)在以上分析中混合陣A被假設(shè)為恒定。這對(duì)靜態(tài)的圖像分析或固定信源是合理的;但在生理實(shí)際中,等效信源一般在空間并不固定,因而混合陣A應(yīng)視為時(shí)變的,而且傳導(dǎo)過(guò)程中還會(huì)引入容積導(dǎo)體的卷積及遲作用。這可能是實(shí)際生理信號(hào)分解結(jié)果不夠理想的原因之一。

(2)一般公認(rèn),生理信號(hào)的非平穩(wěn)性較強(qiáng),而以上分析并沒(méi)有考慮信號(hào)的非平穩(wěn)性。