前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)狀主題范文,僅供參考,歡迎閱讀并收藏。
關(guān)鍵詞:圖像復(fù)原;盲復(fù)原;逆濾波;神經(jīng)網(wǎng)絡(luò)復(fù)原
1 圖像退化及復(fù)原模型
1.1 圖像降質(zhì)的數(shù)學(xué)模型
圖像復(fù)原處理的關(guān)鍵問(wèn)題在于如何建立退化模型。假定輸入圖像f(x,y)經(jīng)過(guò)某個(gè)退化系統(tǒng)后輸出的是一幅退化的圖像。為了方便討論, 把噪聲引起的退化(即噪聲)對(duì)圖像的影響一般作為加性噪聲考慮,這也與許多實(shí)際應(yīng)用情況一致,如圖像數(shù)字化時(shí)的量化噪聲、隨機(jī)噪聲等就可以作為加性噪聲,即使不是加性噪聲而是乘性噪聲,也可以用對(duì)數(shù)方式將其轉(zhuǎn)化為相加形式。原始圖像f(x,y) 經(jīng)過(guò)一個(gè)退化算子或系統(tǒng)H(x,y) 的作用,然后和噪聲n(x,y)進(jìn)行疊加,形成退化后的圖像g(x,y)。圖像退化的過(guò)程可以用數(shù)學(xué)表達(dá)式寫成如下的形式:
g(x,y)=H[f(x,y)]+n(x,y)
n(x,y)是一種統(tǒng)計(jì)性質(zhì)的信息下圖表示退化過(guò)程的輸入和輸出的關(guān)系,其中H(x,y)包含了退化系統(tǒng)的物理過(guò)程,即所要尋找的退化數(shù)學(xué)模型。
1.2 圖像的退化恢復(fù)模型
數(shù)字圖像的圖像恢復(fù)問(wèn)題可以看作是:根據(jù)退化圖像g(x ,y)和退化算子H(x ,y)的形式,沿著逆向過(guò)程去求解原始圖像f(x ,y), 或者說(shuō)逆向地尋找原始圖像的最佳近似估計(jì)。
2 研究背景與意義
圖像復(fù)原是數(shù)字圖像處理技術(shù)的一個(gè)重要研究方向,在現(xiàn)實(shí)生活中,有著非常廣闊的應(yīng)用前景和市場(chǎng)。數(shù)字圖像處理研究很大部分是服務(wù)于數(shù)字圖像復(fù)原的,而運(yùn)動(dòng)模糊圖像的復(fù)原又是圖像復(fù)原中的重要課題之一,從六十年代起就有人研究它。初期研究的主要原因是對(duì)衛(wèi)星所拍攝的圖像進(jìn)行復(fù)原,因?yàn)樾l(wèi)星相對(duì)地球是運(yùn)動(dòng)的,所拍出的圖像是模糊的(當(dāng)然衛(wèi)星所拍攝圖像的模糊原因不僅僅是相對(duì)運(yùn)動(dòng)而造成的,還有其他原因如大氣湍流所造的模糊等等)。美國(guó)的噴氣推進(jìn)實(shí)驗(yàn)室(JPL)對(duì)徘徊者飛行器發(fā)回的月球照片進(jìn)行了圖像恢復(fù)處理。傳統(tǒng)的圖像恢復(fù)方法可以很好地恢復(fù)出來(lái)原始圖像,但是需要事先知道系統(tǒng)的先驗(yàn)知識(shí)(例如系統(tǒng)的點(diǎn)擴(kuò)散函數(shù))。在先驗(yàn)知識(shí)不足的情況下,如何恢復(fù)出來(lái)原始圖像?這就需要模糊圖像盲恢復(fù)技術(shù)。根據(jù)不同的應(yīng)用背景和先驗(yàn)知識(shí),大致可以兩種方法恢復(fù)兩種類型的模糊圖像,以滿足不同的應(yīng)用要求。
第一種方法:如何快速恢復(fù)模糊圖像,進(jìn)行適時(shí)性圖像處理?這個(gè)技術(shù)在實(shí)際生活中有著廣泛應(yīng)用。
第二種方法:如何在事先不能確定模糊系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的情況下,恢復(fù)模糊圖像,改善圖像的質(zhì)量,這就是圖像盲恢復(fù)的問(wèn)題。
3 國(guó)際國(guó)內(nèi)研究發(fā)展和現(xiàn)狀
從歷史上來(lái)看,數(shù)字圖像處理研究有很大部分是在圖像恢復(fù)方面進(jìn)行的,包括對(duì)算法的研究和針對(duì)特定問(wèn)題的圖像處理程序的編寫。數(shù)字圖像處理中很多值得注意的成就就是在這兩方面取得的。
在六十年代中期,去卷積(逆濾波)開(kāi)始被廣泛地應(yīng)用于數(shù)字圖像恢復(fù)。這一階段對(duì)模糊圖像的研究主要是把因相對(duì)運(yùn)動(dòng)而拍攝的模糊圖像復(fù)原過(guò)來(lái),從而增強(qiáng)人們的判讀能力。早期做圖像復(fù)原研究,主要強(qiáng)調(diào)盡可能使模糊圖像復(fù)原到原貌,增加它的判讀性,在此發(fā)展了很多的復(fù)原方法,諸如:差分復(fù)原、維納濾波等.這些方法各有特點(diǎn),較好的解決了運(yùn)動(dòng)模糊圖像的判讀問(wèn)題,但是在應(yīng)用上均有一定的限制。
雖然經(jīng)典的圖象復(fù)原方法不少,但歸納起來(lái)大致可分為逆濾波法,或稱相關(guān)變換法( inv ersefiltering or t ransfo rm related techniques) 和代數(shù)方法( alg ebraic techniques) 兩種。
3.1 傳統(tǒng)復(fù)原法
3.1.1 逆濾波方法
逆濾波法大致有經(jīng)典逆濾波法、維納濾波法、卡爾曼濾波法等. 其中,在傅立葉變換域,經(jīng)典逆濾波的變換函數(shù)是引起圖象失真的變換函數(shù)的逆變換,其雖在沒(méi)有噪聲的情況下,可產(chǎn)生精確的復(fù)原圖象,但在有噪聲時(shí),將對(duì)復(fù)原圖象產(chǎn)生嚴(yán)重的影響,雖然濾波函數(shù)經(jīng)過(guò)修改,有噪聲的圖象也能復(fù)原,但它僅適用于極高信噪比條件下的圖象復(fù)原問(wèn)題; 維納濾波法是通過(guò)選擇變換函數(shù),同時(shí)使用圖象和噪聲的統(tǒng)計(jì)信息來(lái)極小化均方復(fù)原誤差,這雖然在一定程度上克服了逆濾波法的缺點(diǎn),但是維納濾波法需要較多有關(guān)圖象的先驗(yàn)知識(shí),如需要對(duì)退化圖象進(jìn)行滿足廣義平穩(wěn)過(guò)程的假設(shè),還需要知道非退化圖象的相關(guān)函數(shù)或功率譜特性等等,而在實(shí)際應(yīng)用中,要獲得這些先驗(yàn)知識(shí)有較大的困難,為此,Ozkan 等人在研究圖象序列的復(fù)原問(wèn)題時(shí),提出了一種解決空間和時(shí)間相關(guān)性的多幀維納濾波法,是近年來(lái)維納濾波法的新發(fā)展; 卡爾曼濾波是一種遞歸濾波方法,其雖可用于非平穩(wěn)圖象的復(fù)原,但是因計(jì)算量過(guò)大,而限制了其實(shí)際應(yīng)用的效果。 Wu 和Kundu 又對(duì)卡爾曼濾波方法進(jìn)行了改進(jìn),不僅提高了速度,并考慮了應(yīng)用于非高斯噪聲的情況; Cit rin 和Azimi-Sadjadi 也對(duì)卡爾曼濾波方法進(jìn)行了改進(jìn),提出了塊卡爾曼濾波方法; Koch 等提出了擴(kuò)展卡爾曼濾波( extended Kalmam filter) 復(fù)原方法,該方法可以較好地復(fù)原模糊類型不相似的退化圖象.除了上述的逆濾波方法外,還有參數(shù)估計(jì)濾波法,它實(shí)質(zhì)上是維納濾波法的變種. 20 世紀(jì)90 年代初,又提出了基于遞歸圖象濾波的自適應(yīng)圖象復(fù)原方法及合成濾波方法,它代表了濾波方法新的發(fā)展方向. 1998 年Kundur 等人首先明確提出了遞歸逆濾波( recursiv e inv er se filter ing ) 算法 ,2000 年Chow 等人又進(jìn)行了改進(jìn),即在代價(jià)函數(shù)中增加了空間自適應(yīng)正則化項(xiàng),從而很好地抑制了噪聲,并減少了振鈴現(xiàn)象,較好實(shí)現(xiàn)了在低SNR 條件下的盲圖象復(fù)原. 2001 年,Eng 等人結(jié)合模糊集的概念,提出了自適應(yīng)的軟開(kāi)關(guān)中值濾波方法,它能在有效地去掉脈沖噪聲的同時(shí),很好地保存圖象的細(xì)節(jié),是一種值得重視的新的圖象復(fù)原方法。
3.1 2 代數(shù)方法
Andrews 和Hunt 提出了一種基于線性代數(shù)的圖象復(fù)原方法。這種方法可能比較適合那些相對(duì)于積分運(yùn)算,則更喜歡矩陣代數(shù),而相對(duì)于分析連續(xù)函數(shù),又更喜歡離散數(shù)學(xué)的人的口味。它為復(fù)原濾波器的數(shù)字計(jì)算提供了一個(gè)統(tǒng)一的設(shè)計(jì)思路。代數(shù)方法可分為偽逆法、奇異值分解偽逆法、維納估計(jì)法和約束圖象復(fù)原方法等。 其中,偽逆法,實(shí)質(zhì)上是根據(jù)圖象退化的向量空間模型來(lái)找到引起圖象退化的模糊矩陣,但由于模糊矩陣總是很大的,因此在計(jì)算上往往不可行; 而奇異值分解偽逆法則是利用矩陣可分解成特征矩陣系列的思想,將模糊矩陣進(jìn)行分解,由于簡(jiǎn)化了計(jì)算,從而有利于模糊矩陣的估計(jì)計(jì)算,但在有噪聲存在時(shí),經(jīng)常會(huì)出現(xiàn)不穩(wěn)定的現(xiàn)象; 維納估計(jì)法雖然考慮了噪聲的情況,但它僅適合噪聲是二維隨機(jī)過(guò)程,且已知其期望和協(xié)方差的情況。前面的方法僅把圖象看成是數(shù)字的陣列,然而一個(gè)好的復(fù)原圖象應(yīng)該在空間上是平滑的,其在幅度值上是正的,而約束圖象復(fù)原方法就是將這些因素作為約束條件,如基于維納估計(jì)法和回歸技術(shù)而提出的圖象復(fù)原方法就是一種約束圖象復(fù)原方法,而且通過(guò)選取不同的約束參數(shù)和回歸方法可以得到不同的圖象復(fù)原算法。傳統(tǒng)的圖象復(fù)原算法或面臨著高維方程的計(jì)算問(wèn)題,或要求恢復(fù)過(guò)程滿足廣義平穩(wěn)過(guò)程的假設(shè),這就是,使得具有廣泛應(yīng)用價(jià)值的圖象復(fù)原問(wèn)題沒(méi)有得到圓滿的解決的根本原因。
3.2 神經(jīng)網(wǎng)絡(luò)圖象復(fù)原的方法
神經(jīng)網(wǎng)絡(luò)圖象復(fù)原方法的發(fā)展方向自從神經(jīng)網(wǎng)絡(luò)圖象復(fù)原首次提出十多年來(lái),其研究在不斷地深入和發(fā)展,描述它的現(xiàn)狀已屬不易,展望它的未來(lái)更是困難,況且科學(xué)研究具有不確定性. 據(jù)筆者判斷,如下諸方面是亟待解決的問(wèn)題,或研究活動(dòng)已有向這些方面集中的趨勢(shì)。
3. 2.1小波神經(jīng)網(wǎng)絡(luò)用于圖象復(fù)原將是研究的重點(diǎn)
自1992 年Zhang 提出小波神經(jīng)網(wǎng)絡(luò)以來(lái),如今已提出了各種類型的小波網(wǎng)絡(luò),且小波與神經(jīng)網(wǎng)絡(luò)的結(jié)合成了一個(gè)十分活躍的研究領(lǐng)域。通過(guò)學(xué)者們的理論分析和模擬實(shí)驗(yàn)表明: 由于小波神經(jīng)網(wǎng)絡(luò)具有逼近能力強(qiáng)、可顯著降低神經(jīng)元的數(shù)目、網(wǎng)絡(luò)學(xué)習(xí)收斂的速度快、參數(shù)( 隱層結(jié)點(diǎn)數(shù)和權(quán)重) 的選取有理論指導(dǎo)、能有效避免局部最小值問(wèn)題等優(yōu)點(diǎn),因此將其用于圖象復(fù)原是一個(gè)值得研究的方向。將小波的時(shí)頻域局部性、多分辨性等性質(zhì),與神經(jīng)網(wǎng)絡(luò)的大規(guī)模并行性、自學(xué)習(xí)特性等優(yōu)點(diǎn)結(jié)合起來(lái),不僅將使用于圖象復(fù)原的小波神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)分辨性,也將使正則化參數(shù)的選取更具有自適應(yīng)能力. 最終使復(fù)原圖象既能保持圖象的細(xì)節(jié),又能很好地抑制圖象中的各種噪聲。
3.2.2細(xì)胞神經(jīng)網(wǎng)絡(luò)、BP 網(wǎng)絡(luò)、自組神經(jīng)網(wǎng)絡(luò)
值得進(jìn)一步研究細(xì)胞神經(jīng)網(wǎng)絡(luò)( CNN ) 由于其具有易于硬件實(shí)現(xiàn)的特點(diǎn),因而具有很強(qiáng)的商業(yè)價(jià)值,但由于其自身還有很不成熟的地方,因此值得深入地研究. 其研究方向有: 細(xì)胞神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)的進(jìn)一步完善及在此基礎(chǔ)上建立細(xì)胞神經(jīng)網(wǎng)絡(luò)中鄰域系統(tǒng)的概念; 與圖象數(shù)據(jù)局部相關(guān)性等概念結(jié)合起來(lái)研究,以建立新的圖象復(fù)原理論,形成新的圖象復(fù)原技術(shù)。BP 網(wǎng)絡(luò)對(duì)受污染或帶噪聲的訓(xùn)練樣本,不僅能進(jìn)行正確的映射,且與其純樣本仍相似。 正是BP 網(wǎng)絡(luò)的泛化能力強(qiáng),使它在解決圖象復(fù)原問(wèn)題時(shí),可能比其他神經(jīng)網(wǎng)絡(luò)具有更好的潛在性能。 將BP 網(wǎng)絡(luò)用于圖象復(fù)原是很值得進(jìn)一步研究的.大家知道,人腦的學(xué)習(xí)方式是“自主的”,即有自組織和自適應(yīng)的能力的,即人腦能在復(fù)雜、非平穩(wěn)和有“干擾”的環(huán)境及其變化的情況下,來(lái)調(diào)整自己的思維和觀念,還能根據(jù)對(duì)外界事物的觀察和學(xué)習(xí),找到其內(nèi)在的規(guī)律和本質(zhì)屬性,并能在一定的環(huán)境下,估計(jì)到可能出現(xiàn)的情況以及預(yù)期會(huì)遇到和感覺(jué)到的各種內(nèi)容及情況。 自組織神經(jīng)網(wǎng)絡(luò)(SONN) 正是基于人腦的這些功能而生成的,由于它具有能從輸入的數(shù)據(jù)中,揭示出它們之間內(nèi)在關(guān)系的能力,因此將其用于“盲圖象”的復(fù)原將是非常有利的。
3.2.3 需要提出更適合圖象復(fù)原的新神經(jīng)網(wǎng)絡(luò)模型
小波神經(jīng)網(wǎng)絡(luò)是為逼近任意非線性函數(shù)而提出來(lái)的,但為了圖象復(fù)原的需要,可考慮針對(duì)圖象復(fù)原的特殊情況,提出新的神經(jīng)網(wǎng)絡(luò)模型。 如,因?yàn)榇蠖鄶?shù)圖象是由平滑區(qū)域和輪廓細(xì)節(jié)組成的,其圖象數(shù)據(jù)在平滑區(qū)域雖具有較強(qiáng)的相關(guān)性,但與輪廓細(xì)節(jié)相鄰的數(shù)據(jù)應(yīng)極不相關(guān),所以,提出一種專用于圖象復(fù)原的“相關(guān)性神經(jīng)網(wǎng)絡(luò)模型”是必然的期待; 再有,因?yàn)槎囗?xiàng)式具有較廣的擬合性和較好的收斂性,所以應(yīng)提出的“多項(xiàng)式神經(jīng)網(wǎng)絡(luò)”,將它們用于圖象復(fù)原也是值得研究的。
3.2.4 神經(jīng)網(wǎng)絡(luò)與其他理論的結(jié)合
研究是尋求新模型、新方法的重要途徑目前神經(jīng)網(wǎng)絡(luò)的研究正由單純的神經(jīng)計(jì)算轉(zhuǎn)向計(jì)算智能,并結(jié)合腦科學(xué)的研究向生物智能方向發(fā)展。 為此,神經(jīng)網(wǎng)絡(luò)圖象復(fù)原的研究也應(yīng)考慮吸收模糊、分形、混沌、進(jìn)化計(jì)算、信息融合等交叉學(xué)科的研究成果。 與模糊系統(tǒng)的結(jié)合將是一個(gè)重要的研究方向,因?yàn)?,神?jīng)網(wǎng)絡(luò)與模糊系統(tǒng)有如下很多的相同之處: ( 1) 它們?cè)谔幚砗徒鉀Q問(wèn)題時(shí),無(wú)需建立對(duì)象的精確數(shù)學(xué)模型,而只需要根據(jù)輸入的采樣數(shù)據(jù)去估計(jì)其要求的決策; ( 2) 在對(duì)信息的加工處理過(guò)程中,均表現(xiàn)出了很強(qiáng)的容錯(cuò)能力; ( 3) 它們都可以用硬件來(lái)實(shí)現(xiàn). 由此可見(jiàn),將神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)結(jié)合,用于圖象復(fù)原將是有意義的研究工作。
4 未來(lái)展望
圖像恢復(fù)發(fā)展到現(xiàn)在,已經(jīng)有了許多成熟的算法,但是還是存在許多問(wèn)題,等待著我們?nèi)ソ鉀Q。目前圖像恢復(fù)的最新發(fā)展有:
1. 非穩(wěn)圖像復(fù)原,即空間可變圖像復(fù)原。
2. 退化視頻信號(hào)的復(fù)原問(wèn)題,以及攝像機(jī)拍照?qǐng)D像復(fù)原,這是一個(gè)需要進(jìn)一步研究的領(lǐng)域。
3. 運(yùn)動(dòng)補(bǔ)償時(shí)空復(fù)原濾波,同時(shí)將時(shí)間相關(guān)應(yīng)用到運(yùn)動(dòng)補(bǔ)償中。
4. “Telemedicine“的出現(xiàn),遠(yuǎn)程診斷極大的依賴于遠(yuǎn)程接受的圖像質(zhì)量,圖像恢復(fù)在醫(yī)學(xué)領(lǐng)域中有相當(dāng)重要的作用。
5. 模糊 PSF 的 Identification 仍然是一個(gè)困難的問(wèn)題,尤其在空間可變的 PSF 的估計(jì)中。
6. 空間可變恢復(fù)方法,可以利用 Wavelets 和 Markov 隨機(jī)場(chǎng)等方法進(jìn)行復(fù)圖像恢復(fù),這是一個(gè)具有發(fā)展?jié)摿Φ难芯糠较颉?/p>
參考文獻(xiàn)
1 馮久超,黃海東. 基于神經(jīng)網(wǎng)絡(luò)的盲圖象恢復(fù)[ J ] . 計(jì)算機(jī)科學(xué),2000,27( 1) : 67~68.
2 Er ler K,Jernigan E. Adaptive image restorat ion using recursive image f ilters [ J ] . IEE E Trans actions on Signal Process ing,1994,42( 7) : 1877~1881.
關(guān)鍵詞:圖像分割 閾值分割 遺傳算法 小波變換
中圖分類號(hào):TP391 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1002-2422(2010)02-0001-03
圖像分割是按照一定的規(guī)則把圖像劃分成若干個(gè)互不相交、具有一定性質(zhì)的區(qū)域,把人們關(guān)注的部分從圖像中提取出來(lái),進(jìn)一步加以研究分析和處理。圖像分割的結(jié)果是圖像特征提取和識(shí)別等圖像理解的基礎(chǔ),對(duì)圖像分割的研究一直是數(shù)字圖像處理技術(shù)研究中的熱點(diǎn)和焦點(diǎn)。圖像分割使得其后的圖像分析,識(shí)別等高級(jí)處理階段所要處理的數(shù)據(jù)量大大減少,同時(shí)又保留有關(guān)圖像結(jié)構(gòu)特征的信息。圖像分割在不同的領(lǐng)域也有其它名稱,如目標(biāo)輪廓技術(shù)、目標(biāo)檢測(cè)技術(shù)、閾值化技術(shù)、目標(biāo)跟蹤技術(shù)等,這些技術(shù)本身或其核心實(shí)際上也就是圖像分割技術(shù)。
1 經(jīng)典圖像分割方法
1,1閾值分割方法
閾值分割是常見(jiàn)的直接對(duì)圖像進(jìn)行分割的算法,根據(jù)圖像像素的灰度值的不同而定。對(duì)應(yīng)單一目標(biāo)圖像,只需選取一個(gè)閾值,即可將圖像分為目標(biāo)和背景兩大類,這個(gè)稱為單閾值分割:如果目標(biāo)圖像復(fù)雜,選取多個(gè)閾值,才能將圖像中的目標(biāo)區(qū)域和背景被分割成多個(gè),這個(gè)稱為多閾值分割,此時(shí)還需要區(qū)分檢測(cè)結(jié)果中的圖像目標(biāo),對(duì)各個(gè)圖像目標(biāo)區(qū)域進(jìn)行唯一的標(biāo)識(shí)進(jìn)行區(qū)分。閾值分割的顯著優(yōu)點(diǎn),成本低廉,實(shí)現(xiàn)簡(jiǎn)單。當(dāng)目標(biāo)和背景區(qū)域的像素灰度值或其它特征存在明顯差異的情況下,該算法能非常有效地實(shí)現(xiàn)對(duì)圖像的分割。閩值分割方法的關(guān)鍵是如何取得一個(gè)合適的閾值,近年來(lái)的方法有:用最大相關(guān)性原則選擇閾值的方法、基于圖像拓?fù)浞€(wěn)定狀態(tài)的方法、灰度共生矩陣方法、最大熵法和谷值分析法等,更多的情況下,閾值的選擇會(huì)綜合運(yùn)用兩種或兩種以上的方法,這也是圖像分割發(fā)展的一個(gè)趨勢(shì)。
1,2基于邊緣的圖像分割方法
邊緣總是以強(qiáng)度突變的形式出現(xiàn),可以定義為圖像局部特性的不連續(xù)性,如灰度的突變、紋理結(jié)構(gòu)的突變等。邊緣常常意味著一個(gè)區(qū)域的終結(jié)和另一個(gè)區(qū)域的開(kāi)始。對(duì)于邊緣的檢測(cè)常常借助空間微分算子進(jìn)行,通過(guò)將其模板與圖像卷積完成。兩個(gè)具有不同灰度值的相鄰區(qū)域之間總存在灰度邊緣,而這正是灰度值不連續(xù)的結(jié)果,這種不連續(xù)可以利用求一階和二階導(dǎo)數(shù)檢測(cè)到。當(dāng)今的邊緣檢測(cè)方法中,主要有一次微分、二次微分和模板操作等。這些邊緣檢測(cè)器對(duì)邊緣灰度值過(guò)渡比較尖銳且噪聲較小等不太復(fù)雜的圖像可以取得較好的效果。但對(duì)于邊緣復(fù)雜的圖像效果不太理想,如邊緣模糊、邊緣丟失、邊緣不連續(xù)等。噪聲的存在使基于導(dǎo)數(shù)的邊緣檢測(cè)方法效果明顯降低,在噪聲較大的情況下所用的邊緣檢測(cè)算子通常都是先對(duì)圖像進(jìn)行適當(dāng)?shù)钠交种圃肼暎缓笄髮?dǎo)數(shù),或者對(duì)圖像進(jìn)行局部擬合,再用擬合光滑函數(shù)的導(dǎo)數(shù)來(lái)代替直接的數(shù)值導(dǎo)數(shù),如Mart算子、canny算子等。在未來(lái)的研究中,用于提取初始邊緣點(diǎn)的自適應(yīng)閾值選取、用于圖像層次分割的更大區(qū)域的選取以及如何確認(rèn)重要邊緣以去除假邊緣將變的非常重要。
1,3基于函數(shù)優(yōu)化的分割方法
此方法是圖像分割中另一大類常用的方法。其基本思路是給出一個(gè)目標(biāo)函數(shù),通過(guò)該目標(biāo)函數(shù)的極大化或極小化來(lái)分割圖像。GA.Hewer等人提出了一個(gè)具有廣泛意義的目標(biāo)函數(shù)。統(tǒng)計(jì)學(xué)分割方法、結(jié)合區(qū)域與邊緣信息的方法、基于貝葉斯公式的分割方法等是目前幾種活躍的函數(shù)優(yōu)化方法。
統(tǒng)計(jì)學(xué)分割方法是把圖像中各個(gè)像素點(diǎn)的灰度值看作是具有一定概率分布的隨機(jī)變量,且觀察到的實(shí)際物體是作了某種變換并加入噪聲的結(jié)果。統(tǒng)計(jì)學(xué)分割方法包括基于馬爾科夫隨機(jī)場(chǎng)方法、標(biāo)號(hào)法、混合分布法等。
區(qū)域增長(zhǎng)法和分裂合并法是基于區(qū)域信息的圖像分割的主要方法。區(qū)域增長(zhǎng)有兩種方式,一種是先將圖像分割成很多的一致性較強(qiáng)的小區(qū)域,再按一定的規(guī)則將小區(qū)域融合成大區(qū)域,達(dá)到分割圖像的目的。另一種實(shí)現(xiàn)是給定圖像中要分割目標(biāo)的一個(gè)種子區(qū)域,再在種子區(qū)域基礎(chǔ)上將周圍的像素點(diǎn)以一定的規(guī)則加入其中,最終達(dá)到目標(biāo)與背景分離的目的;分裂合并法對(duì)圖像的分割是按區(qū)域生長(zhǎng)法沿相反方向進(jìn)行的,無(wú)需設(shè)置種子點(diǎn)。其基本思想是給定相似測(cè)度和同質(zhì)測(cè)度。從整幅圖像開(kāi)始,如果區(qū)域不滿足同質(zhì)測(cè)度,則分裂成任意大小的不重疊子區(qū)域,如果兩個(gè)鄰域的子區(qū)域滿足相似測(cè)度則合并。
2 結(jié)合特定工具的圖像分割算法
雖然圖像分割目前尚無(wú)通用的理論,但是近年來(lái)大量學(xué)者致力于將新概念、新方法應(yīng)用于圖像分割,結(jié)合特定理論的圖像分割方法在圖像分割方面取得了較好的應(yīng)用效果。如小波分析和小波變換、神經(jīng)網(wǎng)絡(luò)、遺傳算法等數(shù)學(xué)工具的利用,有效地改善了分割效果。
2,1基于遺傳算法的圖像分割
遺傳算法是模擬自然界生物進(jìn)化過(guò)程與機(jī)制求解問(wèn)題的一類自組織與自適應(yīng)的人工智能技術(shù)。對(duì)此,科學(xué)家們進(jìn)行了大量的研究工作,并成功地運(yùn)用于各種類型的優(yōu)化問(wèn)題,在分割復(fù)雜的圖像時(shí),人們往往采用多參量進(jìn)行信息融合,在多參量參與的最優(yōu)值求取過(guò)程中,優(yōu)化計(jì)算是最重要的,把自然進(jìn)化的特征應(yīng)用到計(jì)算機(jī)算法中,將能解決很多問(wèn)題。遺傳算法的出現(xiàn)為解決這類問(wèn)題提供了新而有效的方法,不僅可以得到全局最優(yōu)解,而且大量縮短了計(jì)算時(shí)間。王月蘭等人提出的基于信息融合技術(shù)的彩色圖像分割方法,該方法應(yīng)用剝殼技術(shù)將問(wèn)題的復(fù)雜度降低,然后將信息融合技術(shù)應(yīng)用到彩色圖像分割中,為彩色分割在不同領(lǐng)域中的應(yīng)用提供了一種新的思路與解決辦法。
2,2基于人工神經(jīng)網(wǎng)絡(luò)技術(shù)的圖像分割
基于神經(jīng)網(wǎng)絡(luò)的分割方法的基本思想是先通過(guò)訓(xùn)練多層感知器來(lái)得到線性決策函數(shù),然后用決策函數(shù)對(duì)像素進(jìn)行分類來(lái)達(dá)到分割的目的。近年來(lái),隨著神經(jīng)學(xué)的研究和進(jìn)展,第三代脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)作為一種新型人工神經(jīng)網(wǎng)絡(luò)模型,其獨(dú)特處理方式為圖像分割提供了新的思路。脈沖耦合神經(jīng)網(wǎng)絡(luò)具有捕獲特性,會(huì)產(chǎn)生點(diǎn)火脈沖傳播,對(duì)輸入圖像具有時(shí)空整合作用,相鄰的具有相似輸入的神經(jīng)元傾向于同時(shí)點(diǎn)火。因此對(duì)于灰度圖象,PCNN具有天然的分割能力,與輸入圖像中不同目標(biāo)區(qū)域?qū)?yīng)的神經(jīng)元在不同的時(shí)刻點(diǎn)火,從而將不同區(qū)域分割開(kāi)來(lái)。如果目標(biāo)區(qū)域灰度分布有重疊,由于PCNN的時(shí)空整合作用,如果灰度分布符合某種規(guī)律,PCNN也能克服灰度分布重疊所帶來(lái)的不利影響,從而實(shí)現(xiàn)較完美的分割。這是其一個(gè)突出的優(yōu)點(diǎn),而這恰恰是其他的分割方法所欠缺的,其在未來(lái)的圖像分割中將起主導(dǎo)作用。
2,3基于小波分析和變換的圖像分割
近年來(lái),小波理論得到了迅速的發(fā)展,而且由于其具有良好的時(shí)頻局部化特性和多分辨率分析能力,在圖像處理等領(lǐng)域得到了廣泛的應(yīng)用。小波變換是一種多尺度多通道分析工具,比較適合對(duì)圖像進(jìn)行多尺度的邊緣檢測(cè)。從圖像處理角度看,小波變換具有“變焦”特性,在低頻段可用高頻率分辨率和低時(shí)間分辨率,在高頻段可用低頻率分辨率和高時(shí)間分辨率,小波變換在實(shí)現(xiàn)上有快速算法具有多分辨率,也叫多尺度的特點(diǎn),可以由粗及精地逐步觀察信號(hào)等優(yōu)點(diǎn)。近年來(lái)多進(jìn)制小波也開(kāi)始用于邊緣檢測(cè)。另外,把小波變換和其它方法結(jié)合起來(lái)的圖像分割技術(shù)也是現(xiàn)在研究的熱點(diǎn)。
3 圖像分割的應(yīng)用現(xiàn)狀
在圖像處理中,圖像分割是一種重要的技術(shù),是圖像分析的基礎(chǔ)。隨著圖像分割技術(shù)研究的深入,其應(yīng)用日趨廣泛,幾乎出現(xiàn)在有關(guān)圖像處理的所有領(lǐng)域,并涉及各種類型的圖像。凡屬需要對(duì)圖像目標(biāo)進(jìn)行提取、測(cè)量的工作都離不開(kāi)圖像分割。通常,圖像分割是為了進(jìn)一步對(duì)圖像進(jìn)行分析、識(shí)別、壓縮、編碼等,圖像分割的準(zhǔn)確性將直接影響后繼的工作,因此,分割的方法和精確程度是至關(guān)重要的。目前,圖像分割在圖像工程中占據(jù)非常重要的位置,圖像分割已在交通、醫(yī)學(xué)、遙感、通信、軍事和工業(yè)自動(dòng)化等諸多領(lǐng)域得到廣泛應(yīng)用。表1是應(yīng)用領(lǐng)域表。
關(guān)鍵詞:圖像識(shí)別;OCR;題庫(kù)采集;移動(dòng)終端;特征建模
中圖分類號(hào):G434 文獻(xiàn)標(biāo)識(shí)碼:A 論文編號(hào):1674-2117(2016)12-0075-04
采集題庫(kù)的現(xiàn)狀
隨著經(jīng)濟(jì)和社會(huì)的發(fā)展、“互聯(lián)網(wǎng)+”的廣泛應(yīng)用及教育觀念的更新,我們迫切需要科學(xué)、方便、完善的網(wǎng)絡(luò)型題庫(kù)管理系統(tǒng)。試題庫(kù)建設(shè)是教育現(xiàn)代化的需要,是考教分離、最大限度提高辦學(xué)效益的需要,因此,進(jìn)行區(qū)域網(wǎng)絡(luò)試題庫(kù)系統(tǒng)的建設(shè)和研究具有十分重要的意義。
受限于教材版本和區(qū)域應(yīng)用層面的需求,采購(gòu)商業(yè)化的題庫(kù)并不能完全滿足教育教學(xué)的實(shí)際要求。手握大量紙質(zhì)試卷的老師們,迫切需要一個(gè)錄入神器,方便快捷地將其錄入到題庫(kù)系統(tǒng)里。
利用基于移動(dòng)終端的圖像文字識(shí)別技術(shù)將文字和圖片迅速錄入題庫(kù)是我們?cè)谝苿?dòng)端系統(tǒng)開(kāi)發(fā)的應(yīng)用亮點(diǎn)。它能夠大幅提高對(duì)質(zhì)量不高圖像的識(shí)別率,其關(guān)鍵算法對(duì)圖像的噪聲、亮度明暗不一致和規(guī)格凌亂的問(wèn)題進(jìn)行了很好的處理。它能夠?qū)D像上傳到服務(wù)器進(jìn)行在線識(shí)別,在識(shí)別過(guò)程中先對(duì)圖像進(jìn)行消噪,然后對(duì)亮度進(jìn)行均衡處理及對(duì)圖像閾值分割,提高了圖像識(shí)別的成功率。
題庫(kù)采集系統(tǒng)工作流程
題庫(kù)采集主要分為圖像采集、圖像識(shí)別和標(biāo)注三個(gè)過(guò)程。整體的工作流程包括:①系統(tǒng)啟動(dòng),進(jìn)入主界面,可選擇開(kāi)始拍攝閱卷或讀取設(shè)備中已有的圖像,如選擇拍攝題目,進(jìn)入圖像采集模塊,調(diào)用移動(dòng)設(shè)備的攝像頭進(jìn)行拍攝,拍攝成功后,跳轉(zhuǎn)至識(shí)別界面,如選擇讀取相冊(cè)已有圖像也跳轉(zhuǎn)至識(shí)別界面。②在識(shí)別界面上顯示出拍攝或者讀取的相冊(cè)圖像,首先調(diào)用圖像預(yù)處理模塊對(duì)圖像進(jìn)行預(yù)處理,輸出預(yù)處理后的圖像,然后調(diào)用圖像校正模塊對(duì)預(yù)處理圖像進(jìn)行校正,輸出校正圖像,最后調(diào)用圖像識(shí)別模塊對(duì)校正圖像進(jìn)行識(shí)別,輸出識(shí)別結(jié)果。③調(diào)用標(biāo)注模塊對(duì)識(shí)別結(jié)果進(jìn)行分類管理,為題目添加系統(tǒng)屬性,如學(xué)科、章節(jié)、知識(shí)點(diǎn)類目、題型、難度系數(shù)等標(biāo)簽。圖1為題庫(kù)采集系統(tǒng)工作流程示意圖。
OCR智能模型設(shè)計(jì)思路
在人工智能領(lǐng)域,模擬人類圖像識(shí)別活動(dòng)的計(jì)算機(jī)程序,人們提出了不同的圖像識(shí)別模型――模板匹配模型。這種模型認(rèn)為,識(shí)別某個(gè)圖像,必須在過(guò)去的經(jīng)驗(yàn)中有這個(gè)圖像的記憶模式,又叫特征模型。當(dāng)前的刺激如果能與大腦中的模型相匹配,這個(gè)圖像也就被識(shí)別了。例如,有一個(gè)字母A,如果在腦中有個(gè)A模板,字母A的大小、方位、形狀都與這個(gè)A模板完全一致,字母A就被識(shí)別了。圖像識(shí)別中的模型識(shí)別(Pattern Recognition)利用計(jì)算機(jī)和數(shù)學(xué)推理的方法對(duì)形狀、模式、曲線、數(shù)字、字符格式和圖形自動(dòng)完成識(shí)別、評(píng)價(jià)的過(guò)程。
那么如何通過(guò)模型的學(xué)習(xí)提高OCR的智能判斷水平呢?我們主要從以下三個(gè)方面做了實(shí)踐研究。
1.采集識(shí)別優(yōu)化
(1)二值化處理
二值圖像在數(shù)字圖像處理中占重要地位,其在處理實(shí)際圖像過(guò)程中地位更加突出。要應(yīng)用二值圖像,掃描文檔之后的第一步就是對(duì)灰度圖像根據(jù)所選閾值進(jìn)行二值化處理。二值圖像是像素值為0或255的像素點(diǎn)集合,如此一來(lái),圖像的數(shù)據(jù)量大大減少,但圖像的基本輪廓信息得以保留。此項(xiàng)的關(guān)鍵是所選取的閾值是否得當(dāng),不當(dāng)則會(huì)減弱二值圖像的處理效果。常用的閾值選取方法有固定閾值法、平均閾值法、直方圖法、Means法四種。
谷歌公司在HP公司Tesseract光學(xué)字符識(shí)別引擎的基礎(chǔ)上做了深度加工,其中對(duì)閾值的自適應(yīng)分類器和兩步矯正法的應(yīng)用大大提高了文本的識(shí)別效率。近幾年來(lái),百度針對(duì)商業(yè)運(yùn)用開(kāi)發(fā)了自然場(chǎng)景OCR API服務(wù),依托百度的OCR算法,提供了整圖文字檢測(cè)、識(shí)別、整圖文字識(shí)別、整圖文字行定位和單字圖像識(shí)別等功能。目前火熱的作業(yè)幫APP就是基于百度識(shí)別API做的延伸產(chǎn)品(如圖2)。
(2)圖像去噪與矯正
任何一幅原始圖像,在其獲取和傳輸?shù)倪^(guò)程中,都會(huì)受到各種噪聲的干擾,使圖像質(zhì)量下降,淹沒(méi)其特征,對(duì)圖像分析非常不利。為抑制噪聲、改善圖像質(zhì)量所進(jìn)行的處理被稱為圖像平滑或去噪。
圖像平滑是用于突出圖像的寬大區(qū)域和主干部分(低頻部分)或抑制圖像噪聲和干擾(高頻部分),使圖像平緩漸變,減小突變梯度,改善圖像質(zhì)量的圖像處理方法。它屬于圖像增強(qiáng)的一部分,主要的圖像平滑方法有均值濾波、中值濾波、灰度形態(tài)學(xué)濾波、小波濾波、高斯低通濾波以及統(tǒng)計(jì)方法濾波。
已獲得的文本圖像有些不可避免地會(huì)發(fā)生傾斜,這樣會(huì)給后面文字的行切分和列切分以及文字的識(shí)別帶來(lái)困難,所以需要對(duì)獲取的圖像進(jìn)行傾斜校正。圖像的傾斜校正最關(guān)鍵的是傾斜角的檢測(cè),我們主要采用平行四邊形法進(jìn)行文本圖像的校正(如圖3)。根據(jù)拍攝者給出的一系列文件位置點(diǎn),用位置點(diǎn)的坐標(biāo)結(jié)合模型擬合出文本線,根據(jù)文本線與水平線之間的差距進(jìn)行精確恢復(fù),以得到水平分布的文本行。
2.特征提取與建模
特征提取是圖像識(shí)別的重要步驟,為了保證后續(xù)處理的質(zhì)量,生成的特征要具備描述物體的典型特性,如獨(dú)特性、完整性、幾何變換下的不變性、靈敏性以及抽象性。我們?cè)O(shè)計(jì)的系統(tǒng)的特征模型包括文字特征、圖片特征、公式特征等。
提取圖像特征關(guān)系可以有兩種方法:一是對(duì)圖像進(jìn)行合理地分割,劃分出圖像中所包含的對(duì)象或區(qū)域,然后根據(jù)這些區(qū)域提取圖像特征,并建立索引;二是簡(jiǎn)單地將圖像均勻地劃分為若干規(guī)則子塊,然后對(duì)每個(gè)圖像子塊提取特征,并建立索引。
圖像特征建模的基本原則是根據(jù)圖像的視覺(jué)內(nèi)容和可獲得的指導(dǎo)信息來(lái)確定對(duì)應(yīng)的文本語(yǔ)義描述。在圖像標(biāo)注任務(wù)中會(huì)涉及兩種不同的媒體:一是圖像,二是文本。這兩種媒體具有良好的互補(bǔ)性,可以協(xié)作傳遞信息,正所謂“圖文并茂”。由這兩種媒體可以產(chǎn)生4種關(guān)系,即圖像間關(guān)系(IIR)、詞間關(guān)系(WWR)、由圖像到詞的關(guān)系(IWR)和由詞到圖像的關(guān)系(IR)。
3.基于標(biāo)注模型的學(xué)習(xí)與訓(xùn)練
我們通常采用兩兩圖像之間的視覺(jué)相似性(pairwise similarity)來(lái)建立以圖像為節(jié)點(diǎn)的相似圖,但這種方式由于沒(méi)有考慮到數(shù)據(jù)集或某個(gè)數(shù)據(jù)子集內(nèi)的結(jié)構(gòu)分布信息,效果不能令人滿意。因此我們引入了第二個(gè)以詞為節(jié)點(diǎn)的圖學(xué)習(xí)過(guò)程,用來(lái)實(shí)現(xiàn)對(duì)圖像標(biāo)注的改善。
最常見(jiàn)的是屬性相關(guān)性,如“李白”是“古詩(shī)文”的關(guān)系。除此之外,詞匯之間還存在多種相關(guān)性,如“凸透鏡”與“光”之間有著很強(qiáng)的聯(lián)系,這種相關(guān)性不依賴于特定數(shù)據(jù)集,它是人們?cè)谏钪写罅恐R(shí)的積累和反映。當(dāng)一幅圖像已被標(biāo)為“凸透鏡”“光”等詞匯后,初中物理作為該圖像標(biāo)注詞匯的概率就會(huì)相應(yīng)提升。為了獲取這種相關(guān)信息,一種方法是從訓(xùn)練數(shù)據(jù)集中利用已標(biāo)注詞匯間的共生概率來(lái)計(jì)算詞匯間的關(guān)系。該方法基于已標(biāo)注信息,相對(duì)準(zhǔn)確,但它不能反映更廣義的人的知識(shí)。于是,我們可以采用另一種方法,利用具有大量詞匯的、包含了人的知識(shí)的結(jié)構(gòu)化電子詞典來(lái)計(jì)算詞匯間的關(guān)系。與統(tǒng)計(jì)方法相比,詞典包括了更加完整的大數(shù)據(jù)關(guān)聯(lián)信息。由此我們?cè)O(shè)計(jì)了基于標(biāo)注的模型學(xué)習(xí)體系(如下頁(yè)圖4),通過(guò)提取題目圖像的特征點(diǎn)綁定其隱形屬性,再與拍攝者提供的顯性屬性做比對(duì),進(jìn)行數(shù)據(jù)建模,并引導(dǎo)系統(tǒng)修正其三大特征庫(kù)(文字、圖片、公式),實(shí)現(xiàn)自我學(xué)習(xí)。
需要注意的是,基于標(biāo)注信息描述由圖到標(biāo)簽的關(guān)系,更適合按照多標(biāo)記分類(multilabel classification)問(wèn)題來(lái)解決。具體而言,假設(shè)標(biāo)注詞匯服從多項(xiàng)式分布,由此將圖像標(biāo)注歸為多類別分類問(wèn)題,而題庫(kù)的分類方式恰恰符合這樣的多標(biāo)記模型(相對(duì)固定是顯性標(biāo)簽:學(xué)科、學(xué)段、知識(shí)點(diǎn)、章節(jié)、難度等)。
注意事項(xiàng)
1.基于API方式的接入能使產(chǎn)品得到快速開(kāi)發(fā)
例如,當(dāng)前百度通過(guò)專業(yè)服務(wù)分發(fā)平臺(tái)APIStore開(kāi)放百度文字識(shí)別技術(shù),讓開(kāi)發(fā)者可以零成本使用基于移動(dòng)應(yīng)用的OCR技術(shù),為開(kāi)發(fā)者創(chuàng)新應(yīng)用提供了更多的選擇。
2.題庫(kù)特征建模要考慮學(xué)科特征
實(shí)踐證明,文科和理科的題目有著截然不同的特征屬性,如語(yǔ)文更注重詞匯與語(yǔ)法方面的訓(xùn)練,而數(shù)學(xué)包含了大量的公式和二維化的圖像。往往數(shù)學(xué)在小學(xué)和中學(xué)階段的題目也會(huì)表現(xiàn)出不同的特征屬性,在建模的同時(shí)要注意抽取。
3.未來(lái)的方向是要構(gòu)建基于題庫(kù)圖像模型的題庫(kù)推送規(guī)則
當(dāng)題庫(kù)的建構(gòu)達(dá)到一定數(shù)量之后,我們要將圖像和翻譯成的題目都保存下來(lái),再根據(jù)拍攝者的需求做相關(guān)的推送,根據(jù)其使用的情況(如點(diǎn)擊率、評(píng)價(jià)等)再對(duì)模型進(jìn)行修正。
從目前的技術(shù)發(fā)展角度看,突破性來(lái)自于機(jī)器語(yǔ)言翻譯方面的研究成果:通過(guò)一種遞歸神經(jīng)網(wǎng)絡(luò)(RNN)將一種語(yǔ)言的語(yǔ)句轉(zhuǎn)換成向量表達(dá),并采用第二個(gè)RNN將向量表達(dá)轉(zhuǎn)換成目標(biāo)語(yǔ)言的語(yǔ)句。而谷歌將以上過(guò)程中的第一種RNN用深度卷積神經(jīng)網(wǎng)絡(luò)CNN取代,這種網(wǎng)絡(luò)可以用來(lái)識(shí)別圖像中的物體。此種方法可以實(shí)現(xiàn)將圖像中的對(duì)象轉(zhuǎn)換成語(yǔ)句,對(duì)圖像場(chǎng)景進(jìn)行描述。概念雖然簡(jiǎn)單,但實(shí)現(xiàn)起來(lái)十分復(fù)雜,科學(xué)家表示,目前實(shí)驗(yàn)產(chǎn)生的語(yǔ)句合理性不錯(cuò),但還遠(yuǎn)談不上“完美”,這項(xiàng)研究目前還處于起步階段。相信在不久的將來(lái)此項(xiàng)發(fā)明將應(yīng)用于教學(xué)領(lǐng)域,那么基于云模式下的圖像識(shí)別系統(tǒng)將得到一個(gè)質(zhì)的飛躍,它也將使圖像識(shí)別與深度學(xué)習(xí)更加緊密地聯(lián)系在一起,最終實(shí)現(xiàn)系統(tǒng)對(duì)互聯(lián)網(wǎng)上教育資源摘取和自學(xué)習(xí)的強(qiáng)大功能。
參考文獻(xiàn):
[1]黃明明.圖像局部特征提取及應(yīng)用研究[D].北京:北京科技大學(xué),2016.
[2]劉淼,楊鎮(zhèn)豪,謝韻玲,謝冬青,唐春明.Android圖文同步識(shí)別系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2014(06).
[3]李龍卓.基于形狀特征的圖像檢索技術(shù)研究[D].青島:青島科技大學(xué),2015.
[4]付蘆靜,錢軍浩,鐘云飛.基于漢字連通分量的印刷圖像版面分割方法[J].計(jì)算機(jī)工程與應(yīng)用,2015(05).
關(guān)鍵詞:語(yǔ)音情感識(shí)別;情感描述模型;情感特征;語(yǔ)音情感庫(kù);域適應(yīng)
DOIDOI:10.11907/rjdk.161498
中圖分類號(hào):TP391
文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào)文章編號(hào):16727800(2016)009014303
作者簡(jiǎn)介作者簡(jiǎn)介:薛文韜(1991-),男,江蘇常熟人,江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院碩士研究生,研究方向?yàn)檎Z(yǔ)音情感識(shí)別。
0引言
1997年,美國(guó)麻省理工學(xué)院的Picard教授提出了情感計(jì)算(Affective Computing)的概念。情感計(jì)算作為計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)、心理學(xué)等多學(xué)科交叉的新興研究領(lǐng)域,已成為人工智能的重要發(fā)展方向之一。而語(yǔ)音情感識(shí)別作為情感計(jì)算的一個(gè)重要分支,亦引起了廣泛關(guān)注。
許多國(guó)內(nèi)外知名大學(xué)和科研機(jī)構(gòu)也開(kāi)始語(yǔ)音情感識(shí)別研究,國(guó)外如美國(guó)麻省理工學(xué)院Picard教授領(lǐng)導(dǎo)的情感計(jì)算研究小組,德國(guó)慕尼黑工業(yè)大學(xué)Schuller教授領(lǐng)導(dǎo)的人機(jī)語(yǔ)音交互小組等;國(guó)內(nèi)如清華大學(xué)的人機(jī)交互與媒體集成研究所、西北工業(yè)大學(xué)音頻、語(yǔ)音與語(yǔ)言處理組等。
1語(yǔ)音情感識(shí)別
語(yǔ)音情感識(shí)別系統(tǒng)主要由前端和后端兩部分組成。前端用于提取特征,后端基于這些特征設(shè)計(jì)分類器。在語(yǔ)音相關(guān)應(yīng)用中,運(yùn)用比較多的分類器是支持向量機(jī)和隱馬爾科夫模型。目前,語(yǔ)音情感識(shí)別的重點(diǎn)主要集中于特征提取。在傳統(tǒng)的語(yǔ)音情感識(shí)別中,如何提取具有判別性的特征已成為研究的重點(diǎn)。隨著數(shù)據(jù)的大規(guī)模增長(zhǎng),傳統(tǒng)語(yǔ)音情感識(shí)別的前提(訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)具有相同的數(shù)據(jù)分布)已不能夠被滿足,研究者提出了遷移學(xué)習(xí)的概念,利用域適應(yīng)方法來(lái)解決跨庫(kù)的語(yǔ)音情感識(shí)別。
本文將從情感描述模型、語(yǔ)音情感特征、語(yǔ)音情感庫(kù)、語(yǔ)音情感挑戰(zhàn)賽這4個(gè)方面對(duì)語(yǔ)音情感研究現(xiàn)狀進(jìn)行總結(jié),并給出現(xiàn)存語(yǔ)音情感識(shí)別的技術(shù)挑戰(zhàn)及相應(yīng)的研究方法。
2情感描述模型
目前主要從離散情感和維度情感兩個(gè)方面來(lái)描述情感狀態(tài)。
離散情感描述,主要把情感描述成離散的形式,是人們?nèi)粘I钪袕V泛使用的幾種情感,也稱為基本情感。在當(dāng)前情感相關(guān)研究領(lǐng)域使用最廣泛的六大基本情感是生氣、厭惡、恐懼、高興、悲傷和驚訝。
相對(duì)于離散情感描述,維度情感描述使用連續(xù)的數(shù)值來(lái)描述情感狀態(tài),因此也稱作連續(xù)情感描述。它把情感狀態(tài)視作多維情感空間中的點(diǎn),每個(gè)維度都對(duì)應(yīng)情感的不同心理學(xué)屬性。常用的維度情感模型是二維的激活度-效價(jià)(Arousal-Valence)模型,其二維空間如圖1所示。其中橫軸表示效價(jià)屬性(Valence),用于衡量情感的正負(fù)面程度;而縱軸表示激活程度(Arousal),用于描述情感狀態(tài)的喚醒程度。通過(guò)不同的效價(jià)度和激活程度,就能區(qū)分出不同的情感,比如悲傷與生氣兩種負(fù)面情緒雖然效價(jià)相差無(wú)異,但兩者的激活度卻有很大差異。
3語(yǔ)音情感特征
傳統(tǒng)的語(yǔ)音情感特征可粗略地分為基于聲學(xué)的情感特征和基于語(yǔ)義的情感特征?;诼晫W(xué)的情感特征又分為3類:韻律學(xué)特征、音質(zhì)特征以及頻譜特征[1]。音高、能量、基頻和時(shí)長(zhǎng)等是最為常用的韻律學(xué)特征,由于韻律學(xué)特征具有較強(qiáng)的情感辨別能力,已經(jīng)得到了研究者們的廣泛認(rèn)同。音質(zhì)特征主要有呼吸聲、明亮度特征和共振峰等,語(yǔ)音中所表達(dá)的情感狀態(tài)被認(rèn)為與音質(zhì)有著很大的相關(guān)性。頻譜特征主要包括線性譜特征和倒譜特征,線性譜特征包括Linear predictor cofficient(LPC)、log-frequency power cofficient(LFPC)等,倒譜特征包括mel-frequency cepstral cofficient(MFCC)、linear predictor cepstral cofficient(LPCC)等。此外,基于這3類語(yǔ)音特征的不同語(yǔ)段長(zhǎng)度的統(tǒng)計(jì)特征是目前使用最為普遍的特征參數(shù)之一,如特征的平均值、變化率、變化范圍等。然而到底什么特征才最能體現(xiàn)語(yǔ)音情感之間的差異,目前還沒(méi)有統(tǒng)一的說(shuō)法。
在2009年首次舉辦的國(guó)際語(yǔ)音情感挑戰(zhàn)INTERSPEECH 2009 Emotion Challenge(EC)的分類器子挑戰(zhàn)中,組織者為參賽者提供了一個(gè)基本特征集,選擇了在韻律學(xué)特征、音質(zhì)特征和頻譜特征中廣泛使用的特征和函數(shù),包括16個(gè)低層描述子(Low-Level Descriptors,LLDs)和12個(gè)函數(shù),構(gòu)建了一個(gè)384維的特征向量[2]。具體的16個(gè)低層描述子和12個(gè)函數(shù)如表1所示。
4語(yǔ)音情感庫(kù)
語(yǔ)音情感庫(kù)作為語(yǔ)音情感識(shí)別的前提條件,影響著最終語(yǔ)音情感識(shí)別系統(tǒng)的性能。目前,在語(yǔ)音情感庫(kù)的建立方面還沒(méi)有統(tǒng)一的標(biāo)準(zhǔn),已構(gòu)建的情感語(yǔ)音庫(kù)多種多樣,在語(yǔ)言、情感表現(xiàn)方式(表演型(acted)、引導(dǎo)型(elicited),自發(fā)型(naturalistic))、情感標(biāo)記方案(離散情感或者維度情感)、聲學(xué)信號(hào)條件、內(nèi)容等方面具有很大差異。從情感表現(xiàn)方式而言,表演型情感一般是讓職業(yè)演員以模仿的方式表現(xiàn)出相應(yīng)的情感狀態(tài),雖然說(shuō)話人被要求盡量表達(dá)出自然的情感,但刻意模仿的情感還是顯得更加夸大,使得不同情感類別之間的差異性比較明顯,這方面的語(yǔ)音情感庫(kù)有Berlin Emotional Speech Database(Emo-DB)、Airplane Behavior Corpus(ABC)等[34]。早期對(duì)語(yǔ)音情感識(shí)別的研究都是基于表演型語(yǔ)料庫(kù),隨著人們意識(shí)到引導(dǎo)型情感具有更加自然的情感表達(dá)之后,研究者們開(kāi)始基于引導(dǎo)型情感庫(kù)進(jìn)行研究,比如eNTERFACE[5]。隨著研究的深入,迫切需要一些自發(fā)的語(yǔ)音情感數(shù)據(jù),目前出現(xiàn)了FAU Aibo Emotion Corpus(FAU AEC)、TUM Aduio-Visual Interest Corpus(TUM AVIC)、Speech Under Simulated and Actual Stress(SUSAS)和Vera am Mittag(VAM)[2,68]。常用的幾個(gè)語(yǔ)音情感庫(kù)如表2所示,描述了他們?cè)谀挲g、語(yǔ)言、情感、樣本個(gè)數(shù)、記錄環(huán)境和采樣率之間的差異。
5語(yǔ)音情感挑戰(zhàn)賽
雖然已經(jīng)有很多研究致力于語(yǔ)音情感識(shí)別,但是相對(duì)于其它語(yǔ)音任務(wù)(如自動(dòng)語(yǔ)音識(shí)別和說(shuō)話人識(shí)別)而言,語(yǔ)音情感識(shí)別中還不存在標(biāo)準(zhǔn)的語(yǔ)音情感庫(kù)和統(tǒng)一的測(cè)試條件用于在相同條件下進(jìn)行性能比較。同時(shí),為了處理更加現(xiàn)實(shí)的場(chǎng)景,需要獲得自然的語(yǔ)音情感數(shù)據(jù)。國(guó)際語(yǔ)音情感挑戰(zhàn)INTERSPEECH 2009 EC旨在彌補(bǔ)出色的語(yǔ)音情感識(shí)別研究和結(jié)果可比性之間的缺陷,它提供了自然的語(yǔ)音情感庫(kù)FAU AEC,以及開(kāi)源工具包openEAR來(lái)提取基本的384維特征集,保證了特征的透明性,從而使得結(jié)果具有重現(xiàn)性和可比性[9]。FAU AEC庫(kù)包括了德國(guó)兩個(gè)學(xué)校(Ohm和Mont)10~13歲的孩子與索尼公司的機(jī)器狗Aibo進(jìn)行交互的語(yǔ)音數(shù)據(jù)。為了實(shí)現(xiàn)說(shuō)話人獨(dú)立的語(yǔ)音情感識(shí)別,通常學(xué)校Ohm記錄的數(shù)據(jù)用于訓(xùn)練,而Mont記錄的數(shù)據(jù)用于測(cè)試。INTERSPEECH 2009 EC的情感分類任務(wù)主要包括2類情感(負(fù)面情感、所有其它情感)分類和5類情感(生氣、同情、積極、中立和其它)分類,目前已有很多研究基于FAU AEC庫(kù)進(jìn)行情感分類。除了在FAU AEC庫(kù)上進(jìn)行傳統(tǒng)的語(yǔ)音情感識(shí)別外,隨著跨庫(kù)語(yǔ)音情感識(shí)別研究的深入,很多研究者也將FAU AEC作為目標(biāo)域數(shù)據(jù)庫(kù)進(jìn)行域適應(yīng)的研究。
6語(yǔ)音情感識(shí)別的主要挑戰(zhàn)
6.1語(yǔ)音情感特征
在傳統(tǒng)語(yǔ)音情感識(shí)別中,提取具有判別性的特征已經(jīng)成為一個(gè)重要的研究方向。在情感特征提取過(guò)程中,通常存在一些與情感無(wú)關(guān)的因素,如說(shuō)話內(nèi)容、說(shuō)話人、環(huán)境等,這些不相關(guān)的因素將會(huì)使得提取到的特征包含這些因素方面的變化,從而影響情感分類性能。
目前已有部分研究開(kāi)始考慮這些與情感無(wú)關(guān)因素的影響。同時(shí),隨著深度學(xué)習(xí)的提出與發(fā)展,越來(lái)越多的研究者開(kāi)始使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。Chao等[10]利用無(wú)監(jiān)督預(yù)訓(xùn)練去噪自動(dòng)編碼器,減少了情感特征中說(shuō)話人的影響。Mao等[11]提出了半監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)模型,提取情感相關(guān)特征,通過(guò)實(shí)驗(yàn)證明其對(duì)說(shuō)話人的變化、環(huán)境的滋擾以及語(yǔ)言變化都有很強(qiáng)的魯棒性。Mariooryad 等[12]對(duì)特征構(gòu)建音素層次的彈道模型,從聲學(xué)特征中分解出說(shuō)話人的特性,從而彌補(bǔ)說(shuō)話人對(duì)語(yǔ)音情感識(shí)別的影響。
6.2跨庫(kù)的語(yǔ)音情感識(shí)別
在傳統(tǒng)的語(yǔ)音情感識(shí)別中,訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)一般來(lái)自同一個(gè)語(yǔ)料庫(kù)或者具有相同的數(shù)據(jù)分布。隨著數(shù)據(jù)的爆炸式增長(zhǎng),從不同設(shè)備和環(huán)境下獲得的語(yǔ)音數(shù)據(jù)通常在語(yǔ)言、情感表現(xiàn)方式、情感標(biāo)記方案、聲學(xué)信號(hào)條件、內(nèi)容等方面存在很大差異,這就造成了訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布的不同,傳統(tǒng)的語(yǔ)音情感識(shí)別方法就不再適用。
近年來(lái),遷移學(xué)習(xí)(Transfer Learning)的概念被提出,指從一個(gè)或多個(gè)源域中將有用的信息遷移到相關(guān)的目標(biāo)域,以幫助改善目標(biāo)域的分類性能[13]。域適應(yīng)(Domain Adaptation)作為一種特殊的遷移學(xué)習(xí),已成功應(yīng)用于跨庫(kù)的語(yǔ)音情感識(shí)別。Deng等[14]提出一種共享隱藏層自動(dòng)編碼器(shared-hidden-layer autoencoder,SHLA)模型,相較于傳統(tǒng)的自動(dòng)編碼器,SHLA的輸入數(shù)據(jù)包含了源域和目標(biāo)域兩類數(shù)據(jù),讓兩個(gè)域的數(shù)據(jù)共用編碼部分而解碼部分不同,目的是誘使兩個(gè)域的數(shù)據(jù)在隱藏層空間具有相似的數(shù)據(jù)分布。Huang等[15]利用PCANet沿著從源域到目標(biāo)域的路徑提取特征,并用目標(biāo)域空間來(lái)調(diào)整路徑上的特征,以此彌補(bǔ)域之間的差異。
參考文獻(xiàn)參考文獻(xiàn):
[1]EL AYADI M,KAMEL M S,KARRAY F.Survey on speech emotion recognition:features,classification schemes and databases[J].Pattern Recognition,2011,44(3): 572587.
[2]SCHULLER B,STEIDL S,BATLINER A.The interspeech 2009 emotion challenge[C].Proceedings INTERSPEECH 2009,10th Annual Conference of the International Speech Communication Association,2009:312315.
[3]BURKHARDT F,PAESCHKE A,ROLFES M,et al.A database of German emotional speech[J].Interspeech,2005(5):15171520.
[4]SCHULLER B,ARSIC D,RIGOLL G,et al.Audiovisual behavior modeling by combined feature spaces[C].IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP),2007:733736.
[5]MARTIN O,KOTSIA I,MACQ B,et al.The eNTERFACE'05 audiovisual emotion database[C].22nd International Conference on Data Engineering Workshops,2006.
[6]SCHULLER B,MULLER R,EYBEN F,et al.Being bored recognising natural interest by extensive audiovisual integration for reallife application[J].Image and Vision Computing,2009,27(12): 17601774.
[7]HANSEN J H L,BOUGHAZALE S E,SARIKAYA R,et al.Getting started with SUSAS:a speech under simulated and actual stress database[C].Eurospeech,1997,97(4): 174346.
[8]GRIMM M,KROSCHEL K,NARAYANAN S.The vera am mittag german audiovisual emotional speech database[C].2008 IEEE International Conference on Multimedia and Expo,2008:865868.
[9]EYBEN F,WOLLMER M,SCHULLER B.OpenEAR―introducing the Munich opensource emotion and affect recognition toolkit[C].3rd International Conference on Affective Computing and Intelligent Interaction and Workshops,2009: 16.
[10]CHAO L,TAO J,YANG M,et al. Improving generation performance of speech emotion recognition by denoising autoencoders[C].2014 9th International Symposium on Chinese Spoken Language Processing (ISCSLP),2014: 341344.
[11]MAO Q,DONG M,HUANG Z,et al.Learning salient features for speech emotion recognition using convolutional neural networks[J].IEEE Transactions on Multimedia,2014,16(8):22032213.
[12]MARIOORYAD S,BUSSO pensating for speaker or lexical variabilities in speech for emotion recognition[J].Speech Communication,2014,57(1): 112.
[13]PAN S J,YANG Q.A survey on transfer learning[J].IEEE Transactions on Knowledge & Data Engineering,2010,22(10):13451359.
關(guān)鍵詞:科學(xué)計(jì)算;大數(shù)據(jù)處理;超級(jí)計(jì)算機(jī);模擬仿真;并行計(jì)算
1引言
在現(xiàn)代科學(xué)研究和工程實(shí)踐中,通常使用數(shù)學(xué)方程式來(lái)表示某些自然科學(xué)規(guī)律,產(chǎn)生了眾多復(fù)雜繁瑣的數(shù)學(xué)計(jì)算問(wèn)題[1]?;谄胀ㄓ?jì)算工具來(lái)解決這些問(wèn)題,將耗費(fèi)大量人力物力,甚至無(wú)法得到準(zhǔn)確結(jié)果。而科學(xué)計(jì)算[2],利用計(jì)算機(jī)仿真、重現(xiàn)、預(yù)測(cè)或探索自然世界萬(wàn)物運(yùn)動(dòng)規(guī)律和演變特性的全過(guò)程,通過(guò)研究合理的計(jì)算方法,設(shè)計(jì)高效的并行算法,研制合適的應(yīng)用程序,能準(zhǔn)確、高效地模擬各領(lǐng)域研究過(guò)程,分析計(jì)算結(jié)果。然而,普通計(jì)算機(jī)的科學(xué)計(jì)算能力往往是有限的,現(xiàn)有的計(jì)算能力無(wú)法高效地解決某些基礎(chǔ)學(xué)科和工程技術(shù)部門的科學(xué)計(jì)算問(wèn)題,如長(zhǎng)期天氣預(yù)報(bào)、石油勘探、飛機(jī)整體氣動(dòng)力等等。
與此同時(shí),地震檢測(cè)儀、粒子碰撞器、天文望遠(yuǎn)鏡以及高通量分析裝置等大型科學(xué)儀器的研制和發(fā)展[3],產(chǎn)生了大量非結(jié)構(gòu)化或半結(jié)構(gòu)化的數(shù)據(jù),使得“大數(shù)據(jù)”趨勢(shì)變得越來(lái)越突出[4]。如今,許多科學(xué)發(fā)現(xiàn)和見(jiàn)解由大量數(shù)據(jù)集驅(qū)動(dòng),“大數(shù)據(jù)”被認(rèn)為是除了實(shí)驗(yàn)、理論和計(jì)算方法之外的第四種科學(xué)范式[5]。數(shù)據(jù)生成的容量、速度和多樣性構(gòu)成了分析大數(shù)據(jù)的主要挑戰(zhàn)。
為提高科學(xué)計(jì)算能力,解決大數(shù)據(jù)問(wèn)題,高性能計(jì)算(HPC)[6]技術(shù)迅猛發(fā)展。高性能計(jì)算機(jī)代表用于解決計(jì)算密集型科學(xué)和工程問(wèn)題的高端計(jì)算基礎(chǔ)設(shè)施。我國(guó)的高性能計(jì)算早已突破每秒浮點(diǎn)運(yùn)算千萬(wàn)億次的壁壘,并繼續(xù)解決性能、可擴(kuò)展性、可編程性、能效和可靠性等問(wèn)題,探索新的支持技術(shù)以達(dá)到e級(jí)計(jì)算能力。
目前,高性能計(jì)算機(jī)已在多個(gè)領(lǐng)域得到了成功的應(yīng)用[7],但仍存在大量可供多個(gè)研究機(jī)構(gòu)使用的空閑節(jié)點(diǎn)。本文簡(jiǎn)介了一些高性能計(jì)算機(jī)系統(tǒng)及其性能,針對(duì)近年來(lái)在高性能計(jì)算機(jī)上的各大領(lǐng)域應(yīng)用實(shí)例進(jìn)行總結(jié),并對(duì)在其他領(lǐng)域的應(yīng)用做出了展望,以促進(jìn)更高效、全面地使用高性能計(jì)算機(jī)。
2高性能計(jì)算機(jī)系統(tǒng)概述
中國(guó)首臺(tái)千萬(wàn)億次超級(jí)計(jì)算機(jī),是“天河一號(hào)”。“天河一號(hào)”超級(jí)計(jì)算機(jī)使用由中國(guó)自行研發(fā)的“龍”芯片,其峰值計(jì)算速度能夠達(dá)到1.206TFlop/s,同時(shí)Linpack實(shí)測(cè)性能達(dá)到了0.563TFlop/s,該超級(jí)計(jì)算機(jī)位居當(dāng)時(shí)公布的中國(guó)超級(jí)計(jì)算機(jī)前100強(qiáng)之首,中國(guó)成為了繼美國(guó)之后世界上第二個(gè)能夠自主研制千萬(wàn)億次超級(jí)計(jì)算機(jī)的國(guó)家。
天河一號(hào)采用6144個(gè)英特爾通用多核處理器和5120個(gè)AMD圖形加速處理器,其內(nèi)存總?cè)萘?8TB。至于點(diǎn)對(duì)點(diǎn)通信的帶寬就達(dá)到了40Gbps,而其用于共享的磁盤總?cè)萘縿t達(dá)到1PB。該超級(jí)計(jì)算機(jī)系統(tǒng)部署于天津?yàn)I海新區(qū)的國(guó)家超級(jí)計(jì)算天津中心作為業(yè)務(wù)主機(jī)。
2013年,由國(guó)防科學(xué)技術(shù)大學(xué)研制的“天河二號(hào)”大型超級(jí)計(jì)算機(jī)以每秒33.86千萬(wàn)億次的浮點(diǎn)運(yùn)算速度成為全球最快的超級(jí)計(jì)算機(jī),位列國(guó)際大型超級(jí)計(jì)算機(jī)TOP500榜首。隨后,“天河二號(hào)”實(shí)現(xiàn)了世界最快超算“六連冠”。天河二號(hào)采用基于加速器的架構(gòu)[8]。在可接受的總成本、功率預(yù)算、支持可靠性、可用性和可服務(wù)性(RAS)的能力、應(yīng)用開(kāi)發(fā)和移植的復(fù)雜性下提供高的計(jì)算性能。
天河二號(hào)的硬件系統(tǒng)由五個(gè)子系統(tǒng)組成,包括計(jì)算系統(tǒng)、通信系統(tǒng)、存儲(chǔ)系統(tǒng)、監(jiān)控診斷系統(tǒng)和服務(wù)系統(tǒng)。它由16000個(gè)節(jié)點(diǎn)組成,每個(gè)節(jié)點(diǎn)有2顆基于IvyBridge-EXeonE52692處理器和3顆XeonPhi,每個(gè)節(jié)點(diǎn)的內(nèi)存是64GB。所有的計(jì)算節(jié)點(diǎn)都通過(guò)專有的高速互連系統(tǒng)連接。還提供了一個(gè)服務(wù)子系統(tǒng)的4096個(gè)節(jié)點(diǎn),以加快高吞吐量的計(jì)算任務(wù),如大數(shù)據(jù)處理。存儲(chǔ)子系統(tǒng)包括256個(gè)I/O節(jié)點(diǎn)和64個(gè)容量為12.4PB的存儲(chǔ)服務(wù)器。天河二號(hào)文件系統(tǒng)命名為h2fs,采用麒麟操作系統(tǒng)、基于SLURM的全局資源管理。支持大多數(shù)現(xiàn)代編程語(yǔ)言,包括C、C++、Java、Python等。采用的是新型異構(gòu)多態(tài)體系結(jié)構(gòu)(Multipurpose-Heterogeneous)[9]。
天河二號(hào)的系統(tǒng)配置列于表1中。
“天河二號(hào)”集科學(xué)計(jì)算、大數(shù)據(jù)分析和云計(jì)算于一體,被認(rèn)為是滿足工業(yè)和社會(huì)需求的戰(zhàn)略基礎(chǔ)設(shè)施。以超級(jí)計(jì)算機(jī)為支撐的高性能計(jì)算應(yīng)用正加速向各個(gè)領(lǐng)域滲透。
Table1SystemindicatorsofTianhe-2
表1天河二號(hào)系統(tǒng)指標(biāo)
width=375,height=252,dpi=110
在國(guó)內(nèi)早期的高性能計(jì)算機(jī)研究中,2004年6月超級(jí)計(jì)算機(jī)曙光4000A研制成功,落戶上海超級(jí)計(jì)算中心,標(biāo)志著繼美國(guó)和日本之后,中國(guó)是第三個(gè)能研制10萬(wàn)億次高性能計(jì)算機(jī)的國(guó)家。曙光能夠每秒運(yùn)算11萬(wàn)億次,進(jìn)入全球超級(jí)計(jì)算機(jī)前十名。經(jīng)過(guò)十多年發(fā)展,曙光E級(jí)高性能計(jì)算機(jī)系統(tǒng)項(xiàng)目現(xiàn)在是國(guó)家“十三五”期間高性能計(jì)算的重點(diǎn)專項(xiàng),其最顯著的特點(diǎn)是突破了制約E級(jí)計(jì)算發(fā)展的各個(gè)關(guān)鍵技術(shù),通過(guò)這樣原型機(jī)的研制去驗(yàn)證E級(jí)的技術(shù)路線,為未來(lái)真正實(shí)現(xiàn)國(guó)產(chǎn)E級(jí)系統(tǒng)做技術(shù)鋪墊。
width=642,height=303,dpi=110
Figure1StructureofSugon’sCPU
圖1曙光CPU結(jié)構(gòu)
在2016年法蘭克福世界超算大會(huì)上,“神威·太湖之光”超級(jí)計(jì)算機(jī)系統(tǒng)成為新的榜首,速度較第二名“天河二號(hào)”快出近兩倍,效率提高三倍。
神威·太湖之光超級(jí)計(jì)算機(jī)由40個(gè)運(yùn)算機(jī)柜和8個(gè)網(wǎng)絡(luò)機(jī)柜組成。每個(gè)運(yùn)算機(jī)柜包含4塊由32塊運(yùn)算插件組成的超節(jié)點(diǎn)。每個(gè)插件由4個(gè)運(yùn)算節(jié)點(diǎn)板組成,一個(gè)運(yùn)算節(jié)點(diǎn)板又含2塊“申威26010”高性能處理器。一臺(tái)機(jī)柜就有1024塊處理器,整臺(tái)“神威·太湖之光”共有40960塊處理器。每個(gè)單個(gè)處理器有260個(gè)核心,主板為雙節(jié)點(diǎn)設(shè)計(jì),每個(gè)CPU固化的板載內(nèi)存為32GBDDR3-2133。
在2018年的法蘭克福世界超算大會(huì)上,美國(guó)能源部橡樹(shù)嶺國(guó)家實(shí)驗(yàn)室(ORNL)推出的新超級(jí)計(jì)算機(jī)“Summit”以每秒12.23億億次的浮點(diǎn)運(yùn)算速度,接近每秒18.77億億次峰值速度奪冠,“神威·太湖之光”屈居第二。
3高性能計(jì)算機(jī)各大領(lǐng)域應(yīng)用實(shí)例分析
為充分發(fā)揮高性能計(jì)算機(jī)的優(yōu)勢(shì),極大限度地滿足客戶需求,自超級(jí)計(jì)算機(jī)在中國(guó)開(kāi)始發(fā)展以來(lái),相關(guān)團(tuán)隊(duì)都致力于擴(kuò)展高性能計(jì)算在各個(gè)領(lǐng)域的利用,迎合各領(lǐng)域應(yīng)用的計(jì)算要求,協(xié)助用戶配置應(yīng)用環(huán)境,建立高效模型,設(shè)計(jì)合理并行算法,以實(shí)現(xiàn)各領(lǐng)域的科學(xué)計(jì)算和大數(shù)據(jù)處理在高性能計(jì)算機(jī)上的應(yīng)用。
3.1生物計(jì)算與精準(zhǔn)醫(yī)療
根據(jù)廣州國(guó)家超級(jí)計(jì)算中心的內(nèi)部統(tǒng)計(jì)[10],生物醫(yī)學(xué)相關(guān)應(yīng)用現(xiàn)在是超級(jí)計(jì)算中心的主要客戶。生物醫(yī)學(xué)研究主要包括生物大分子的結(jié)構(gòu)模擬與功能建模,藥物設(shè)計(jì)與篩選,蛋白質(zhì)序列分析,基因序列分析與比對(duì),基因調(diào)控網(wǎng)絡(luò)的分析與建模,醫(yī)療衛(wèi)生的雙數(shù)據(jù)分析及生物醫(yī)學(xué)文獻(xiàn)挖掘等。
生物醫(yī)學(xué)數(shù)據(jù)繁多,且一直呈指數(shù)增長(zhǎng)。如世界最大的生物數(shù)據(jù)保存者之一,歐洲生物信息學(xué)研究所(EBI),存儲(chǔ)超過(guò)20PB的數(shù)據(jù),并且最近每年的數(shù)據(jù)量都增加一倍[11]。數(shù)據(jù)源的異質(zhì)性,包括基因組學(xué)、蛋白質(zhì)組學(xué)、代謝組學(xué)、微陣列數(shù)據(jù)、文獻(xiàn)等,使其更加復(fù)雜。
針對(duì)典型類型的大數(shù)據(jù)——基因組大數(shù)據(jù),在大數(shù)據(jù)框架(如Hadoop和Spark)的幫助下,云計(jì)算已經(jīng)在大數(shù)據(jù)處理中發(fā)揮著積極作用?,F(xiàn)在,HPC在中國(guó)的快速發(fā)展使得以不同的方式解決基因組大數(shù)據(jù)挑戰(zhàn)成為可能。Yang等人[12]強(qiáng)調(diào)了在現(xiàn)代超級(jí)計(jì)算機(jī)上增強(qiáng)大數(shù)據(jù)支持的必要性,提出只需單個(gè)命令或單個(gè)shell腳本就能使當(dāng)前的大數(shù)據(jù)應(yīng)用在高性能計(jì)算機(jī)上運(yùn)行,并且支持多個(gè)用戶同時(shí)處理多個(gè)任務(wù)的Orion作為高性能計(jì)算機(jī)的大數(shù)據(jù)平臺(tái)。該平臺(tái)可以根據(jù)大數(shù)據(jù)處理需求,合理分配所需的資源量,并使用HPC系統(tǒng)軟件棧自動(dòng)建立和配置可回收的Hadoop/Spark集群。以華大基因提供的基因組學(xué)大數(shù)據(jù)作為案例研究,測(cè)試基因組分析流水線SOAPGaea的FASTQ過(guò)濾、讀取對(duì)齊、重復(fù)刪除和質(zhì)量控制四個(gè)過(guò)程,證明了Orion平臺(tái)的高效性。
為更好地了解基因的精細(xì)結(jié)構(gòu)、分析基因型與表現(xiàn)型的關(guān)系、繪制基因圖譜,DNA序列分析成為生物醫(yī)學(xué)中的重要課題[12]。
DNA序列的排序是對(duì)DNA序列分析的基礎(chǔ)[13]。通常先使用測(cè)序儀得到生物體基因組的一些片段,再利用計(jì)算機(jī)對(duì)片段進(jìn)行denovo拼接,從而得到DNA序列的排列順序。而隨著測(cè)序儀的發(fā)展,基因組的數(shù)據(jù)量增大,分析復(fù)雜性提高,普通計(jì)算工具分析數(shù)據(jù)會(huì)消耗大量時(shí)間和空間。張峰等人[14]基于高性能計(jì)算機(jī),使用一種新型序列拼接工具SGA(StringGraphAssernbler),對(duì)任務(wù)之間數(shù)據(jù)耦合度小的分批構(gòu)建FM-Index,采用粗粒度的多進(jìn)程并行;對(duì)任務(wù)之間數(shù)據(jù)耦合度較大的FM-Index合并過(guò)程,采用多線程的細(xì)粒度并行。這種多進(jìn)程與多線程的混合并行策略,使用并行計(jì)算代替通信開(kāi)銷,測(cè)試小規(guī)模數(shù)據(jù)時(shí),將索引構(gòu)建時(shí)間的最佳性能提高了3.06倍。葉志強(qiáng)等人[15]在基因組排序時(shí),引入隨機(jī)listranking算法,基于高性能計(jì)算機(jī),使用MPI并行實(shí)現(xiàn)Pregel框架的線性化步驟,利用節(jié)點(diǎn)之間的通信和計(jì)算能力,減少了線性化步驟時(shí)間。
SNP(單核苷酸多態(tài)性)檢測(cè)是DNA序列分析的關(guān)鍵步驟[16]。它將對(duì)齊的read、參考序列和被編排的數(shù)據(jù)庫(kù)(如數(shù)據(jù)庫(kù)SNPP)作為輸入,通過(guò)站點(diǎn)檢測(cè)對(duì)齊的read和引用站點(diǎn)的信息,生成SNP站點(diǎn)的列表。SNP檢測(cè)工具SoAPSNP可以用一個(gè)多星期的時(shí)間來(lái)分析一個(gè)覆蓋20倍的人類基因組。崔英博等人[17]通過(guò)重新設(shè)計(jì)SOAPSNP的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)以降低內(nèi)存操作的開(kāi)銷,設(shè)計(jì)CPU與XeonPhi協(xié)作的協(xié)調(diào)并行框架,以獲得更高的硬件利用率。并提出了一種基于讀取的窗口劃分策略(RWD),在多個(gè)節(jié)點(diǎn)上提高吞吐量和并行規(guī)模,開(kāi)發(fā)了SOAPSNP的并行版本MSNP,在沒(méi)有任何精度損失的情況下,利用高性能計(jì)算機(jī)的一個(gè)節(jié)點(diǎn)實(shí)現(xiàn)了45倍的加速。
方翔等人[18]利用高性能計(jì)算機(jī),構(gòu)建了由基因組與轉(zhuǎn)錄組測(cè)序數(shù)據(jù)分析、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)和分子動(dòng)力學(xué)模擬三個(gè)功能模塊組成的生物信息平臺(tái)分析水產(chǎn)病原,對(duì)約氏黃桿菌等多種水生動(dòng)物病原進(jìn)行生物信息學(xué)分析。
從生物醫(yī)學(xué)文獻(xiàn)中提取有價(jià)值的信息的一種主流方法是在非結(jié)構(gòu)化文本上應(yīng)用文本挖掘方法。然而,大量的文獻(xiàn)需要分析,這對(duì)文本挖掘的處理效率提出了巨大的挑戰(zhàn)。彭紹亮等人[19]將針對(duì)疾病實(shí)體識(shí)別的軟件DNorm加入可高效識(shí)別基因、蛋白質(zhì)、藥物、基因通路等實(shí)體關(guān)系的文本挖掘工具PWTEES流水線中,擴(kuò)充了PWTEES的功能。使用LINNAEUS導(dǎo)入MEDLIN數(shù)據(jù)庫(kù)提供的摘要,并在個(gè)人賬戶目錄下,動(dòng)態(tài)使用計(jì)算節(jié)點(diǎn),編譯安裝配置了非關(guān)系型數(shù)據(jù)庫(kù)(MySQL),將大量非結(jié)構(gòu)化數(shù)據(jù)(文獻(xiàn))轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)。將平時(shí)在普通服務(wù)器上需100天能完成的文本挖掘過(guò)程縮短為1小時(shí),并利用200個(gè)進(jìn)程并行挖掘7萬(wàn)篇頭頸癌相關(guān)文獻(xiàn)中的關(guān)鍵命名實(shí)體,得到了80%以上的并行效率。Xing等人[20]開(kāi)發(fā)了一個(gè)可運(yùn)行的框架PARABTM,它能夠在超級(jí)計(jì)算機(jī)上實(shí)現(xiàn)并行文本挖掘。以GNormPlus、tmVar2.0、Dnorm三種命名實(shí)體識(shí)別任務(wù)為例,對(duì)多個(gè)數(shù)據(jù)集上PARABTM的性能進(jìn)行了評(píng)價(jià)。結(jié)果表明,使用PARABTM并行處理策略中的短板匹配負(fù)載平衡算法(Short-Boardloadbalancingalgorithm),最大程度地提高了生物醫(yī)學(xué)命名實(shí)體識(shí)別的處理速度。
3.2全數(shù)字設(shè)計(jì)與制造
數(shù)字設(shè)計(jì)與制造是一種以計(jì)算機(jī)系統(tǒng)為中心的集成制造方法。隨著制造工廠中計(jì)算機(jī)系統(tǒng)數(shù)量和質(zhì)量的提高,數(shù)字化趨勢(shì)迅速。越來(lái)越多的自動(dòng)化工具被用于制造工廠,有必要對(duì)所有機(jī)器、工具和輸入材料進(jìn)行建模、模擬和分析,以優(yōu)化制造過(guò)程。而模擬能夠建模和測(cè)試一個(gè)系統(tǒng)行為特性,讓工程師能夠用更低耗、更快速同時(shí)更安全的方式來(lái)分析所做的設(shè)計(jì)會(huì)產(chǎn)生什么樣的影響。模擬的應(yīng)用范圍廣泛,涵蓋了產(chǎn)品設(shè)計(jì)、過(guò)程設(shè)計(jì)以及企業(yè)資源安排[21]。在模擬過(guò)程中,利用超級(jí)計(jì)算機(jī)強(qiáng)大的計(jì)算能力,使工程師能在幾分鐘或幾小時(shí)內(nèi)仿真和測(cè)試數(shù)千種設(shè)計(jì)方案。
利用數(shù)字化的方式,可以對(duì)產(chǎn)品進(jìn)行結(jié)構(gòu)力學(xué)分析、流體力學(xué)分析、電磁設(shè)計(jì)和多物理場(chǎng)模擬等多種計(jì)算仿真。
在計(jì)算流體力學(xué)CFD(CcomputationalFluidDynamics)領(lǐng)域的一大熱點(diǎn)研究問(wèn)題就是如何在當(dāng)前主流的眾核異構(gòu)高性能計(jì)算機(jī)平臺(tái)上進(jìn)行超大規(guī)模計(jì)算。楊梅芳等人[22]在高性能計(jì)算機(jī)的單個(gè)節(jié)點(diǎn)上,利用超然沖壓發(fā)動(dòng)機(jī)燃燒數(shù)值模擬軟件LESAP模擬一個(gè)實(shí)際發(fā)動(dòng)機(jī)燃燒化學(xué)反應(yīng)和超聲速流動(dòng)的問(wèn)題,采用OpenMP4.0編程標(biāo)準(zhǔn),向量化SIMD,優(yōu)化數(shù)據(jù)傳輸過(guò)程,均衡基于網(wǎng)格塊劃分的負(fù)載技術(shù),實(shí)現(xiàn)了軟件面向CPU+MIC異構(gòu)平臺(tái)的移植,達(dá)到了3.07倍的性能加速比。王勇獻(xiàn)等人[23]面向高性能計(jì)算機(jī)探索了高階精度CFD流場(chǎng)數(shù)值模擬程序的高效并行性。在高性能異構(gòu)并行計(jì)算平臺(tái)上進(jìn)行了多個(gè)算例的數(shù)值模擬的結(jié)果顯示最大CFD規(guī)模達(dá)到1228億個(gè)網(wǎng)格點(diǎn),共使用約59萬(wàn)CPU+MIC處理器核,實(shí)現(xiàn)了移植后的性能大幅度提高。通過(guò)將算法移植到超級(jí)計(jì)算機(jī)進(jìn)行大規(guī)模并行,能夠?qū)崿F(xiàn)高效的流體力學(xué)分析。而文獻(xiàn)[24-26]都是針對(duì)空氣動(dòng)力學(xué)中的具體分類利用高性能計(jì)算機(jī)進(jìn)行模擬以驗(yàn)證有效性的研究。利用數(shù)字化設(shè)計(jì),能夠快速低成本地對(duì)設(shè)計(jì)性能進(jìn)行分析評(píng)估。
在圖像模擬中,Metropolis光傳輸算法能夠利用雙向路徑跟蹤構(gòu)建出由眼睛到光源的路徑,是MonteCarlo方法的變體。然后,使用Metropolis算法靜態(tài)計(jì)算圖像中光線的恰當(dāng)?shù)纳⑸錉顟B(tài),由一條已發(fā)現(xiàn)的光到眼睛的路徑,能搜索到鄰近路徑。簡(jiǎn)單地說(shuō),Metropolis光傳輸算法能夠生成一條路徑并存儲(chǔ)其上的節(jié)點(diǎn),同時(shí)能通過(guò)添加額外節(jié)點(diǎn)來(lái)調(diào)整并生成新的路徑。隨著對(duì)照片級(jí)真實(shí)感圖像的要求越來(lái)越高,為Metropolis光傳輸算法開(kāi)發(fā)高效且高度可擴(kuò)展的光線跟蹤器變得越來(lái)越重要。主要是渲染圖像通常需要花費(fèi)大量時(shí)間,開(kāi)發(fā)高效且高度可擴(kuò)展的光線跟蹤器的困難來(lái)自不規(guī)則的存儲(chǔ)器訪問(wèn)模式、光攜帶路徑的不平衡工作量以及復(fù)雜的數(shù)學(xué)模型和復(fù)雜的物理過(guò)程。Wu等人[27]提出了一種基于物理的高度可擴(kuò)展的并行光線追蹤器,并在高性能計(jì)算機(jī)上進(jìn)行了實(shí)現(xiàn),利用多達(dá)26400個(gè)CPU內(nèi)核,證明了其可擴(kuò)展性,能夠從復(fù)雜的3D場(chǎng)景生成逼真圖像。
模擬高場(chǎng)非局部載流子傳輸同樣需要3DMonteCarlo模擬方法,通過(guò)適當(dāng)?shù)牧孔有Uw散射效應(yīng),半經(jīng)典的MC模擬能夠給出準(zhǔn)確的結(jié)果。但是,MC方法中3D模擬和量子校正都需要巨大的計(jì)算資源[28],由效率出發(fā)超級(jí)計(jì)算機(jī)的計(jì)算能力就至關(guān)重要了。文獻(xiàn)[29]中,通過(guò)在高性能計(jì)算機(jī)上使用IntelMIC協(xié)處理器,進(jìn)一步提高了之前工作中開(kāi)發(fā)的3D并行的繼承MC模擬器的并行效率。
對(duì)于高性能計(jì)算機(jī)在全數(shù)字設(shè)計(jì)和制造領(lǐng)域的集成應(yīng)用,國(guó)家超級(jí)計(jì)算廣州中心推出了天河星光云超算平臺(tái),以云服務(wù)的方式提供CAE計(jì)算和HPC訪問(wèn),大大降低了數(shù)字設(shè)計(jì)的門檻,支持產(chǎn)品設(shè)計(jì)的全工作流。目前基于該平臺(tái)支撐的項(xiàng)目有諸如國(guó)產(chǎn)大飛機(jī)、高鐵等,都是國(guó)家工業(yè)生產(chǎn)中重要項(xiàng)目[30]。
3.3地球科學(xué)與環(huán)境工程
基于該應(yīng)用領(lǐng)域,超級(jí)計(jì)算機(jī)的主要作用在于變革對(duì)自然界中諸如地理狀況、海洋、大氣等種種元素的模擬方式。以超算為平臺(tái),不僅能模擬出地球上每個(gè)時(shí)期的狀況,甚至是對(duì)宇宙中的種種同樣能進(jìn)行模擬分析,讓地球科學(xué)和環(huán)境工程的研究范圍不再限于此時(shí)此地,而是更廣闊的空間。
在宇宙學(xué)的層面,早在2015年就利用高性能計(jì)算機(jī)模擬出宇宙大爆炸后1600萬(wàn)年之后至今約137億年的暗物質(zhì)和中微子的演化過(guò)程,并將進(jìn)一步尋找宇宙邊界的報(bào)告[31]。中微子雖然是自然界中的基本粒子之一,在宇宙大爆炸約1s后與其他等離子體物質(zhì)退耦,形成看不見(jiàn)的宇宙背景,通過(guò)物理實(shí)驗(yàn)和實(shí)際的天文觀測(cè)都無(wú)法精確測(cè)量中微子的質(zhì)量。在高性能計(jì)算機(jī)平臺(tái)上,利用3萬(wàn)億粒子來(lái)對(duì)宇宙中的中微子和暗物質(zhì)的分布和演化進(jìn)行模擬,開(kāi)創(chuàng)了宇宙學(xué)中獨(dú)立測(cè)量中微子質(zhì)量的道路。
在地球外圍層面上,大氣變化同樣是一個(gè)關(guān)注點(diǎn)。Xue等人[32]提出了一種基于高性能計(jì)算機(jī)的全球性大氣動(dòng)態(tài)模擬的混合算法。通過(guò)使用更靈活的域分區(qū)方案來(lái)支持節(jié)點(diǎn)中任意數(shù)量的CPU和加速器,算法能夠充分利用超算的優(yōu)良性能。當(dāng)使用8664個(gè)節(jié)點(diǎn),包括了近170萬(wàn)個(gè)核心時(shí),可以有效地利用節(jié)點(diǎn)內(nèi)的三個(gè)MIC卡,對(duì)兩個(gè)IvyBridgeCPU(24個(gè)內(nèi)核)實(shí)現(xiàn)4.35倍的加速?;诔晒Φ挠?jì)算-通信重疊,算法分別在弱和強(qiáng)縮放測(cè)試中實(shí)現(xiàn)了93.5%和77%的并行效率。
相較于廣袤無(wú)邊的宇宙,大部分人們對(duì)于腳下的土地更加關(guān)心。自然災(zāi)害如地震、泥石流等,可能會(huì)造成巨大的生命財(cái)產(chǎn)損失,而地下油氣資源又是經(jīng)濟(jì)社會(huì)發(fā)展所必需的,利用超級(jí)計(jì)算機(jī)去探索大地也是發(fā)展所需要的。
中石油集團(tuán)開(kāi)發(fā)的用于石油油氣勘探的GeoEast系統(tǒng)已經(jīng)經(jīng)過(guò)了十幾年的發(fā)展更新,在數(shù)據(jù)模型、數(shù)據(jù)共享、一體化運(yùn)行模式、三維可視化、交互應(yīng)用框架、地震地質(zhì)建模、網(wǎng)絡(luò)運(yùn)行環(huán)境和并行處理方面取得了多項(xiàng)創(chuàng)新與重大技術(shù)突破,是地震數(shù)據(jù)處理解釋一體化系統(tǒng)。目前GeoEastV3.0版本軟件總體達(dá)到國(guó)際同類軟件先進(jìn)水平,為推動(dòng)中國(guó)石油勘探開(kāi)發(fā)領(lǐng)域不斷取得新成果發(fā)揮了重要作用[33]。但是,這樣的一體化系統(tǒng)在使用中勢(shì)必會(huì)產(chǎn)生大量的數(shù)據(jù),這就對(duì)計(jì)算機(jī)的性能有了要求。因此,在GeoEast系統(tǒng)聞名世界的過(guò)程中,高性能計(jì)算機(jī)在幕后是功臣之一,保證了系統(tǒng)的順利運(yùn)行,助力石油勘探工作[34]。而文獻(xiàn)[35]專注于地震模擬,提出了針對(duì)英特爾至強(qiáng)處理器的對(duì)于軟件SeisSol的優(yōu)化,以適用于高性能計(jì)算機(jī)的計(jì)算環(huán)境中,通過(guò)全摩擦滑動(dòng)和地震波的耦合仿真實(shí)現(xiàn)了空前復(fù)雜的地震模型。移植到高性能計(jì)算機(jī)的SeisSol提供近乎最佳的弱縮放,在8192個(gè)節(jié)點(diǎn)上達(dá)到8.6DP-PFLOPS,在所利用的整個(gè)高性能計(jì)算機(jī)上能達(dá)到18~20DP-PFLOPS,成功模擬了1992年蘭德斯地震。
3.4智慧城市云計(jì)算
城市發(fā)展經(jīng)過(guò)多年的調(diào)整,已經(jīng)在經(jīng)濟(jì)上有了相當(dāng)進(jìn)展,目前從如何讓人們生活更加便捷出發(fā),許多地區(qū)開(kāi)始建設(shè)智慧城市。智慧城市(SmartCity)是指利用各種信息技術(shù)或創(chuàng)新意念,集成城市的組成系統(tǒng)服務(wù),以提升資源運(yùn)用的效率,優(yōu)化城市管理和服務(wù),進(jìn)而能夠提高居民生活質(zhì)量。智慧城市的發(fā)展不僅僅是對(duì)生活的改變,還能促進(jìn)生產(chǎn)方式的轉(zhuǎn)變,解決在城市擴(kuò)張及經(jīng)濟(jì)高速發(fā)展中產(chǎn)生的一系列“城市病”問(wèn)題。智慧城市,代表的是城市的智慧,由智慧,能夠衍生出智能中、知識(shí)和數(shù)字等更廣泛的內(nèi)涵[36]。
迄今為止,廣州、北京、上海、寧波、無(wú)錫、深圳、武漢、佛山等國(guó)內(nèi)城市已紛紛啟動(dòng)“智慧城市”戰(zhàn)略,相關(guān)規(guī)劃、項(xiàng)目和活動(dòng)漸次推出。高性能計(jì)算機(jī)云平臺(tái)應(yīng)運(yùn)而生,為智慧城市建立堅(jiān)實(shí)、先進(jìn)的基石。智慧城市由于其性能需求,對(duì)依賴的平臺(tái)的計(jì)算能力的要求會(huì)更高,而超算的計(jì)算能力就能為智慧城市的建設(shè)提供相當(dāng)助力。在2014年,就有中國(guó)首臺(tái)千萬(wàn)億次超級(jí)計(jì)算機(jī)“天河一號(hào)”在智慧城市中應(yīng)用的報(bào)道,以其在天津?yàn)I海區(qū)的應(yīng)用為例,“天河一號(hào)”的建筑信息領(lǐng)域的大數(shù)據(jù)平臺(tái)通過(guò)對(duì)建筑信息建模,實(shí)現(xiàn)對(duì)建筑物從規(guī)劃、設(shè)計(jì)、建造到后期物業(yè)管理理的全程數(shù)字化。此外,城市規(guī)劃、氣象預(yù)測(cè)、生物醫(yī)療、裝備制造、汽車碰撞模擬等行業(yè),也能更多地通過(guò)“天河一號(hào)”,實(shí)現(xiàn)大批量數(shù)據(jù)計(jì)算、分析和存儲(chǔ)[37]。
而高性能計(jì)算機(jī)的持續(xù)計(jì)算速度進(jìn)一步達(dá)到了億億次,所能提供的服務(wù)質(zhì)量也更高,麒麟云平臺(tái)被部署在1920個(gè)節(jié)點(diǎn)(15個(gè)機(jī)柜),其中64個(gè)節(jié)點(diǎn)(兩個(gè)機(jī)框)作為云平臺(tái)控制節(jié)點(diǎn),其余節(jié)點(diǎn)為運(yùn)行虛擬機(jī)的計(jì)算節(jié)點(diǎn)和分布式存儲(chǔ)的存儲(chǔ)節(jié)點(diǎn)。為方便管理,將計(jì)算節(jié)點(diǎn)進(jìn)行分區(qū)管理,512個(gè)節(jié)點(diǎn)(4個(gè)機(jī)柜)為一區(qū),用于滿足生產(chǎn)環(huán)境、適配環(huán)境、測(cè)試環(huán)境需要。分布式存儲(chǔ)沒(méi)有分區(qū),所有節(jié)點(diǎn)形成一個(gè)全局的分布式存儲(chǔ)池,但在使用時(shí)可按需劃分指定容量的區(qū)域供不同用途使用[38]。這種云超算服務(wù)采用麒麟安全云系統(tǒng)實(shí)現(xiàn)虛擬化技術(shù),將虛擬機(jī)資源遠(yuǎn)程推送給用戶使用[39]。可通過(guò)互聯(lián)網(wǎng)遠(yuǎn)程管理虛擬機(jī)資源,使高性能計(jì)算機(jī)云平臺(tái)資源能夠被更多人使用,超算的計(jì)算能力能夠更好地推動(dòng)社會(huì)各個(gè)領(lǐng)域發(fā)展。2017年OpenStack的第15個(gè)版本中,麒麟云團(tuán)隊(duì)在核心功能解決的Bug數(shù),以及Commits的數(shù)量均進(jìn)入全球前20,麒麟云的發(fā)展是非常迅速的,與開(kāi)源社區(qū)緊密結(jié)合,貢獻(xiàn)突出[40]。
3.5材料科學(xué)與工程
在材料科學(xué)與工程的研究中,量子力學(xué)、經(jīng)典動(dòng)力學(xué)、統(tǒng)計(jì)力學(xué)是三大基礎(chǔ)且主要的研究方向。研究人員致力于材料參數(shù)的建模、多尺度平臺(tái)開(kāi)發(fā)和新材料的設(shè)計(jì)、開(kāi)發(fā)和優(yōu)化。
分子動(dòng)力學(xué)模擬在材料科學(xué)、生物化學(xué)和生物物理學(xué)等領(lǐng)域得到了廣泛的應(yīng)用。分子動(dòng)力學(xué)(MD)是研究分子和分子的物理運(yùn)動(dòng)的計(jì)算機(jī)模擬方法,它提供分子尺度上的微觀取樣?;谀芰考?xì)化的輔助建模AMBER(AssistedModelBuildingwithEnergyRefinement)[41]是用于MD模擬的使用最廣泛的軟件包之一。然而,對(duì)于具有百萬(wàn)原子級(jí)的系統(tǒng)的AMBERMD模擬的速度仍然需要改進(jìn)。彭紹亮等人[42]在單CPU上的細(xì)粒度OpenMP并行、單節(jié)點(diǎn)CPU/MIC并行優(yōu)化和多節(jié)點(diǎn)多MIC協(xié)作并行加速方面進(jìn)行了改進(jìn)。在高性能計(jì)算機(jī)上實(shí)現(xiàn)AMBER的并行加速策略,與原程序相比,實(shí)現(xiàn)了25~33倍的最高加速比。同時(shí),對(duì)于計(jì)算資源的限制,分子動(dòng)力學(xué)軟件GROMACS不能大規(guī)模地進(jìn)行滿意的操作。Wang等人[43]提出了一種利用卸載模式加速GROMACS的方法。為了提高GROMACS的效率,提出了異步化、數(shù)據(jù)重組和數(shù)組重用等一系列方法。在這種模式下,GROMACS可以與CPU和IntelXeonPHITM多個(gè)集成內(nèi)核(MIC)協(xié)處理器同時(shí)有效地配置,充分利用高性能計(jì)算機(jī)資源。
材料輻照效應(yīng)(Materialirradiationeffect)是使用核能的重要關(guān)鍵之一。然而,由于高通量輻照設(shè)施和進(jìn)化過(guò)程知識(shí)的缺乏,此效應(yīng)的利用并不好。在高性能計(jì)算的幫助下,Hu等人[44]提出了一種新的數(shù)據(jù)結(jié)構(gòu),用于大規(guī)模并行模擬金屬材料在輻照環(huán)境下的演化。基于所提出的數(shù)據(jù)結(jié)構(gòu),開(kāi)發(fā)了一種新的分子動(dòng)力學(xué)軟件——CrystalMD,并在高性能計(jì)算機(jī)上進(jìn)行了二兆個(gè)原子模擬,對(duì)MD輻射效應(yīng)研究的模擬規(guī)模進(jìn)行了擴(kuò)展。
3.6其他領(lǐng)域
近年來(lái),隨高性能計(jì)算的推廣,政府部門對(duì)超級(jí)計(jì)算機(jī)的重視,舊產(chǎn)業(yè)轉(zhuǎn)向新產(chǎn)業(yè)的變化及大量有高性能計(jì)算需求的企業(yè)對(duì)超級(jí)計(jì)算機(jī)的需求增大,超算人才培養(yǎng)初見(jiàn)成效[45]。在應(yīng)用軟件開(kāi)發(fā)等推動(dòng)下,高性能計(jì)算機(jī)的適用范圍逐漸向更多領(lǐng)域滲透。
源于人工神經(jīng)網(wǎng)絡(luò)的研究深度學(xué)習(xí)作為人工智能的一個(gè)新研究領(lǐng)域,在模仿人腦的機(jī)制來(lái)解釋如圖像、聲音和文本數(shù)據(jù)上有了很大進(jìn)展。例如,卷積神經(jīng)網(wǎng)絡(luò)(CNN)能準(zhǔn)確地對(duì)大型圖像進(jìn)行識(shí)別處理,然而CNN的訓(xùn)練密集程度很高,特別是對(duì)于大型具挑戰(zhàn)性的任務(wù),卷積層的參數(shù)數(shù)據(jù)量龐大。而高性能計(jì)算機(jī)的易訪問(wèn)、高峰值等性能使學(xué)術(shù)界和工業(yè)界都可以輕松訪問(wèn)相關(guān)平臺(tái),并可以在合理的時(shí)間內(nèi)訓(xùn)練中等和較大規(guī)模的CNN。使用基于輸入展開(kāi)以將其投影為矩陣乘法(Unfold+Parallel-GEMM)的算法的CAFFE、Theano、Torch7、Chainer、CNTK和TensorFlow等最先進(jìn)的CNN基礎(chǔ)設(shè)施已可以在高性能計(jì)算機(jī)上進(jìn)行部署和應(yīng)用。
增強(qiáng)現(xiàn)實(shí)技術(shù)AR(AugmentedReality),將真實(shí)世界信息模擬至虛擬世界,讓人隨時(shí)產(chǎn)生真實(shí)感受。通過(guò)高性能計(jì)算機(jī)高效地實(shí)現(xiàn)算法,可以數(shù)字虛擬孕育“互聯(lián)網(wǎng)+”新業(yè)態(tài),開(kāi)發(fā)虛擬試衣、模擬試駕等應(yīng)用項(xiàng)目。