雙容水箱液位智能控制實訓(xùn)裝置探究
前言：想要寫出一篇引人入勝的文章？我們特意為您整理了雙容水箱液位智能控制實訓(xùn)裝置探究范文，希望能給你帶來靈感和參考，敬請閱讀。
摘要:基于工科專業(yè)控制類課程教學(xué)改革需要,設(shè)計一種雙容水箱液位控制實訓(xùn)裝置,該裝置采用模塊化思想,具有組合方便、實訓(xùn)項目設(shè)計靈活等特點.同時,從物理機理出發(fā),推導(dǎo)該裝置的數(shù)學(xué)模型;隨后基于強化學(xué)習(xí)方法,提出一種智能液位控制算法,并通過仿真分析驗證算法的可行性和優(yōu)越性.
關(guān)鍵詞:液位控制;強化學(xué)習(xí);課程實訓(xùn)
液位控制是工業(yè)領(lǐng)域最常見的過程控制問題,例如在飲料食品、化工生產(chǎn)、核電站等各種行業(yè)的生產(chǎn)加工過程中都需要對反應(yīng)容器液位進行適當(dāng)控制,而工業(yè)生產(chǎn)過程往往是繁雜的,控制變量具有多階性、非線性、強耦合等特點[1-3].因此,為了貼近生產(chǎn)實踐,本科及研究生控制類課程往往將液位控制問題作為典型案例引入課堂.本文在調(diào)研了飲料、食品加工、化工生產(chǎn)等多種行業(yè)生產(chǎn)過程中液位控制的基礎(chǔ)上,進行合理簡化,設(shè)計了一套適用于本科、研究生控制類課程教學(xué)的液位控制實訓(xùn)裝置.該裝置采用模塊化設(shè)計,具有配置靈活、操作方便等優(yōu)點,可為《自動控制原理》《過程控制》《PLC控制》《線性控制理論》和《智能控制》等本科及研究生課程的教學(xué)及實訓(xùn)服務(wù).同時針對提出的裝置,采用機理分析法得出裝置數(shù)學(xué)模型.
1雙容水箱液位控制實訓(xùn)裝置及實驗項目設(shè)計
1.1雙容水箱液位控制實訓(xùn)裝置
雙容水箱液位控制實訓(xùn)裝置硬件結(jié)構(gòu)如圖1所示,主要由2個柱形水箱,1個蓄水箱,2個進水控制閥,1個連通閥和2個儲水調(diào)節(jié)閥組成.控制系統(tǒng)通過液位傳感圖1雙容水箱液位控制實訓(xùn)裝置結(jié)構(gòu)示意圖器采集水箱液位信息,經(jīng)過一定控制算法,向電磁閥發(fā)出一定電壓信號,調(diào)節(jié)閥門開度,從而調(diào)節(jié)管道流量.控制系統(tǒng)可以用單片機、PLC和上位機等方式實現(xiàn),以滿足多課程實訓(xùn)的需要.
1.2實驗項目設(shè)計舉例
該實訓(xùn)裝置具有很強的靈活性,可以調(diào)整各閥門的通斷與否、控制與否等配置出多種實驗項目,以模擬出各種實際生產(chǎn)過程中場景.本文略舉幾個例子如下.例1出水隨機的單容水箱灌裝系統(tǒng)對某些特殊液體的灌裝,要求貯液缸內(nèi)存在等壓的氣相區(qū)和液相區(qū),貯液缸內(nèi)液位的變化會直接影響到機器的正常運轉(zhuǎn)和機器的生產(chǎn)能力,以至影響產(chǎn)品的質(zhì)量和產(chǎn)量,譬如啤酒灌裝機.這些場景的實際問題都可看作是出水隨機的單容水箱灌裝系統(tǒng)液位控制問題.該系統(tǒng)可由雙容水箱實訓(xùn)裝置的1個水箱,1個液位傳感器,1個出水閥門,1個入水閥門以及控制系統(tǒng)組成.被控量是液位,控制量是進水閥門的開度.控制器根據(jù)液位傳感器檢測的液位信號與設(shè)定值之間的偏差發(fā)出電壓信號,調(diào)節(jié)進水閥門的開度,從而調(diào)整水箱入水量,使得液位保持在設(shè)定值,同時控制器可以向出水閥門發(fā)出一定的電壓信號,模擬隨機出水干擾.實驗內(nèi)容是設(shè)計合適的控制器,在出水存在干擾的情況下,調(diào)節(jié)入水流量,使得液位維持在1個設(shè)定值.同理,我們調(diào)換上述系統(tǒng)出水閥和進水閥的角色,很容易改造成隨機進水的單容液位控制裝置.例2單一進水的雙容水箱排液系統(tǒng)在實際排液系統(tǒng)中,當(dāng)在用水流量比較大的情況下,為了平抑液位的過快變化,系統(tǒng)往往需要再添加1個儲水箱,這些場景的實際問題都可看作是單一進水的雙容水箱排液系統(tǒng)液位控制問題.該系統(tǒng)可由雙容水箱實訓(xùn)裝置的2個水箱,2個液位傳感器,1個出水閥門,1個入水閥門,1個連通閥門以及控制系統(tǒng)組成.被控量是2個液位,控制量是進水閥門S1的開度和連通閥門S3的開度.控制器根據(jù)液位傳感器檢測的液位信號與2個液位設(shè)定值之間的偏差發(fā)出電壓信號,調(diào)節(jié)進水閥門S1的開度和連通閥門S3的開度,從而調(diào)整水箱入水量和2個水箱之間的流通量,使得液位保持在設(shè)定值,同時控制器可以向出水閥門發(fā)出一定的電壓信號,模擬隨機出水干擾.
2水箱液位控制實訓(xùn)裝置數(shù)學(xué)模型
2.1單容水箱控制實訓(xùn)裝置數(shù)學(xué)模型
為了更好理解雙容水箱液位控制裝置模型,先討論單容水箱液位控制裝置的物理機理,其結(jié)構(gòu)如圖2所示.Qi是進水流量,Qo是出水流量,h是液位高度,為被控變量,其變化與Qi和Qo有關(guān).根據(jù)流量平衡原理可得:Adhdt=Qi-Qo(1)式中A是水箱截面積.ΔQi是進水閥門S1的開度u引起的,當(dāng)閥門前后無壓力差時,可得:ΔQi=KuΔu(2)其中Ku是閥門的流量系數(shù).ΔQo是出水閥門S2的開度引起的,但當(dāng)閥門前后存在壓力差時,根據(jù)流體力學(xué)中的伯努利方程,可得:Δν22+gΔz+Δpρ+hf=0(3)式中△ν2是入水截面1水流速度νin的平方與出水截面2水流速度νout的平方之差,△z是入水截面1與出水截面2之間的高度差,△p是入水截面1與出水截面2之間的壓力差,hf=ξν2out2f表示水頭的損失.在這里由于入水截面面積遠遠大于出水截面面積,νin可被忽略.則整理可得:νout=kh.因此出水流量可表示為:QO=αUh(4)其中U表示施加在出水閥門上的電壓,α是閥門節(jié)流系數(shù),在閥門的線性區(qū)域,是一個常系數(shù).將(4)代入(1)可得單容水箱液位控制裝置的數(shù)學(xué)模型為:Adhdt=Qi-αUh(5)
2.2雙容水箱控制實訓(xùn)裝置數(shù)學(xué)模型
以圖1為例,討論雙容水箱控制實訓(xùn)裝置實訓(xùn)模型.參照上述單容水箱的分析,應(yīng)用伯努利方程和動量守恒定理,可推導(dǎo)出連通閥門的流量與兩側(cè)水箱間的高度差的平方根成正比,即:Q12=α3U3h1-h2(若選取2個水箱的液位高度h1和h2為狀態(tài)變量,2個水箱的進水流量Qi1和Qi2為輸入量,其受施加在進水閥門上電壓的線性控制,因此實際的控制量是電壓.假設(shè)閥門S3,S4和S5開度固定,因此可推導(dǎo)出雙容水箱控制實訓(xùn)裝置數(shù)學(xué)模型為[4]:
3基于強化學(xué)習(xí)的智能控制算法研究
強化學(xué)習(xí)是在與環(huán)境的互動中為了達成一個目標而進行的學(xué)習(xí)過程,包括智能體(Agent)、環(huán)境(Envi-ronment)和目標(Goal)3個基本元素.強化學(xué)習(xí)的學(xué)習(xí)過程是處在某一初始狀態(tài)S0的智能體為了達到目標,采取一序列行動(Action),與環(huán)境互動后可獲得與當(dāng)前狀態(tài)和所采取的行動有關(guān)的獎勵(Reward)并折現(xiàn)累加,同時智能體轉(zhuǎn)移到新的狀態(tài)S1,如此進行下去,直至達到目標狀態(tài).從同一初始狀態(tài)出發(fā),可能有若干條行動系列路徑可達到目標狀態(tài),強化學(xué)習(xí)的目的是通過不斷“試錯”,找到累加獎勵最大的行動序列,稱之為最優(yōu)策略[5].因此,強化學(xué)習(xí)算法主要是解決序列決策過程中的最優(yōu)策略選擇問題.尋找最優(yōu)策略的過程就是一個馬爾可夫決策過程(MarkovDecisionProcesses,MDPs),其可表示為:M=<S,A,Ps's,a,R,γ>,其中S表示有限狀態(tài)集合,A代表可執(zhí)行行動集合,Ps's,a表示從s采取行動a轉(zhuǎn)移到s'的概率,R表示采取某個動作后的即時獎勵,γ表示折現(xiàn)系數(shù).為了實現(xiàn)基于強化學(xué)習(xí)的智能控制算法,首先采用離散化方法,定義了一個雙容水箱液位系統(tǒng)的馬爾可夫決策過程M=<H,Q,Php,γ,R>,H=h1(m)h2(n)[]T:1⩽m⩽N1,1⩽n⩽N{2}表示以2水箱液位高度h1,h2為狀態(tài)變量構(gòu)成的狀態(tài)空間,連續(xù)的高度變量h1,h2分別被離散成N1和N2個等級,因此狀態(tài)空間的狀態(tài)個數(shù)為N1×N2;Q=q1(m)q2(n)[]T:1⩽m⩽M1,1⩽n⩽M{2}表示以2水箱的進水流速離散化后構(gòu)成的可執(zhí)行行動空間,可執(zhí)行行動個數(shù)為M1×M2;Php表示狀態(tài)轉(zhuǎn)移方程,可由式(7)離散化得到,其作用是根據(jù)當(dāng)前狀態(tài)Hi和當(dāng)前所采取的行動a確定下一個狀態(tài)Hi+1;γ表示折現(xiàn)系數(shù),取0~1之間的某一常數(shù);R(H)表示當(dāng)前狀態(tài)反饋的獎勵,本文獎勵函數(shù)選擇為:R(H)=-CHd-H(8)其中:Hd表示期望的目標狀態(tài);H表示當(dāng)前狀態(tài);C為一個大于0的實數(shù).定義了MDPs后,假設(shè)系統(tǒng)從某一初始狀態(tài)H(0)=h1(0)h2[(0)]T開始,控制執(zhí)行了一行動序列Qi(0),Qi(1),Qi(2)……,即所謂的策略π,使系統(tǒng)經(jīng)過一序列狀態(tài)轉(zhuǎn)移H(0),H(1),H(2)……,直至達到期望目標狀態(tài)Hd,在此過程中,我們定義獲得總回報的期望為價值函數(shù):Vπ(H)=E[R(H(0))+γR(H(1))+γ2R(H(2))+…H(0)=H,π](9)強化學(xué)習(xí)的目的是利用Bellman方程找到狀態(tài)空間中每個狀態(tài)對應(yīng)的最優(yōu)價值函數(shù):V*(H)=maxπVπ(H)=R(H)+maxγπV*(H')(10)然后,根據(jù)最優(yōu)價值函數(shù)確定最優(yōu)策略,即使價值最大化所采取的策略,定義為:π*(H)=argmaxq∈QV*(H')(11)在強化學(xué)習(xí)中,為了找到最優(yōu)價值函數(shù)和最優(yōu)策略,有值迭代(Valueiteration)和策略迭代(Policyiteration)2種方法.在隨后的控制過程中,控制器根據(jù)當(dāng)前狀態(tài)及最優(yōu)策略決定發(fā)出的控制指令,從而實現(xiàn)最優(yōu)控制[6].
4仿真分析
為了驗證本文提出的基于強化學(xué)習(xí)智能控制算法的可行性和優(yōu)越性,搭建了一個式(7)表示的雙容水箱液位系統(tǒng).假設(shè)水箱的最高液位為10m,水箱1的進水最大流速為20m3/s,水箱2的進水閥門關(guān)閉,不參與液位調(diào)節(jié).選取式(8)為獎勵函數(shù),其中C取100.將高度變量和流速變量離散化(N1=20,N2=20,M1=30),因此對馬爾可夫決策過程來說,有400個狀態(tài)和30個可執(zhí)行行動.最后在matlab平臺上編寫M文件24贛南師范大學(xué)學(xué)報2022年最優(yōu)價值函數(shù)和最優(yōu)策略的搜尋,并利用最優(yōu)策略調(diào)節(jié)液位高度.圖3強化圖3所示為以Hd=[73]T為期望目標狀態(tài)的強化學(xué)習(xí)結(jié)果,圖3(a)表示各個狀態(tài)對應(yīng)的最優(yōu)價值函數(shù),圖3(b)表示各個狀態(tài)對應(yīng)的最優(yōu)策略.圖4所示為基于強化學(xué)習(xí)智能算法控制器作用下的狀態(tài)響應(yīng)過程.由圖可知:系統(tǒng)狀態(tài)(液位高度)能快速到達期望值,且過沖很小,無明顯振蕩過程.但存在一定靜差,這是離散化固有的量化誤差造成的,可以通過采用更精細的量化來降低,但會大大增加強化學(xué)習(xí)過程的運算量,有文獻提出對強化結(jié)果進一步使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練來降低量化誤差.
5結(jié)語
大多數(shù)工業(yè)過程都具有固有的非線性,經(jīng)典控制策略使用線性化模型進行控制器設(shè)計,所以其在最優(yōu)控制方面并不有效.本文提出一種基于強化學(xué)習(xí)的控制策略,用于控制非線性相互作用的液位系統(tǒng).該策略充分考慮系統(tǒng)的非線性特性,利用強化學(xué)習(xí)方法的最優(yōu)決策能力,可以通過設(shè)定不同的控制目標,實現(xiàn)不同方面的最優(yōu)控制.仿真表明:該策略可以獲得較好的控制效果,其振蕩和超調(diào)都很小.
作者:賴小華 單位:贛南師范大學(xué)物理與電子信息學(xué)院