視頻云制作下云桌面應用設計
前言：想要寫出一篇引人入勝的文章？我們特意為您整理了視頻云制作下云桌面應用設計范文，希望能給你帶來靈感和參考，敬請閱讀。
摘要：云桌面?zhèn)鬏攨f(xié)議是云桌面的核心技術(shù)之一，其決定著云桌面的傳輸效率和使用效果，業(yè)界廠商的解決方案側(cè)重點也各不相同。在桌面?zhèn)鬏斨校?a href="http://www.articshipping.com/lunwen/spzzlw/189830.html" target="_blank">視頻的流暢度與每一幀的畫面質(zhì)量之間是一對矛盾，而好的用戶體驗既要優(yōu)秀的操作流暢度，也要高質(zhì)量的傳輸畫面。本設計方案主要針對視頻云制作的場景，在服務端集成主流GPU的編碼SDK，在客戶端提供回傳畫面編碼參數(shù)配置，從而靈活滿足視頻非編的場景需求。
關(guān)鍵詞：云桌面傳輸協(xié)議云制作
1引言
在2006年8月9日的搜索引擎大會上，時任Google首席執(zhí)行官的埃里克·施密特首次提出了云計算的概念。自此之后，“云計算”成為近年來計算機領(lǐng)域最熱門的話題之一，越來越多的組織和個人加入云計算的研究，其價值不斷被發(fā)掘，互聯(lián)網(wǎng)產(chǎn)品和IT服務出現(xiàn)了新的模式。VDI，即虛擬桌面基礎(chǔ)設施，也常被稱為云桌面、虛擬桌面或桌面虛擬化，是云計算的主要產(chǎn)品形式之一。相對于傳統(tǒng)PC，VDI中的虛擬桌面更加靈活便捷，也更加綠色環(huán)保。遠程桌面協(xié)議種類頗多，業(yè)界廠商的解決方案側(cè)重點也各不相同，很難說誰優(yōu)誰劣。VDI中客戶端與虛擬桌面分離的模式使得遠程桌面協(xié)議必須依賴于實際網(wǎng)絡環(huán)境，而好的用戶體驗既要流暢度也要畫面質(zhì)量，因此，對遠程桌面協(xié)議來說，只能在有限的資源下做出適當?shù)娜∩嵋猿尸F(xiàn)出相對最好的用戶體驗[1]。傳輸協(xié)議是云桌面技術(shù)中重要的技術(shù)內(nèi)容。傳輸協(xié)議的效率決定了云桌面的基本交付能力，而對傳輸協(xié)議中的承載協(xié)議、圖形圖像的處理方式則決定了云桌面的交互體驗，不同協(xié)議有著自身的特色和適用空間[2]。
2應用方案
2.1傳輸編碼設計
本方案的設計主要面向視頻云制作領(lǐng)域，在滿足延時性要求的前提下盡可能地提升傳輸畫面質(zhì)量，實現(xiàn)視頻非編的遠程制作。傳輸協(xié)議構(gòu)建在WebSocket協(xié)議之上，使得客戶端和服務器之間的數(shù)據(jù)交換變得更加簡單，允許服務端主動向客戶端推送數(shù)據(jù)。在WebSocketAPI中，瀏覽器和服務器只需要完成一次握手，兩者之間就可以直接創(chuàng)建持久性的連接，并進行雙向數(shù)據(jù)傳輸。云桌面?zhèn)鬏斄鞒倘鐖D1所示。云桌面?zhèn)鬏攨f(xié)議主要包含視頻數(shù)據(jù)、音頻數(shù)據(jù)、控制流數(shù)據(jù)（鍵鼠操作數(shù)據(jù)）等。其中，音視頻的編解碼參考了主流編碼方式。音頻采用的Opus格式是一種開放格式，使用上沒有任何專利或限制，是在流媒體中一種比較常用的格式；采樣率和碼率可以按需進行配置，而云桌面非編場景對音頻質(zhì)量沒有更為嚴苛的需求；視頻編碼采用H.264標準，結(jié)合協(xié)議的實際應用場景，在視頻云制作的服務器上會配置GPU。因此，在傳輸協(xié)議中不采用集成libx264的軟件編碼方案，而選用集成市場主流的GPU廠家的硬件編碼SDK，以提升編碼效率。在客戶端集成FFmpeg，實現(xiàn)H.264的協(xié)議解碼。針對控制流數(shù)據(jù)進行編碼設計，定義接口實現(xiàn)方式。其中，鍵盤編碼參照了微軟設計的虛擬鍵盤值，并增加定義Alt/Shift/Ctrl狀態(tài)、小鍵盤以及大小寫開關(guān)等鍵盤參數(shù)，滿足對主流非編軟件的遠程操作使用。
2.2功能實現(xiàn)
2.2.1云桌面實現(xiàn)的主要流程?？蛻舳讼蚍斩税l(fā)起建立連接的請求→服務端接收客戶端的連接請求，驗證請求參數(shù)→服務端通過驗證后，完成與客戶端的雙向網(wǎng)絡通道的建立→服務端不斷對遠程機器進行抓屏和音頻采集，將桌面畫面和音頻數(shù)據(jù)編碼壓縮后的流數(shù)據(jù)通過網(wǎng)絡通道發(fā)送給客戶端→客戶端將收到的音視頻流數(shù)據(jù)進行解碼、渲染播放→客戶端通過網(wǎng)絡通道發(fā)送鍵盤鼠標數(shù)據(jù)，服務端接收鍵盤鼠標數(shù)據(jù)進行響應→客戶端主動斷開連接退出程序，服務端斷開連接等待下次請求。2.2.2具體實現(xiàn)步驟。（1）客戶端攜帶各項參數(shù)向服務端發(fā)起建立連接的請求。云桌面連接請求參數(shù)如表1所示。（2）服務端接收請求之后，驗證密碼等參數(shù)。如果驗證方式是用戶名密碼，服務端則會對客戶端提交的用戶名和密碼進行驗證；如果驗證方式是隨機碼，服務端則會驗證客戶端提交的隨機碼；如果驗證方式是無，服務端則不會進行驗證直接繼續(xù)后續(xù)流程?？蛻舳说卿浗缑嫒鐖D2所示。至于客戶端提交的視頻和音頻參數(shù)，服務端和客戶端可在步驟（4）（5）中利用表1中的參數(shù)來處理音視頻。（3）服務端與客戶端建立雙向網(wǎng)絡通道。此步驟基于WebSocket協(xié)議建立起雙向傳輸?shù)木W(wǎng)絡通道，用于傳輸客戶端和服務器的串流數(shù)據(jù)、鼠標鍵盤控制指令數(shù)據(jù)?？蛻舳说卿浺曨l編碼設置界面如圖3所示。（4）服務端音視頻處理。首先，遠程機器進行畫面采集（采集D3D的數(shù)據(jù)）、音頻采集（采集出PCM格式的數(shù)據(jù)）。其次，進行編碼壓縮，視頻編碼通過GPU硬件編碼器將D3D的數(shù)據(jù)轉(zhuǎn)換成H.264的碼流；音頻編碼通過Opus編碼器將PCM的數(shù)據(jù)轉(zhuǎn)換成Opus的碼流。最后，通過WebSocket網(wǎng)絡通道傳輸數(shù)據(jù)到客戶端。（5）客戶端音視頻處理。首先，通過WebSocket網(wǎng)絡通道接收服務端傳過來的碼流數(shù)據(jù)；其次，進行視頻解碼（將H.264的碼流解碼成YUV）和音頻解碼（通過Opus編碼器將Opus的碼流解碼成PCM）；最后，進行視頻渲染播放（將解碼后的YUV進行渲染展示）和音頻渲染播放（將解碼后的PCM進行渲染展示）。（6）客戶端、服務端鍵盤鼠標處理。首先，客戶端監(jiān)聽用戶的本地鍵鼠操作事件；其次，將客戶端監(jiān)聽到的用戶本地鍵鼠操作事件數(shù)據(jù)通過Web-Socket網(wǎng)絡通道傳輸給服務端；最后，服務端將接收到的事件傳給遠程機器上的操作系統(tǒng)。（7）斷開連接?？蛻舳税l(fā)送斷開的請求到服務端，退出程序；服務端停止采集、編碼、傳輸，等待下次連接請求。
2.3傳輸性能
為滿足視頻非編的制作需求，經(jīng)多方調(diào)研和反復測試，擬制定云桌面的視頻傳輸配置，具體如表2所示。按照上文中音視頻編解碼設定的參數(shù)，在局域網(wǎng)中對傳輸協(xié)議進行可用性的性能測試，結(jié)果如表3所示。事實上，鍵鼠操作編碼的上行數(shù)據(jù)量相較于下行的視頻數(shù)據(jù)要小得多，鍵鼠操作的解碼執(zhí)行響應效率也相對較高。測試結(jié)果表明，在局域網(wǎng)環(huán)境下，低于100ms的操作體驗可以滿足日常工作要求。非編對于視頻碼率有硬性要求，同時為保證延時可控，對帶寬要求較高。壓力主要在于云端服務器下行網(wǎng)絡帶寬，尤其是傳輸超高清視頻流時，實時碼率會達到50~60Mb/s。為保證畫面流暢和可用性，如果多人使用同一臺云端非編服務器時，在服務器端應考慮配置萬兆網(wǎng)卡，提高服務端出口的下行帶寬。該云桌面?zhèn)鬏敺桨钢饕獞脠鼍笆轻槍Χ桃曨l及高清視頻的輕量級非編設計，或在校師生的教學場景，該方案可使從業(yè)人員以及學校降低硬件投入成本和實驗室建設費用。
3結(jié)語
目前，視頻云制作行業(yè)的常規(guī)實現(xiàn)方式是通過遠程桌面技術(shù)來實時遠程操控云桌面中運行的設計制作應用。本文論述的應用方案的目的在于克服常見的VDI協(xié)議傳輸功能上的不足，尤其是在音視頻和3D模型等遠程制作場景之中，本方案設計的傳輸方式更為靈活方便?；贖.264視頻壓縮算法和英偉達、AMD顯卡的編解碼技術(shù)實現(xiàn)了遠程制作場景的適配，在滿足云桌面基本功能的情況下支持GPU硬件加速。同時，還提供了靈活調(diào)整視頻回傳參數(shù)的界面，方便用戶根據(jù)需要對音視頻參數(shù)做個性化設置，在視頻云制作領(lǐng)域為使用者提供了一種可行的應用方案。
參考文獻：
[1]李康,陳清華.分析對比VDI常用的幾種遠程桌面協(xié)議[J].信息系統(tǒng)工程,2020(1):111-113.
[2]李乘東.云桌面遠程傳輸協(xié)議綜述[J].現(xiàn)代電信科技,2014,44(8):23-26+32.
作者:牛泰龍 常琳 脫羚 單位:國家廣播電視總局廣播電視科學研究院