信用風險內部評級模型監(jiān)控體系探索

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了信用風險內部評級模型監(jiān)控體系探索范文，希望能給你帶來靈感和參考，敬請閱讀。

一、內部評級監(jiān)測體系的設計目標

商業(yè)銀行建設內部評級監(jiān)測體系的目標是，實現(xiàn)自動、及時、全面、自診斷地監(jiān)測內部評級體系運行情況，包括監(jiān)測內部評級體系中模型、模型支持體系運行情況，及時發(fā)現(xiàn)并診斷內部評級體系運行中存在的問題，為后續(xù)實施改進措施如深入驗證、模型優(yōu)化、應用流程修正等提供依據(jù)和支持。監(jiān)測體系應當實現(xiàn)監(jiān)測活動的自動化。內部評級模型監(jiān)測體系要以IT系統(tǒng)和數(shù)據(jù)集市為核心載體，以人工監(jiān)測和判斷為輔助手段，大幅度減少監(jiān)測過程中的大量的人工投入和重復性工作，實現(xiàn)內部評級體系的批量化、自動化監(jiān)測，同時實現(xiàn)監(jiān)測的及時性。內部評級監(jiān)測體系應當是一個覆蓋多維度、全流程、分段負責的完整體系。該體系不僅要監(jiān)測模型本身的表現(xiàn)，還要監(jiān)測影響到內部評級模型運行的多種因素，如前端基礎源數(shù)據(jù)的質量、模型變量波動情況、變量，后端模型支持體系中的模型使用情況等，使監(jiān)控體系能準確發(fā)現(xiàn)、定位模型運行過程中存在的問題環(huán)節(jié)，并采取相應的管理行動。此外，一個設計良好的內部評級監(jiān)測體系，還應具有自動化實現(xiàn)和替代大部分投產(chǎn)后定量化驗證功能及問題初步自診斷功能。具體來說，內部評級模型監(jiān)測體系不僅要能實現(xiàn)各類指標的自動化監(jiān)測，還要能按照一系列內置的專家規(guī)則，最大限度判斷模型存在問題以及可能的原因，為全面、深入驗證和診斷問題提供支持。

二、監(jiān)測體系的運行職責

內部評級模型生產(chǎn)、投產(chǎn)前驗證、應用、投產(chǎn)后驗證的完整生命周期涉及的幾類最基本的角色包括：模型設計主體、驗證主體、內部評級流程與政策制定主體、模型應用主體。內部評級體系已經(jīng)深入應用到銀行業(yè)務流程中，涉及信貸業(yè)務多個環(huán)節(jié)，因此，內部評級體系的監(jiān)測職能也須由多個部門/機構組成、分段承擔不同的監(jiān)測職能。具體來說，模型設計主體、模型應用主體、應用政策制定部門以及具體使用內部評級模型的銀行分支機構，分別承擔各自環(huán)節(jié)的監(jiān)控。首先，作為內部評級模型設計主體（一般是商業(yè)銀行的風險管理部門），要承擔內部評級體系監(jiān)測的牽頭責任和部分具體責任。牽頭責任體現(xiàn)在該部門要設計好全行內部評級體系監(jiān)測的框架，讓內評體系各主體明確各自角色、各司其職，保障內部評級體系的順暢運作，組織每個部門對各自負責流程環(huán)節(jié)運行情況開展監(jiān)控。部分具體責任指模型設計主體要具體負責內部評級模型的部分監(jiān)測工作。內部評級模型設計主體是內部評級監(jiān)測體系的核心組成部分之一。其次，模型應用政策制定部門、模型應用部門和銀行分支機構也要承擔各自業(yè)務組合、各自流程環(huán)節(jié)的內部評級體系使用情況的監(jiān)測責任。銀行內部評級應用的實踐顯示，模型的表現(xiàn)不僅與模型設計是否合理有關，很大程度上更取決于模型應用政策設計是否合理，模型應用是否恰當?shù)纫蛩?，因此，各流程負責主體理當承擔起該環(huán)節(jié)監(jiān)測的責任。如評級推翻管理部門要負責評級推翻情況的監(jiān)測，一旦出現(xiàn)評級推翻率大幅上升，必須通知模型監(jiān)測和驗證團隊、模型開發(fā)團隊以及模型應用部門。IT部門要牽頭監(jiān)控IT系統(tǒng)的穩(wěn)定性、安全性，并確保數(shù)據(jù)傳輸?shù)馁|量；零售業(yè)務條線要對零售申請評分卡的自動通過率進行監(jiān)測。銀行分支機構的對應條線，要對該分支機構的資產(chǎn)組合內部評級體系運行情況進行監(jiān)測，并對業(yè)務數(shù)據(jù)真實性、完整性負責。再次，在模型開發(fā)團隊和模型驗證團隊中，開發(fā)團隊應承擔內部評級模型的主要責任，驗證團隊擁有獨立的監(jiān)測和驗證職能，以確保驗證的獨立性，并及時根據(jù)監(jiān)測情況，決定是否開展投產(chǎn)后驗證。兩個團隊的基礎設施如風險數(shù)據(jù)集市、驗證算法等可以在經(jīng)過獨立審核后共享。最后，銀行應當明確監(jiān)測信息的匯總和報告職責。在模型新上線或調整、優(yōu)化時，開發(fā)團隊需要將模型信息反饋到模型驗證主體，并將部分數(shù)據(jù)更新到數(shù)據(jù)集市。模型投入到使用后，各監(jiān)測主體要把日常監(jiān)測結果反饋給模型監(jiān)控牽頭部門（包括模型設計主體、驗證團隊）。模型使用部門要把模型使用情況定期發(fā)送給模型開發(fā)團隊、模型驗證團隊，以開展匯總分析。

三、內部評級監(jiān)測體系的內容框架

監(jiān)測體系主要監(jiān)測內部評級模型以及內部評級模型支持體系的運行情況。模型部分主要監(jiān)測模型和風險參數(shù)情況；模型支持體系部分主要監(jiān)測保障模型的各類支持條件運作情況，如模型輸入的數(shù)據(jù)質量、模型輸出的結果、模型應用的情況等。需要注意的是，很多在模型監(jiān)測環(huán)節(jié)發(fā)現(xiàn)的問題，實際上根源在模型應用、管理中。因此，內部評級監(jiān)測體系必須要以模型監(jiān)測結果為出發(fā)點，以內部評級支持體系監(jiān)測為輔助，建立逐層剝筍式的監(jiān)測結果診斷、分析模式，才能找到內部評級體系存在的問題根源。具體來說，監(jiān)測體系應包括如下內容。1.要設計好反映內部評級體系整體運行情況的儀表盤監(jiān)測體系需要設計內部評級體系整體分布的概覽展示功能，給出具體模型的模型風險等級狀態(tài)，供管理人員對各模型運行狀態(tài)進行整體把握和判斷。監(jiān)測維度包括內部評級模型應用敞口的類別、模型類別、模型名稱、模型統(tǒng)一編號、模型適用領域，模型風險等級等信息（紅黃綠燈），并對模型的總數(shù)、問題模型數(shù)量進行統(tǒng)計。2.要把內部評級模型的監(jiān)測作為核心內部評級模型監(jiān)測的核心是監(jiān)控模型的區(qū)分能力、準確性（審慎性）和穩(wěn)定性。其主要目的是通過定量的手段，及時發(fā)現(xiàn)模型運行狀態(tài)，并對所估計的風險參數(shù)是否符合監(jiān)管和內部要求進行監(jiān)控。模型區(qū)分能力是信用風險評級模型最重要的能力之一，也是模型應用部門和分支機構最關注的內容。通俗講，內部評級體系的區(qū)分能力指的是能有效區(qū)分客戶/債項的風險的能力。良好的區(qū)分能力，意味著內部評級結果為高評分、高評級的客戶對應的是低風險的客戶。在統(tǒng)計上，一般采用KS值、AR值、AUC系數(shù)、ROC曲線等統(tǒng)計指標來衡量模型的區(qū)分能力。一般來說，這兩個指標越高，模型區(qū)分能力越好。模型的準確性有多種理解。一般來說，模型準確性主要包括模型輸出的風險參數(shù)量化準確性、模型本身的準確性。對實施內部評級初級法的銀行，主要監(jiān)測風險參數(shù)違約概率PD的準確性，比較每個等級下內評法估計的PD與實際違約率PD之間差異程度。在零售內部評級中，要同時監(jiān)測債項PD/LGD/EAD和實際結果的差異。由于監(jiān)管機構更關注風險參數(shù)估計的審慎性，還需要單獨對審慎性開展監(jiān)測。從統(tǒng)計結果上看，一般采用二項檢驗、正態(tài)檢驗等方法進行準確性（審慎性）的定量監(jiān)測。另外，內部評級模型本身的準確性，一般納入到區(qū)分能力部分進行監(jiān)測。穩(wěn)定性指的是，當內部評級模型的客戶群發(fā)生漂移時，內部評級模型區(qū)分能力和風險參數(shù)值保持相對穩(wěn)定。區(qū)分能力的穩(wěn)定性要通過監(jiān)測連續(xù)幾個時間點的區(qū)分能力指標來評估。風險參數(shù)的穩(wěn)定性要在客戶群沒有發(fā)生劇烈變化時保持相對穩(wěn)定。除了監(jiān)測模型本身能力和風險參數(shù)穩(wěn)定性外，還需要綜合考察內評應用客戶群體的穩(wěn)定性，才能更具前瞻性地預測可能的沖擊對模型穩(wěn)定性造成的影響。從定量監(jiān)測技術上看，模型本身能力的穩(wěn)定性和風險參數(shù)的穩(wěn)定性可以通過考察時間軸上的區(qū)分能力指標、風險參數(shù)指標的波動程度來實現(xiàn)，而客戶群體的穩(wěn)定性監(jiān)測可以通過評級遷徙、群體穩(wěn)定性指數(shù)PSI等指標來實現(xiàn)。除了在上述三大主要維度對模型開展監(jiān)測以外，針對某些內部評級模型，還有一些專項監(jiān)測需求。如在建模時形成的零售分池結構，隨著客戶群的變化，原來分池結構下的客戶群體可能發(fā)生了較大變化，因此要對零售分池是否仍然滿足池內同質性和池間異質性開展監(jiān)測；將具有特定的監(jiān)管要求的資本計量風險參數(shù)納入到監(jiān)測范疇；零售風險領域需要對是否存在成熟性效應、成熟性效應調節(jié)因子進行監(jiān)測。在零售評分卡與分池、非零售評級等領域對模型輸出的結果如集中度等進行監(jiān)測等。3.要建立內部評級支持體系監(jiān)測這部分內容是銀行內部體系監(jiān)測中相對薄弱的環(huán)節(jié)。內部評級支持體系包括內部評級體系的治理架構、模型的使用政策和流程、數(shù)據(jù)、IT系統(tǒng)、模型應用、模型開發(fā)和應用文檔等。其中，模型的使用政策和流程、數(shù)據(jù)、模型應用情況均可納入內部評級監(jiān)測體系中，而這些監(jiān)測內容中，最主要的是模型應用情況。通過對應用情況的監(jiān)控，可以評估應用政策和流程設計的合理性、政策和流程執(zhí)行的有效性，以便有針對性地對評級政策和流程進行及時重檢。具體來說，模型應用情況包括分支機構/客戶經(jīng)理對模型輸入信息的錄入、發(fā)起評級評分、調整、推翻、認定等環(huán)節(jié)。以非零售評級應用為例，在評級之前的信息錄入環(huán)節(jié)，需要監(jiān)控錄入信息的準確性。如可以對客戶評級信息的定性指標分布進行監(jiān)測，通過分布合理性判斷客戶經(jīng)理提供的信息是否正確。否則，一旦錄入錯誤信息，將導致輸出錯誤的模型結果，給客戶真實風險判斷、授信審批決策帶來極大的風險。在后端評級中，要對評級發(fā)起、評級調整、評級推翻、評級審定環(huán)節(jié)進行監(jiān)測，以實現(xiàn)對區(qū)域、分行、模型、各流程不同環(huán)節(jié)控制的有效性以及評級流程設計的合理性。在評級發(fā)起環(huán)節(jié)，需要監(jiān)測評級覆蓋率，以統(tǒng)計因沒有及時發(fā)起評級而導致客戶評級出現(xiàn)真空期的情況，或者因客戶評級發(fā)起及時性不足導致客戶評級結果和客戶真實情況發(fā)生偏離的情況。通過定量信息監(jiān)控模型可以監(jiān)控使用人員是否使用錯誤的模型發(fā)起評級，導致對客戶風險判斷失誤，以及模型使用人員是否為了規(guī)避信貸政策準入要求，采用錯誤的行業(yè)、模型發(fā)起評級；在評級調整環(huán)節(jié)，需要監(jiān)控特例調整政策的使用頻率分布、是否執(zhí)行評級調整、評級調整有效性等要素，以診斷特例調整政策的使用頻度、特例調整政策的有效性等；在評級推翻環(huán)節(jié)，需要監(jiān)控評級推翻率總體水平、不同區(qū)域/分行模型的評級推翻率、向上推翻比率、向下推翻比率等要素；在評級審定環(huán)節(jié)，需要監(jiān)控評級審定和系統(tǒng)評級、調整后評級的偏離情況。零售內評體系主要監(jiān)測評分卡的自動審批通過率、人工挑選政策有效性、人工審批政策效果等，以實現(xiàn)對評分流程設計合理性和執(zhí)行有效性的監(jiān)督。模型支持體系主要監(jiān)控關鍵定義（如違約定義、違約損失定義）的應用情況，監(jiān)控是否存在應當判定為違約的客戶，沒有及時判定為違約；不應該判定為違約的客戶，被誤判為違約的情況。

四、內部評級監(jiān)測體系的IT系統(tǒng)和數(shù)據(jù)體系

內部評級監(jiān)測需要依賴一系列的工具和基礎設施，其中最主要的基礎設施是監(jiān)控IT系統(tǒng)和數(shù)據(jù)集市。沒有IT系統(tǒng)和數(shù)據(jù)集市的支持，監(jiān)控體系的主要功能將無法實現(xiàn)。1.監(jiān)測體系依賴于完備、高質量的數(shù)據(jù)體系要基于全行數(shù)據(jù)倉庫和數(shù)據(jù)集市，建立完整的內部評級監(jiān)測和驗證數(shù)據(jù)集市，并依托該集市建立監(jiān)測IT系統(tǒng)，開展自動化的模型驗證與監(jiān)測。該集市至少要包括模型輸出結果（如評級/評分結果）、客戶表現(xiàn)情況（如是否違約、評級中間變量、評級原始信息、人工調整情況等）完整維度的信息。在此基礎上，要形成模型關鍵信息登記表，對內部評級模型的關鍵變量、變量從前臺業(yè)務流程系統(tǒng)到后臺風險數(shù)據(jù)集市流轉進行全面的記錄，以確保監(jiān)控體系中的信息與業(yè)務流程中的數(shù)據(jù)信息一致。2.內部評級監(jiān)控IT體系內部評級監(jiān)控IT體系主要由三部分構成：一是依托監(jiān)測和驗證數(shù)據(jù)集市，建立自動監(jiān)測模塊，實現(xiàn)整個內部評級體系的形象化展示和靈活報表查詢功能，實現(xiàn)監(jiān)控功能的集中化、自動化、批量化；二是基于風險數(shù)據(jù)集市的模型開發(fā)和數(shù)據(jù)挖掘平臺（如模型實驗室）實現(xiàn)手動監(jiān)控功能，可以隨時根據(jù)管理需要動態(tài)開展信息挖掘、監(jiān)測分析，滿足監(jiān)控的特色、應急功能需求；三是設立內嵌在評級評分業(yè)務流程系統(tǒng)中的內部評級監(jiān)測模塊，為業(yè)務條線、分支機構提供查看實時監(jiān)測分析結果的渠道。上述IT系統(tǒng)可滿足前中后臺、不同時效要求的監(jiān)控功能，形成完備的內部評級監(jiān)控IT體系。其中，基于內部評級體系的監(jiān)測IT系統(tǒng)是整個監(jiān)控體系的核心。3.在監(jiān)控體系中建立監(jiān)控信息匯總和反饋機制針對一些分支機構在應用模型過程中反饋的非結構化數(shù)據(jù)（如評級推翻管理部門的評級推翻具體案例信息、模型應用部分的分支機構人工反饋信息等），要在IT系統(tǒng)中提供反饋、匯總和信息保存的環(huán)境。4.設定模型風險判定規(guī)則，并預留專家調整入口基于上述數(shù)據(jù)和信息，在內部評級監(jiān)控系統(tǒng)中設定模型風險判定規(guī)則，并預留專家調整入口，實現(xiàn)模型風險等級判定以信息系統(tǒng)中的判定規(guī)則為主、輔助人工判斷的模式。

五、內部評級監(jiān)測體系的應用模式

內部評級監(jiān)測是內部評級模型生命周期管理活動的一個環(huán)節(jié)。根據(jù)模型監(jiān)控結果，可以開展模型問題診斷、提出后續(xù)管理行動等，設計良好的監(jiān)測體系，可實現(xiàn)模型投產(chǎn)后的部分驗證功能，大幅減輕驗證的人工投入。監(jiān)控結果應用主要包括以下內容。一是，根據(jù)監(jiān)控結果形成初步診斷結論。首先根據(jù)模型監(jiān)測結果開展模型風險等級分類，根據(jù)模型監(jiān)測結果、模型應用情況監(jiān)測結果等支持體系信息，以及其他定量分析和定性判斷信息，將內部評級模型按照模型風險高低分為紅、黃、綠燈三類。紅燈類代表模型在運行過程中出現(xiàn)了重大缺陷，已經(jīng)無法正常發(fā)揮功能，如模型區(qū)分能力連續(xù)一段時間低于底線，所估計的風險參數(shù)和實際情況出現(xiàn)嚴重偏離等；黃燈類代表模型基本功能滿足要求，但是存在一些瑕疵。如客戶群體穩(wěn)定性偶爾出現(xiàn)一些波動，但基本不影響模型區(qū)分能力等；綠燈類表示模型運行狀態(tài)良好，無明顯的瑕疵。二是，對模型監(jiān)控結果進行抽絲剝繭式的診斷分析，找到模型表現(xiàn)不好的真正原因。銀行在內部評級監(jiān)控中發(fā)現(xiàn)的問題，往往背后有一系列錯綜復雜的原因，大體可分為兩類：一類是模型設計問題，如建模方法不合適，當采用絕對值作為變量進行建模，在經(jīng)濟環(huán)境變化幅度較大情況下，可能導致模型應用后客戶群漂移以及模型區(qū)分能力迅速下降的情況；或建模方法基本合理，但部分指標設計不佳，難以互相印證、核實，帶來客戶經(jīng)理誤用、亂用模型的安全隱患。另一類是模型應用問題，此類問題在模型應用的各環(huán)節(jié)都有可能存在，如前文提到的信息錄入環(huán)節(jié)的虛假財務報表，虛高定性指標打分等；評級發(fā)起環(huán)節(jié)的未及時發(fā)起評級，采用錯誤的行業(yè)、模型發(fā)起評級，規(guī)避對客戶的信貸政策準入要求；評級調整環(huán)節(jié)的未嚴格按照特例調整要求進行調整；評級推翻環(huán)節(jié)的評級推翻率過高等。上述情況都可能對客戶真實風險判斷產(chǎn)生誤導。三是，根據(jù)監(jiān)控和診斷結果，采取有針對性的管理行動。模型風險監(jiān)控結果為紅燈的，要根據(jù)診斷的原因，明確內評體系各負責主體部門的責任，并交由各主體立即采取整改措施。對于模型本身的問題，應盡快優(yōu)化模型，在開發(fā)時預留了備份模型的，盡快研究備份模型切換；對于風險參數(shù)估計不審慎問題，要定期根據(jù)監(jiān)管要求進行調整；對于評級管理和評級流程環(huán)節(jié)的問題，要采取有針對性的管理措施，通過軟約束（以文件形式制定規(guī)范）和硬約束（通過IT系統(tǒng)實現(xiàn)硬控制）等方式，調整管理流程；對于由于信貸政策和評級結果掛鉤嚴格等原因導致的問題，要由有關部門共同討論模型應用政策是否需要修訂。模型風險監(jiān)控結果為黃燈的，模型開發(fā)和監(jiān)測團隊要加強監(jiān)控，關注產(chǎn)生波動的某些變量和整體客戶群體的漂移，提前對模型可能發(fā)生的變化開展預警。一個設計良好的內部評級監(jiān)控體系，應當能監(jiān)控模型運行各環(huán)節(jié)中發(fā)生的大部分問題。對于諸如內部評級系統(tǒng)的穩(wěn)定性評估、內部信息源系統(tǒng)數(shù)據(jù)質量評估等難以用監(jiān)控體系量化分析的模塊，以及一些無法用監(jiān)控體系應對的突發(fā)狀況等，可采取投產(chǎn)后驗證，對模型運行情況進行專題驗證和診斷分析。

六、有關建議

一是盡快建立和完善模型監(jiān)控IT系統(tǒng)模塊、監(jiān)測和驗證數(shù)據(jù)集市，徹底改變之前內部評級監(jiān)控體系半手工半自動、不同模型分散化監(jiān)控的模式，建立集中化、自動化的監(jiān)控IT系統(tǒng)，提供形象、直觀的內部評級體系儀表盤指示臺。不斷完善模型監(jiān)測自診斷判斷規(guī)則，并將其內置于監(jiān)控系統(tǒng)中，實現(xiàn)判定規(guī)則為主、人工判斷為輔的模型風險等級判定過程。二是重點完善模型支持體系監(jiān)測。模型支持體系是當前銀行內部監(jiān)測體系中相對薄弱的環(huán)節(jié)，也是目前模型風險的主要來源和監(jiān)管機構檢查關注的重點。具體來說，應針對模型的使用政策、流程、數(shù)據(jù)、模型應用情況等，按照職責分工開展監(jiān)測，并將監(jiān)測結果納入到整體內部評級監(jiān)測體系中來。三是建立模型使用信息反饋機制，建立信息通暢的模型監(jiān)控匯總和反饋渠道。評級推翻管理部門的評級推翻具體案例信息、分支機構的模型使用情況等信息要及時通達到業(yè)務主管部門、模型開發(fā)團隊和模型驗證團隊，形成對監(jiān)控信息的及時有效補充。四是建立模型應急管理機制。在未來的模型開發(fā)過程中，應當盡量形成上線模型和預留備份模型。在模型監(jiān)測過程中，一旦發(fā)現(xiàn)模型狀態(tài)較長一段時間停留在紅燈狀態(tài)，經(jīng)審核確認后，應當及時切換到預留備份模型，以減少對各項業(yè)務的沖擊。同時，在新一代內部評級計量引擎中，應當預留好模型版本切換接口，以支持模型迅速切換。

作者：朱良平 單位：中國建設銀行股份有限公司風險管理部