互聯(lián)網(wǎng)反欺詐問(wèn)題提出的必要性及重要性、通用技術(shù)手段及應(yīng)用場(chǎng)景

AI加持下的互聯(lián)網(wǎng)反欺詐
本文將從問(wèn)題提出的必要性及重要性、通用技術(shù)手段及應(yīng)用場(chǎng)景角度，對(duì)專家經(jīng)驗(yàn)規(guī)則自學(xué)習(xí)機(jī)制，風(fēng)評(píng)模型可解釋性問(wèn)題作系統(tǒng)全面的介紹，歡迎大家討論交流。

01

專家經(jīng)驗(yàn)規(guī)則自學(xué)習(xí)機(jī)制

在大數(shù)據(jù)時(shí)代背景下，金融犯罪和金融欺詐的新手段層出不窮，日漸趨于科技化、專業(yè)化、規(guī)?；哺哂须[蔽性，由過(guò)去的單兵作戰(zhàn)演變成有規(guī)模、有組織的團(tuán)伙欺詐，嚴(yán)重制約了傳統(tǒng)的專家知識(shí)庫(kù)、專家經(jīng)驗(yàn)規(guī)則持續(xù)有效地發(fā)揮作用，亟需解決兩方面問(wèn)題：

基于數(shù)據(jù)算法驅(qū)動(dòng)，自動(dòng)化調(diào)整的場(chǎng)景規(guī)則集中的閾值和權(quán)重，以保障規(guī)則持續(xù)有效性；

從不同維度發(fā)掘時(shí)效性強(qiáng)的新風(fēng)控規(guī)則，以持續(xù)豐富完善反欺詐規(guī)則集。

規(guī)則閾值、權(quán)重

規(guī)則閾值、權(quán)重學(xué)習(xí)涉及特征離散化、特征選擇、特征降維、權(quán)重參數(shù)回歸等流程。

信息熵：用來(lái)評(píng)估樣本集合的純度的一個(gè)參數(shù)，是系統(tǒng)的不確定性、隨機(jī)性度量指標(biāo)。

卡方分箱原理：特征離散化算法，根據(jù)樣本數(shù)據(jù)推斷總體的分布與期望分布是否有顯著性差異, 或者推斷兩個(gè)分類變量是否相關(guān)或者獨(dú)立。

最小熵分箱：特征離散化算法，最小熵分箱是典型的自頂向下分箱方法。最小熵分箱將待分箱特征的所有取值都放到一個(gè)箱體里，然后依據(jù)最小熵原則進(jìn)行箱體分裂。

基尼(gini)系數(shù)：特征離散化算法，總體內(nèi)部包含越混亂，基尼系數(shù)越大；內(nèi)部純度越高，基尼系數(shù)越小。

特征選擇：特征選擇在于選取對(duì)訓(xùn)練數(shù)據(jù)具有分類能力的特征，提升模型整體預(yù)測(cè)能力，常用到技術(shù)包括lasso回歸、Feature Importance、特征共線性驗(yàn)證等。

Lasso回歸：使用少量觀測(cè)值就能夠完全恢復(fù)出非零的系數(shù)。其中不同的是，樣本的數(shù)量需要“足夠大”，否則L1模型的表現(xiàn)會(huì)充滿隨機(jī)性。

新風(fēng)控規(guī)則

新欺詐規(guī)則挖掘，根據(jù)規(guī)則中所處理的值類型分為兩類：

如果規(guī)則考慮的關(guān)聯(lián)是項(xiàng)的存在與不存在，則它是布爾關(guān)聯(lián)規(guī)則；

如果規(guī)則描述的是量化的項(xiàng)或?qū)傩灾g的關(guān)聯(lián)，則它是量化關(guān)聯(lián)規(guī)則。

本質(zhì)是頻繁項(xiàng)集挖掘，常用到算法包括Apriori、FpGrowth。

Apriori算法利用頻繁集的兩個(gè)特性，過(guò)濾了很多無(wú)關(guān)的集合，效率提高不少，但是Apriori算法是一個(gè)候選消除算法，每一次消除都需要掃描一次所有數(shù)據(jù)記錄，造成整個(gè)算法在面臨大數(shù)據(jù)集時(shí)顯得無(wú)能為力。

FpGrowth算法通過(guò)構(gòu)造一個(gè)樹(shù)結(jié)構(gòu)來(lái)壓縮數(shù)據(jù)記錄，使得挖掘頻繁項(xiàng)集只需要掃描兩次數(shù)據(jù)記錄，而且該算法不需要生成候選集合，所以效率會(huì)比較高。

02

風(fēng)評(píng)模型可解釋性問(wèn)題

人工智能算法模型正在對(duì)金融行業(yè)產(chǎn)生重大影響，前提是要了解AI算法的優(yōu)勢(shì)和局限性，以及適合在金融領(lǐng)域發(fā)揮作用的場(chǎng)景。當(dāng)我們?cè)诮鹑跇I(yè)務(wù)中使用AI算法，期望通過(guò)可度量的方法對(duì)模型結(jié)果進(jìn)行分析、解釋，以期對(duì)算法進(jìn)行優(yōu)化，對(duì)業(yè)務(wù)進(jìn)行方向性的指導(dǎo)，確保模型與要解決的業(yè)務(wù)問(wèn)題保持一致，即模型解釋性分析問(wèn)題。模型的解釋性分析可幫助模型開(kāi)發(fā)人員及業(yè)務(wù)運(yùn)營(yíng)人員了解并解釋模型中包含和未包含的特征因素，及特征如何影響模型結(jié)果。

廣義上，模型的解釋性分析目的是全局定義特征對(duì)模型的影響，同時(shí)定義單個(gè)特征對(duì)模型的個(gè)性化影響；更好的理解模型行為，更好的進(jìn)行相應(yīng)的業(yè)務(wù)決策；通常對(duì)機(jī)器學(xué)習(xí)模型分為“白盒”模型和“黑盒”模型：

“白盒”模型

“白盒”模型如線性、Logistic回歸模型，預(yù)測(cè)能力較弱，但是簡(jiǎn)單易理解。線性關(guān)系如信貸欺詐與人口統(tǒng)計(jì)學(xué)特征、經(jīng)濟(jì)收入等的相關(guān)性。決策樹(shù)模型（RandomForest vs XGBoost vs LightGBM）是目前業(yè)內(nèi)公認(rèn)可解釋性較好的非線性機(jī)器學(xué)習(xí)算法，模型每作出一個(gè)決策都會(huì)通過(guò)一個(gè)決策序列來(lái)向我們展示模型的決策依據(jù)，決策樹(shù)模型自帶的基于信息理論的篩選變量標(biāo)準(zhǔn)也有助于幫助我們理解在模型決策產(chǎn)生的過(guò)程中哪些變量起到了顯著的作用；白盒模型特征明確，邏輯簡(jiǎn)單，本身具備可解釋性。

針對(duì)“白盒”模型，我們可以從數(shù)據(jù)分布圖、特征重要度、Embedding可視化、獨(dú)立特征分析（PDP）、全局性分析（SHAP）、局部特征信息（LIME）、特征相關(guān)性（相關(guān)系數(shù)）等維度提供分析技術(shù)。

特征重要度：從兩個(gè)角度分析“特征收益重要性”和“特征分裂重要性”；特征收益重要性指特征分類的平均訓(xùn)練損失的減少量，意味著相應(yīng)的特征對(duì)模型的相對(duì)貢獻(xiàn)值；特征分裂重要性是指訓(xùn)練樣本決策分裂的次數(shù)，兩者從不同維度度量不同特征在模型訓(xùn)練中的重要性。

獨(dú)立特征分析：我們通過(guò)特征重要度得知某個(gè)特征對(duì)模型的影響度，以及用SHAP來(lái)評(píng)估全局特征重要性；但如何評(píng)估某個(gè)單獨(dú)的特征，嘗試通過(guò)PDP來(lái)評(píng)估獨(dú)立特征，展示單個(gè)特征對(duì)于模型預(yù)測(cè)的邊際效益，單個(gè)特征是如何影響預(yù)測(cè)的，通過(guò)繪制特征和預(yù)測(cè)目標(biāo)之間的一維關(guān)系圖或二維關(guān)系圖來(lái)了解特征與目標(biāo)之間的關(guān)系。多個(gè)特征的復(fù)雜性，通過(guò)單個(gè)特征分析，進(jìn)一步驗(yàn)證單個(gè)特征對(duì)模型的影響度。

“黑盒”模型

“黑盒”模型使用復(fù)雜的機(jī)器學(xué)習(xí)算法（深度網(wǎng)絡(luò)學(xué)習(xí)）訓(xùn)練數(shù)據(jù)，輸入特征經(jīng)過(guò)組合變換，維度變換等特征工程步驟，需要分析及調(diào)整數(shù)據(jù)與模型，確保模型結(jié)果與要解決的問(wèn)題保持一致；然而這些模型的內(nèi)部機(jī)制難以理解，也無(wú)法估計(jì)每個(gè)特征對(duì)模型預(yù)測(cè)結(jié)果的重要性以解釋模型結(jié)果與輸入的特征屬性潛在的關(guān)聯(lián)關(guān)系，更無(wú)法直接理解不同特征之間如何相互工作（數(shù)據(jù)的相關(guān)性不等價(jià)于因果關(guān)系）。

針對(duì)“黑盒”模型，我們可以從深度網(wǎng)絡(luò)結(jié)構(gòu)分析，風(fēng)評(píng)結(jié)果命中團(tuán)伙關(guān)聯(lián)圖譜角度去解釋模型有效性。

關(guān)聯(lián)圖譜提供豐富的圖構(gòu)建、圖查詢、圖分析、圖嵌入、圖挖掘技術(shù)，通過(guò)社區(qū)檢測(cè)、關(guān)鍵節(jié)點(diǎn)分析、關(guān)聯(lián)分析、異常網(wǎng)絡(luò)結(jié)構(gòu)發(fā)現(xiàn)等場(chǎng)景化算法和模型，提供風(fēng)控和營(yíng)銷等場(chǎng)景化輔助決策服務(wù)。如信用卡養(yǎng)卡套現(xiàn)識(shí)別，養(yǎng)卡套現(xiàn)團(tuán)伙往往都與黑商戶溝通，正常養(yǎng)卡階段，消費(fèi)的商戶相對(duì)固定，而通過(guò)遍歷關(guān)聯(lián)圖譜的方式，能夠基于上述行為特征建立欺詐關(guān)聯(lián)圖譜，識(shí)別養(yǎng)卡套現(xiàn)團(tuán)伙。

風(fēng)控場(chǎng)景對(duì)于數(shù)據(jù)、模型、特征的可解釋性，穩(wěn)定性要求是重點(diǎn)，可解釋性和穩(wěn)定性仍然需要結(jié)合業(yè)務(wù)和專家經(jīng)驗(yàn)進(jìn)行判斷。
責(zé)任編輯：xj

原文標(biāo)題：AI加持下的互聯(lián)網(wǎng)反欺詐 | 反欺詐AI全域治理三部曲（中）

文章出處：【微信公眾號(hào)：芯盾時(shí)代】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。