宜人蜂巢技术点解读
?YEP是致力于為中國金融科技行業(yè)提供信用評估、風險控制和精準獲客的金融科技能力共享平臺。
?宜人貸借款已使用YEP的智能分發(fā)平臺,為合作伙伴推薦更適合其產(chǎn)品的用戶。
?同時,YEP以宜人蜂巢為代表,從2017年開始為市場和行業(yè)賦能,以數(shù)據(jù)科學驅(qū)動風控。
?宜人蜂巢旨在通過數(shù)據(jù)科學驅(qū)動互聯(lián)網(wǎng)風控,讓信用釋放更多價值。宜人蜂巢提供基于獨創(chuàng)的非結(jié)構(gòu)化解析引擎Nestor打造的多維多端實時保真數(shù)據(jù)獲取服務;結(jié)合大數(shù)據(jù)、機器學習技術構(gòu)建的反欺詐服務;通過深度數(shù)據(jù)挖掘、特征化工程構(gòu)建千余維度特征的用戶信用報告。
?宜人蜂巢于2013年由李善任先生(麥哥或Michael),在宜信宜人貸內(nèi)部組建團隊并成功孵化的項目。通過8大維度:金融、電商、社交、保險、社保、行為、位置等約20種數(shù)據(jù)源,千余維度特征,億級關系網(wǎng)絡等,幫助企業(yè)做出更明智的信貸決策,以擴大公平和透明信貸的可用性。目前查詢量超過6000萬次,體驗用戶超過3000萬。通過宜人蜂巢科技平臺的促成的放款額已突破1200億;
?宜人蜂巢持續(xù)技術創(chuàng)新和精進運營,創(chuàng)造極致用戶體驗,引領互聯(lián)網(wǎng)風控技術發(fā)展。我們接下來從整體架構(gòu)、數(shù)據(jù)獲取、反欺詐三個方面介紹宜人蜂巢的技術體系。
一、整體架構(gòu)
先來看一下蜂巢的整體技術架構(gòu):
宜人蜂巢結(jié)合了大數(shù)據(jù)和機器學習的最新技術,組成完善的技術矩陣,構(gòu)建智能、高效、穩(wěn)定和安全的數(shù)據(jù)服務和風控服務:
二、獨創(chuàng)Nestor引擎 秒級保真數(shù)據(jù)獲取
宜人蜂巢基于用戶授權(quán)的數(shù)據(jù)獲取服務,涵蓋金融、電商、社交、保險、社保、行為、位置等8大維度,超過500個數(shù)據(jù)源站點。該業(yè)務場景的特點是:
1.???????? 時間長,用戶交互步驟多,頁面下載和解析量大
2.???????? 不穩(wěn)定,500多個異構(gòu)數(shù)據(jù)源,隨時都有數(shù)據(jù)源維護、停服、響應慢等現(xiàn)象,不可控因素多
3.? ? ? ??反機器人技術愈發(fā)成熟,數(shù)據(jù)獲取難度加大
宜人蜂巢獨創(chuàng)了Nestor引擎,通過實時調(diào)度、精細化采集、可熱部署升級、計算機視覺、無狀態(tài)彈性伸縮等技術手段,做到了秒級保真數(shù)據(jù)獲取,提供了極致用戶體驗,成為業(yè)內(nèi)標桿。
1)???????? 實時調(diào)度
Nestor把單個用戶的單一數(shù)據(jù)源的授權(quán)獲取視為一個任務,任務被設計為異步執(zhí)行、消息驅(qū)動、無狀態(tài)化的。Nestor將不同數(shù)據(jù)源的任務進行混編,通過獨創(chuàng)的資源共享和調(diào)度技術,最大化資源利用率。
利用消息驅(qū)動,使用消息隊列削峰填谷,將各數(shù)據(jù)獲取過程解耦,上下文信息以消息體現(xiàn),業(yè)務流程無狀態(tài)。各業(yè)務線之間的消息傳遞均使用128位深度加密算法進行加密,最大程度上保證用戶數(shù)據(jù)安全
Nestor是通過Zookeeper進行集群協(xié)調(diào),調(diào)度節(jié)點多主熱備,任務執(zhí)行節(jié)點無狀態(tài)化彈性伸縮,系統(tǒng)無間斷穩(wěn)定運行,吞吐量隨需應變。
?
2)???????? 可熱部署升級
宜人蜂巢通過獨創(chuàng)的受專利保護的Nestor模板技術,動態(tài)函數(shù)注入技術,把每個數(shù)據(jù)源的授權(quán)獲取和解析邏輯寫入標準的JSON文件,通過配置中心下發(fā)到任務執(zhí)行服務器。任務執(zhí)行服務器受消息驅(qū)動,根據(jù)最新的JSON配置執(zhí)行數(shù)據(jù)的獲取與解析。
通過發(fā)布JSON文件,無需代碼的編譯打包和重新部署,即可完成數(shù)據(jù)源升級,該技術使得代碼量下降了60%,系統(tǒng)可用性達到99.9999%。
?
3)???????? 智能代理
反機器人技術里最常見的一個手段是進行IP訪問限制。蜂巢通過自建和外部合作等方式構(gòu)建了強大的代理池網(wǎng)絡,覆蓋3大運營商,運行于多個公有云,滿足HTTP/HTTPS、SOCK4、SOCK5代理類型,動態(tài)撥號,任何時刻擁有上千個可用IP,蜂巢的代理可用性達到99.9%。
宜人蜂巢對數(shù)據(jù)源的代理表現(xiàn)進行實時監(jiān)控,對代理進行評級和打分,結(jié)合自適應學習和規(guī)則動態(tài)決定任務所使用的代理及重新測量。
?
4)???????? 計算機視覺
宜人蜂巢采用OCR、卷積神經(jīng)網(wǎng)絡技術,對驗證碼高效失敗,最小化用戶輸入和交互流程,大大縮短數(shù)據(jù)獲取時間;通過計算機視覺技術高效精確識別圖片化數(shù)據(jù),提取成結(jié)構(gòu)化數(shù)據(jù),只要是用戶可見的信息均可成功獲取。
?
5)???????? 精細化采集
宜人蜂巢對每一個數(shù)據(jù)源進行了精細化采集,對頁面進行深度分析,消除冗余資源加載、合并數(shù)據(jù)請求、最少化請求數(shù)、最大化并發(fā)能力、無DOM化極速解析,確保數(shù)據(jù)獲取和解析的極致性能。
?
6)???????? APP端采集
移動互聯(lián)網(wǎng)飛速發(fā)展,越來越多的企業(yè)出于成本、用戶體驗等因素的考慮,只開發(fā)移動app,而放棄pc版站點,逐漸形成APP為主,PC站點為輔的布局形態(tài),傳統(tǒng)的基于網(wǎng)頁的數(shù)據(jù)獲取技術已經(jīng)不能完全滿足需要。蜂巢通過虛擬化技術,構(gòu)建了大規(guī)模的虛擬Android集群,機型可以靈活配置,滿足復雜多變的APP運行需求。宜人蜂巢組合Android界面自動化技術、HTTP/HTTPS代理技術、計算機視覺技術實現(xiàn)了APP數(shù)據(jù)無縫獲取。
宜人蜂巢具備完整的PC、Web、APP三端數(shù)據(jù)獲取技術,在用戶授權(quán)提前下,可以實時保真獲取到用戶金融、電商、社交、保險、社保等5大維度數(shù)據(jù)。
三、多維交叉反欺詐
有金融的地方,有金錢的地方就一定會有欺詐發(fā)生。欺詐用戶會通過虛構(gòu)信用卡賬單、虛假交易、團伙作案、多頭借貸等手段進行信用造價,騙取貸款,貸出超過自身償還能力的額度,給企業(yè)帶來損失。宜人蜂巢運用大數(shù)據(jù)、機器學習、社交關系圖譜、特征工程等技術,結(jié)合黑名單庫和聯(lián)盟數(shù)據(jù)進行多維交叉檢測反欺詐,鑒別攔截率成功高達98%。
1)???? 賬單反欺詐
基于海量用戶郵件頭信息,提取疑似欺詐特征,通過郵件路徑追蹤、黑白名單庫對比、 決策樹模型等方法,辨別可疑郵件來源
運用統(tǒng)計建模、邏輯回歸、SPF反查策略、文本挖掘分析、決策樹等技術,對賬單郵件內(nèi)容進行深度分析,對欺詐賬單進行特征挖掘,精確識別郵件內(nèi)容篡改。
截止目前,攔截疑似欺詐賬單超過1000萬封,疑似欺詐用戶80萬,規(guī)避違約貸款50億。
?
2)???? 欺詐團伙識別
基于宜人蜂巢8大維度的用戶數(shù)據(jù),構(gòu)建構(gòu)建用戶社交關系圖譜,分析用戶與黑灰名單、欺詐團伙的碰觸路徑及黑灰度。通過關系圖譜,可以挖掘出用戶N度關系內(nèi)逾期人數(shù)、放款人數(shù)、重復賬單數(shù)、涉黑聯(lián)系數(shù),判別是否為欺詐團伙以及可疑程度。
??????宜人蜂巢社交關系圖譜累計4000萬+個節(jié)點,10億+關系連接,有效識別觸黑用戶、欺詐團伙,并可以進行貸后失聯(lián)修復。
?
3)???? 風險特征工程
宜人蜂巢通過特征對風險特征進行建模,對用戶進行畫像,通過隨機森林等大數(shù)據(jù)挖掘和機器學習技術提高模型預測精度。依托流式處理平臺,對數(shù)據(jù)源進行實時清洗、挖掘與計算,形成了包含電商、運營商、金融等強金融屬性、千余維度千余維度的強金融屬性風險因子。依據(jù)用戶授權(quán)的網(wǎng)銀、郵件賬單數(shù)據(jù)進行深度挖掘分析,生成能反應用戶信用歷史、消費還款等行為的報告。依據(jù)用戶授權(quán)的運營商數(shù)據(jù)進行深度挖掘分析,生成能反應用戶社交習慣、異常記錄等行為的報告。依據(jù)用戶授權(quán)的電商數(shù)據(jù)進行深度挖掘分析,生成能反應用戶網(wǎng)絡消費習慣、購物喜好等行為的報告。
?
4)???? 多頭借貸
客戶從多個平臺借貸,可能帶來超出用戶償還能力的違約風險,宜人蜂巢利用豐富的數(shù)據(jù)維度,結(jié)合大數(shù)據(jù)和機器學習技術,有效識別用戶是否存在多頭借貸行為。利用大數(shù)據(jù)技術分析用戶的交易記錄和賬單記錄,尋找放款和還款特征;利用獨創(chuàng)的檢測技術檢測用戶關聯(lián)屬性是否在其它借貸平臺有借貸行為,目前以覆蓋40多家主流借貸平臺;與業(yè)內(nèi)公司聯(lián)盟,共建多頭借貸信息池;
?
? ? ? ? ? ?5)???? 情報監(jiān)控
欺詐團伙搜集不同平臺的借貸條件、盯梢平臺漏洞、偽造用戶數(shù)據(jù),進行有針對性的偽造信息,并在其網(wǎng)站、論壇和社交媒體進行傳播。宜人蜂巢情報監(jiān)控實時采集行業(yè)網(wǎng)站、論壇和社交媒體數(shù)據(jù),結(jié)合流失計算和語義分析技術,截獲欺詐營銷情報,第一時間發(fā)現(xiàn)欺詐團伙,并進行針對性風險防控。
?
6)???? 黑灰名單庫
宜人蜂巢利用宜信自有貸款的數(shù)據(jù)積累,結(jié)合合作伙伴數(shù)據(jù),創(chuàng)建了包含手機號、×××、微信號、郵箱的黑/灰名單庫,收錄相關信息超過100萬條。宜人蜂巢在行業(yè)內(nèi)推大力動違約用戶信息共享,蜂巢黑名單庫日漸完善。
四、優(yōu)勢
宜人蜂巢能夠持續(xù)贏得客戶和合伙伙伴的肯定,是因為宜人蜂巢具備了四大核心優(yōu)勢:
1.?? 智能
??? 構(gòu)建信貸各環(huán)節(jié)信息的FinGraph,多維度特征交叉檢測,聯(lián)防監(jiān)控,有效預防多頭借貸,精準識別欺詐用戶或團伙,從源頭阻斷風險行為,將欺詐行為的鑒別攔截率成功提高到98%以上,提升風控有效性。
2.?? 高效
??? 利用獨創(chuàng)的非結(jié)構(gòu)化數(shù)據(jù)解析引擎Nestor,對多維多端授信源進行實時保真采集,結(jié)合先進的算法模型(計算機視覺、數(shù)據(jù)挖掘與機器學習等人工智能技術)形成精細化的數(shù)據(jù)整合應用,提升用戶轉(zhuǎn)化率。
3.?? 穩(wěn)定
??? 通過服務無狀態(tài)化設計實現(xiàn)水平擴容,對依賴數(shù)據(jù)源、服務采用多鏈路多策略備份,結(jié)合全方位實時的系統(tǒng)、業(yè)務、數(shù)據(jù)源監(jiān)控, 7*24小時運營支持,蜂巢服務可用性達到99.9999%。
4.?? 安全
? 采取三層防火墻、RSA加密技術、數(shù)據(jù)隔離、數(shù)據(jù)脫敏、分布式存儲等安全技術,結(jié)合運營安全制度和策略,通過多重防御布控保障系統(tǒng)安全。
????
? 數(shù)據(jù)為信,信用生金。宜人蜂巢期待與行業(yè)伙伴們攜手合作,共御風險,讓信用釋放更多價值。
?
轉(zhuǎn)載于:https://blog.51cto.com/honeycomb2017/2114461
總結(jié)
- 上一篇: Java生成Word文档
- 下一篇: Flutter Beta 3 新特性概览