系統(tǒng)建設(shè)目標(biāo)

建設(shè)背景

監(jiān)管背景

2016年12月30日頒布的《證券公司全面風(fēng)險(xiǎn)管理規(guī)范》要求當(dāng)中，首次提出“證券公司應(yīng)當(dāng)建立健全數(shù)據(jù)治理和質(zhì)量控制機(jī)制。積累真實(shí)、準(zhǔn)確、完整的內(nèi)部和外部數(shù)據(jù)，用于風(fēng)險(xiǎn)識(shí)別、計(jì)量、評估、監(jiān)測和報(bào)告”。“證券公司應(yīng)將數(shù)據(jù)治理納入公司整體信息技術(shù)建設(shè)戰(zhàn)略規(guī)劃，制定數(shù)據(jù)標(biāo)準(zhǔn)，涵蓋數(shù)據(jù)源管理、數(shù)據(jù)庫建設(shè)、數(shù)據(jù)質(zhì)量監(jiān)測等環(huán)節(jié)。”

?

業(yè)務(wù)背景

中國金融行業(yè)發(fā)展迅速，隨著互聯(lián)網(wǎng)，軟件等行業(yè)的推陳出新，全球信息化的進(jìn)程也日益加快。證券公司在金融市場上發(fā)揮著日益重要的作用，也面臨著市場、信用、操作、流動(dòng)性各類風(fēng)險(xiǎn)的嚴(yán)峻挑戰(zhàn)，證券公司應(yīng)對這些風(fēng)險(xiǎn)的能力直接影響著金融市場和金融秩序的穩(wěn)定性。與此同時(shí)，數(shù)據(jù)已經(jīng)成為證券公司參與競爭的重要武器。

證券公司長期積累了大量的內(nèi)部及外部數(shù)據(jù)，這些數(shù)據(jù)除了支持證券公司的自營、資管等各項(xiàng)核心業(yè)務(wù)，加快金融產(chǎn)品和服務(wù)創(chuàng)新，還越來越多的用于風(fēng)險(xiǎn)控制、決策分析、績效考核等管理領(lǐng)域。如果數(shù)據(jù)錯(cuò)誤、遺漏、缺乏統(tǒng)一標(biāo)準(zhǔn)、共享與整合程度不足，將導(dǎo)致問題數(shù)據(jù)如雪球般越滾越大，導(dǎo)致相關(guān)領(lǐng)域業(yè)務(wù)無法正常開展或者違反相關(guān)監(jiān)管要求，導(dǎo)致決策出現(xiàn)偏差公司面臨嚴(yán)重的風(fēng)險(xiǎn)。因此，建設(shè)數(shù)據(jù)中心，提高數(shù)據(jù)治理水平是提升證券公司核心競爭力的關(guān)鍵。通過數(shù)據(jù)中心系統(tǒng)的建設(shè)、數(shù)據(jù)治理過程的推進(jìn)，證券公司可以提高其數(shù)據(jù)質(zhì)量，形成數(shù)據(jù)資產(chǎn)，進(jìn)而提高經(jīng)營管理水平和風(fēng)險(xiǎn)管理能力。

技術(shù)背景

面對證券業(yè)協(xié)會(huì)對數(shù)據(jù)治理的監(jiān)管要求和機(jī)構(gòu)自身對加強(qiáng)風(fēng)險(xiǎn)控制、提升運(yùn)營能力及關(guān)鍵業(yè)務(wù)的能力的需要。證券公司在數(shù)據(jù)治理工作上也面臨著挑戰(zhàn)：內(nèi)外部數(shù)據(jù)呈爆炸式增長、新產(chǎn)品的出現(xiàn)、競爭環(huán)境和流程日益復(fù)雜、上級監(jiān)管越來越細(xì)致。

數(shù)據(jù)治理除了構(gòu)建專門的數(shù)據(jù)治理組織架構(gòu)和工作流程之外，同時(shí)也需要有一個(gè)更加完善的信息技術(shù)系統(tǒng)規(guī)劃戰(zhàn)略。國內(nèi)券商在IT系統(tǒng)建設(shè)過程當(dāng)中，由于各種原因，雖然IT化程度相對較高，但是各種數(shù)據(jù)都存在各自的業(yè)務(wù)系統(tǒng)對應(yīng)的IT系統(tǒng)當(dāng)中獨(dú)立存在，同時(shí)各個(gè)應(yīng)用系統(tǒng)由不同的開發(fā)商開發(fā)實(shí)施，采用的數(shù)據(jù)庫、技術(shù)路線都不一樣，并不存在統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型，孤島化存在的數(shù)據(jù)為后續(xù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、風(fēng)險(xiǎn)管理帶來了重重困難。

隨著各個(gè)業(yè)務(wù)系統(tǒng)之間協(xié)同工作和數(shù)據(jù)交互越來越多并且越來越復(fù)雜，這樣就造成了各個(gè)應(yīng)用系統(tǒng)間數(shù)據(jù)關(guān)系形成了一張錯(cuò)綜復(fù)雜的數(shù)據(jù)關(guān)系網(wǎng)，給系統(tǒng)的運(yùn)行維護(hù)以及后續(xù)的系統(tǒng)建設(shè)和集成帶來了不小的困難。點(diǎn)對點(diǎn)的數(shù)據(jù)交互模式也給核心系統(tǒng)帶來了巨大的壓力。

為了解決上述問題，有必要建設(shè)一個(gè)向下可以彈性兼容各個(gè)不同的數(shù)據(jù)源，向上可以為各應(yīng)用系統(tǒng)提供數(shù)據(jù)支持的數(shù)據(jù)中心。數(shù)據(jù)中心的建立不但可以規(guī)范企業(yè)數(shù)據(jù)，減少數(shù)據(jù)冗余，減輕核心交易系統(tǒng)壓力，增強(qiáng)系統(tǒng)的易維護(hù)性，提高系統(tǒng)的可擴(kuò)展性，而且以數(shù)據(jù)中心為基礎(chǔ)和載體進(jìn)行數(shù)據(jù)治理工作可以達(dá)到事半功倍的效果。

系統(tǒng)現(xiàn)狀

數(shù)據(jù)存儲(chǔ)未整合，不利于充分利用

證券公司在運(yùn)營過程中生成了大量的數(shù)據(jù)，這些數(shù)據(jù)包括交易、清算、營銷、財(cái)務(wù)、資訊、人力資源、資產(chǎn)管理、自營等企業(yè)數(shù)據(jù)，雖然這些數(shù)據(jù)部分已經(jīng)同步到同一服務(wù)器，但數(shù)據(jù)未進(jìn)行有效整合，各系統(tǒng)依舊孤立。企業(yè)決策人員、統(tǒng)計(jì)分析人員、業(yè)務(wù)人員很難根據(jù)自己的意愿，及時(shí)地、靈活而多角度地查詢和分析數(shù)據(jù)，也不能充分利用、發(fā)掘現(xiàn)有數(shù)據(jù)，實(shí)現(xiàn)更大的效益。

數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，不利于價(jià)值發(fā)現(xiàn)

證券公司現(xiàn)有系統(tǒng)之間數(shù)據(jù)的結(jié)構(gòu)和標(biāo)準(zhǔn)都不統(tǒng)一，如果借助傳統(tǒng)的方法進(jìn)行數(shù)據(jù)分析，不但繁瑣復(fù)雜，而且無法滿足對業(yè)務(wù)變化的快速反應(yīng)，更不能站在整個(gè)企業(yè)的角度了解企業(yè)整體情況并發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系做出進(jìn)一步的分析和預(yù)測。

數(shù)據(jù)交換不統(tǒng)一，不利于質(zhì)量控制

目前各個(gè)系統(tǒng)之間的數(shù)據(jù)交換都采用各自的采集程序，沒用統(tǒng)一的監(jiān)控、跟蹤和核對機(jī)制，很難保證數(shù)據(jù)的完整性，也不利于問題的發(fā)現(xiàn)和定位。

服務(wù)交換不統(tǒng)一，不利于服務(wù)共享

各系統(tǒng)間存在功能冗余且口徑不一等問題，缺少統(tǒng)一的服務(wù)交換平臺(tái)，無法實(shí)現(xiàn)交易系統(tǒng)、呼叫中心、營銷管理、投顧系統(tǒng)、CRM等各系統(tǒng)的服務(wù)充分共享。

外部數(shù)據(jù)未接入，不利于全面分析

證券金融市場有很多的外部數(shù)據(jù)，比如征信數(shù)據(jù)、互聯(lián)網(wǎng)輿情數(shù)據(jù)、競爭公司數(shù)據(jù)等，這些數(shù)據(jù)現(xiàn)在都沒有接入到證券公司的IT系統(tǒng)中，造成很多數(shù)據(jù)分析工作不夠全面，不利于業(yè)務(wù)的全面展開。

系統(tǒng)目標(biāo)

系統(tǒng)定位

搭建數(shù)據(jù)倉庫，作為數(shù)據(jù)治理工作的基礎(chǔ)和載體

完成公司級的數(shù)據(jù)倉庫搭建工作，成為公司級數(shù)據(jù)治理工作的載體。在數(shù)據(jù)倉庫中進(jìn)行元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)定義、數(shù)據(jù)口徑統(tǒng)一管理等數(shù)據(jù)治理管控工作。

整合各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)，提供標(biāo)準(zhǔn)的數(shù)據(jù)接口

完成源系統(tǒng)調(diào)研，整合各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)，提供標(biāo)準(zhǔn)的數(shù)據(jù)接口，形成公司唯一的、標(biāo)準(zhǔn)化的數(shù)據(jù)源，提供標(biāo)準(zhǔn)和靈活的數(shù)據(jù)交換接口，支撐各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)訪問，實(shí)現(xiàn)數(shù)據(jù)資源的共享。

優(yōu)化數(shù)據(jù)交換和IT應(yīng)用系統(tǒng)架構(gòu)

建立公司的數(shù)據(jù)基礎(chǔ)平臺(tái)，完成公司要求的數(shù)據(jù)輸入輸出，將網(wǎng)狀的數(shù)據(jù)關(guān)系優(yōu)化為星狀。實(shí)現(xiàn)ETL過程和數(shù)據(jù)質(zhì)量的自動(dòng)化管理，對ETL過程和數(shù)據(jù)質(zhì)量進(jìn)行全面的監(jiān)控和管理維護(hù)。

建立適用于證券公司各類業(yè)務(wù)的完整指標(biāo)體系

建立適合公司實(shí)際業(yè)務(wù)運(yùn)行情況的指標(biāo)體系，提供現(xiàn)有的指標(biāo)庫體系供參考，涵蓋公共指標(biāo)、風(fēng)控指標(biāo)、財(cái)務(wù)指標(biāo)、集團(tuán)聯(lián)動(dòng)指標(biāo)、營業(yè)部/分公司等經(jīng)營機(jī)構(gòu)分類評價(jià)指標(biāo)、自營/資管等各業(yè)務(wù)條線指標(biāo)等。建立符合公司實(shí)際情況的企業(yè)級數(shù)據(jù)倉庫技術(shù)架構(gòu)和數(shù)據(jù)模型，為各類統(tǒng)計(jì)報(bào)表、領(lǐng)導(dǎo)者駕駛艙和數(shù)據(jù)分析挖掘提供數(shù)據(jù)支持。

完成前臺(tái)應(yīng)用建設(shè)，為證券公司各業(yè)務(wù)部門提供數(shù)據(jù)支持

根據(jù)證券公司各業(yè)務(wù)部門的實(shí)際業(yè)務(wù)需求完成領(lǐng)導(dǎo)者駕駛艙的開發(fā)、數(shù)據(jù)分析和數(shù)據(jù)挖掘開發(fā)、分析報(bào)表開發(fā)以及交互式報(bào)表等前臺(tái)應(yīng)用開發(fā)。

系統(tǒng)總體目標(biāo)

證券公司數(shù)據(jù)中心的總體建設(shè)目標(biāo)是建立基礎(chǔ)數(shù)據(jù)模型、ETL調(diào)度平臺(tái)、數(shù)據(jù)中心指標(biāo)體系、數(shù)據(jù)質(zhì)量管理平臺(tái)、數(shù)據(jù)接口服務(wù)、領(lǐng)導(dǎo)者駕駛艙等，形成統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、確保數(shù)據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：

建立符合證券公司實(shí)際需求的數(shù)據(jù)中心技術(shù)架構(gòu)。

提供符合監(jiān)管要求和證券公司業(yè)務(wù)需求的數(shù)據(jù)治理體系架構(gòu)。

建立符合證券公司實(shí)際需求的企業(yè)級數(shù)據(jù)模型。

建立方便內(nèi)部管理、幫助數(shù)據(jù)理解、增加分析敏捷性的公司級的覆蓋技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的元數(shù)據(jù)管控體系。

完成數(shù)據(jù)標(biāo)準(zhǔn)化工作，形成公司唯一的、標(biāo)準(zhǔn)化數(shù)據(jù)源，支撐各項(xiàng)業(yè)務(wù)管理系統(tǒng)的數(shù)據(jù)訪問。

支撐公司各項(xiàng)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一訪問管理等功能。

使用專業(yè)成熟的ETL工具，進(jìn)行對不同種類數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等各項(xiàng)部署、實(shí)施，并能對啟動(dòng)條件、依賴關(guān)系、狀態(tài)及錯(cuò)誤日志統(tǒng)一管理。同時(shí)ETL工具和調(diào)度平臺(tái)能夠支持和大數(shù)據(jù)平臺(tái)進(jìn)行數(shù)據(jù)交互。

實(shí)現(xiàn)ETL全流程調(diào)度自動(dòng)化管理，對ETL 過程進(jìn)行全面監(jiān)控和管理維護(hù)。

實(shí)現(xiàn)ETL過程中的數(shù)據(jù)質(zhì)量管理工作，靈活通過校驗(yàn)方式和校驗(yàn)規(guī)則的搭配，保證數(shù)據(jù)中心數(shù)據(jù)質(zhì)量。

建立全面和標(biāo)準(zhǔn)的數(shù)據(jù)中心指標(biāo)體系，統(tǒng)一管理證券公司各類業(yè)務(wù)口徑，全面的反映證券公司各項(xiàng)業(yè)務(wù)的原子指標(biāo)。

提供標(biāo)準(zhǔn)和靈活的數(shù)據(jù)接口，保證現(xiàn)有系統(tǒng)的數(shù)據(jù)源平滑過渡到數(shù)據(jù)中心，支持公司擬建和未來需建的各類系統(tǒng)。

按需要提供各類數(shù)據(jù)的匯總，滿足數(shù)據(jù)報(bào)表和不同主題數(shù)據(jù)集市的需要。

通過對基礎(chǔ)數(shù)據(jù)模型的分析，形成數(shù)據(jù)集市，并展現(xiàn)公司級別的經(jīng)營狀況。

建設(shè)原則

本項(xiàng)目是xx邁入大數(shù)據(jù)管理的第一步，旨在利用大數(shù)據(jù)技術(shù)搭建數(shù)據(jù)中心，對當(dāng)前業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行采集集中、組織規(guī)劃，從而為后續(xù)的業(yè)務(wù)開展和公司管理提供數(shù)據(jù)支持。本項(xiàng)目在建設(shè)過程中，要遵循如下原則：

自主創(chuàng)新的原則

在項(xiàng)目的規(guī)劃和設(shè)計(jì)過程中，將從xx的業(yè)務(wù)系統(tǒng)現(xiàn)狀和業(yè)務(wù)發(fā)展出發(fā)，同時(shí)考慮到證券公司后續(xù)業(yè)務(wù)發(fā)展的需要。在具體建設(shè)過程中，不完全使用已有第三方軟件供應(yīng)商提供的數(shù)據(jù)中心產(chǎn)品。整個(gè)系統(tǒng)的設(shè)計(jì)和搭建將自主創(chuàng)新，完成整個(gè)系統(tǒng)的搭建。

合作開發(fā)的原則

數(shù)據(jù)中心項(xiàng)目是一個(gè)開發(fā)項(xiàng)目，不是一個(gè)通過產(chǎn)品安裝就能夠完成的。xx信息技術(shù)部將全程參與系統(tǒng)的設(shè)計(jì)和開發(fā)工作。

逐步推進(jìn)的原則

利用大數(shù)據(jù)技術(shù)和數(shù)據(jù)倉庫理論建設(shè)數(shù)據(jù)中心項(xiàng)目，這樣的過程是要經(jīng)歷過一定的時(shí)間階段的。為此，在每一期建設(shè)過程中，我們將明確目標(biāo)，實(shí)現(xiàn)數(shù)據(jù)中心建設(shè)的完整框架，后續(xù)的建設(shè)將逐步推進(jìn)。

項(xiàng)目管理的自控原則

數(shù)據(jù)中心建設(shè)項(xiàng)目的進(jìn)行過程中，xx信息技術(shù)部參與整個(gè)項(xiàng)目進(jìn)度的控制和項(xiàng)目管理過程中的每個(gè)細(xì)節(jié)。供應(yīng)商參與開發(fā)人員要完全受信息技術(shù)部的項(xiàng)目管理要求，并遵循信息技術(shù)部的相關(guān)規(guī)范。

標(biāo)準(zhǔn)性原則

在項(xiàng)目的各個(gè)階段，尤其是設(shè)計(jì)階段，要從整個(gè)公司級別考慮問題，制定的相應(yīng)業(yè)務(wù)規(guī)則和數(shù)據(jù)字典要能夠作為公司級的數(shù)據(jù)標(biāo)準(zhǔn)。

術(shù)語定義

ETL	Extraction-Transformation-Loading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載
DDL	Data Define Lanuage，數(shù)據(jù)定義語言，即數(shù)據(jù)庫的各種建庫，建表語句。
ODS	Operational Data Store，操作性數(shù)據(jù)存儲(chǔ)，是一個(gè)面向主題的、集成的、可變的、當(dāng)前的細(xì)節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時(shí)性的、操作性的、集成的全體信息的需求。常常被作為數(shù)據(jù)倉庫的過渡
EDW	Enterprise Data Warehouse，企業(yè)級數(shù)據(jù)倉庫，是一個(gè)面向主題的（Subject Oriented）、集成的（Integrated）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策(Decision Making Support)。
CDM	概念數(shù)據(jù)模型（CDM），用于表示數(shù)據(jù)的邏輯特性，即只是在概念上表示數(shù)據(jù)庫中將存儲(chǔ)什么信息，而忽略這些信息的實(shí)現(xiàn)細(xì)節(jié)。同時(shí)，它也是對系統(tǒng)主要實(shí)體的高層次業(yè)務(wù)見解，比如識(shí)別關(guān)鍵主體領(lǐng)域、定義核心實(shí)體的主鍵。
LDM	邏輯數(shù)據(jù)模型（LDM），即實(shí)體關(guān)系模型，是一種描述數(shù)據(jù)的模型。它利用實(shí)體和它們之間的關(guān)系描述包含在顯示世界中的數(shù)據(jù)。這是一個(gè)比較詳細(xì)的數(shù)據(jù)業(yè)務(wù)見解，比如細(xì)化實(shí)體間關(guān)系，詳細(xì)的屬性定義（主外鍵、索引等主要屬性），添加了關(guān)聯(lián)的、特色的以及子類的實(shí)體，盡可能詳細(xì)化的范式（遵循第三范式），實(shí)體間的約束關(guān)系等。
Metadata	元數(shù)據(jù)（Metadata），指的是關(guān)于數(shù)據(jù)的數(shù)據(jù)，即對數(shù)據(jù)的描述。元數(shù)據(jù)描述了數(shù)據(jù)的結(jié)構(gòu)、內(nèi)容等多項(xiàng)內(nèi)容，提供了對數(shù)據(jù)對象的描述、定位、管理、檢索、評估、選擇和交互等功能。元數(shù)據(jù)是數(shù)據(jù)對象的信息地圖，通過元數(shù)據(jù)管理，能夠準(zhǔn)確勾勒出證券公司數(shù)據(jù)資產(chǎn)的整體視圖，支持科學(xué)制定信息數(shù)據(jù)管理政策，通過元數(shù)據(jù)管理，也能夠建立統(tǒng)一的數(shù)據(jù)表達(dá)形式、元數(shù)據(jù)標(biāo)準(zhǔn)，使數(shù)據(jù)可視化，方便數(shù)據(jù)的靈活交互和擴(kuò)展。
HADOOP	Apache Hadoop是一個(gè)開源軟件庫，支持超大數(shù)據(jù)的分布式處理，此類數(shù)據(jù)集分布在數(shù)千臺(tái)使用普通硬件的計(jì)算機(jī)中。Apache Hadoop項(xiàng)目由Hadoop分布式文件系統(tǒng)、MapReduce和Hadoop Common等子項(xiàng)目組成。此外，還包括HBase、Hive、Pig以及其他相關(guān)技術(shù)。Hadoop非常適合處理大體量的靜態(tài)數(shù)據(jù)。

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

系統(tǒng)技術(shù)設(shè)計(jì)

系統(tǒng)技術(shù)架構(gòu)

系統(tǒng)總體框架

系統(tǒng)邏輯架構(gòu)

無論承載數(shù)據(jù)中心的基礎(chǔ)數(shù)據(jù)庫是ORACLE之類的關(guān)系型數(shù)據(jù)庫還是Hadoop之類的大數(shù)據(jù)平臺(tái)。從數(shù)據(jù)倉庫的理論出發(fā)，我們可以將數(shù)據(jù)中心以及和數(shù)據(jù)中心相關(guān)的系統(tǒng)從邏輯上進(jìn)行劃分。大致可以分為源業(yè)務(wù)系統(tǒng)、數(shù)據(jù)基礎(chǔ)平臺(tái)、數(shù)據(jù)服務(wù)平臺(tái)、智能分析平臺(tái)、數(shù)據(jù)管控平臺(tái)、業(yè)務(wù)展現(xiàn)平臺(tái)這幾部分。

源業(yè)務(wù)系統(tǒng)：數(shù)據(jù)中心數(shù)據(jù)的來源，證券公司內(nèi)部各類生產(chǎn)系統(tǒng)或者互聯(lián)網(wǎng)數(shù)據(jù)。數(shù)據(jù)中心對接各個(gè)源業(yè)務(wù)系統(tǒng)進(jìn)行ETL工作，將證券公司內(nèi)部的數(shù)據(jù)以及互聯(lián)網(wǎng)上獲取到的外部數(shù)據(jù)集中到數(shù)據(jù)中心，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化和數(shù)據(jù)建模工作。

數(shù)據(jù)基礎(chǔ)平臺(tái)：負(fù)責(zé)數(shù)據(jù)中心數(shù)據(jù)標(biāo)準(zhǔn)化、模型化、持久存儲(chǔ)工作。從技術(shù)上分為數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)計(jì)算兩大功能；從數(shù)據(jù)類型分為結(jié)構(gòu)化和非結(jié)構(gòu)化兩類數(shù)據(jù)平臺(tái)；從數(shù)據(jù)中心數(shù)據(jù)存儲(chǔ)的層次分為原始層、ODS層、EDW層、數(shù)據(jù)集市層四類層級。

數(shù)據(jù)服務(wù)平臺(tái)：負(fù)責(zé)數(shù)據(jù)中心所有對外數(shù)據(jù)接口的管理工作，通過數(shù)據(jù)服務(wù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)中心和下游應(yīng)用分析系統(tǒng)的數(shù)據(jù)對接工作。數(shù)據(jù)服務(wù)形式一般有被動(dòng)采集和主動(dòng)推送兩種模式。

智能分析平臺(tái)：負(fù)責(zé)將數(shù)據(jù)中心的數(shù)據(jù)和指標(biāo)進(jìn)行智能分析，快速形成各類報(bào)表和圖表應(yīng)用以及進(jìn)行數(shù)據(jù)挖掘的工作。智能分析平臺(tái)通常會(huì)內(nèi)嵌商業(yè)智能分析和數(shù)據(jù)挖掘軟件比如Cognos、mstr、FineBI、SPSS等。

數(shù)據(jù)管控平臺(tái)：負(fù)責(zé)數(shù)據(jù)中心任務(wù)調(diào)度、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、數(shù)據(jù)接口管理、數(shù)據(jù)權(quán)限管理以及運(yùn)維監(jiān)控功能的管理平臺(tái)。負(fù)擔(dān)整個(gè)數(shù)據(jù)中心體系中數(shù)據(jù)的管理、控制、校驗(yàn)、監(jiān)控、分發(fā)工作，通常情況下會(huì)將業(yè)務(wù)展現(xiàn)平臺(tái)集成到數(shù)據(jù)管控平臺(tái)中，進(jìn)行統(tǒng)一集成化管理。

業(yè)務(wù)展現(xiàn)平臺(tái)：負(fù)責(zé)將數(shù)據(jù)中心的產(chǎn)出物包括報(bào)表、圖表、駕駛艙、數(shù)據(jù)標(biāo)簽、數(shù)據(jù)分析和挖掘的結(jié)果進(jìn)行有機(jī)集合，形成針對業(yè)務(wù)人員使用的前端展現(xiàn)工具，通常會(huì)集成到數(shù)據(jù)管控平臺(tái)中。

系統(tǒng)技術(shù)架構(gòu)

??? xx數(shù)據(jù)中心項(xiàng)目的數(shù)據(jù)存儲(chǔ)和計(jì)算服務(wù)已經(jīng)采用cdh版的Hadoop大數(shù)據(jù)平臺(tái)。因此數(shù)據(jù)中心技術(shù)架構(gòu)基于Hadoop大數(shù)據(jù)平臺(tái)進(jìn)行設(shè)計(jì)。

數(shù)據(jù)存儲(chǔ)采用hdfs集群模式，這種數(shù)據(jù)存儲(chǔ)模式具有超大文件處理能力、流式數(shù)據(jù)訪問能力、橫向擴(kuò)展能力、廉價(jià)的服務(wù)器需求等優(yōu)點(diǎn)。

數(shù)據(jù)計(jì)算采用Hadoop原生的mapreduce計(jì)算、SPARK引擎計(jì)算、HIVE類 SQL 查詢語言相結(jié)合的模式來保證應(yīng)對數(shù)據(jù)中心業(yè)務(wù)處理中的各類計(jì)算場景。

數(shù)據(jù)應(yīng)用可以細(xì)分為數(shù)據(jù)中心自身的數(shù)據(jù)分析和對接下游系統(tǒng)的數(shù)據(jù)服務(wù)兩類。在數(shù)據(jù)應(yīng)用方案的設(shè)計(jì)上采用關(guān)系型數(shù)據(jù)庫接口和大數(shù)據(jù)平臺(tái)數(shù)據(jù)接口相結(jié)合的方式。這種數(shù)據(jù)應(yīng)用模式的優(yōu)缺點(diǎn)如下：

優(yōu)點(diǎn)：充分考慮到數(shù)據(jù)對接類型的全覆蓋，以避免數(shù)據(jù)分析軟件或者下游系統(tǒng)無法對接Hadoop數(shù)據(jù)接口的風(fēng)險(xiǎn)。

缺點(diǎn)：增加了數(shù)據(jù)中心的ETL工作量，同時(shí)由于多了一層關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交互需要額外增加數(shù)據(jù)質(zhì)量控制機(jī)制來保證數(shù)據(jù)應(yīng)用的數(shù)據(jù)質(zhì)量。

系統(tǒng)性能

根據(jù)目前現(xiàn)狀，在充分考慮公司未來 3-5 年的業(yè)務(wù)發(fā)展需要，總體達(dá)到性能指標(biāo)如下：

系統(tǒng)性能指標(biāo)列表

指標(biāo)項(xiàng)	指標(biāo)值
前端展現(xiàn)在線用戶數(shù)	不小于3000
并發(fā)用戶數(shù)	不小于300
客戶歷史數(shù)據(jù)保留期限	長期保留
日、周報(bào)表數(shù)據(jù)生成時(shí)間	小于1小時(shí)
月度報(bào)表數(shù)據(jù)生成時(shí)間	小于2小時(shí)
實(shí)時(shí)數(shù)據(jù)ETL處理時(shí)間	小于1分鐘
日終數(shù)據(jù)ETL處理時(shí)間	小于2小時(shí)
數(shù)據(jù)整合時(shí)間	小于2小時(shí)
一般查詢響應(yīng)時(shí)間	小于3秒
查詢時(shí)間超過3秒的功能占比	小于5%

容錯(cuò)機(jī)制

在數(shù)據(jù)抽取清洗（ETL）的每一個(gè)環(huán)節(jié)出現(xiàn)錯(cuò)誤時(shí)都應(yīng)有相應(yīng)的出錯(cuò)處理、恢復(fù)流程，錯(cuò)誤處理應(yīng)盡量通過系統(tǒng)自動(dòng)恢復(fù)實(shí)現(xiàn)，需要通過人工干預(yù)處理的，出現(xiàn)錯(cuò)誤后應(yīng)能通過各種途徑通知維護(hù)人員。常見出錯(cuò)處理方式：

錯(cuò)誤類型	錯(cuò)誤內(nèi)容	處理方式
系統(tǒng)異常	數(shù)據(jù)庫連接失敗	自動(dòng)處理，重連
	數(shù)據(jù)庫空間不足	自動(dòng)提醒，手動(dòng)擴(kuò)展空間
	程序異常退出，如機(jī)器掉電，強(qiáng)制結(jié)束進(jìn)程	手動(dòng)處理，重啟程序，系統(tǒng)自動(dòng)保證事務(wù)一致性
應(yīng)用異常	主鍵沖突	自動(dòng)手動(dòng)結(jié)合，系統(tǒng)分析導(dǎo)致主鍵重復(fù)的數(shù)據(jù)，由相關(guān)人員手動(dòng)排除錯(cuò)誤。
	數(shù)據(jù)類型轉(zhuǎn)換失敗	手動(dòng)處理，手動(dòng)排除錯(cuò)誤。
	字符串轉(zhuǎn)換越界	自動(dòng)處理，自動(dòng)截?cái)嘧址?#xff0c;并記錄日志，作提示，供相關(guān)人員參考。
	數(shù)據(jù)庫死鎖	自動(dòng)重試，重試后錯(cuò)誤依然存在的，記錄錯(cuò)誤信息，手動(dòng)處理。
	由于柜臺(tái)數(shù)據(jù)結(jié)構(gòu)變動(dòng)引起的數(shù)據(jù)轉(zhuǎn)換不完整	手動(dòng)處理，修改轉(zhuǎn)換過程。
	數(shù)據(jù)核對有差異	手動(dòng)處理，檢查數(shù)據(jù)差異。

?

數(shù)據(jù)采集工具在處理的每一個(gè)環(huán)節(jié)都有完善的出錯(cuò)處理，可以根據(jù)客戶的需求，設(shè)定出錯(cuò)的的處理原則，例如放入臨時(shí)表，導(dǎo)出出錯(cuò)文件，或者是發(fā)EMAIL或者是短信網(wǎng)關(guān)通知相關(guān)的人員。

安全性設(shè)計(jì)

系統(tǒng)的安全性表現(xiàn)在對系統(tǒng)網(wǎng)絡(luò)、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)功能展現(xiàn)全過程的安全控制與管理方面。數(shù)據(jù)的傳送的安全性，通過技術(shù)平臺(tái)的數(shù)據(jù)安全機(jī)制，如自定義動(dòng)態(tài)加密算法、校驗(yàn)算法、用戶認(rèn)證證書等，可有效地保證數(shù)據(jù)從客戶端的接收至服務(wù)端的處理全過程的安全。而從業(yè)務(wù)部分來說，系統(tǒng)通過對登陸用戶采用統(tǒng)一的用戶認(rèn)證服務(wù)器進(jìn)行身份的合法性驗(yàn)證，通過對操作員操作身份認(rèn)證與操作權(quán)限的嚴(yán)格限制，確保了業(yè)務(wù)處理在身份認(rèn)證與權(quán)限上的安全控制。

網(wǎng)絡(luò)安全性

網(wǎng)絡(luò)安全技術(shù)主要解決諸如如何有效進(jìn)行介入控制，以及何如保證數(shù)據(jù)傳輸?shù)陌踩缘募夹g(shù)手段，主要包括物理安全分析技術(shù)，網(wǎng)絡(luò)結(jié)構(gòu)安全分析技術(shù)，系統(tǒng)安全分析技術(shù)，管理安全分析技術(shù)，及其它的安全服務(wù)和安全機(jī)制策略。本項(xiàng)目可以綜合利用虛擬網(wǎng)技術(shù)、防火墻技術(shù)、病毒防護(hù)技術(shù)、入侵檢測技術(shù)、安全掃描技術(shù)、認(rèn)證和數(shù)字簽名技術(shù)、VPN技術(shù)、應(yīng)用系統(tǒng)的安全技術(shù)等多種技術(shù)相結(jié)合的方式來保證網(wǎng)絡(luò)的安全性。

數(shù)據(jù)安全性

數(shù)據(jù)存放

數(shù)據(jù)庫的安全性是指保護(hù)數(shù)據(jù)庫以防止不合法的使用所造成的數(shù)據(jù)泄露、更改或破壞。所有核心數(shù)據(jù)存放在數(shù)據(jù)庫中。具體安全措施包括：防止非授權(quán)的數(shù)據(jù)庫存取；防止非授權(quán)的對模式對象的存取；控制磁盤使用；控制系統(tǒng)資源使用；審計(jì)用戶動(dòng)作。

數(shù)據(jù)訪問

數(shù)據(jù)抽取服務(wù)器對數(shù)據(jù)源的數(shù)據(jù)只有讀取權(quán)限，無其余任何查詢、修改、刪除數(shù)據(jù)權(quán)限。數(shù)據(jù)接口服務(wù)模塊對數(shù)據(jù)中心的數(shù)據(jù)只有讀取權(quán)限，不具有修改和刪除的權(quán)限。

操作安全性

錯(cuò)誤提示

系統(tǒng)對錯(cuò)誤都有明確的錯(cuò)誤信息提示，從而大大加快了問題的解決，保證系統(tǒng)穩(wěn)定安全的運(yùn)行。

操作人性化

系統(tǒng)的界面設(shè)計(jì)針對用戶做了非常細(xì)致的考慮，盡量做到系統(tǒng)運(yùn)行無人值守，系統(tǒng)運(yùn)行發(fā)現(xiàn)問題能夠盡快提示給相關(guān)人員。提示友好而準(zhǔn)確。

配置管理

系統(tǒng)有詳細(xì)的配置清單。

容錯(cuò)機(jī)制

系統(tǒng)在實(shí)時(shí)數(shù)據(jù)抽取，日終文件傳輸，日終文件導(dǎo)入和清洗流程均有相應(yīng)的容錯(cuò)機(jī)制。

WEB安全性

證書安全

系統(tǒng)WEB中間件支持加載證書，支持HTTPS協(xié)議。

用戶口令保護(hù)

系統(tǒng)所有應(yīng)用都受用戶口令保護(hù)，只有通過用戶口令校驗(yàn)之后才能訪問，每個(gè)請求在遞交給應(yīng)用服務(wù)器前，都首先判斷是否已通過用戶認(rèn)證。

權(quán)限控制

業(yè)務(wù)展現(xiàn)平臺(tái)、數(shù)據(jù)管控平臺(tái)的權(quán)限控制基于角色與組織架構(gòu)來控制。結(jié)合BI系統(tǒng)可以將權(quán)限控制對應(yīng)的字段。相關(guān)授權(quán)與重要功能的讀寫留痕，并有專門功能提供查詢。

可靠性設(shè)計(jì)

系統(tǒng)具有完善的容錯(cuò)功能，數(shù)據(jù)庫服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備及相關(guān)系統(tǒng)和軟件均有冗余設(shè)計(jì)。系統(tǒng)所有應(yīng)用服務(wù)器提供冷備份措施，當(dāng)其中一個(gè)應(yīng)用服務(wù)器出現(xiàn)故障時(shí)快速接管。

數(shù)據(jù)基礎(chǔ)平臺(tái)

?

?

本次系統(tǒng)建設(shè)的關(guān)鍵是首先要建設(shè)一個(gè)公司級的數(shù)據(jù)中心，抽取現(xiàn)有各交易系統(tǒng)、賬戶系統(tǒng)、資管系統(tǒng)、TA系統(tǒng)、資訊系統(tǒng)、SOEM等系統(tǒng)的相關(guān)數(shù)據(jù)，并進(jìn)行標(biāo)準(zhǔn)化和提供各業(yè)務(wù)系統(tǒng)二次開發(fā)標(biāo)準(zhǔn)接口。具體可以分為數(shù)據(jù)抽取清洗、數(shù)據(jù)標(biāo)準(zhǔn)化及建模、領(lǐng)導(dǎo)者駕駛艙應(yīng)用、數(shù)據(jù)管控平臺(tái)4個(gè)部分。

ETL包括從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，進(jìn)行整理和轉(zhuǎn)換，然后進(jìn)行數(shù)據(jù)加載。在目前的環(huán)境中，可以界定為從源系統(tǒng)的取數(shù)據(jù)到裝載數(shù)據(jù)入核心數(shù)據(jù)庫的這段過程。下面的圖描述了ETL和相關(guān)部分的具體數(shù)據(jù)流。

下圖為通過ETL建立數(shù)據(jù)倉庫的整體過程：

ETL主要完成以下內(nèi)容：

從各類同構(gòu)或異構(gòu)生產(chǎn)庫系統(tǒng)抽取、轉(zhuǎn)換、加載數(shù)據(jù)到大數(shù)據(jù)平臺(tái)的ODS數(shù)據(jù)層。

根據(jù)xx需求按照一定主題建立的數(shù)據(jù)模型，抽取、轉(zhuǎn)換、加載ODS數(shù)據(jù)到大數(shù)據(jù)平臺(tái)的企業(yè)級數(shù)據(jù)倉庫層即EDW層。

根據(jù)數(shù)據(jù)中心模型設(shè)計(jì)規(guī)范與xx的數(shù)據(jù)需求建立完整的數(shù)據(jù)中心指標(biāo)體系。

根據(jù)xx業(yè)務(wù)條線或者部門級的需求按照數(shù)據(jù)中心既定的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范加載轉(zhuǎn)換EDW數(shù)據(jù)和指標(biāo)庫數(shù)據(jù)到各類數(shù)據(jù)集市。

數(shù)據(jù)源

xx數(shù)據(jù)中心團(tuán)隊(duì)和風(fēng)險(xiǎn)管理團(tuán)隊(duì)歷經(jīng)多年的風(fēng)險(xiǎn)管理數(shù)據(jù)采集、數(shù)據(jù)中心系統(tǒng)數(shù)據(jù)采集工作，積累了非常豐富的各類證券系統(tǒng)數(shù)據(jù)對接經(jīng)驗(yàn)。

從系統(tǒng)類別的角度看，數(shù)據(jù)中心數(shù)據(jù)源采集對接經(jīng)驗(yàn)如下：

接口類別	支持接口數(shù)量	典型接口	完成狀態(tài)
集中交易	7	UF2.0/金證W版/金證U版/頂點(diǎn)ABoss	已投產(chǎn)
TA系統(tǒng)	6	xxTA/金證TA/xx自建TA/金證自建TA	已投產(chǎn)
資管系統(tǒng)	9	xxO32/xx資管SQL/銘創(chuàng)V8	已投產(chǎn)
資訊系統(tǒng)	8	Wind咨詢/Wind金融數(shù)據(jù)庫版/港澳資訊SQL版/聚源資訊	已投產(chǎn)
固收系統(tǒng)	3	海益固收/Comstar/衡泰固收Xir	已投產(chǎn)
賬戶系統(tǒng)	3	xx賬戶系統(tǒng)/頂點(diǎn)賬戶系統(tǒng)CIF	已投產(chǎn)
估值系統(tǒng)	5	xx估值基金版/xx估值保險(xiǎn)版/贏時(shí)勝估值	已投產(chǎn)
財(cái)務(wù)系統(tǒng)	15	用友23/用友55/用友63/金蝶EAS/浪潮財(cái)務(wù)	已投產(chǎn)
融資融券系統(tǒng)	7	xx融資融券/金證融資融券	已投產(chǎn)

從xx現(xiàn)有應(yīng)用系統(tǒng)的角度看，數(shù)據(jù)中心數(shù)據(jù)源采集對接經(jīng)驗(yàn)如下：

客戶名稱	接口名稱	完成狀態(tài)
xx	xxTA	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	xx自建TA	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	用友財(cái)務(wù)系統(tǒng)	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	集中交易系統(tǒng)xxUF2.0版	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	融資融券系統(tǒng)xxUF2.0版	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	海益固收系統(tǒng)	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	賬戶系統(tǒng)xxUF2.0版	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	轉(zhuǎn)融通系統(tǒng)xxUF2.0版	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	資管系統(tǒng)xxO32版	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	聚源資訊系統(tǒng)	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)
	xx估值系統(tǒng)	全面風(fēng)險(xiǎn)團(tuán)隊(duì)已投產(chǎn)

?

數(shù)據(jù)組織結(jié)構(gòu)

數(shù)據(jù)組織目標(biāo)

數(shù)據(jù)組織是由業(yè)務(wù)系統(tǒng)數(shù)據(jù)分析和數(shù)據(jù)中心需求分析相結(jié)合后，產(chǎn)生的為之后的數(shù)據(jù)層次提供分類的綜合依據(jù)，具體表現(xiàn)為為ODS層次提供分類的參考和為EDW層的主題提供主題雛形。同時(shí)數(shù)據(jù)組織也是數(shù)據(jù)中心設(shè)計(jì)大部分表結(jié)構(gòu)所需要遵循的原則。

數(shù)據(jù)組織結(jié)構(gòu)

?

原始層數(shù)據(jù)是基本和數(shù)據(jù)源業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)保持一致的信息數(shù)據(jù);ODS層數(shù)據(jù)主要將原始層進(jìn)行清洗轉(zhuǎn)換之后符合數(shù)據(jù)中心標(biāo)準(zhǔn)和規(guī)范的共性標(biāo)準(zhǔn)化數(shù)據(jù)；EDW層主要保存進(jìn)行主題建模之后持久化存儲(chǔ)的數(shù)據(jù)中心數(shù)據(jù)。

原始層	ODS層	EDW層
1.表結(jié)構(gòu)與業(yè)務(wù)系統(tǒng)基本一致 2.采集表結(jié)構(gòu)和用戶保持不變 3.歷史數(shù)據(jù)和日終數(shù)據(jù)需要進(jìn)行T+1的采集同步。	1.存放當(dāng)前和全部歷史數(shù)據(jù)。 2.本層的數(shù)據(jù)可以在必要的時(shí)候進(jìn)行增、刪、改操作。 3.刷新頻率：每天	1.存放大量歷史數(shù)據(jù)。 2.一般只進(jìn)行查詢操作。 3.刷新頻率：每天。

ODS數(shù)據(jù)庫

ODS數(shù)據(jù)層在數(shù)據(jù)中心數(shù)據(jù)體系中非常重要，其架構(gòu)設(shè)計(jì)將會(huì)決定其以后的擴(kuò)展性及對外提供數(shù)據(jù)的能力。該層次的定位為數(shù)據(jù)交換和數(shù)據(jù)倉庫的數(shù)據(jù)過渡層，對數(shù)據(jù)倉庫來說，其起數(shù)據(jù)規(guī)范化作用，即將不規(guī)范的數(shù)據(jù)及空值、不適用數(shù)據(jù)分析功能的冗余字段去除。在本項(xiàng)目中ODS數(shù)據(jù)層將保留全部歷史數(shù)據(jù)。

ODS數(shù)據(jù)庫設(shè)計(jì)原則：

標(biāo)準(zhǔn)化原則

對不同系統(tǒng)同含義的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，比如客戶號(hào)、機(jī)構(gòu)代碼、產(chǎn)品類別等。在每個(gè)系統(tǒng)里，代表相同含義的字段名稱及字段值都不一致，甚至還存在空值。而ODS作為數(shù)據(jù)服務(wù)，對外提供的必然是一致的字段及字段值，因此在ODS需要做字段的規(guī)范化和字段值的統(tǒng)一。

統(tǒng)一客戶模型

證券公司通常會(huì)有多套客戶交易系統(tǒng)或者管理系統(tǒng)，在不同的系統(tǒng)里存在不同的客戶模型，在數(shù)據(jù)中心里將會(huì)統(tǒng)一客戶模型，以統(tǒng)一設(shè)計(jì)的客戶模型對外提供數(shù)據(jù)。

統(tǒng)一數(shù)據(jù)字典

在標(biāo)準(zhǔn)化原則下，對外提供統(tǒng)一的數(shù)據(jù)字典。并能自動(dòng)發(fā)現(xiàn)新增屬性值的現(xiàn)象，并通過預(yù)警的方式通知運(yùn)維人員進(jìn)行確認(rèn)。

統(tǒng)一數(shù)據(jù)格式

數(shù)據(jù)格式保持對不同交易系統(tǒng)的兼容，確保清洗、轉(zhuǎn)換過程不會(huì)引起數(shù)據(jù)失真和清洗轉(zhuǎn)換因字段值類型不匹配導(dǎo)致失敗，同時(shí)也有利于對外提供統(tǒng)一的數(shù)據(jù)服務(wù)。

EDW數(shù)據(jù)庫

EDW層依據(jù)不同的業(yè)務(wù)主題和數(shù)據(jù)模型對數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)建模工作，是數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析、數(shù)據(jù)挖掘和證券公司指標(biāo)體系形成的基礎(chǔ)。EDW層要求保留全部歷史數(shù)據(jù)。

EDW層數(shù)據(jù)支撐智能分析平臺(tái)、ACRM系統(tǒng)、數(shù)據(jù)統(tǒng)計(jì)以及固定報(bào)表數(shù)據(jù)需求。各個(gè)業(yè)務(wù)條線和部門的數(shù)據(jù)需求通過在EDW層建立數(shù)據(jù)集市來實(shí)現(xiàn)。

EDW層數(shù)據(jù)模型參考業(yè)內(nèi)普遍使用的數(shù)據(jù)倉庫模型數(shù)據(jù)規(guī)劃和組織以及證監(jiān)會(huì)行業(yè)數(shù)據(jù)模型工作組的邏輯模型建設(shè)成果，另一方面也要考慮到證券公司各業(yè)務(wù)條線的業(yè)務(wù)特點(diǎn)和個(gè)性化數(shù)據(jù)需求進(jìn)行數(shù)據(jù)主題模型的設(shè)計(jì)、擴(kuò)展和補(bǔ)充。

數(shù)據(jù)組織原則

時(shí)間與效率原則

為了保證數(shù)據(jù)中心能夠及時(shí)為各個(gè)總部管理系統(tǒng)提供數(shù)據(jù)服務(wù)，必須控制數(shù)據(jù)的再加工量，日終處理(采集和加工)不能以延長時(shí)間為代價(jià)，原則上，日終處理的時(shí)間不應(yīng)超過1小時(shí)。

通用性原則

由于數(shù)據(jù)中心系統(tǒng)是公司多個(gè)總部管理系統(tǒng)的數(shù)據(jù)基礎(chǔ)，為了保證數(shù)據(jù)中心系統(tǒng)的運(yùn)行效率，數(shù)據(jù)中心僅對共性的數(shù)據(jù)進(jìn)行加工、存儲(chǔ)。個(gè)性化數(shù)據(jù)由下游各業(yè)務(wù)系統(tǒng)在數(shù)據(jù)中心提供的數(shù)據(jù)基礎(chǔ)上自行再加工。

粒度最小化原則

如果多個(gè)系統(tǒng)都需要同一項(xiàng)數(shù)據(jù)，只是數(shù)據(jù)粒度不一樣;在這種情況下，數(shù)據(jù)中心按粒度最小化的原則進(jìn)行數(shù)據(jù)加工。

如果相關(guān)屬性需多個(gè)系統(tǒng)共用，由基礎(chǔ)數(shù)據(jù)加工而成，如日均資產(chǎn)、周轉(zhuǎn)率等。

如果相關(guān)屬性供單個(gè)系統(tǒng)使用或涉及到手工調(diào)整，如客戶評級，建議下游系統(tǒng)各自計(jì)算產(chǎn)生，同時(shí)將有必要的指標(biāo)數(shù)據(jù)回寫至數(shù)據(jù)中心，交易系統(tǒng)等。

標(biāo)準(zhǔn)化原則

對不同系統(tǒng)同含義的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，數(shù)據(jù)格式保持對不同交易系統(tǒng)的兼容，對外提供的必須是一致的字段名稱和字段值。比如客戶號(hào)、機(jī)構(gòu)代碼、產(chǎn)品類別等。

開放性原則

允許符合技術(shù)標(biāo)準(zhǔn)的數(shù)據(jù)及系統(tǒng)在此平臺(tái)上交換數(shù)據(jù)。

容錯(cuò)性原則

在數(shù)據(jù)抽取清洗的每一個(gè)環(huán)節(jié)出現(xiàn)錯(cuò)誤時(shí)都應(yīng)有相應(yīng)的出錯(cuò)處理、恢復(fù)流程，出現(xiàn)錯(cuò)誤能夠通過郵件、短信的方式通知維護(hù)人員。

準(zhǔn)確性與完整性原則

數(shù)據(jù)中心為各個(gè)管理系統(tǒng)提供數(shù)據(jù)服務(wù)，其數(shù)據(jù)的準(zhǔn)確性非常重要，須能夠提供業(yè)務(wù)系統(tǒng)層、原始層、ODS層的數(shù)據(jù)核對，并能夠在核對出現(xiàn)問題時(shí)自動(dòng)提醒維護(hù)人員。

數(shù)據(jù)模型設(shè)計(jì)

數(shù)據(jù)模型設(shè)計(jì)的原則是具備全面性和前瞻性，涵蓋了目前數(shù)據(jù)中心或者下游系統(tǒng)不涉及，但在后續(xù)數(shù)據(jù)分析過程中會(huì)涉及的數(shù)據(jù)模型；涵蓋短期內(nèi)不會(huì)進(jìn)行標(biāo)準(zhǔn)化，但將來會(huì)進(jìn)行標(biāo)準(zhǔn)化的數(shù)據(jù)模型。

FS-LDM和SDOM的產(chǎn)生就是為了解決這個(gè)矛盾的。FS-LDM和SDOM解決這個(gè)矛盾有兩種途徑：

(1)利用科學(xué)的面向?qū)ο蠓治龅姆椒?#xff0c;分析業(yè)務(wù)中的Who， What， When， Why， Where， How；這樣就產(chǎn)生了數(shù)據(jù)建模領(lǐng)域的基本主題框架，并且按照證券的特點(diǎn)轉(zhuǎn)化為當(dāng)事人、產(chǎn)品、渠道等數(shù)據(jù)主題域。

(2)總結(jié)已經(jīng)成功建設(shè)倉庫，并且可以支撐各種分析型應(yīng)用建設(shè)的案例，對這些案例的模型進(jìn)行借鑒。借助于這些專業(yè)的建模經(jīng)驗(yàn)，在已經(jīng)確定的主題框架下，細(xì)化各種實(shí)體和關(guān)系的內(nèi)容。通過關(guān)系實(shí)體模型的框架將通用的業(yè)務(wù)邏輯完整地反映出來。

本次數(shù)據(jù)中心建設(shè)方案綜合參照FS-LDM和SDOM這兩種數(shù)據(jù)模型設(shè)計(jì)方法論進(jìn)行邏輯數(shù)據(jù)模型設(shè)計(jì)工作。下面是FS-LDM、SDOM、xx數(shù)據(jù)中心對于主題模型劃分的對照列表

FS-LDM	SDOM	xx數(shù)據(jù)中心
當(dāng)事人	主體	當(dāng)事人
產(chǎn)品	品種	產(chǎn)品
協(xié)議	賬戶	協(xié)議
事件	事件	事件
資產(chǎn)	資產(chǎn)	資產(chǎn)
財(cái)務(wù)	合同	財(cái)務(wù)
機(jī)構(gòu)		內(nèi)部機(jī)構(gòu)
地域		地域
營銷	營銷	營銷
渠道	渠道	渠道
	資訊	資訊
		公共

其中SDOM主題劃分中的主體主題對應(yīng)FS-LDM中的當(dāng)事人主題和機(jī)構(gòu)主題、品種主題對應(yīng)FS-LDM模型中的產(chǎn)品主題、賬戶和合同主題綜合對應(yīng)FS-LDM模型中的協(xié)議主題；對于財(cái)務(wù)、內(nèi)部組織、地域等主題內(nèi)容SDOM模型并未設(shè)計(jì)，而FS-LDM模型對應(yīng)證券行業(yè)特有的資訊內(nèi)容并未包含在內(nèi)；xx數(shù)據(jù)中心在結(jié)合兩種主題模型設(shè)計(jì)思路的基礎(chǔ)上，形成了包含當(dāng)事人、協(xié)議、產(chǎn)品、事件、資產(chǎn)、內(nèi)部機(jī)構(gòu)、財(cái)務(wù)、資訊、地域、營銷、渠道、公共十二大數(shù)據(jù)主題域的數(shù)據(jù)中心主題模型設(shè)計(jì)思路。

模型設(shè)計(jì)概述

企業(yè)級數(shù)據(jù)倉庫（Enterprise Data warehouse）邏輯數(shù)據(jù)模型（Logical Data Model）是一種圖形的展現(xiàn)方式，采用面向主題的方法有效組織來源多樣的各種業(yè)務(wù)數(shù)據(jù)，同時(shí)能全面反映證券復(fù)雜的業(yè)務(wù)規(guī)則，支持大量的分析應(yīng)用。它使用統(tǒng)一的邏輯語言描述證券業(yè)務(wù)，是數(shù)據(jù)管理的分析工具和交流的有力手段；同時(shí)還能夠很好地保證數(shù)據(jù)的一致性，是實(shí)現(xiàn)業(yè)務(wù)智能（Business Intelligence）的重要基礎(chǔ)。

結(jié)合證券操作型業(yè)務(wù)系統(tǒng)的業(yè)務(wù)特性，采用面向主題的方法，按照標(biāo)準(zhǔn)范式規(guī)則進(jìn)行設(shè)計(jì)，將來源于核心交易系統(tǒng)、法人清算系統(tǒng)、營銷系統(tǒng)、財(cái)務(wù)系統(tǒng)、統(tǒng)一賬號(hào)系統(tǒng)等諸多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)有效地組織起來，為證券公司提供了中性數(shù)據(jù)平臺(tái)和單一信息視圖，并且保留全部歷史數(shù)據(jù)，能夠全面體現(xiàn)各種業(yè)務(wù)規(guī)則，支持將來的分析型應(yīng)用。

本項(xiàng)目的模型客戶化重點(diǎn)是數(shù)據(jù)倉庫基礎(chǔ)邏輯數(shù)據(jù)模型，通過EDW層數(shù)據(jù)支撐智能分析平臺(tái)、ACRM系統(tǒng)、數(shù)據(jù)統(tǒng)計(jì)以及固定報(bào)表數(shù)據(jù)需求。統(tǒng)計(jì)類數(shù)據(jù)通過在EDW層建立數(shù)據(jù)集市來實(shí)現(xiàn)。

目前模型框架中包括當(dāng)事人、內(nèi)部機(jī)構(gòu)、產(chǎn)品、協(xié)議、事件、地址、渠道、營銷、財(cái)務(wù)、客戶資產(chǎn)、資訊、公共十二大主題以及主題之間的關(guān)系，模型的概貌如下圖所示：

?

通過本系統(tǒng)建設(shè)工作，形成證券自有知識(shí)產(chǎn)權(quán)的企業(yè)級數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型，從而為搭建證券公司企業(yè)級數(shù)據(jù)倉庫奠定重要基礎(chǔ)。

建設(shè)本系統(tǒng)，將有助于搭建全行統(tǒng)一的業(yè)務(wù)信息視圖，提供對數(shù)據(jù)的一致理解，滿足日益增長的分析型應(yīng)用；將有利于證券公司對現(xiàn)有業(yè)務(wù)的全局認(rèn)識(shí)與把握，從整體上對全行業(yè)務(wù)系統(tǒng)進(jìn)行規(guī)劃設(shè)計(jì)，更好地實(shí)現(xiàn)跨部門、跨系統(tǒng)分析，支持業(yè)界成熟應(yīng)用的實(shí)施，建設(shè)并完善符合證券公司業(yè)務(wù)實(shí)際和發(fā)展要求的全行業(yè)務(wù)分析型應(yīng)用系統(tǒng)。

當(dāng)事人模型

當(dāng)事人（Party）是指證券公司所服務(wù)的和感興趣進(jìn)行分析的任意對象。當(dāng)事人可以是一個(gè)獨(dú)立的人，也可以是一組人組成的機(jī)構(gòu)、團(tuán)體等。當(dāng)事人分為個(gè)人當(dāng)事人、機(jī)構(gòu)當(dāng)事人和家庭，他們是和證券公司有業(yè)務(wù)往來或者出于市場營銷、分析管理等各種需要而希望關(guān)心和分析的個(gè)體或群體。

從數(shù)據(jù)倉庫模型角度考慮，主要包括以下幾類當(dāng)事人信息：

• • 登記注冊開立賬戶的單位、個(gè)人普通客戶；
  • 有業(yè)務(wù)往來的其他金融機(jī)構(gòu)（基金代理等）；

唯一標(biāo)識(shí)

“當(dāng)事人編號(hào)”是當(dāng)事人的唯一標(biāo)識(shí)字段，是全轄唯一的客戶識(shí)別號(hào)。當(dāng)事人類型分為“個(gè)人當(dāng)事人”和“機(jī)構(gòu)當(dāng)事人”兩類

兩者的當(dāng)事人編號(hào)的生成規(guī)則分別如下：

• • 個(gè)人當(dāng)事人：按照當(dāng)事人在各系統(tǒng)中登記的證件類型＋證件號(hào)碼進(jìn)行統(tǒng)一整合生成統(tǒng)一客戶號(hào)。
  • 當(dāng)事人編號(hào)＝“統(tǒng)一客戶編號(hào)”。證件類型代碼以核心業(yè)務(wù)系統(tǒng)采用的編碼標(biāo)準(zhǔn)為基礎(chǔ)進(jìn)行整合。

核心交易業(yè)務(wù)系統(tǒng)以及目前分析的其他外圍業(yè)務(wù)系統(tǒng)所涉及的客戶，目前均遵循上述原則產(chǎn)生該系統(tǒng)的客戶號(hào)，進(jìn)行客戶的唯一性識(shí)別。對于未來新增的業(yè)務(wù)系統(tǒng)，若其擁有不同于該編碼方式的客戶號(hào)生成規(guī)則，但其一般均應(yīng)提供對客戶的相關(guān)證件類型和證件號(hào)碼，與數(shù)據(jù)倉庫現(xiàn)有數(shù)據(jù)進(jìn)行整合；否則需通過其他輔助信息進(jìn)行客戶的唯一性識(shí)別（如通過核心交易業(yè)務(wù)系統(tǒng)的賬號(hào)關(guān)聯(lián)相應(yīng)的客戶號(hào)）。

• 對公當(dāng)事人：同個(gè)人當(dāng)事人編號(hào)一樣

主要內(nèi)容

當(dāng)事人分類

結(jié)合證券業(yè)務(wù)系統(tǒng)現(xiàn)狀和數(shù)據(jù)基礎(chǔ)，當(dāng)事人種類分為對機(jī)構(gòu)當(dāng)事人、個(gè)人當(dāng)事人、經(jīng)紀(jì)人當(dāng)事人，代理人當(dāng)事人，柜員當(dāng)事人等

當(dāng)事人：par_client指公司所服務(wù)的任意對象和感興趣進(jìn)行分析的各種對象，通過“當(dāng)事人類型代碼”分為“個(gè)人當(dāng)事人”、“對公當(dāng)事人”。當(dāng)事人的主要數(shù)據(jù)來源為核心交易業(yè)務(wù)系統(tǒng)的客戶信息、和其他外圍業(yè)務(wù)系統(tǒng)的客戶信息等。

• 當(dāng)事人名稱：當(dāng)事人當(dāng)前對應(yīng)的名稱。
• 當(dāng)事人所在內(nèi)部機(jī)構(gòu)。
• 當(dāng)事人編號(hào):統(tǒng)一生成唯一編碼
• 當(dāng)事人證件號(hào)和當(dāng)事人證件的有效日期等。
• 當(dāng)事人證件有效開始日期
• 當(dāng)事人證件有效結(jié)束日期
• 當(dāng)事人類型代碼，包括個(gè)人和機(jī)構(gòu)。
• 當(dāng)事人種類代碼，包括客戶，經(jīng)紀(jì)人，柜員，代理人等。

個(gè)人當(dāng)事人：par_clientinfos主要指證券所服務(wù)的個(gè)人客戶。包含了一些常用的人口統(tǒng)計(jì)學(xué)信息：性別、出生日期，當(dāng)事人開銷戶日期，當(dāng)事人狀態(tài)代碼表，當(dāng)事人權(quán)限，當(dāng)事人委托方式等。

機(jī)構(gòu)當(dāng)事人：par_organinfo主要指證券所服務(wù)的機(jī)構(gòu)客戶。包機(jī)構(gòu)客戶所有基本信息。

經(jīng)紀(jì)人當(dāng)事人：par_broker主要指證券公司為客戶提供服務(wù)的經(jīng)紀(jì)人，包括經(jīng)紀(jì)人的基本信息。

代理人當(dāng)事人：par_deputy主要指證券公司為客戶提供代理服務(wù)的當(dāng)事人，包括代理人的基本信息。

柜臺(tái)當(dāng)事人：par_operator主要指證券公司營業(yè)部的柜員為客戶提供服務(wù)的當(dāng)事人，包括柜臺(tái)的基本信息。

當(dāng)事人關(guān)系歷史：主要指與當(dāng)事人之間的歷史關(guān)系變化，用拉鏈算法，其中當(dāng)事人關(guān)聯(lián)關(guān)系代碼，包括（經(jīng)紀(jì)關(guān)系，代理關(guān)系等），開始日期和結(jié)束日期。

當(dāng)事人風(fēng)險(xiǎn)代碼:：主要指當(dāng)事人開戶的風(fēng)險(xiǎn)規(guī)范，

當(dāng)事人狀態(tài)代碼：主要指當(dāng)事人狀態(tài)，包括掛失等。

當(dāng)事人風(fēng)險(xiǎn)

當(dāng)事人評級歷史：記錄當(dāng)事人的風(fēng)險(xiǎn)評級情況，主要包括信用評級的信息。

當(dāng)事人額度歷史：當(dāng)事人的分類額度及額度的使用歷史。

重要關(guān)系

?

當(dāng)事人協(xié)議關(guān)系歷史：記錄當(dāng)事人與協(xié)議的關(guān)系歷史，目前記錄的主要是協(xié)議的持有者、擔(dān)保者、共同參貸人等關(guān)系。

事件當(dāng)事人關(guān)系：記錄事件與當(dāng)事人的關(guān)系，一個(gè)事件會(huì)涉及很多當(dāng)事人，比如事件的發(fā)起人、事件的代理人，事件的經(jīng)紀(jì)人等。

當(dāng)事人地址關(guān)系歷史：記錄當(dāng)事人與地址的關(guān)系，當(dāng)事人的地址變更歷史等信息。一個(gè)當(dāng)事人可以有多個(gè)地址；一個(gè)地址可能被多個(gè)當(dāng)事人使用。

產(chǎn)品當(dāng)事人關(guān)系歷史：描述產(chǎn)品與當(dāng)事人的關(guān)系，如開發(fā)、經(jīng)銷、購買等。

內(nèi)部機(jī)構(gòu)當(dāng)事人關(guān)系歷史：內(nèi)部機(jī)構(gòu)在與當(dāng)事人的關(guān)系中扮演不同的角色，如開戶機(jī)構(gòu)、管理機(jī)構(gòu)、分析機(jī)構(gòu)等。

內(nèi)部機(jī)構(gòu)模型

內(nèi)部機(jī)構(gòu)（Internal Organization）是一個(gè)比較寬泛的概念，可以是正式機(jī)構(gòu)，也可以是一些具有特定功能的團(tuán)隊(duì)。本模型中內(nèi)部機(jī)構(gòu)是指證券公司的內(nèi)部組織和業(yè)務(wù)單元，如營業(yè)部、服務(wù)部、部門、銷售團(tuán)隊(duì)等。

通過該主題的建立要能夠體現(xiàn)不同組織機(jī)構(gòu)之間的層次隸屬關(guān)系，同時(shí)還能夠適應(yīng)組織機(jī)構(gòu)變動(dòng)的靈活性以及交叉管理的需要。此外，該主題和當(dāng)事人、地區(qū)、產(chǎn)品、協(xié)議、事件、營銷活動(dòng)等都有關(guān)聯(lián)。如對產(chǎn)品而言，可能有多種角色，如創(chuàng)建、銷售、監(jiān)控等。

唯一標(biāo)識(shí)

內(nèi)部機(jī)構(gòu)的唯一標(biāo)識(shí)以核心業(yè)務(wù)系統(tǒng)機(jī)構(gòu)管理中的機(jī)構(gòu)編碼為基礎(chǔ)，結(jié)合財(cái)務(wù)管理系統(tǒng)和其他業(yè)務(wù)系統(tǒng)的機(jī)構(gòu)編碼進(jìn)行整合。

內(nèi)部機(jī)構(gòu)概況

?

內(nèi)部機(jī)構(gòu)：記錄各業(yè)務(wù)系統(tǒng)中所有的內(nèi)部機(jī)構(gòu)信息。

內(nèi)部機(jī)構(gòu)名稱歷史：記錄內(nèi)部機(jī)構(gòu)的名稱變化歷史。

內(nèi)部機(jī)構(gòu)級別歷史：該實(shí)體描述了機(jī)構(gòu)內(nèi)部的組織架構(gòu)和層級。這是在機(jī)構(gòu)是一個(gè)層次的組織架構(gòu)體系假設(shè)前提下的。

?

重要關(guān)系

?

內(nèi)部機(jī)構(gòu)協(xié)議關(guān)系歷史：記錄協(xié)議與機(jī)構(gòu)的關(guān)系歷史，如協(xié)議的歸屬機(jī)構(gòu)。

內(nèi)部機(jī)構(gòu)地址歷史：記錄內(nèi)部機(jī)構(gòu)在各業(yè)務(wù)系統(tǒng)的地址信息。

內(nèi)部機(jī)構(gòu)產(chǎn)品關(guān)系歷史：記錄機(jī)構(gòu)與產(chǎn)品的關(guān)系。

內(nèi)部機(jī)構(gòu)當(dāng)事人關(guān)系歷史：內(nèi)部機(jī)構(gòu)在與當(dāng)事人的關(guān)系中扮演不同的角色，如開戶機(jī)構(gòu)、管理機(jī)構(gòu)、分析機(jī)構(gòu)等。

地域模型

地域（LOCATION）是希望觀察和分析的任何區(qū)域，既包括傳統(tǒng)類型的地址信息（如國家、地區(qū)、城市、區(qū)縣、街道等），又包括如電話信息、電子地址、郵箱、黃頁等信息。客戶可以用于和銀行的交互和溝通，也可以被用于某個(gè)特殊的場合（比如對帳單寄送地址等）。

“地址編號(hào)”作為一個(gè)地址信息的唯一標(biāo)識(shí)。

主要內(nèi)容

地址信息分為電子地址、物理地址和電話地址三個(gè)分類。此外，考慮到地理區(qū)域與以上三類地址信息的聯(lián)系和差別，綜合模型實(shí)體間的關(guān)系和總體布局，也將地理區(qū)域作為地址信息的一個(gè)分類。

地址：所有地址的超級父類實(shí)體。

電子地址：包括當(dāng)事人的eMail、網(wǎng)址、IP 地址等。

物理地址：存放物理的門牌地址信息，如家庭地址、單位地址、暫住地址等，主要屬性包括：

• 信函地址、郵政編碼：具體的郵寄地址。
• 國家代碼：目前已有的國家地區(qū)代碼。
• 城市、區(qū)縣、城鎮(zhèn)、街道、住宅小區(qū)、建筑物、門牌號(hào)碼：詳細(xì)的物理地址信息。
• 郵箱號(hào)碼：郵局為該物理地址分配的一個(gè)信箱號(hào)碼。
• 國家組合代碼：為世界性的國家組合進(jìn)行編碼，比如東盟、歐盟等。
• 世界區(qū)域代碼：為世界性的區(qū)域進(jìn)行編碼，如亞太地區(qū)、阿拉伯地區(qū)等。

電話地址：存放電話信息。如家庭電話、手機(jī)、BP機(jī)。

地理區(qū)域：地址信息的一個(gè)子類，存放非行政區(qū)劃上的區(qū)域信息，如珠江三角洲、長江三角洲等。

• 區(qū)域名稱：定義國內(nèi)的地理區(qū)域，主要指有一定影響力，有共同特征和利害關(guān)系的地理區(qū)域。
• 地理位置：描述區(qū)域的地理位置和范圍。
• 代表城市：區(qū)域的代表城市，可以是經(jīng)濟(jì)中心，也可以是其他種類的中心城市。
• 經(jīng)濟(jì)狀況：從經(jīng)濟(jì)發(fā)展?fàn)顩r角度描述區(qū)域的特征。

電話地址通訊類型關(guān)系：存放同一個(gè)電話號(hào)碼所對應(yīng)的通訊類型，如電話、傳真等。

重要關(guān)系

?

產(chǎn)品地域關(guān)系歷史：描述產(chǎn)品與地址的關(guān)系，如某產(chǎn)品在某個(gè)地域銷售。

協(xié)議地址關(guān)系歷史：用于記錄協(xié)議與地址之間的關(guān)系，比如協(xié)議指定的對賬單寄往地址。

產(chǎn)品模型

證券公司產(chǎn)品（PRODUCT）是指為拓展市場占有率，滿足客戶更廣泛需求而制定的可營銷的交易品種集合，產(chǎn)品是金融機(jī)構(gòu)向用戶銷售的或提供給客戶所使用的服務(wù)。產(chǎn)品必須是能夠面向市場、面向客戶的，并且必須要有回報(bào)發(fā)生的。

唯一標(biāo)識(shí)

產(chǎn)品的唯一標(biāo)識(shí)就是產(chǎn)品編號(hào)，由于XX證券源業(yè)務(wù)系統(tǒng)沒有明確的產(chǎn)品定義，所以唯一標(biāo)識(shí)號(hào)會(huì)結(jié)合各個(gè)產(chǎn)品的特點(diǎn)來生成唯一號(hào)。

產(chǎn)品分類

產(chǎn)品：該獨(dú)立的實(shí)體包含證券公司可以提供以及競爭對手可以提供的任何感興趣追蹤的可以市場化的產(chǎn)品、產(chǎn)品包和服務(wù)的信息。該實(shí)體包含過去、現(xiàn)在和將來的市場化的產(chǎn)品、產(chǎn)品包和服務(wù)。每個(gè)市場化的產(chǎn)品、產(chǎn)品包或服務(wù)都是該實(shí)體中的一個(gè)實(shí)例。產(chǎn)品的范疇還包括投資工具，如股票、權(quán)證、債券、理財(cái)，融資融券、短期融資券，股指期貨和基金等證券產(chǎn)品。

根據(jù)產(chǎn)品類型代碼，產(chǎn)品劃分為：

金融產(chǎn)品：股票、權(quán)證、基金、債券、理財(cái)，融資融券，短期融資券、股指期貨等均屬于此類產(chǎn)品。

非金融產(chǎn)品：以證券公司為服務(wù)的產(chǎn)品。

重要關(guān)系

?

協(xié)議產(chǎn)品關(guān)系歷史：隨著生命周期的變化，一個(gè)協(xié)議可能會(huì)在不同的時(shí)期屬于不同的產(chǎn)品，這些產(chǎn)品在該關(guān)系中的角色也發(fā)生著變化。

協(xié)議模型

協(xié)議（AGREEMENT）是證券公司與當(dāng)事人之間針對某種特定產(chǎn)品或服務(wù)而簽立的契約關(guān)系，它可以是多樣化的。當(dāng)證券公司與客戶之間針對某種產(chǎn)品或服務(wù)的條款和條件達(dá)成協(xié)議時(shí)，一個(gè)協(xié)議（AGREEMENT）就會(huì)被開立，因此協(xié)議是客戶和證券公司往來的重要載體。

主要內(nèi)容

?

協(xié)議實(shí)體是協(xié)議主題的核心實(shí)體，保存協(xié)議相關(guān)的屬性信息。對于協(xié)議持有人、科目代碼、協(xié)議歸屬機(jī)構(gòu)、協(xié)議狀態(tài)代碼、協(xié)議狀態(tài)原因代碼這些可變信息，協(xié)議實(shí)體中只保留最新的信息，其余歷史變動(dòng)信息保存在相關(guān)歷史實(shí)體中。

• 協(xié)議號(hào)成協(xié)議的唯一標(biāo)識(shí)。
• 協(xié)議類型代碼：描述協(xié)議的類型。（1資金協(xié)議，2證券買賣協(xié)議，3開基協(xié)議，4融資融券協(xié)議，5理財(cái)協(xié)議，6債券買賣協(xié)議）

重要關(guān)系

?

事件模型

事件（EVENT）是一個(gè)范圍很廣的概念，它可以包含與證券公司相關(guān)的任何動(dòng)作的記錄。既可以與資金相關(guān)，也可以與資金無關(guān)；既可以有客戶參與，也可以沒有客戶參與；既可以與賬戶相關(guān)，也可以與賬戶無關(guān)；可以由客戶發(fā)起，也可以由證券公司發(fā)起；總之它可以記錄的范圍非常廣泛，可以記錄各種與證券公司相關(guān)的活動(dòng)的詳細(xì)情況，包括交易數(shù)據(jù)，比如網(wǎng)上交易，查詢流水，交易流水，資金的轉(zhuǎn)入轉(zhuǎn)出等。

唯一標(biāo)識(shí)

唯一標(biāo)識(shí)一筆事件的字段是“事件編碼”，編碼規(guī)則是由“源業(yè)務(wù)系統(tǒng)編號(hào)＋各系統(tǒng)原唯一編號(hào)”組成，如核心交易系統(tǒng)事件編號(hào)為“0100 ＋交易日期＋地區(qū)代號(hào)＋機(jī)構(gòu)代號(hào)＋日志序號(hào)”。

主要內(nèi)容

事件是本主題的主干實(shí)體，主要包含事件日期、事件時(shí)間、交易代碼等各種事件的共性信息。

?

?

事件分為核心事件和外圍事件兩大類，核心事件主要包括核心交易系統(tǒng)的交易流水信息（金融事件和非金融事件）；外圍事件則主要包括所有的外圍系統(tǒng)交易流水信息（營銷系統(tǒng)，法人清算系統(tǒng)，開放式基金系統(tǒng)，融資融券系統(tǒng)等）。

外圍事件

?

營銷系統(tǒng)事件：描述外圍系統(tǒng)營銷服務(wù)系統(tǒng)中，基本的客戶預(yù)約和客戶投訴事件信息，以后會(huì)進(jìn)行擴(kuò)展，將同時(shí)也記錄與營銷相關(guān)的營銷活動(dòng)的事件。

• 營銷系統(tǒng)事件類別代碼：記錄營銷系統(tǒng)中事件的類別，包括投訴事件類別和預(yù)約事件類別。
• 營銷系統(tǒng)事件類型代碼：記錄營銷事件中事件類別一下的分類信息，比如在投書類事件中有：服務(wù)類投訴和費(fèi)用類投訴等。

銀證平臺(tái)交易事件：描述外圍系統(tǒng)中銀證平臺(tái)的交易事件信息，目前主要有銀證通的交易事件：銀證通銀行端交易事件（委托流水和開銷戶流水）、銀證通證券端資金凍結(jié)事件（證券端發(fā)起的資金凍結(jié)流水）、銀證通交割明細(xì)（證券端每日提供的交易交割明細(xì)）；以后會(huì)增加銀證轉(zhuǎn)賬的事件。

重要關(guān)系

?

事件當(dāng)事人關(guān)系歷史：一個(gè)事件會(huì)涉及很多當(dāng)事人，比如事件發(fā)起當(dāng)事人、事件授權(quán)當(dāng)事人、事件的代理人，證券交易事件中交易雙方當(dāng)事人等。

事件內(nèi)部機(jī)構(gòu)關(guān)系：一個(gè)事件會(huì)涉及很多內(nèi)部機(jī)構(gòu)的信息，比如事件的發(fā)生機(jī)構(gòu)、事件的操作柜員、事件的授權(quán)柜員等。

事件產(chǎn)品關(guān)系：記錄事件與產(chǎn)品之間的某種關(guān)系。

?

資產(chǎn)模型

唯一標(biāo)識(shí)

資產(chǎn)主題不產(chǎn)生統(tǒng)一主題編號(hào)。

資產(chǎn)主題中增加其他主題編號(hào)，如當(dāng)事人編號(hào)、內(nèi)部組織編號(hào)、協(xié)議編號(hào)等。

主要內(nèi)容

證券交易資產(chǎn)：包括客戶資金余額/證券余額。

?

?

中登證券余額信息：取自中登DBF文件的股東股份余額信息。

?

?

開基資產(chǎn)：包括客戶開基持倉份額。

?

?

融資融券相關(guān)資產(chǎn)：包括客戶與公司的資金賬戶余額、客戶與公司的證券賬戶證券余額、融資融券負(fù)債和其他負(fù)債。

資產(chǎn)管理相關(guān)資產(chǎn)：投資業(yè)務(wù)資金賬戶余額、投資業(yè)務(wù)證券賬戶證券余額、理財(cái)產(chǎn)品客戶持倉份額。

?

清算系統(tǒng)相關(guān)信息：按照清算系統(tǒng)中科目及發(fā)生額、余額的方式存儲(chǔ)公司清算相關(guān)資產(chǎn)。

?

重要關(guān)系

證券交易：

客戶資金余額（DW_ASS_CLIENTFUND_DM）：存儲(chǔ)本公司柜臺(tái)交易客戶資金賬戶的資金余額信息。來源系統(tǒng)包括：交易系統(tǒng)。另外存在對應(yīng)資金變動(dòng)流水表和拉鏈表。

客戶證券余額（DW_ASS_CLIENTSEC_DM）：存儲(chǔ)本公司柜臺(tái)交易客戶證券賬戶的證券余額信息。來源系統(tǒng)包括：交易系統(tǒng)。另外存在對應(yīng)證券變動(dòng)流水表和拉鏈表。

客戶中登證券余額（DW_ASS_CLIENTSDCSEC_DM）：存儲(chǔ)從中登獲取的股東股份余額信息。來源系統(tǒng)包括：中登DBF文件。另外存在對應(yīng)拉鏈表。

客戶基金份額（DW_ASS_CLIENTOPFUND_DM）：存儲(chǔ)開基代銷客戶開基賬戶的開基份額信息。來源系統(tǒng)包括：開基代銷系統(tǒng)。另外存在對應(yīng)份額變動(dòng)流水表和拉鏈表。

融資融券：

融資融券資金余額：包括融資融券客戶資金表(DW_ASS_CRDTCLIFUND_DM和融資融券公司資金表（ER_ASS_CRDTCOMFUND_DS）。來源系統(tǒng)包括：融資融券系統(tǒng)。另外存在對應(yīng)變動(dòng)流水表和拉鏈表。

融資融券證券余額余額：包括融資融券客戶證券余額表(DW_ASS_CRDTCLISEC_DM)和融資融券公司證券余額表（ER_ASS_CRDTCOMSEC_DS）。來源系統(tǒng)包括：融資融券系統(tǒng)。另外存在對應(yīng)變動(dòng)流水表和拉鏈表。

融資融券證券負(fù)債：包括融資融券負(fù)債（DW_ASS_CRDTDEBIT_DM）和融資融券其他負(fù)債（DW_ASS_CRDTOTHERDEBIT_DM）。來源系統(tǒng)包括：融資融券系統(tǒng)。另外存在對應(yīng)變動(dòng)流水表和拉鏈表。

資產(chǎn)管理：

投資業(yè)務(wù)資金余額（DW_ASS_INVESTFUND_DM）：存儲(chǔ)投資業(yè)務(wù)的資金賬戶的資金余額信息。來源系統(tǒng)包括：資管系統(tǒng)。另外存在對應(yīng)拉鏈表。

投資業(yè)務(wù)證券余額（DW_ASS_INVESTSEC_DM）：存儲(chǔ)投資業(yè)務(wù)的證券賬戶的證券余額信息。來源系統(tǒng)包括：資管系統(tǒng)。另外存在對應(yīng)拉鏈表。

理財(cái)產(chǎn)品持倉份額（DW_ASS_FINPROSHARE_DM）：存儲(chǔ)理財(cái)產(chǎn)品客戶理財(cái)產(chǎn)品賬戶的理財(cái)產(chǎn)品持倉信息。來源系統(tǒng)包括：TA系統(tǒng)。另外存在對應(yīng)持倉變動(dòng)流水表和拉鏈表。

清算系統(tǒng)：

清算系統(tǒng)資產(chǎn)相關(guān)：包括清算科目代碼表(DW_ASS_CLEARINGSUBJECT_DM)、清算資金余額表(DW_ASS_CLEARINGFUNDBAL_MM)、清算資金凈額表（DW_ASS_CLEARINGFUNDNET_DM）。用于獲取公司或部門級清算相關(guān)資產(chǎn)，如備付金余額、銀行存款等。來源系統(tǒng)包括：清算系統(tǒng)。另外科目代碼表存在對應(yīng)拉鏈表，并對于科目代碼表在公共主題中相應(yīng)創(chuàng)建科目代碼維度方便使用。

其他資產(chǎn)：

經(jīng)紀(jì)人薪酬（DW_ASS_BROKERSALARY_MM）：存儲(chǔ)經(jīng)紀(jì)人每月薪酬信息，包括項(xiàng)目代碼（ITEM_CODE）關(guān)聯(lián)經(jīng)紀(jì)人收入項(xiàng)目表（DIM_BROKER_INCOME_ITEM）獲取薪酬項(xiàng)目信息。

財(cái)務(wù)模型

本主題主要包括本公司的總帳信息，是描述備付金金額、投資收益、傭金收入等證券公司核心科目帳務(wù)以及預(yù)算管理有關(guān)的內(nèi)容。該主題抽象地描述了公司內(nèi)部帳務(wù)的組織模式，能夠適應(yīng)不同的科目組織體系以及靈活的科目公式計(jì)算。

唯一標(biāo)識(shí)

財(cái)務(wù)主題不產(chǎn)生統(tǒng)一主題編號(hào)。

財(cái)務(wù)主題中增加其他主題編號(hào)，如內(nèi)部組織編號(hào)等。

主要內(nèi)容

DW模型中，以財(cái)務(wù)業(yè)務(wù)的通用性考慮，得到下面財(cái)務(wù)模型，以帳套、科目、輔助代碼對余額和憑證分錄做統(tǒng)計(jì)和計(jì)算。對于帳套、科目、輔助代碼構(gòu)建相應(yīng)拉鏈表

?

?

帳套信息：包括帳套表、合并帳套關(guān)系表、系統(tǒng)結(jié)賬表。

?

?

余額憑證分錄信息：包括財(cái)務(wù)科目、財(cái)務(wù)輔助代碼、余額表、憑證分錄表。

?

重要關(guān)系

系統(tǒng)結(jié)賬表（DW_CFS_SYSSETTLE_DM）：存儲(chǔ)每個(gè)帳套目前最大結(jié)賬月份信息。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。因財(cái)務(wù)結(jié)賬按月結(jié)賬故不保存相應(yīng)拉鏈表。

帳套表（DW_CFS_LEDGER_DM）：存儲(chǔ)公司財(cái)務(wù)系統(tǒng)內(nèi)所有帳套信息。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。另外存在對應(yīng)拉鏈表。

合并帳套關(guān)系表（DW_CFS_COMPLEDGERREL_DM）：存儲(chǔ)合并帳套與獨(dú)立帳套的對應(yīng)關(guān)系信息。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。另外存在對應(yīng)拉鏈表。

財(cái)務(wù)科目表（DW_CFS_SUBJECT_DM）：存儲(chǔ)財(cái)務(wù)系統(tǒng)科目信息。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。另外存在對應(yīng)拉鏈表。

財(cái)務(wù)輔助代碼表（DW_CFS_ASSISTCODE_DM）：存儲(chǔ)財(cái)務(wù)系統(tǒng)輔助代碼（分析代碼）信息。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。另外存在對應(yīng)拉鏈表。

余額表（DW_CFS_BALANCE_MM）：財(cái)務(wù)系統(tǒng)余額信息，按月存儲(chǔ)。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。因科目余額變化頻率較大不建設(shè)對應(yīng)拉鏈表。

憑證分錄表（DW_CFS_VOUCHER_DM）：財(cái)務(wù)系統(tǒng)憑證分錄信息，按日并存儲(chǔ)多日數(shù)據(jù)。來源系統(tǒng)包括：財(cái)務(wù)系統(tǒng)。因科目分錄變化頻率較大不建設(shè)對應(yīng)拉鏈表。

營銷模型

一次營銷可以是機(jī)構(gòu)為了獲取、保留客戶或者增強(qiáng)客戶關(guān)系、占有市場的一種活動(dòng)，可能是一種有明確市場目標(biāo)的銷售活動(dòng)（如新產(chǎn)品推廣等），也可能僅僅是跟客戶的一種互動(dòng)的交流活動(dòng)（如客戶調(diào)查等）。目前源業(yè)務(wù)系統(tǒng)在這方面的信息比較欠缺，本主題的設(shè)計(jì)以基礎(chǔ)設(shè)計(jì)為主，更多的擴(kuò)展和客戶化留待以后完成。

唯一標(biāo)識(shí)

營銷：用營銷編號(hào)作為唯一標(biāo)識(shí)。

營銷活動(dòng)：用營銷活動(dòng)編號(hào)作為唯一標(biāo)識(shí)。

營銷事件：用事件主題中的事件編號(hào)作為唯一標(biāo)識(shí)。

主要內(nèi)容

?

營銷：是一些比較大的營銷策略記錄和規(guī)劃，可存放所有層次的營銷策略，主要記錄營銷的計(jì)劃收入、預(yù)計(jì)成本等。

• 營銷類型代碼：通過代碼來唯一描述營銷計(jì)劃的商業(yè)目標(biāo)，如：交叉銷售、新客戶獲取、客戶保留等。
• 預(yù)計(jì)費(fèi)用、預(yù)計(jì)獲利、預(yù)計(jì)聯(lián)系客戶數(shù)、預(yù)計(jì)積極反映的客戶數(shù)、預(yù)計(jì)新贏得客戶數(shù)：營銷預(yù)計(jì)的花費(fèi)和效果，是預(yù)估的數(shù)據(jù)。

營銷活動(dòng)：是對營銷的進(jìn)一步細(xì)化，通過“營銷活動(dòng)類型代碼”可區(qū)分為目標(biāo)營銷和大眾營銷。

• 營銷活動(dòng)實(shí)際單位成本：一個(gè)單位的實(shí)現(xiàn)成本，這里的單位可能是一封MAIL、一個(gè)電話、雜志上的一個(gè)廣告等。
• 營銷活動(dòng)實(shí)際單位數(shù)目：此營銷活動(dòng)涉及多少個(gè)單位，比如要發(fā)多少封EMAIL、要打多少個(gè)電話等。
• 營銷活動(dòng)狀態(tài)代碼：1－已完成，2－待完成，3－由于某種原因而中途流產(chǎn)，4－暫停。

大眾/目標(biāo)營銷：是營銷活動(dòng)的子類，目標(biāo)營銷是直接針對具備某種特征的個(gè)體進(jìn)行的營銷活動(dòng)；大眾營銷可以是直接面向一組人群，如電視廣告、報(bào)刊雜志廣告等類型的營銷；而大眾/目標(biāo)營銷事件是營銷的真正實(shí)施過程及結(jié)果的記錄，與營銷活動(dòng)相互呼應(yīng)。

廣告：是針對客戶細(xì)分的市場活動(dòng)信息，通常會(huì)宣傳產(chǎn)品或者一些特殊的項(xiàng)目，廣告可以在雜志、網(wǎng)絡(luò)或者電視媒體上等渠道上進(jìn)行。

廣告安置：包含何時(shí)何地通過一個(gè)特定的渠道交付廣告的信息，隱含了廣告和渠道的關(guān)系。

營銷活動(dòng)優(yōu)惠項(xiàng)目：是客戶可利用的確定的激勵(lì)措施，通常包括適用條件和針對使用條件的獎(jiǎng)勵(lì)；它通常是一個(gè)精心設(shè)計(jì)的實(shí)現(xiàn)一定目的的行銷行為，可以是營銷活動(dòng)的一部分。

優(yōu)惠項(xiàng)目：是客戶可利用的確定的激勵(lì)措施，通過優(yōu)惠項(xiàng)目編號(hào)唯一表示一個(gè)優(yōu)惠項(xiàng)目，與營銷活動(dòng)本身建立關(guān)聯(lián)關(guān)系，體現(xiàn)在營銷活動(dòng)優(yōu)惠項(xiàng)目實(shí)體中。

營銷活動(dòng)費(fèi)用：記錄營銷活動(dòng)的預(yù)算和實(shí)際開支。

• 營銷費(fèi)用類型代碼：記錄營銷活動(dòng)各費(fèi)用類型，如：咨詢費(fèi)用、電視播放費(fèi)用、印刷費(fèi)用、人工費(fèi)用等。
• 營銷活動(dòng)預(yù)算費(fèi)用和實(shí)際費(fèi)用：記錄具體的預(yù)算費(fèi)用和實(shí)際費(fèi)用。

?

重要關(guān)系

?

營銷渠道類型關(guān)系：描述任何層次營銷中涉及的渠道類型的關(guān)系實(shí)體，一個(gè)營銷/營銷活動(dòng)活動(dòng)可以通過多個(gè)渠道完成。

營銷地域關(guān)系歷史：描述營銷針對的目標(biāo)區(qū)域組織，如銷售區(qū)域的關(guān)系實(shí)體。

營銷當(dāng)事人關(guān)系：描述營銷涉及的當(dāng)事人，關(guān)系類型代碼主要包括：目標(biāo)客戶、執(zhí)行人等。

營銷內(nèi)部機(jī)構(gòu)關(guān)系：描述營銷涉及的內(nèi)部機(jī)構(gòu)，如發(fā)起機(jī)構(gòu)、管理機(jī)構(gòu)、目標(biāo)機(jī)構(gòu)、執(zhí)行機(jī)構(gòu)等。

營銷協(xié)議關(guān)系：記錄一個(gè)營銷映射到多個(gè)協(xié)議，以及一個(gè)協(xié)議映射到多個(gè)營銷的關(guān)系實(shí)體。

營銷產(chǎn)品關(guān)系：記錄營銷與產(chǎn)品的關(guān)系，某個(gè)具體的營銷可能只涉及部分的產(chǎn)品。

渠道模型

渠道主題所描述的是當(dāng)各種事件發(fā)生時(shí)，當(dāng)事雙方（主要是指客戶和證券公司）進(jìn)行交互和接觸的手段及方法，通過它客戶與證券進(jìn)行接觸、購買產(chǎn)品、使用服務(wù)并交流信息。

唯一標(biāo)識(shí)

渠道的唯一標(biāo)識(shí)由“渠道類型編號(hào)”和“渠道編號(hào)”兩個(gè)字段組成。

主要內(nèi)容

?

?

渠道類型組：渠道類型的分組是由于不同的“渠道類型分組原因代碼”所做的分類，如銷售渠道、人工渠道、電子渠道等，滿足不同業(yè)務(wù)部門管理統(tǒng)計(jì)的需要。

渠道統(tǒng)計(jì)學(xué)信息歷史：記錄渠道的各種希望關(guān)注的特征統(tǒng)計(jì)學(xué)信息。

渠道類型/渠道容量歷史：記錄每類渠道/每個(gè)渠道的最大工作容量信息。

• 渠道類型/渠道容量的時(shí)間周期代碼：如月、日；
• 渠道類型/渠道容量的容量值：具體記錄容量值的大小。

渠道事件：記錄渠道本身發(fā)生的一些事件信息。

重要關(guān)系

?

當(dāng)事人渠道關(guān)系歷史：記錄渠道與當(dāng)事人的關(guān)系歷史，同時(shí)記錄這些關(guān)系的有效時(shí)間段。

內(nèi)部機(jī)構(gòu)渠道關(guān)系歷史：記錄渠道和內(nèi)部機(jī)構(gòu)的關(guān)系歷史，如渠道的歸屬機(jī)構(gòu)等。

產(chǎn)品渠道類型關(guān)系：記錄某些產(chǎn)品和某個(gè)種類渠道的關(guān)系。

渠道類型/渠道和營銷/營銷活動(dòng)關(guān)系：一般情況下制定一個(gè)營銷策略時(shí)會(huì)因?yàn)榍赖某杀尽⑿Ч煌瑏碇付撤N渠道或渠道種類，真正開展一個(gè)營銷活動(dòng)時(shí)也必然要借助某個(gè)渠道。

渠道地址關(guān)系歷史：用于記錄渠道的地址信息，如安置地址、聯(lián)系電話、前置機(jī)IP地址等，同時(shí)保存歷史。

數(shù)據(jù)集市

? 數(shù)據(jù)集市也叫數(shù)據(jù)市場，數(shù)據(jù)集市就是滿足特定的部門或者用戶的需求，按照多維的方式進(jìn)行存儲(chǔ)，包括定義維度、需要計(jì)算的指標(biāo)、維度的層次等，生成面向決策分析需求的數(shù)據(jù)立方體。簡單來說數(shù)據(jù)集市就是一個(gè)遵循數(shù)據(jù)中心規(guī)范的、可定制化的、面向應(yīng)用的數(shù)據(jù)集合體。

數(shù)據(jù)集市的數(shù)據(jù)來源于數(shù)據(jù)倉庫模型層；同時(shí)數(shù)據(jù)集市是各類應(yīng)用的數(shù)據(jù)源。根據(jù)應(yīng)用屬性的劃分，數(shù)據(jù)集市可以分為客戶分析數(shù)據(jù)集市、運(yùn)營管理數(shù)據(jù)集市、市場分析數(shù)據(jù)集市、風(fēng)險(xiǎn)管理數(shù)據(jù)等。數(shù)據(jù)集市根據(jù)業(yè)務(wù)應(yīng)用的滋生而調(diào)整，當(dāng)出現(xiàn)相對獨(dú)立的應(yīng)用系統(tǒng)或者數(shù)據(jù)需求時(shí)，則針對該類應(yīng)用建設(shè)對應(yīng)的數(shù)據(jù)集市。

其中風(fēng)險(xiǎn)管理數(shù)據(jù)集市是xx數(shù)據(jù)中心系統(tǒng)和全面風(fēng)險(xiǎn)管理系統(tǒng)進(jìn)行對接的專業(yè)數(shù)據(jù)集市，在風(fēng)險(xiǎn)管理數(shù)據(jù)集市中定義全面風(fēng)險(xiǎn)管理的基礎(chǔ)數(shù)據(jù)需求，達(dá)到全面風(fēng)險(xiǎn)數(shù)據(jù)接口規(guī)范化的目的；同時(shí)數(shù)據(jù)中心也會(huì)采集全面風(fēng)險(xiǎn)管理系統(tǒng)中統(tǒng)計(jì)的風(fēng)險(xiǎn)管理指標(biāo)，納入到數(shù)據(jù)中心指標(biāo)庫體系中，為風(fēng)險(xiǎn)數(shù)據(jù)分析、風(fēng)險(xiǎn)計(jì)量、風(fēng)險(xiǎn)管理領(lǐng)導(dǎo)者駕駛艙的建設(shè)打好數(shù)據(jù)基礎(chǔ)。

數(shù)據(jù)服務(wù)平臺(tái)

數(shù)據(jù)服務(wù)平臺(tái)目標(biāo)

梳理復(fù)雜公司的數(shù)據(jù)流向網(wǎng)，將數(shù)據(jù)中心建設(shè)成公司企業(yè)級數(shù)據(jù)平臺(tái)，所有需要數(shù)據(jù)的管理系統(tǒng)向數(shù)據(jù)中心索取數(shù)據(jù)，數(shù)據(jù)中心負(fù)責(zé)整合管理系統(tǒng)需要的數(shù)據(jù)并提供數(shù)據(jù)接口服務(wù)，業(yè)務(wù)系統(tǒng)出現(xiàn)升級導(dǎo)致表結(jié)構(gòu)變更，或者出現(xiàn)大的變更時(shí)，保證數(shù)據(jù)中心對管理系統(tǒng)的表結(jié)構(gòu)不變，減少對管理系統(tǒng)的影響。

?

數(shù)據(jù)服務(wù)模式

建立業(yè)務(wù)支持、數(shù)據(jù)接口服務(wù)層，可以讓各個(gè)管理系統(tǒng)主動(dòng)連接到數(shù)據(jù)中心來獲取需要的數(shù)據(jù)，主要適用于目前證券公司已經(jīng)在使用的管理系統(tǒng)，例如風(fēng)控、CRM系統(tǒng)等。為了保持?jǐn)?shù)據(jù)穩(wěn)定或者其管理系統(tǒng)架構(gòu)不變，只做數(shù)據(jù)源的切換，從交易系統(tǒng)采集切換到數(shù)據(jù)中心采集，通過數(shù)據(jù)同步軟件同步交易系統(tǒng)數(shù)據(jù)原樣到數(shù)據(jù)中心（原始層）。對于在數(shù)據(jù)中心后上線的管理系統(tǒng)，則需要從ODS層、EDW層獲取源系統(tǒng)數(shù)據(jù)，從而保證在源系統(tǒng)變更時(shí)，不會(huì)影響從ODS層、EDW獲取數(shù)據(jù)的管理系統(tǒng)。

管理系統(tǒng)	變動(dòng)類型	備注
已上線管理系統(tǒng)	交易系統(tǒng)采集切換到數(shù)據(jù)中心采集	減少管理系統(tǒng)架構(gòu)不變和保持?jǐn)?shù)據(jù)穩(wěn)定
數(shù)據(jù)中心后上線系統(tǒng)	從ODS、EDW獲取數(shù)據(jù)	后續(xù)生產(chǎn)系統(tǒng)變動(dòng)對管理系統(tǒng)影響小
查詢統(tǒng)計(jì)	訪問數(shù)據(jù)中心的數(shù)據(jù)	獲取穩(wěn)定、一致數(shù)據(jù)

數(shù)據(jù)服務(wù)方式

實(shí)現(xiàn)方式主要有以下三種：

接口訪問方式	詳細(xì)方式	備注
WEB Service	標(biāo)準(zhǔn)通用接口，提供少量數(shù)據(jù)訪問方式	可為后續(xù)呼叫中心等提供實(shí)時(shí)少量數(shù)據(jù)訪問
主動(dòng)推送	利用數(shù)據(jù)同步工具將數(shù)據(jù)推送至下游系統(tǒng)	下游系統(tǒng)對接數(shù)據(jù)中心困難、中等規(guī)模數(shù)據(jù)量
授權(quán)用戶直接訪問	數(shù)據(jù)中心開通相應(yīng)的用戶和接口表，提供下游系統(tǒng)采集或直接訪問	適合超大歷史數(shù)據(jù)

Web Service接入

?

Web Service是一種標(biāo)準(zhǔn)的服務(wù)調(diào)用接口，因此只要符合標(biāo)準(zhǔn)的外圍業(yè)務(wù)系統(tǒng)都可以進(jìn)行接入，在這種方式下，數(shù)據(jù)訪問服務(wù)通過J2EE服務(wù)器加載數(shù)據(jù)服務(wù)應(yīng)用程序來實(shí)現(xiàn)，服務(wù)的跨網(wǎng)段調(diào)用通過在網(wǎng)段之間部署Web服務(wù)器來實(shí)現(xiàn)。

服務(wù)調(diào)用所提供的服務(wù)、用戶、權(quán)限，由管理程序進(jìn)行統(tǒng)一的管理。

設(shè)計(jì)要點(diǎn)

身份認(rèn)證 調(diào)用端需要通過身份認(rèn)證后才能進(jìn)行服務(wù)調(diào)用，身份采用用戶/密碼方式進(jìn)行認(rèn)證，系統(tǒng)需要為不同的調(diào)用端提供不用的登錄用戶。

通訊加密 所有的請求和應(yīng)答都需要進(jìn)行通訊加密。采用Web Service提供服務(wù)時(shí)，可通過HTTPS協(xié)議進(jìn)行通訊加密，以保證數(shù)據(jù)的安全性。

權(quán)限管理 針對不用的訪問用戶，提供不同的服務(wù)調(diào)用權(quán)限，用戶不能越權(quán)訪問數(shù)據(jù)。

接口提供 將所提供的服務(wù)的輸入、輸出接口提供給調(diào)用者，使用WEB Service本身的機(jī)制將服務(wù)接口提供給調(diào)用者。

主動(dòng)推送

? 在下游系統(tǒng)對接數(shù)據(jù)中心系統(tǒng)取數(shù)困難的情況下，數(shù)據(jù)中心可以利用數(shù)據(jù)同步工具將下游系統(tǒng)所需數(shù)據(jù)主動(dòng)推送到下游系統(tǒng)數(shù)據(jù)庫。

授權(quán)用戶直接訪問

數(shù)據(jù)中心針對不同業(yè)務(wù)系統(tǒng)建立對應(yīng)的對外數(shù)據(jù)服務(wù)用戶, 通過數(shù)據(jù)接口管理界面可對該用戶設(shè)置相應(yīng)的數(shù)據(jù)訪問權(quán)限。同時(shí)數(shù)據(jù)接口管理提供明確的接口表說明,外部應(yīng)用只要得到授權(quán)許可,就可以直接訪問該用戶下的數(shù)據(jù),從而達(dá)到數(shù)據(jù)中心提供數(shù)據(jù)服務(wù)的目的。

數(shù)據(jù)接口服務(wù)安全性

Web Service數(shù)據(jù)訪問安全

對于小數(shù)據(jù)量的數(shù)據(jù)訪問服務(wù)，我們通過Web Service來實(shí)現(xiàn)，首先訪問Web Service的用戶需要通過校驗(yàn)，其次，該用戶具體通過Web Service訪問的記錄需要有詳細(xì)的記錄，包括訪問時(shí)間、訪問對象和訪問記錄明晰。

用戶角色訪問安全

用戶登錄數(shù)據(jù)管控平臺(tái)，需要首先經(jīng)過用戶的認(rèn)證機(jī)制，通過用戶角色來分配權(quán)限，權(quán)限分成菜單功能權(quán)限和數(shù)據(jù)訪問權(quán)限。對于數(shù)據(jù)訪問權(quán)限，需要定位到營業(yè)部級別，即營業(yè)部人員只能查看自己營業(yè)部內(nèi)的數(shù)據(jù)。對于具體哪個(gè)用戶訪問那些功能需要有明晰的日志記錄。

數(shù)據(jù)庫級別安全

下游系統(tǒng)對接CDH數(shù)據(jù)平臺(tái)

若下游系統(tǒng)直接對接CDH數(shù)據(jù)平臺(tái)，則引用CDH數(shù)據(jù)安全訪問機(jī)制。

下游對接Oracle數(shù)據(jù)庫

對于部分下游系統(tǒng)無法直接對接CDH數(shù)據(jù)平臺(tái)，數(shù)據(jù)中心將接口數(shù)據(jù)從CDH同步至Oracle數(shù)據(jù)庫，在Oracle庫上建立一個(gè)用戶DCSER來對外提供數(shù)據(jù)訪問用戶，對于數(shù)據(jù)庫用戶DCSER必須明確限定外界具體能訪問的表。

對于具體外界對象對DCSER訪問的明晰信息可以通過兩種方式實(shí)現(xiàn)，第一，開通數(shù)據(jù)庫審計(jì)功能，第二，定期查詢數(shù)據(jù)庫用戶執(zhí)行的SESSION并記錄保存以便稽核。包括訪問的時(shí)間、機(jī)器名、IP、運(yùn)行的SQL語句等，由于數(shù)據(jù)量會(huì)比較大，可以采取拉鏈的形式存儲(chǔ)相關(guān)審計(jì)信息。以上信息都需要在數(shù)據(jù)管控平臺(tái)中提供查詢功能。

智能分析平臺(tái)

平臺(tái)結(jié)構(gòu)

智能分析平臺(tái)的優(yōu)勢，是基于綜合的數(shù)據(jù)和開放的工具，能制作各類格式報(bào)表，快速大量生成，并分發(fā)到相關(guān)需要的人。

通過智能分析平臺(tái)，業(yè)務(wù)人員如同使用Office Excel 一樣，能方便的在線對數(shù)據(jù)進(jìn)行分析。同時(shí)分析結(jié)果能發(fā)布到數(shù)據(jù)門戶或者嵌入其他業(yè)務(wù)系統(tǒng)（如CRM、呼叫中心）中，以方便一線的人員（如客服人員、投資顧問）使用。

平臺(tái)功能類型

報(bào)表：

?

提供各種廣度的報(bào)表類型 ；

在各種類型的報(bào)表輸出中提供一致信息；

可以個(gè)性化、有針對性地定制；

允許多用戶、多用戶群、以及和IT之間的協(xié)作；

可以通過email、門戶網(wǎng)站、MS-Office、搜索、以及移動(dòng)設(shè)備等進(jìn)行訪問。

BI分析：

?

?提供多方位信息視圖；

方便快捷地執(zhí)行復(fù)雜的分析和情景模擬；

揭示趨勢背后的“為什么”， 了解癥狀及原因；

輕松地從信息的摘要級別提高到細(xì)節(jié)級別。

領(lǐng)導(dǎo)駕駛艙

為企業(yè)高層提供的“一站式”決策支持的管理信息中心系統(tǒng)；

各種常見的圖表（速度表、柱形圖、環(huán)形圖、預(yù)警雷達(dá)等）形象標(biāo)示企業(yè)運(yùn)行的關(guān)鍵指標(biāo)（KPI），為復(fù)雜信息提供了一目了然、重點(diǎn)突出的視圖；

靈活配置，根據(jù)用戶習(xí)慣，選擇合適的圖形來顯示想要了解的具體指標(biāo)，一個(gè)圖形可以反映多種指標(biāo)，一種指標(biāo)可以由多個(gè)圖形顯示的交叉實(shí)現(xiàn)模式，配置更加靈活。

數(shù)據(jù)挖掘

根據(jù)用戶社會(huì)屬性、交易行為和終端日志等信息而抽象出的一個(gè)標(biāo)簽化的用戶模型 ；

基于logistic回歸模型，預(yù)測證券公司預(yù)流失客戶，分析其流失原因，證券公司可以及時(shí)采取相應(yīng)措施，挽留客戶；

基于協(xié)同過濾模型，挖掘客戶與產(chǎn)品的相似度，進(jìn)而對客戶開展有針對性的營銷，以滿足不同特征用戶各種的需求，提升客戶滿意度和忠誠度。

BI工具選擇

BI（Business Intelligence）即商務(wù)智能，它是一套完整的解決方案，用來將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合，快速準(zhǔn)確的提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策。

外資企業(yè)中IBM公司、Oracle公司和Microsoft公司產(chǎn)品線覆蓋了全部BI領(lǐng)域，尤其是MicroStrategy獨(dú)立的BI廠商。幾款產(chǎn)品都有較好的性能，滿足大中小型企業(yè)的需求。

國內(nèi)軟件商中帆軟采用了類EXCEL設(shè)計(jì)模式，支持多SHEET和跨SHEET計(jì)算，完美兼容EXCEL公式，用戶可以所見即所得的設(shè)計(jì)出任意復(fù)雜的表樣，對中國式復(fù)雜報(bào)表支持力度比較高。同時(shí)帆軟系列軟件推出的FINEBI工具很好的支持了國內(nèi)各行業(yè)領(lǐng)導(dǎo)者駕駛開發(fā)的需求。

FINEREPORT

FineReport有著“專業(yè)、簡捷、靈活”等特點(diǎn)：

功能全面且專業(yè)：支持關(guān)系型數(shù)據(jù)庫、BI多維數(shù)據(jù)庫的連接取數(shù)，支持中國式復(fù)雜報(bào)表的處理，支持離線填報(bào)、多級上報(bào)、數(shù)據(jù)填報(bào)，有著安全、完善的權(quán)限控制方案等。

設(shè)計(jì)報(bào)表簡單高效，學(xué)習(xí)成本低：類Excel的界面使用戶不需任何額外學(xué)習(xí)成本，零編碼開發(fā)報(bào)表，輕松的拖拽數(shù)據(jù)，一兩分鐘內(nèi)就能完成報(bào)表制作。

行業(yè)積累豐富：對各個(gè)行業(yè)都有著自己獨(dú)到的見解，提供諸如一系列或從上之下、從內(nèi)到外涉及戰(zhàn)略、運(yùn)營、組織、財(cái)務(wù)、營銷等多個(gè)主題的解決方案和實(shí)施方案。

本方案中推薦簡單報(bào)表和中國式報(bào)表采用輕量級FINEREPORT工具和FINEBI分析工具。

數(shù)據(jù)管控平臺(tái)

數(shù)據(jù)管控平臺(tái)銜接了數(shù)據(jù)基礎(chǔ)平臺(tái)、智能分析平臺(tái)、業(yè)務(wù)展現(xiàn)平臺(tái)內(nèi)部和相互之間的關(guān)系。提供了ETL調(diào)度與監(jiān)控、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)分析數(shù)據(jù)可視化等功能。

ETL調(diào)度與監(jiān)控

ETL調(diào)度管理目標(biāo)為取代ETL工具內(nèi)部JOB調(diào)度工具，數(shù)據(jù)管控平臺(tái)的ETL調(diào)度管理可適用于任意ETL工具JOB的調(diào)度工作。

數(shù)據(jù)抽取

??? ETL調(diào)度支持的數(shù)據(jù)抽取模式如下：

靜態(tài)數(shù)據(jù)的獲取

靜態(tài)數(shù)據(jù)是在一個(gè)給定時(shí)刻獲取的數(shù)據(jù)。就像是對相關(guān)源數(shù)據(jù)在某個(gè)特定時(shí)刻的快照。對于當(dāng)前或者暫時(shí)的數(shù)據(jù)來說，這個(gè)獲取回包括所有需要的暫時(shí)數(shù)據(jù)。而且，對于周期性數(shù)據(jù)來說，這一數(shù)據(jù)獲取將包括每一個(gè)源操作型系統(tǒng)中可以獲得到每個(gè)時(shí)間點(diǎn)的每一個(gè)狀態(tài)或者事件。一般在數(shù)據(jù)倉庫的最初裝載的時(shí)候使用靜態(tài)的數(shù)據(jù)獲取。有的時(shí)候，會(huì)需要一個(gè)對于一張維度表的完全的刷新。

通過交易日志獲取

這個(gè)選擇使用了數(shù)據(jù)庫管理系統(tǒng)中保存的應(yīng)付各種可能發(fā)生災(zāi)難所備份的交易日志。對于每一個(gè)交易的增加、刷新或者對數(shù)據(jù)庫表的刪除，數(shù)據(jù)庫管理系統(tǒng)都需要立刻將其記錄在日志文件中。這種數(shù)據(jù)抽取技術(shù)通過讀取交易日志，選擇所有相關(guān)交易記錄。在操作型系統(tǒng)中沒有額外的管理費(fèi)用，因?yàn)槿罩镜挠涗洷緛砭褪墙灰滋幚淼囊徊糠帧?/p>

通過數(shù)據(jù)庫觸發(fā)器獲取

同樣，這個(gè)選擇可以應(yīng)用于全都是數(shù)據(jù)庫應(yīng)用的源系統(tǒng)中。觸發(fā)器是存儲(chǔ)在數(shù)據(jù)庫中的特殊過程（程序），在特定的預(yù)定義事件發(fā)生的時(shí)候被觸發(fā)。可以為所有需要的事件創(chuàng)建觸發(fā)器程序。觸發(fā)器程序的輸出被寫入一個(gè)單獨(dú)的文件，可以用來為數(shù)據(jù)倉庫抽取數(shù)據(jù)。

在源應(yīng)用系統(tǒng)中獲取

這個(gè)技術(shù)也是針對應(yīng)用程序的數(shù)據(jù)獲取。換句話說，就是源應(yīng)用程序用來幫助數(shù)據(jù)倉庫中的數(shù)據(jù)獲取。要對源程序進(jìn)行修改，寫入所有對源文件和數(shù)據(jù)庫表的增加、刷新和刪除。然后另一個(gè)抽取程序可以使用獨(dú)立的包含源數(shù)據(jù)變化的文件。

基于日期和時(shí)間標(biāo)記的獲取

每次創(chuàng)建或者更新源記錄的時(shí)候，都會(huì)有一個(gè)關(guān)于時(shí)間和日期的標(biāo)識(shí)。時(shí)間標(biāo)記提供了數(shù)據(jù)抽取中選擇記錄的基礎(chǔ)。在這里數(shù)據(jù)的獲取會(huì)在以后的時(shí)間中發(fā)生，而不是在每一個(gè)源記錄創(chuàng)建或更新的時(shí)候。

通過文件的比較來獲取

在對產(chǎn)品數(shù)據(jù)的變化進(jìn)行每天的數(shù)據(jù)抽取工作時(shí)，你對今天的產(chǎn)品數(shù)據(jù)和昨天的數(shù)據(jù)進(jìn)行了完全的比較，比較了記錄并發(fā)現(xiàn)有插入和刪除的操作。那么數(shù)據(jù)抽取就獲取了這兩個(gè)數(shù)據(jù)之間的變化。

各種方式優(yōu)劣勢比對：

?	靈活性	實(shí)時(shí)性	源性能影響	應(yīng)用程序修改	面向文件系統(tǒng)	內(nèi)部開發(fā)成本
靜態(tài)數(shù)據(jù)獲取	好	低	無影響	無需修改	不能	無
交易日志獲取	不靈活	高	無影響	無需修改	不能	無
觸發(fā)器獲取	不靈活	高	無影響	無需修改	不能	無
源應(yīng)用系統(tǒng)獲取	好	高	無影響	需修改	能	高
日期和時(shí)間標(biāo)識(shí)獲取	好	中	無影響	可能需要修改	能	無
文件比較獲取	好	中	無影響	無需修改	能	無

?

任務(wù)分組

本平臺(tái)ETL調(diào)度管理對象分為任務(wù)組與簡單任務(wù)，每個(gè)簡單任務(wù)對應(yīng)于ETL工具中的一個(gè)JOB。任務(wù)組由若干簡單任務(wù)組成，支持靈活的按照源系統(tǒng)、層級、主題來劃分任務(wù)組。

利用任務(wù)流來配置任務(wù)組和簡單任務(wù)的前后置及串行并行關(guān)系。

任務(wù)調(diào)度

本平臺(tái)支持按時(shí)間、事件、組合觸發(fā)及手動(dòng)觸發(fā)

時(shí)間觸發(fā)器：支持按自然日、交易日、周、月、年來設(shè)置觸發(fā)，在每日觸發(fā)中，也可設(shè)置一定時(shí)間間隔觸發(fā)來達(dá)到準(zhǔn)實(shí)時(shí)調(diào)度

事件觸發(fā)器：用某個(gè)事件來觸發(fā)任務(wù)的執(zhí)行，如上游系統(tǒng)初始化完成、前置任務(wù)執(zhí)行完成等

組合觸發(fā)器：時(shí)間觸發(fā)器和事件觸發(fā)器有效結(jié)合來設(shè)置觸發(fā)

手動(dòng)觸發(fā)：在需要時(shí)或者出現(xiàn)異常時(shí)，可以手工進(jìn)行干預(yù)

調(diào)度監(jiān)控

本平臺(tái)支持自設(shè)維度對任務(wù)進(jìn)行監(jiān)控，支持實(shí)時(shí)監(jiān)控、日終監(jiān)控等，調(diào)度日志也會(huì)完整保留，便于后續(xù)對調(diào)度運(yùn)行情況的跟蹤。同時(shí)，支持與短信平臺(tái)、郵件平臺(tái)進(jìn)行對接，方便運(yùn)維人員跟蹤監(jiān)控。

在調(diào)度出現(xiàn)異常時(shí)，支持手動(dòng)發(fā)起失敗的任務(wù)。可以從失敗節(jié)點(diǎn)發(fā)起，也可從頭發(fā)起。

監(jiān)控方式

數(shù)據(jù)中心建設(shè)中，對系統(tǒng)的運(yùn)行監(jiān)控要實(shí)現(xiàn)監(jiān)控的多樣化，其中除了包括主動(dòng)狀態(tài)查詢，也包括被動(dòng)的監(jiān)控狀態(tài)接收。

統(tǒng)一監(jiān)控：提供統(tǒng)一監(jiān)控場所，集成現(xiàn)有的所有監(jiān)控信息

可手工觸發(fā)監(jiān)控：對監(jiān)控出現(xiàn)的結(jié)果，如果存在異常，那么在查明異常原因的情況下，能夠手工對監(jiān)控結(jié)果進(jìn)行處理，例如重新出發(fā)監(jiān)控內(nèi)容，反饋回新的狀態(tài)。

警告通知方式：短信和郵件。出現(xiàn)異常能夠短信或者郵件提醒。主動(dòng)發(fā)送給管理員。

數(shù)據(jù)質(zhì)量管理：數(shù)據(jù)質(zhì)量檢測規(guī)則、數(shù)據(jù)質(zhì)量檢測、數(shù)據(jù)質(zhì)量檢測報(bào)告。

監(jiān)控點(diǎn)

實(shí)時(shí)采集是否成功；

日終采集是否成功；

歷史采集是否成功；

層與層之間的清洗監(jiān)控；

數(shù)據(jù)的正確性及準(zhǔn)確性監(jiān)控。

ETL工具運(yùn)行狀況；

采集主機(jī)的運(yùn)行狀況；

數(shù)據(jù)中心主機(jī)運(yùn)行狀況。

預(yù)警：運(yùn)維平臺(tái)可默認(rèn)或由管理員自定義系統(tǒng)運(yùn)行的閥值，當(dāng)系統(tǒng)性能達(dá)到設(shè)定時(shí)，通過郵件、短線發(fā)送預(yù)警信息給管理員

警告：當(dāng)功能監(jiān)控發(fā)現(xiàn)系統(tǒng)執(zhí)行出現(xiàn)異常時(shí)，通過郵件、短線發(fā)送預(yù)警信息給管理員。

監(jiān)控實(shí)現(xiàn)

狀態(tài)表

ETL工具接口。通過訪問ETL提供的SDK編程接口實(shí)現(xiàn)ETL調(diào)度的日志訪問和日志分析來獲取調(diào)度的情況及錯(cuò)誤信息。

元數(shù)據(jù)管理

元數(shù)據(jù)管理是數(shù)據(jù)倉庫系統(tǒng)建設(shè)的重要環(huán)節(jié)，因?yàn)閿?shù)據(jù)倉庫中存放規(guī)劃整合了證券公司集中交易、資產(chǎn)管理、清算、TA、CRM、財(cái)務(wù)等不同業(yè)務(wù)系統(tǒng)同時(shí)也要兼顧到未來新上線的業(yè)務(wù)系統(tǒng)。為了更好的完成數(shù)據(jù)倉庫關(guān)于數(shù)據(jù)標(biāo)準(zhǔn)建立和數(shù)據(jù)質(zhì)量管控的定位，數(shù)據(jù)中心設(shè)計(jì)了一套元數(shù)據(jù)管理模塊，元數(shù)據(jù)管理模塊包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的管理。通過開發(fā)元數(shù)據(jù)管理模塊可以實(shí)現(xiàn)對元數(shù)據(jù)的獲取、集成和訪問。元數(shù)據(jù)管理涉及到數(shù)據(jù)倉庫的數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一、邏輯模型設(shè)計(jì)、物理模型設(shè)計(jì)、數(shù)據(jù)中心日常運(yùn)行維護(hù)的整個(gè)生命周期，是數(shù)據(jù)倉庫構(gòu)建過程中十分重要的一環(huán)。元數(shù)據(jù)作為數(shù)據(jù)倉庫用戶的路線圖，它必須為數(shù)據(jù)倉庫的開發(fā)、管理、使用的角色提供必要的技術(shù)和業(yè)務(wù)支持。

證券公司元數(shù)據(jù)管理平臺(tái)，需要包含以下主要功能：元數(shù)據(jù)日常管理和維護(hù)、版本管理、權(quán)限管理、提交與審批管理等功能。

元數(shù)據(jù)日常管理和維護(hù)：支持開發(fā)人員通過頁面聯(lián)機(jī)、批量方式對技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和操作元數(shù)據(jù)進(jìn)行新增、修改、刪除，提供各類元數(shù)據(jù)間的調(diào)用關(guān)系管理、變更通知以及配套的審批管控流程。

版本管理：通過制定相關(guān)的應(yīng)用系統(tǒng)開發(fā)流程規(guī)范，將元數(shù)據(jù)維護(hù)和變更管理納入應(yīng)用系統(tǒng)開發(fā)流程，提供元數(shù)據(jù)基線管理、版本制作、版本提交等功能，并實(shí)現(xiàn)與相關(guān)版本發(fā)布系統(tǒng)或平臺(tái)的有效對接。以版本發(fā)布為基準(zhǔn)，做好元數(shù)據(jù)的基線管理。

權(quán)限管理：信息安全是元數(shù)據(jù)管理系統(tǒng)的重要環(huán)節(jié)。元數(shù)據(jù)管理系統(tǒng)采用分類授權(quán)、分角色授權(quán)等原則，對訪問元數(shù)據(jù)管理系統(tǒng)進(jìn)行權(quán)限控制。設(shè)置用戶權(quán)限，建立與應(yīng)用系統(tǒng)、各類元數(shù)據(jù)的關(guān)聯(lián)關(guān)系；針對用戶權(quán)限變更，提供權(quán)限申請審批管理流程，加強(qiáng)事中的審核控制、事后的監(jiān)督核查。

提交與審批管理：設(shè)定相應(yīng)的審批控制流程，加強(qiáng)對元數(shù)據(jù)的管理，保證元數(shù)據(jù)平臺(tái)的準(zhǔn)確性、時(shí)效性和穩(wěn)定性。對于涉及上下游應(yīng)用調(diào)用的借口、文件等元數(shù)據(jù)，應(yīng)將下游應(yīng)用納入審批流程，確保可以及時(shí)評估和應(yīng)對上游元數(shù)據(jù)變更帶來的影響；對于重要的元數(shù)據(jù)對象，設(shè)置特殊的高層及審批流程，確保系統(tǒng)核心元數(shù)據(jù)的穩(wěn)定性。此外，為確保應(yīng)用系統(tǒng)正常的研發(fā)等活動(dòng)不受影響，要注意審批流程的時(shí)效性設(shè)計(jì)。

信息統(tǒng)計(jì)分析：主要提供元數(shù)據(jù)管理系統(tǒng)質(zhì)量評估、各類資產(chǎn)多維度統(tǒng)計(jì)和報(bào)表功能、資產(chǎn)變更統(tǒng)計(jì)及排名分析等。通過元數(shù)據(jù)管理系統(tǒng)提供的信息統(tǒng)計(jì)分析功能，能夠及時(shí)了解元數(shù)據(jù)管理系統(tǒng)中元數(shù)據(jù)資產(chǎn)整體和變更情況。

以下是幾種常見的元數(shù)據(jù)管理方法：

表結(jié)構(gòu)：表結(jié)構(gòu)屬于技術(shù)元數(shù)據(jù)范疇，表結(jié)構(gòu)管理應(yīng)該和應(yīng)用系統(tǒng)的開發(fā)、測試、版本制作等研發(fā)流程緊密結(jié)合起來，包括由元數(shù)據(jù)管理系統(tǒng)的表結(jié)構(gòu)信息來驅(qū)動(dòng)開發(fā)環(huán)境、測試環(huán)境中數(shù)據(jù)庫表的建立。通過這種方式可以確保元數(shù)據(jù)管理系統(tǒng)表結(jié)構(gòu)信息的準(zhǔn)確性和及時(shí)性。

文件：文件及文件傳輸信息屬于技術(shù)元數(shù)據(jù)范疇，在開發(fā)階段就應(yīng)該明確并體現(xiàn)到元數(shù)據(jù)管理系統(tǒng)中。使用方在需要使用文件時(shí)，需要使用部門在元數(shù)據(jù)管理系統(tǒng)中明確使用情況。當(dāng)提供方出現(xiàn)文件結(jié)構(gòu)變化、邏輯變化、數(shù)據(jù)字典變化時(shí)，需要元數(shù)據(jù)管理系統(tǒng)通知接收方保持同步變化。生產(chǎn)環(huán)境中的數(shù)據(jù)傳輸變化系統(tǒng)也會(huì)依據(jù)元數(shù)據(jù)管理系統(tǒng)的內(nèi)容進(jìn)行相關(guān)調(diào)整，確保元數(shù)據(jù)管理系統(tǒng)中的文件及文件傳輸信息的準(zhǔn)確性和及時(shí)性。

接口：接口程序?qū)儆诮Y(jié)構(gòu)性技術(shù)元數(shù)據(jù)范疇，應(yīng)用接口及接口調(diào)用關(guān)系均在元數(shù)據(jù)管理系統(tǒng)統(tǒng)一登記管理。所有接口新增或者某應(yīng)用在調(diào)用一個(gè)接口（或不再調(diào)用一個(gè)接口）時(shí)，都要求于應(yīng)用開發(fā)階段在元數(shù)據(jù)管理系統(tǒng)中登記。接口的修改、作廢等，由元數(shù)據(jù)管理系統(tǒng)自動(dòng)通知使用接口的聯(lián)系人，從而對接口的使用方進(jìn)行相應(yīng)的改造。

公共代碼：公共代碼需要通過字典描述，并且隨各應(yīng)用系統(tǒng)的變化不斷濟(jì)寧擴(kuò)充和調(diào)整，各相關(guān)應(yīng)用系統(tǒng)需要及時(shí)了解最新情況的數(shù)據(jù)資源。公共代碼的種類眾多，各類公共代碼需要遵循相關(guān)的技術(shù)要求。元數(shù)據(jù)管理系統(tǒng)指定相匹配的各類管理規(guī)則，實(shí)現(xiàn)對公共代碼的規(guī)范、標(biāo)準(zhǔn)管理，保證公共代碼的質(zhì)量。

指標(biāo)：指標(biāo)元數(shù)據(jù)都應(yīng)該在元數(shù)據(jù)管理系統(tǒng)中進(jìn)行統(tǒng)一管理。為了避免指標(biāo)重復(fù)開發(fā)或者名稱相同但口徑存在差異，對于新增的指標(biāo)，需要在指標(biāo)加工前就明確指標(biāo)元數(shù)據(jù)信息，嚴(yán)格控制重復(fù)指標(biāo)新增準(zhǔn)入。指標(biāo)業(yè)務(wù)元數(shù)據(jù)由指標(biāo)需求提出方明確，指標(biāo)技術(shù)元數(shù)據(jù)由指標(biāo)加工處理的技術(shù)部門明確并進(jìn)行登記。對于存量指標(biāo)，則需要定期梳理回顧，及時(shí)清退低效指標(biāo)。

數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)規(guī)劃的主要目標(biāo)是確保經(jīng)營管理信息的完整性、有效性、一致性、規(guī)范性、開放性以及共享性，從而能夠暢通無阻地交互信息，進(jìn)一步提升企業(yè)核心競爭能力，助理戰(zhàn)略發(fā)展目標(biāo)的實(shí)現(xiàn)。數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)規(guī)劃需要遵循一定的原則，在進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化建設(shè)時(shí)，要重點(diǎn)考慮代價(jià)、效益和風(fēng)險(xiǎn)三個(gè)主要因素。

元數(shù)據(jù)的收集

? ???數(shù)據(jù)中心針對元數(shù)據(jù)的收集場景設(shè)計(jì)了元數(shù)據(jù)采集和元數(shù)據(jù)錄入映射兩種類型的入口。元數(shù)據(jù)管理模塊支持利用不同的元數(shù)據(jù)采集技術(shù)對各種來源的元數(shù)據(jù)實(shí)施采集，如：數(shù)據(jù)建模工具、源系統(tǒng)、ETL工具/程序、前端展現(xiàn)工具、文檔化的業(yè)務(wù)元數(shù)據(jù)等元數(shù)據(jù)來源。元數(shù)據(jù)管理模塊支持手動(dòng)觸發(fā)或者通過觸發(fā)器發(fā)起元數(shù)據(jù)采集操作的過程。若是通過存量系統(tǒng)梳理功能或者需求管理功能鏈接過來的元數(shù)據(jù)導(dǎo)入請求，則通過平臺(tái)中的錄入和手工調(diào)整元數(shù)據(jù)映射的方式進(jìn)行元數(shù)據(jù)收集。

元數(shù)據(jù)的管理

元數(shù)據(jù)管理能夠提供元數(shù)據(jù)瀏覽、檢索、維護(hù)等服務(wù)，方便系統(tǒng)管理員或者業(yè)務(wù)人員對所需業(yè)務(wù)、技術(shù)與操作元數(shù)據(jù)的使用。平臺(tái)的建設(shè)也必須考慮到元數(shù)據(jù)在不同應(yīng)用中的表現(xiàn)形式可能不同。為此，有必要將元數(shù)據(jù)區(qū)分為兩個(gè)層面，即系統(tǒng)級元數(shù)據(jù)的物理存儲(chǔ)層與元數(shù)據(jù)的表現(xiàn)層。物理存儲(chǔ)層存放元數(shù)據(jù)的本體，表現(xiàn)層提供運(yùn)用元數(shù)據(jù)的環(huán)境。

提供元數(shù)據(jù)變更通知機(jī)制：因元數(shù)據(jù)直接影響到存儲(chǔ)模式的結(jié)構(gòu)和軟件工具的行為，所以再將一個(gè)修改過或者擴(kuò)展后的元數(shù)據(jù)元素放回原有環(huán)境時(shí)，需要特別謹(jǐn)慎。業(yè)務(wù)人員可以向元數(shù)據(jù)管理平臺(tái)預(yù)訂通知消息，要求在元數(shù)據(jù)元素某個(gè)部分發(fā)生改動(dòng)時(shí)通知它們。在一些環(huán)境下，一些重要的管理程序或過程可能會(huì)首先關(guān)閉受到元數(shù)據(jù)變化影響的、處于活動(dòng)狀態(tài)的工具；然后，將修改過的元數(shù)據(jù)放入受到影響的工具中，在重新啟動(dòng)工具，指示它將修改過的元數(shù)據(jù)融入到它內(nèi)部的實(shí)現(xiàn)模型中。

提供元數(shù)據(jù)版本控制機(jī)制：必須為被管理的元數(shù)據(jù)元素設(shè)立專門的版本控制規(guī)則，特別是元數(shù)據(jù)實(shí)例必須具有版本控制功能，包括定版、版本比較、版本恢復(fù)等功能。在特定的環(huán)境中，元數(shù)據(jù)管理體系結(jié)構(gòu)需要跟蹤、控制和發(fā)布不同版本的元數(shù)據(jù)。雖然最終要由系統(tǒng)管理員或者業(yè)務(wù)人員來決定需要哪個(gè)版本的元數(shù)據(jù),但元數(shù)據(jù)管理體系結(jié)構(gòu)提供相應(yīng)的機(jī)制來使具體應(yīng)用能夠發(fā)現(xiàn)和請求不同版本。

元數(shù)據(jù)的分析

元數(shù)據(jù)管理應(yīng)提供元數(shù)據(jù)的全局影響分析、血統(tǒng)分析功能，能使數(shù)據(jù)倉庫開發(fā)人員積極地評估更改的影響，確定開發(fā)、實(shí)施更改所需的工作量和系統(tǒng)代價(jià)。

血統(tǒng)分析以圖形方式展示以某個(gè)元數(shù)據(jù)為終止節(jié)點(diǎn)，其前與其有關(guān)系的所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的來源與加工過程，使用血統(tǒng)分析可分析數(shù)據(jù)來源和對數(shù)據(jù)質(zhì)量問題的定位。

影響分析以圖形方式展示以某個(gè)元數(shù)據(jù)為起始節(jié)點(diǎn)，其后與其有關(guān)系的所有元數(shù)據(jù)，反應(yīng)數(shù)據(jù)的流向與加工過程。使用影響分析可分析數(shù)據(jù)流向和對數(shù)據(jù)轉(zhuǎn)換中錯(cuò)誤的定位，用戶通過選定指定的元數(shù)據(jù)，分析該元數(shù)據(jù)的影響數(shù)據(jù)流圖。

重要程度分析，表元數(shù)據(jù)與其他元數(shù)據(jù)的關(guān)系的數(shù)量，例如，表與ETL程序、表與OLAP、表與指標(biāo)等。該數(shù)量越高，表示這張表的重要程度越高，在修改或者刪除的時(shí)候就需要慎重考慮了。本功能用以展示元數(shù)據(jù)管理系統(tǒng)中所有類型為表的元數(shù)據(jù)的關(guān)聯(lián)度。用戶可以輸入查詢條件，用于查詢關(guān)聯(lián)度在一定數(shù)量之上的表。

數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)倉庫從運(yùn)行于證券公司的集中交易、資產(chǎn)管理、清算、TA、CRM、財(cái)務(wù)等不同系統(tǒng)中抽取數(shù)據(jù)，經(jīng)過各種各樣的傳輸、轉(zhuǎn)換和處理，加載到數(shù)據(jù)倉庫中以后，為各管理系統(tǒng)及數(shù)據(jù)挖掘提供基礎(chǔ)數(shù)據(jù)。

隨著用戶對數(shù)據(jù)分析需求的增長，數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量變得越來越重要。質(zhì)量差的數(shù)據(jù)不僅可能對企業(yè)生產(chǎn)造成負(fù)面影響，而且會(huì)使用戶覺得所產(chǎn)生的報(bào)表不可信賴，更重要的是錯(cuò)誤的數(shù)據(jù)容易誤導(dǎo)用戶，從而造成管理決策的失誤，此外低質(zhì)量的數(shù)據(jù)會(huì)使雇員失去對企業(yè)的信心。客戶對錯(cuò)誤數(shù)據(jù)將無法忍受，例如發(fā)送錯(cuò)誤的成交信息、成本價(jià)或者不正確的客戶資料，會(huì)認(rèn)為公司管理混亂，從而造成客戶流失。所以說數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理的核心功能，也是數(shù)據(jù)倉庫的生命。

在證券公司的很多系統(tǒng)中，數(shù)據(jù)是最重要的處理對象，也是最終呈現(xiàn)給系統(tǒng)用戶的內(nèi)容。系統(tǒng)用戶認(rèn)為系統(tǒng)是否發(fā)揮了應(yīng)有的作用很大程度上依賴于系統(tǒng)提供的數(shù)據(jù)是否真實(shí)準(zhǔn)確，高質(zhì)量的數(shù)據(jù)將提升用戶對系統(tǒng)的信心，進(jìn)而影響企業(yè)IT投資回報(bào)率。

數(shù)據(jù)質(zhì)量管理目標(biāo)

數(shù)據(jù)倉庫向用戶提供了集成的、一致的、綜合的、高質(zhì)量的信息以支持管理決策，但是數(shù)據(jù)倉庫的數(shù)據(jù)來自各種不同的操作性數(shù)據(jù)源，并且經(jīng)過了各種各樣的傳輸、轉(zhuǎn)換和處理，要確保數(shù)據(jù)倉庫的質(zhì)量并非易事。數(shù)據(jù)質(zhì)量是數(shù)據(jù)倉庫的生命，如果數(shù)據(jù)倉庫中的數(shù)據(jù)毫無質(zhì)量可言，那么該數(shù)據(jù)倉庫就沒有任何的價(jià)值。

總體上來說，數(shù)據(jù)倉庫對數(shù)據(jù)質(zhì)量的要求可歸納為：

(1)數(shù)據(jù)的正確性，是指數(shù)據(jù)是否正確體現(xiàn)在可證實(shí)的數(shù)據(jù)源上；

(2)數(shù)據(jù)的完整性，是指數(shù)據(jù)倉庫中數(shù)據(jù)之間的參照完整性是否存在或一致；

(3)數(shù)據(jù)一致性，是指數(shù)據(jù)倉庫中的數(shù)據(jù)是否被一致定義或理解；

(4)數(shù)據(jù)完備性，是指所需要的數(shù)據(jù)是否都存在；

(5)數(shù)據(jù)有效性，是指數(shù)據(jù)是否在企業(yè)定義的可接受的范圍之內(nèi)；

(6)數(shù)據(jù)時(shí)效性，是指數(shù)據(jù)在需要的時(shí)間是否有效；

(7)數(shù)據(jù)可獲取性，是指數(shù)據(jù)是否易于獲取、易于理解和易于使用；

(8)數(shù)據(jù)的冗余性，是指數(shù)據(jù)倉庫中是否存在不必要的數(shù)據(jù)冗余；

(9)數(shù)據(jù)邏輯合理性，主要從業(yè)務(wù)邏輯的角度判斷數(shù)據(jù)是否正確。

數(shù)據(jù)質(zhì)量管理技術(shù)框架

?

數(shù)據(jù)質(zhì)量管理功能描述

?

數(shù)據(jù)質(zhì)量問題分析

數(shù)據(jù)質(zhì)量問題的表現(xiàn)形式及其產(chǎn)生原因可以歸結(jié)為以下幾個(gè)方面：

(1)冗余因素：各個(gè)應(yīng)用系統(tǒng)自成體系，數(shù)據(jù)和程序冗余度高，數(shù)據(jù)孤島現(xiàn)象嚴(yán)重，表現(xiàn)為多義字段、主鍵重復(fù)等。

(2)系統(tǒng)因素：某些應(yīng)用程序測試不充分，不斷產(chǎn)生錯(cuò)誤的操作型數(shù)據(jù)，表現(xiàn)為數(shù)據(jù)遺漏、數(shù)據(jù)錯(cuò)誤、矛盾值、違背業(yè)務(wù)規(guī)則、沒有意義的默認(rèn)值等。

(3)數(shù)據(jù)遷移因素：業(yè)務(wù)系統(tǒng)更新后，會(huì)增加、刪減或修改部分舊的業(yè)務(wù)規(guī)則，表現(xiàn)為在將老數(shù)據(jù)遷移進(jìn)新系統(tǒng)后，可能會(huì)引入缺漏、錯(cuò)誤、無法關(guān)聯(lián)等遺留問題。

(4)操作因素：比如前臺(tái)數(shù)據(jù)錄入可能造成數(shù)據(jù)質(zhì)量問題，有的前臺(tái)柜員為加快柜面辦理速度，對于客戶開戶時(shí)提供的家庭電話、職業(yè)、地址等信息不做檢查，這會(huì)造成操作性數(shù)據(jù)的信息缺漏、錯(cuò)誤等問題。

(5)接口定義因素：有時(shí)業(yè)務(wù)系統(tǒng)之間交換數(shù)據(jù)時(shí)接口Bug也可能引入問題數(shù)據(jù)。

(6)其他因素：客戶通過網(wǎng)絡(luò)辦理業(yè)務(wù)時(shí)，基于隱私信息保護(hù)的心理，也可能僅僅填寫必需項(xiàng)或者隨意填寫，對企業(yè)而言有用的大量信息是空白或者不合常理，這也會(huì)造成信息缺漏或錯(cuò)誤數(shù)據(jù)問題。數(shù)據(jù)質(zhì)量問題存在于數(shù)據(jù)倉庫建設(shè)過程中數(shù)據(jù)流動(dòng)的各個(gè)環(huán)節(jié)，基本上分為數(shù)據(jù)源、ETL過程中和數(shù)據(jù)倉庫內(nèi)幾個(gè)部分。數(shù)據(jù)質(zhì)量存在問題的根本原因在于數(shù)據(jù)源，可以歸為以下幾類：

數(shù)據(jù)格式問題，例如數(shù)據(jù)缺失、超出數(shù)據(jù)范圍、無效數(shù)據(jù)格式等等。

數(shù)據(jù)一致性問題，出于數(shù)據(jù)庫性能考慮，有時(shí)候可能會(huì)有意的去掉一些外間或者檢查約束。

業(yè)務(wù)邏輯問題，由于數(shù)據(jù)庫設(shè)計(jì)得不夠嚴(yán)格或者謹(jǐn)慎造成。

數(shù)據(jù)質(zhì)量管理設(shè)計(jì)

數(shù)據(jù)模型中實(shí)體語義、屬性重定義

在數(shù)據(jù)模型上，實(shí)體語義、屬性重新定義，統(tǒng)一命名規(guī)則、編碼規(guī)則、數(shù)據(jù)字典，增加自定義數(shù)據(jù)類型。例如各系統(tǒng)對分支營業(yè)部、客戶狀態(tài)、性別的字段名和值都會(huì)不一致，而在數(shù)據(jù)倉庫模型中需要將其重新定義，并定義其屬性值。增加自定義數(shù)據(jù)類型，例如將所有的姓名字段數(shù)據(jù)類型描述為自定義類型tyName，在姓名字段數(shù)據(jù)類型發(fā)生變化時(shí)，可通過自定義類型找到所有相關(guān)的數(shù)據(jù)項(xiàng)，并通過變更tyName的數(shù)據(jù)類型，可以實(shí)現(xiàn)所有相關(guān)的過程、表結(jié)構(gòu)變更。通過元數(shù)據(jù)管理中增加數(shù)據(jù)模型描述、增加數(shù)據(jù)字典描述來增強(qiáng)上述內(nèi)容的可維護(hù)性。

數(shù)據(jù)字典映射檢查

在ETL清洗過程中，對于源系統(tǒng)不同的字段值，進(jìn)行數(shù)據(jù)字典映射，映射成標(biāo)準(zhǔn)的字段屬性值。同時(shí)建立數(shù)據(jù)字典映射的檢查機(jī)制，來防止生產(chǎn)系統(tǒng)因業(yè)務(wù)變更而產(chǎn)生新的屬性值，導(dǎo)致數(shù)據(jù)質(zhì)量降低。在檢查出新增屬性值后，通過報(bào)表形式或者預(yù)警形式告知維護(hù)人員，來維護(hù)相關(guān)信息。

?

表結(jié)構(gòu)變更監(jiān)控

數(shù)據(jù)倉庫實(shí)施過程中依賴的源數(shù)據(jù)的表結(jié)構(gòu)可能會(huì)因業(yè)務(wù)發(fā)生變更而變更，例如字段數(shù)據(jù)類型變更，增加或者減少字段，這些變更都會(huì)導(dǎo)致數(shù)據(jù)ETL過程處理失敗或者出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象，因此需要建立表結(jié)構(gòu)變更監(jiān)控。

數(shù)據(jù)核對

在清洗過程中，增加數(shù)據(jù)核對部分，主要核對重要數(shù)據(jù)表的記錄數(shù)、關(guān)鍵字段匯總值核對、明細(xì)表與匯總表相關(guān)字段進(jìn)行核對，以保證重要數(shù)據(jù)在清洗過程中不會(huì)出現(xiàn)數(shù)據(jù)丟失或者失真時(shí)，通過預(yù)警告知運(yùn)維人員進(jìn)行數(shù)據(jù)處理。對于人工處理需要留有詳細(xì)的日志記錄。

不規(guī)范數(shù)據(jù)處理

對于不規(guī)范的數(shù)據(jù)(數(shù)據(jù)值為空、數(shù)據(jù)值不符合格式、精度不符合格式、不符合數(shù)據(jù)屬性值定義)，在ETL清洗過程中給數(shù)據(jù)打上錯(cuò)誤標(biāo)記，然后通過。首先保證這些記錄順利通過，然后記錄一些錯(cuò)誤標(biāo)志，并通過報(bào)表反映出來。可通過這些特殊處理確保了數(shù)據(jù)的完整性。數(shù)據(jù)質(zhì)量應(yīng)該盡量確保在ETL環(huán)節(jié)中進(jìn)行，因?yàn)槊恳稽c(diǎn)的錯(cuò)誤都會(huì)導(dǎo)致后續(xù)處理的無限放大，因此盡量把錯(cuò)誤和數(shù)據(jù)質(zhì)量問題消除在靠前的位置。

老化數(shù)據(jù)和無效數(shù)據(jù)的處理

由于ODS和數(shù)據(jù)倉庫設(shè)計(jì)的內(nèi)容未經(jīng)后續(xù)的業(yè)務(wù)需求驗(yàn)證，包括完整性原則，粒度最小化原則導(dǎo)致部分?jǐn)?shù)據(jù)從使用以來一直未被使用過，這類數(shù)據(jù)就是無效數(shù)據(jù)，其會(huì)占用數(shù)據(jù)倉庫的空間和降低數(shù)據(jù)倉庫的效率。這些數(shù)據(jù)需要通過無效數(shù)據(jù)判定的算法定時(shí)從數(shù)據(jù)倉庫中處理。數(shù)據(jù)管控平臺(tái)應(yīng)該提供數(shù)據(jù)使用效率的監(jiān)控工具，并通過報(bào)表形式將判斷為無效數(shù)據(jù)和老化數(shù)據(jù)信息提供給管理員，以便進(jìn)一步優(yōu)化數(shù)據(jù)庫設(shè)計(jì)。

數(shù)據(jù)質(zhì)量問題解決策略

數(shù)據(jù)中心將所有數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則分為前校驗(yàn)和后校驗(yàn)兩大類。前校驗(yàn)即ETL過程開始之前即對源數(shù)據(jù)或者上層數(shù)據(jù)做一次校驗(yàn)，保證進(jìn)入ETL流程的數(shù)據(jù)有效性。后校驗(yàn)即ETL過程結(jié)束之后，根據(jù)預(yù)設(shè)的校驗(yàn)規(guī)則對數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行勾稽關(guān)系或者業(yè)務(wù)邏輯校驗(yàn)，保證數(shù)據(jù)中心計(jì)算指標(biāo)的有效性，準(zhǔn)確性。以下是數(shù)據(jù)質(zhì)量管理功能中三類校驗(yàn)規(guī)則：缺失性校驗(yàn)、預(yù)警性校驗(yàn)和一致性校驗(yàn)。

缺失性校驗(yàn)：對系統(tǒng)中應(yīng)該存在卻不存在的信息進(jìn)行校驗(yàn)，包括表、字段、數(shù)據(jù)字典、關(guān)鍵數(shù)據(jù)記錄缺失與否的檢查校驗(yàn)。

?

校驗(yàn)方式	校驗(yàn)規(guī)則	校驗(yàn)細(xì)則	處理方式
? 前校驗(yàn)	原始層關(guān)鍵表存在性校驗(yàn)	?	?
	數(shù)據(jù)字典映射缺失檢核	?	?
后校驗(yàn)	產(chǎn)品信息缺失校驗(yàn)	資管產(chǎn)品分類缺失校驗(yàn)	?
	證券基礎(chǔ)信息缺失校驗(yàn)	債券到期日缺失校驗(yàn)	?
		證券評級信息缺失校驗(yàn)	?
		證券分類信息缺失校驗(yàn)	?
		總股本缺失校驗(yàn)	?
	財(cái)務(wù)信息缺失校驗(yàn) ?	財(cái)務(wù)科目缺失校驗(yàn)	?
		財(cái)務(wù)賬套缺失校驗(yàn)	?

預(yù)警性校驗(yàn)：對系統(tǒng)中的數(shù)據(jù)進(jìn)行合理性校驗(yàn)、錯(cuò)誤性監(jiān)測以及帶預(yù)警值的閾值校驗(yàn)。

校驗(yàn)方式	校驗(yàn)規(guī)則	校驗(yàn)細(xì)則	處理方式
前校驗(yàn)	原始層數(shù)據(jù)趨勢性校驗(yàn)	?	?
	到期功能提醒	手工證券分類有效期到期提醒	?
		公司等級有效期到期提醒	?
		手工證券評級信息到期提醒	?
		標(biāo)的證券有效期到期提醒	?
		手工指標(biāo)有效期到期提醒	?
后校驗(yàn)	計(jì)算結(jié)果趨勢性檢查	指標(biāo)波動(dòng)預(yù)警	?
		指標(biāo)波動(dòng)下鉆明細(xì)查詢	?
	數(shù)據(jù)預(yù)警校驗(yàn)	證券價(jià)格準(zhǔn)確性檢測	?
		證券成本準(zhǔn)確性檢測	?
		證券分類準(zhǔn)確性檢測	?
		融資融券排名校驗(yàn)	?
		自營賬戶校驗(yàn)	?
		對沖賬戶校驗(yàn)	?
		報(bào)表關(guān)鍵指標(biāo)閥值預(yù)警	?
		?	?
		報(bào)表明細(xì)關(guān)鍵字段準(zhǔn)確性校驗(yàn)	?

一致性校驗(yàn)：對于在系統(tǒng)中出現(xiàn)的指標(biāo)進(jìn)行前后一致性校驗(yàn)和平行一致性校驗(yàn)。前后一致性即根據(jù)勾稽關(guān)系或者計(jì)算公式對指標(biāo)計(jì)算結(jié)果進(jìn)行校驗(yàn)。平行一致性校驗(yàn)即在系統(tǒng)中相同口徑的指標(biāo)進(jìn)行校驗(yàn)比對。

校驗(yàn)方式	校驗(yàn)規(guī)則	校驗(yàn)細(xì)則	處理方式
后校驗(yàn)	報(bào)表指標(biāo)勾稽校驗(yàn)	?	?
	財(cái)務(wù)公式校驗(yàn)	?	?

校驗(yàn)結(jié)果管理：系統(tǒng)中設(shè)置的校驗(yàn)規(guī)則是普適性的，然而在實(shí)際業(yè)務(wù)流程中會(huì)有一些特殊業(yè)務(wù)要求。對于此類現(xiàn)象，我們在系統(tǒng)中對校驗(yàn)結(jié)果進(jìn)行集中統(tǒng)一管理。支持對校驗(yàn)結(jié)果進(jìn)行白名單、黑名單、灰名單的屬性設(shè)計(jì)，便于系統(tǒng)使用人員靈活運(yùn)用校驗(yàn)規(guī)則進(jìn)行數(shù)據(jù)質(zhì)量管理。

校驗(yàn)權(quán)限管理：支持按照產(chǎn)品模塊進(jìn)行權(quán)限管理，不同風(fēng)險(xiǎn)管理模塊的管理員只能操作對應(yīng)模塊的校驗(yàn)規(guī)則，避免因?yàn)闃I(yè)務(wù)操作原因?qū)е缕渌a(chǎn)品模塊的數(shù)據(jù)質(zhì)量問題。

?

?

權(quán)限管理

權(quán)限按照操作類型可以分為操作權(quán)限、賦予權(quán)限、審核權(quán)限；按照控制內(nèi)容可以分為菜單權(quán)限、指標(biāo)權(quán)限、組織機(jī)構(gòu)權(quán)限。

操作日志管理

平臺(tái)在運(yùn)行過程中，會(huì)時(shí)刻記錄操作人員的詳細(xì)操作信息，包括操作人員的登錄 IP 地址、登錄MAC地址、登錄退出時(shí)間、瀏覽過的頁面、執(zhí)行過的操作等，同時(shí)也提供日志查詢功能，便于后續(xù)的審計(jì)及異常的定位。

?

系統(tǒng)部署

系統(tǒng)部署方案

?

方案通過防火墻隔離，總共分層三層安全級別區(qū)，其中，最外面第一層是日常辦公網(wǎng)絡(luò)等，第二層是數(shù)據(jù)中心相關(guān)系統(tǒng)，第三層是核心業(yè)務(wù)DB，其安全級別依次升高。

由于數(shù)據(jù)應(yīng)用服務(wù)器和CDH集群中間存在一定量數(shù)據(jù)的傳輸與計(jì)算，如果還是通過防火墻的傳輸勢必照成相當(dāng)?shù)膲毫?#xff0c;所以數(shù)據(jù)應(yīng)用服務(wù)器直接越過防火墻通過交換機(jī)與CDH集群連接。

系統(tǒng)備份及應(yīng)急方案

應(yīng)用服務(wù)器備份

系統(tǒng)將專門準(zhǔn)備備份服務(wù)器，預(yù)先安裝各種系統(tǒng)軟件，作為系統(tǒng)各應(yīng)用服務(wù)器的冷備份，當(dāng)系統(tǒng)的其中一臺(tái)應(yīng)用服務(wù)器出現(xiàn)問題的時(shí)候快速接管，保證系統(tǒng)的正常運(yùn)行。

災(zāi)備及應(yīng)急處理

利用上述方案搭建災(zāi)備系統(tǒng)，在發(fā)生緊急情況導(dǎo)致生產(chǎn)系統(tǒng)無法啟動(dòng)時(shí)，可及時(shí)開啟災(zāi)備系統(tǒng)，在生產(chǎn)系統(tǒng)恢復(fù)后，再將異常期間的數(shù)據(jù)從災(zāi)備系統(tǒng)中進(jìn)行恢復(fù)即可。

系統(tǒng)應(yīng)用設(shè)計(jì)

系統(tǒng)整合

系統(tǒng)整合根據(jù)整合的級別不同可以分成多種類型，應(yīng)用級別整合,統(tǒng)一訪問整合,明細(xì)數(shù)據(jù)整合，數(shù)據(jù)服務(wù)整合。其中固定報(bào)表系統(tǒng)、查詢系統(tǒng)的整合屬于應(yīng)用級別和統(tǒng)一訪問的整合;智能分析、CRM、資訊管理系統(tǒng)的整合屬于明細(xì)數(shù)據(jù)整合;呼叫中心、營銷管理、專家在線系統(tǒng)的整合屬于數(shù)據(jù)服務(wù)整合。

應(yīng)用級別整合

此類整合一般是將OLTP系統(tǒng)中的報(bào)表及查詢功能遷移到報(bào)表系統(tǒng)或者數(shù)據(jù)中心系統(tǒng)上，主要目的是使用一個(gè)報(bào)表系統(tǒng)來實(shí)現(xiàn)分散在各個(gè)系統(tǒng)中(對原系統(tǒng)主要功能影響不大的功能)的查詢及報(bào)表功能。

所有的原有系統(tǒng)中的部分功能或者報(bào)表整體不再使用，遷移到新系統(tǒng)。新系統(tǒng)需要采集、轉(zhuǎn)換數(shù)據(jù)，然后開發(fā)相應(yīng)的功能及報(bào)表。

優(yōu)點(diǎn):

統(tǒng)一的權(quán)限、數(shù)據(jù)口徑、統(tǒng)一的展示頁面，可減輕原有系統(tǒng)壓力。

統(tǒng)一訪問整合

此類整合主要是提供統(tǒng)一的訪問服務(wù)，通過WEB嵌入的方式來實(shí)現(xiàn)，用戶可在一個(gè)系統(tǒng)中實(shí)現(xiàn)所有的查詢及報(bào)表需求。

優(yōu)點(diǎn)：

統(tǒng)一訪問頁面，單一登錄，可以使用所有應(yīng)用。

數(shù)據(jù)服務(wù)整合

此類整合適合于公司的大部分系統(tǒng)，即數(shù)據(jù)中心通過數(shù)據(jù)服務(wù)的方式(服務(wù)方式見第四章)給各個(gè)系統(tǒng)提供數(shù)據(jù)。

對于呼叫中心、營銷管理、專家在線系統(tǒng)的整合，這些系統(tǒng)原先都是從各種業(yè)務(wù)系統(tǒng)系統(tǒng)獲取客戶的基本信息、交易信息、服務(wù)信息、營銷信息、反饋意見、投訴信息問卷調(diào)查、回訪記錄和分級分類信息，這樣在給生產(chǎn)系統(tǒng)造成一定的壓力的同時(shí)，所獲取數(shù)據(jù)之間也很難保證整體性、規(guī)范性和一致性，所以我們需要通過數(shù)據(jù)中心規(guī)范化相關(guān)信息，統(tǒng)一提供給呼叫中心、營銷管理、專家在線等系統(tǒng)。

優(yōu)點(diǎn):

改善公司現(xiàn)有數(shù)據(jù)流，減少數(shù)據(jù)流圖的復(fù)雜性。

減輕被索取數(shù)據(jù)多的OLTP系統(tǒng)的壓力。

相對于“數(shù)據(jù)整合”來說，系統(tǒng)之間保持獨(dú)立，相互之間也不會(huì)存在資源競爭。對于不同廠商開發(fā)的軟件，也能解決數(shù)據(jù)提供的問題。

技術(shù)實(shí)現(xiàn)

通過專用的ETL工具按照一定的周期抽取客戶的基本信息、交易信息、服務(wù)信息、營銷信息、反饋意見、投訴信息和分級分類信息到ODS數(shù)據(jù)層，為保證數(shù)據(jù)的一致性和統(tǒng)一數(shù)據(jù)字典，需要對各個(gè)數(shù)據(jù)源數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，形成統(tǒng)一的客戶信息業(yè)務(wù)視圖。各周邊系統(tǒng)切換數(shù)據(jù)源訪問ODS數(shù)據(jù)層數(shù)據(jù)。

在ODS數(shù)據(jù)層基礎(chǔ)上，通過ETL工具建立數(shù)據(jù)倉庫和數(shù)據(jù)集市，建立客戶交易、價(jià)值、特征、異動(dòng)、KPI等相關(guān)主題的數(shù)據(jù)模型。并通過智能分析平臺(tái)和業(yè)務(wù)展現(xiàn)平臺(tái)加以展現(xiàn)。

按照一定的業(yè)務(wù)規(guī)則，對客戶進(jìn)行分類評級，關(guān)鍵是要做到業(yè)務(wù)部門可以靈活設(shè)置分類規(guī)則指標(biāo)。這樣就要求我們在進(jìn)行客戶分類評級設(shè)計(jì)時(shí)需要考慮增加動(dòng)態(tài)配置表，提供業(yè)務(wù)人員相關(guān)的配置接口來完成設(shè)置分類規(guī)則指標(biāo)。

證券公司指標(biāo)庫

數(shù)據(jù)中心在完成數(shù)據(jù)倉庫建設(shè)和主題模型設(shè)計(jì)之后，具備了持久化存儲(chǔ)和管理證券公司各類業(yè)務(wù)數(shù)據(jù)的可能性。然而對于實(shí)際數(shù)據(jù)使用人員來說，數(shù)據(jù)倉庫設(shè)計(jì)思路中分層設(shè)計(jì)以及主題劃分，數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范的定義還是顯得比較復(fù)雜。為了滿足業(yè)務(wù)人員使用數(shù)據(jù)的便利和數(shù)據(jù)集市建設(shè)過程中冗余程度的降低，需要在數(shù)據(jù)中心里構(gòu)建一套適合xx業(yè)務(wù)現(xiàn)狀的指標(biāo)體系。該指標(biāo)庫應(yīng)覆蓋xx內(nèi)所有的行業(yè)數(shù)據(jù)指標(biāo)，并且可提供其他同類企業(yè)可參考的現(xiàn)有指標(biāo)庫體系作為參考，同時(shí)滿足數(shù)據(jù)標(biāo)準(zhǔn)體系設(shè)計(jì)規(guī)范的指標(biāo)庫建設(shè)。具備直觀的、精準(zhǔn)的、明確的指標(biāo)、維度及其對應(yīng)關(guān)系。具備易于使用、維護(hù)且有標(biāo)準(zhǔn)的指標(biāo)規(guī)范流程。

在指標(biāo)庫中，列出不同指標(biāo)的定義/公式、取數(shù)來源、指標(biāo)歸集維度（母子孫公司維度）及指標(biāo)頻率。

指標(biāo)覆蓋業(yè)務(wù)模塊：包括公共指標(biāo)、風(fēng)控指標(biāo)、業(yè)務(wù)指標(biāo)等，如下圖所示。

指標(biāo)覆蓋風(fēng)險(xiǎn)：市場風(fēng)險(xiǎn)、信用風(fēng)險(xiǎn)、操作風(fēng)險(xiǎn)、流動(dòng)性風(fēng)險(xiǎn)、壓力測試、風(fēng)險(xiǎn)調(diào)整后收益、業(yè)績表現(xiàn)、等各類指標(biāo)。

指標(biāo)覆蓋類型：包括監(jiān)管指標(biāo)、效益指標(biāo)、規(guī)模指標(biāo)、財(cái)務(wù)指標(biāo)、市場指標(biāo)、客戶指標(biāo)等。

指標(biāo)庫使用：系統(tǒng)維護(hù)了多年應(yīng)用與發(fā)展中經(jīng)過準(zhǔn)確性驗(yàn)證和認(rèn)可的約350個(gè)標(biāo)準(zhǔn)常用指標(biāo)；系統(tǒng)對指標(biāo)進(jìn)行明確分類，方便用戶使用指標(biāo)庫指標(biāo)做數(shù)據(jù)管理器及二次分析，以及使用指標(biāo)庫指標(biāo)構(gòu)建限額監(jiān)控內(nèi)容。以下就是xx數(shù)據(jù)中心設(shè)計(jì)的一套適用于證券公司業(yè)務(wù)的數(shù)據(jù)中心指標(biāo)庫結(jié)構(gòu)。

領(lǐng)導(dǎo)者駕駛艙

決策分析是企業(yè)運(yùn)營的關(guān)鍵，科學(xué)的決策必須建立在及時(shí)、準(zhǔn)確、全面、有效的信息資源基礎(chǔ)之上。在證券公司通過數(shù)據(jù)中心建設(shè)打通了內(nèi)部數(shù)據(jù)通道,完成了基礎(chǔ)數(shù)據(jù)的集中、整合和指標(biāo)體系建設(shè)后，如何把基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)指標(biāo)轉(zhuǎn)換為準(zhǔn)確、恰當(dāng)?shù)臎Q策信息，并且及時(shí)，直觀的提供給決策者，消除決策信息的不對稱，是企業(yè)信息系統(tǒng)面臨的重大問題。面對以上問題，領(lǐng)導(dǎo)者駕駛艙應(yīng)運(yùn)而生。

領(lǐng)導(dǎo)者駕駛艙是基于數(shù)據(jù)中心指標(biāo)體系的高層決策支持系統(tǒng)。通過詳盡的指標(biāo)體系和生動(dòng)形象的的圖形化展示，實(shí)時(shí)反映企業(yè)的運(yùn)行狀態(tài)。是一個(gè)為高層管理層提供的“一站式”（One-Stop）決策支持的管理信息中心系統(tǒng)。

從證券公司業(yè)務(wù)屬性上來看，領(lǐng)導(dǎo)者駕駛艙可以分為經(jīng)營分析和風(fēng)險(xiǎn)管理兩大方向。從這兩個(gè)方向出發(fā)，可以覆蓋公司經(jīng)紀(jì)業(yè)務(wù)、信用業(yè)務(wù)、資管業(yè)務(wù)、財(cái)務(wù)狀況、人力資源狀況、全面風(fēng)險(xiǎn)等業(yè)務(wù)條線的運(yùn)行狀態(tài)。在此我們以風(fēng)險(xiǎn)管理領(lǐng)導(dǎo)者駕駛艙為例，介紹xx數(shù)據(jù)中心的領(lǐng)導(dǎo)者駕駛艙功能模塊。

風(fēng)險(xiǎn)管理駕駛艙概述

全面風(fēng)險(xiǎn)領(lǐng)導(dǎo)者視圖全面展示市場、信用、操作、流動(dòng)性風(fēng)險(xiǎn)，關(guān)鍵監(jiān)管要求指標(biāo)和業(yè)務(wù)發(fā)展趨勢。通過了解全面風(fēng)控的不同指標(biāo)，提供充足的資本準(zhǔn)備應(yīng)對各風(fēng)險(xiǎn)，從而滿足監(jiān)管機(jī)構(gòu)對公司凈資本的各項(xiàng)要求。流動(dòng)性覆蓋率LCR和凈穩(wěn)定資金率NSFR是重要流動(dòng)性監(jiān)管指標(biāo)，通過儀表盤的形式展示其是安全、預(yù)警或者低于監(jiān)管要求。管理者駕駛艙以圖形的方式，對流動(dòng)性風(fēng)險(xiǎn)各類指標(biāo)從監(jiān)管需求，并根據(jù)《證監(jiān)會(huì)公告[2016]10號(hào)》設(shè)置風(fēng)險(xiǎn)控制指標(biāo)的預(yù)警標(biāo)準(zhǔn)及監(jiān)管標(biāo)準(zhǔn)，結(jié)合公司的經(jīng)營狀況，予以展示。公司管理層可以根據(jù)提供的圖形及數(shù)據(jù)，關(guān)注以凈資本和流動(dòng)性為核心的風(fēng)險(xiǎn)控制指標(biāo)，提升公司的風(fēng)險(xiǎn)管理能力。

風(fēng)險(xiǎn)管理駕駛艙展示

證監(jiān)會(huì)制定的《證券公司風(fēng)險(xiǎn)控制指標(biāo)計(jì)算標(biāo)準(zhǔn)規(guī)定》對風(fēng)險(xiǎn)覆蓋率、資本杠桿率、流動(dòng)性覆蓋率、凈穩(wěn)定資金率等重要指標(biāo)給出量化指導(dǎo)意見，明確規(guī)定了監(jiān)管標(biāo)準(zhǔn)和預(yù)警標(biāo)準(zhǔn)。

通過儀表盤的形式直觀展示公司核心風(fēng)險(xiǎn)指標(biāo)情況。

?

KMV模型賦予長期、短期負(fù)債不同的權(quán)重，根據(jù)測算資產(chǎn)負(fù)債差值和資產(chǎn)標(biāo)準(zhǔn)差，得出抽象的違約距離，違約距離越大說明越安全。一旦觸及警戒線，違約概率大幅提升。KMV公司最早發(fā)現(xiàn)安然問題，在安然宣布1年前用模型發(fā)現(xiàn)異常，三大評級機(jī)構(gòu)2周前才發(fā)現(xiàn)。

客戶可以自定義警戒線，領(lǐng)導(dǎo)者視圖中會(huì)列出觸及警戒線的交易對手名單，提供管理層參考。

硬件以及第三方軟件

系統(tǒng)硬件平臺(tái)

xx的大數(shù)據(jù)平臺(tái)已經(jīng)采用cdh版的Hadoop集群作為數(shù)據(jù)倉庫中心庫。考慮到實(shí)際業(yè)務(wù)情況以及數(shù)據(jù)對接的需求，搭建關(guān)系型數(shù)據(jù)庫作為數(shù)據(jù)服務(wù)和對接的緩沖庫，因此建議選擇以下硬件平臺(tái)。

項(xiàng)目		配置
ETL服務(wù)器&WEB應(yīng)用服務(wù)器 1臺(tái)	硬件	IBM 750 2CPU/64GRAM
	操作系統(tǒng)	Windows 2003 Server
	軟件	KETTLE 5.1 & Jetty
BI服務(wù)器 1臺(tái)	硬件	IBM 750 2CPU/64GRAM
	操作系統(tǒng)	Windows 2003 Server
	軟件	FINEBI
數(shù)據(jù)服務(wù)服務(wù)器1臺(tái)	硬件	HP DL380 2CPU/8GRAM
	操作系統(tǒng)	Linux
	數(shù)據(jù)庫	Oracle 10G/11G
存儲(chǔ)	硬件	EMC CX4-480? 容量 2T

考慮到實(shí)際情況，ETL、WEB、BI、數(shù)據(jù)服務(wù)等服務(wù)器在機(jī)器硬件性能允許的情況下，可以進(jìn)行服務(wù)器合并。

第三方軟件

對于第三方軟件的選取我們有兩種方案如下，鑒于價(jià)格上的優(yōu)勢，我們推薦FINEBI作為本項(xiàng)目的BI工具。

項(xiàng)目	配置	作用
ETL工具	KETTLE 5.1	ETL調(diào)度工具，用KETTLE來調(diào)用Hadoop平臺(tái)的sqoop程序或者h(yuǎn)ivesql腳本
BI	FINEBI	領(lǐng)導(dǎo)者駕駛艙開發(fā)工具
數(shù)據(jù)庫	Oracle 10G/11G	數(shù)據(jù)中心平臺(tái)配置庫、數(shù)據(jù)服務(wù)緩沖庫

?

項(xiàng)目計(jì)劃與實(shí)施

項(xiàng)目總體計(jì)劃

階段		日期 （工作日）	階段目標(biāo)	階段文檔	涉及雙方人員
項(xiàng)目準(zhǔn)備	項(xiàng)目前期準(zhǔn)備	T+(-5)-T	設(shè)備選型、設(shè)備采購、人員組織、編寫文檔規(guī)范、編寫設(shè)計(jì)規(guī)范和開發(fā)環(huán)境準(zhǔn)備	?	雙方項(xiàng)目經(jīng)理
需求調(diào)研	整合內(nèi)容及業(yè)務(wù)口徑調(diào)研	T+1-T+10	業(yè)務(wù)需求及分析，明確要整合的業(yè)務(wù)系統(tǒng)內(nèi)容，明確業(yè)務(wù)指標(biāo)口徑	業(yè)務(wù)系統(tǒng)需求說明書 指標(biāo)口徑說明書	需求經(jīng)理，業(yè)務(wù)人員
	指標(biāo)庫需求調(diào)研	T+6-T+80	指標(biāo)庫需求分析	證券公司指標(biāo)庫設(shè)計(jì)說明書	需求經(jīng)理，業(yè)務(wù)人員
	領(lǐng)導(dǎo)駕駛艙需求調(diào)研	T+6-T+100	領(lǐng)導(dǎo)者駕駛艙需求分析	領(lǐng)導(dǎo)者駕駛艙需求說明書	需求經(jīng)理，業(yè)務(wù)人員
環(huán)境搭建	環(huán)境搭建	T+1-T+20	1.數(shù)據(jù)庫安裝 2.ETL工具安裝 3.BI工具安裝 4.平臺(tái)搭建	相關(guān)安裝文檔	雙方項(xiàng)目組成員
數(shù)據(jù)基礎(chǔ)平臺(tái)	概要設(shè)計(jì)	T+11-T+20	1.確定系統(tǒng)架構(gòu) 2.技術(shù)框架設(shè)計(jì) 3.制定數(shù)據(jù)標(biāo)準(zhǔn) 4.制定數(shù)據(jù)接口 5.制定ODS表結(jié)構(gòu) 6.制定EDW表結(jié)構(gòu)	概要設(shè)計(jì)說明書 詳細(xì)設(shè)計(jì)說明書 數(shù)據(jù)庫設(shè)說明書	雙方項(xiàng)目工程師
	數(shù)據(jù)ETL開發(fā)	T+21-T+80	使用ETL工具進(jìn)行數(shù)據(jù)抽取、清洗、轉(zhuǎn)換	ETL調(diào)度及流程設(shè)計(jì)	雙方項(xiàng)目工程師
	ODS層開發(fā)	T+31-T+50	ODS層開發(fā)，配置相應(yīng)調(diào)度	?	雙方項(xiàng)目工程師
	EDW層開發(fā)	T+51-T+80	EDW層開發(fā)，配置相應(yīng)調(diào)度	?	雙方項(xiàng)目工程師
數(shù)據(jù)管控平臺(tái)	運(yùn)維監(jiān)控	T+21-T+80	實(shí)現(xiàn)ETL的監(jiān)控，調(diào)度及運(yùn)維報(bào)告	ETL調(diào)度說明書	雙方項(xiàng)目工程師
	數(shù)據(jù)質(zhì)量模塊開發(fā)	T+71-T+80	實(shí)現(xiàn)數(shù)據(jù)核對，提升數(shù)據(jù)質(zhì)量	?	雙方項(xiàng)目工程師
業(yè)務(wù)展現(xiàn)平臺(tái)	指標(biāo)庫開發(fā)	T+81-T+100	指標(biāo)庫開發(fā)	?	雙方項(xiàng)目工程師
	領(lǐng)導(dǎo)駕駛艙開發(fā)	T+90-T+130	駕駛艙開發(fā)	?	雙方項(xiàng)目工程師
應(yīng)用系統(tǒng)整合	需求開發(fā)及應(yīng)用服務(wù)提供	T+10－T+130	應(yīng)用系統(tǒng)整合和數(shù)據(jù)服務(wù)開發(fā)	?	雙方項(xiàng)目工程師
項(xiàng)目實(shí)施	系統(tǒng)測試	T+21-T+140	1.系統(tǒng)數(shù)據(jù)準(zhǔn)確性核對 2.性能測試 3.壓力測試	系統(tǒng)測試報(bào)告	雙方項(xiàng)目工程師
	項(xiàng)目上線試運(yùn)行	T+140-T+160	1.系統(tǒng)上線試運(yùn)行 2.解決在試運(yùn)行過程中發(fā)現(xiàn)的問題	系統(tǒng)運(yùn)維說明書	雙方項(xiàng)目組成員
	項(xiàng)目正式上線	T+160- T+165	1.系統(tǒng)上線 2.項(xiàng)目驗(yàn)收	?	雙方項(xiàng)目組成員

?

項(xiàng)目溝通計(jì)劃

項(xiàng)目開發(fā)實(shí)施期間，由項(xiàng)目經(jīng)理負(fù)責(zé)整個(gè)項(xiàng)目的管理與協(xié)調(diào)，由項(xiàng)目經(jīng)理協(xié)調(diào)安排人員與客戶方進(jìn)行項(xiàng)目相關(guān)的溝通，協(xié)調(diào)項(xiàng)目組成員進(jìn)行問題的解決，并負(fù)責(zé)對溝通問題的追蹤，確保最短時(shí)間內(nèi)解決問題。

項(xiàng)目資源計(jì)劃

項(xiàng)目組織結(jié)構(gòu)

?

項(xiàng)目組成員

本項(xiàng)目項(xiàng)目組成員情況如下：

數(shù)據(jù)交換層設(shè)計(jì)

設(shè)計(jì)數(shù)據(jù)采集平臺(tái)

ETL設(shè)計(jì)調(diào)度模型

ETL整體框架設(shè)置

設(shè)計(jì)數(shù)據(jù)服務(wù)平臺(tái)

數(shù)據(jù)推送設(shè)計(jì)

實(shí)時(shí)數(shù)據(jù)推送設(shè)計(jì)

WebService接口設(shè)計(jì)

設(shè)計(jì)數(shù)據(jù)展現(xiàn)平臺(tái)

領(lǐng)導(dǎo)者駕駛艙功能展現(xiàn)設(shè)計(jì)

設(shè)計(jì)運(yùn)行監(jiān)控平臺(tái)

ETL運(yùn)行監(jiān)控及運(yùn)行報(bào)告

ETL調(diào)度

駕駛艙運(yùn)行監(jiān)控及運(yùn)行報(bào)告

數(shù)據(jù)質(zhì)量檢查

數(shù)據(jù)標(biāo)準(zhǔn)化工作

字段命名、字段類型

統(tǒng)一數(shù)據(jù)字典

統(tǒng)一代碼規(guī)范

系統(tǒng)開發(fā)與實(shí)施

1.???? 數(shù)據(jù)基礎(chǔ)平臺(tái)開發(fā)

a) ETL架構(gòu)及ETL基礎(chǔ)流程

b) ETL運(yùn)行機(jī)制及調(diào)度機(jī)制

c) 實(shí)時(shí)數(shù)據(jù)抽取機(jī)制

d) 具體數(shù)據(jù)源數(shù)據(jù)抽取

e) 數(shù)據(jù)轉(zhuǎn)換元數(shù)據(jù)維護(hù)

f) 相應(yīng)的單元測試

2. 數(shù)據(jù)服務(wù)平臺(tái)

a) 數(shù)據(jù)主動(dòng)服務(wù)平臺(tái)

b) WebService平臺(tái)開發(fā)

c) 數(shù)據(jù)脫敏設(shè)計(jì)

3. 數(shù)據(jù)管控平臺(tái)

a) ETL運(yùn)行監(jiān)控及運(yùn)行報(bào)告

b) ETL調(diào)度

c) 領(lǐng)導(dǎo)者駕駛艙運(yùn)行監(jiān)控及運(yùn)行報(bào)告

d) 數(shù)據(jù)質(zhì)量檢查

4. 應(yīng)用開發(fā)

a) 需求調(diào)研確認(rèn)的報(bào)表開發(fā)

b) 領(lǐng)導(dǎo)者駕駛艙開發(fā)流程及權(quán)限控制體系

c) 領(lǐng)導(dǎo)者駕駛艙開發(fā)

系統(tǒng)測試與運(yùn)行

系統(tǒng)測試內(nèi)容

按照調(diào)研階段確認(rèn)的信用評級系統(tǒng)需求說明書中的需求依次進(jìn)行測試。

系統(tǒng)測試方案

在系統(tǒng)上線后，項(xiàng)目組按招標(biāo)文件及投標(biāo)方說明中按模塊化具體就各項(xiàng)系統(tǒng)功能和性能的要求提交《系統(tǒng)測試報(bào)告》，報(bào)告經(jīng)過確認(rèn)后，雙方項(xiàng)目組根據(jù)測試報(bào)告的測試內(nèi)容進(jìn)行全面的性能和功能測試。

?

系統(tǒng)驗(yàn)收

本項(xiàng)目進(jìn)行驗(yàn)收條件是系統(tǒng)實(shí)施完成.如果達(dá)到驗(yàn)收標(biāo)準(zhǔn)，應(yīng)填寫xx公司正式書面驗(yàn)收報(bào)告，以確認(rèn)xx公司的提交物達(dá)到要求。如不能達(dá)到驗(yàn)收標(biāo)準(zhǔn)，則應(yīng)建立業(yè)務(wù)流程來修改提交物。

系統(tǒng)驗(yàn)收內(nèi)容

以合同附件對驗(yàn)收的要求為準(zhǔn)。

系統(tǒng)驗(yàn)收文檔

由xx公司提交以下文檔：《系統(tǒng)驗(yàn)收報(bào)告》。

系統(tǒng)驗(yàn)收流程

?提交物的驗(yàn)收準(zhǔn)備好后,通知風(fēng)控項(xiàng)目組進(jìn)行驗(yàn)收.如果提交物符合要求,則對項(xiàng)目驗(yàn)收報(bào)告簽字;如果提交物不符合要求,雙方協(xié)商如何修改,直到驗(yàn)收通過。

培訓(xùn)計(jì)劃

培訓(xùn)目的

本次項(xiàng)目培訓(xùn)的目的：通過一系列有計(jì)劃、有步驟的用戶培訓(xùn)，要使涉及xx的管理領(lǐng)導(dǎo)、業(yè)務(wù)人員、技術(shù)人員，能理解和掌握xx數(shù)據(jù)中心系統(tǒng)的操作和使用。

培訓(xùn)對象

實(shí)施培訓(xùn)的對象可分為兩個(gè)層面：

●xx相關(guān)信息技術(shù)人員：對信息技術(shù)中心運(yùn)維人員進(jìn)行運(yùn)維培訓(xùn)，包括系統(tǒng)常見的問題及解決方法、系統(tǒng)的安裝方法、系統(tǒng)監(jiān)控軟件的使用等。對信息技術(shù)中心研發(fā)人員進(jìn)行技術(shù)架構(gòu)、開發(fā)平臺(tái)的培訓(xùn)，并參與部分功能的開發(fā)，從而熟悉系統(tǒng)技術(shù)架構(gòu)和開發(fā)環(huán)境，便于以后需求的二次開發(fā)。

●xx相關(guān)業(yè)務(wù)人員：為了讓業(yè)務(wù)人員能夠了解系統(tǒng)，并能熟練操作用戶使用界面，對業(yè)務(wù)部門的培訓(xùn)工作必須放在系統(tǒng)正式上線之前，可以邊進(jìn)行用戶測試邊培訓(xùn)，這樣可讓用戶在接受完系統(tǒng)的操作培訓(xùn)后，能立即使用對應(yīng)的子系統(tǒng)輔助自己的工作。

培訓(xùn)方式

用戶培訓(xùn)主要分為三種：

● 集中培訓(xùn)：

把培訓(xùn)的對象集中起來，進(jìn)行有計(jì)劃的系統(tǒng)使用培訓(xùn)。

● 用戶要求：

根據(jù)用戶對培訓(xùn)的具體要求和目的，派專人作用戶培訓(xùn)。地點(diǎn)、形式和方法可由用戶自行決定。

● 專項(xiàng)培訓(xùn)：

安排公司開發(fā)經(jīng)理對用戶系統(tǒng)維護(hù)技術(shù)人員進(jìn)行專項(xiàng)培訓(xùn)。

培訓(xùn)內(nèi)容

?培訓(xùn)類型	培訓(xùn)課程名稱	參加對象	主要內(nèi)容
技術(shù)培訓(xùn)	數(shù)據(jù)倉庫工具培訓(xùn)(ETL、BI工具)	ETL開發(fā)人員、報(bào)表開發(fā)人員、系統(tǒng)管理員 2． 開發(fā)商項(xiàng)目經(jīng)理/成員	1.相關(guān)工具的安裝 2.相關(guān)工具使用的培訓(xùn) 3.開發(fā)規(guī)范培訓(xùn)
技術(shù)培訓(xùn)	數(shù)據(jù)庫優(yōu)化	1.系統(tǒng)管理員、數(shù)據(jù)庫管理人員、數(shù)據(jù)建模人員	1.系統(tǒng)業(yè)務(wù)、物理模型培訓(xùn) 2.數(shù)據(jù)庫架構(gòu)、優(yōu)化；相關(guān)系統(tǒng)表介紹 3.典型優(yōu)化場景培訓(xùn)
技術(shù)培訓(xùn)	系統(tǒng)日常管理運(yùn)行	1.系統(tǒng)管理員	系統(tǒng)日常管理流程 系統(tǒng)異常預(yù)警及處理流程
業(yè)務(wù)培訓(xùn)	相關(guān)應(yīng)用子系統(tǒng)使用培訓(xùn)	1.相關(guān)業(yè)務(wù)部門人員	1．相應(yīng)應(yīng)用子系統(tǒng)使用培訓(xùn)

項(xiàng)目質(zhì)量控制計(jì)劃

在整個(gè)系統(tǒng)設(shè)計(jì)和開發(fā)、實(shí)施過程中，對于每個(gè)環(huán)節(jié)都需要填寫

工作計(jì)劃、需求說明、設(shè)計(jì)文檔、測試計(jì)劃、測試文檔，使每一項(xiàng)工作都處于受控狀態(tài)。確立項(xiàng)目實(shí)施過程中產(chǎn)物、最終產(chǎn)物的質(zhì)量標(biāo)注和質(zhì)量控制活動(dòng)中各個(gè)要素。

文檔及質(zhì)量標(biāo)準(zhǔn)

所提交的文檔需按本項(xiàng)目相應(yīng)的文檔模板編寫,也可進(jìn)行合理的調(diào)整。所有提交的文檔必須符合文檔規(guī)范，且文字通順、條理清楚、無二義性。

質(zhì)量控制活動(dòng)

軟件產(chǎn)品質(zhì)量保證

軟件產(chǎn)品評審/同行評審，詳見軟件工作產(chǎn)品評審清單。

軟件測試：包括單元測試（由軟件工程師負(fù)責(zé)）、集成測試、系統(tǒng)測試和驗(yàn)收測試（由測試組負(fù)責(zé)）。

軟件過程質(zhì)量保證

由專職SQA工程師負(fù)責(zé)實(shí)施SQA審計(jì)，從獨(dú)立、客觀的角度將項(xiàng)目工程活動(dòng)過程的實(shí)況反映給項(xiàng)目管理組，讓項(xiàng)目管理組及時(shí)了解過程與規(guī)定之間存在的偏差。SQA審計(jì)活動(dòng)通常分為如下三類：

SQA每周例行審計(jì)，審計(jì)內(nèi)容為：本周文檔/代碼評審、個(gè)人工作周報(bào)和項(xiàng)目組工作周報(bào)的填寫及項(xiàng)目備份等的執(zhí)行情況，詳見SQA周報(bào)模板。

SQA工程師參與或列席評審會(huì)議，審計(jì)內(nèi)容為：本次評審的工作產(chǎn)品和本次評審過程。

SQA階段審計(jì)（通常在基線審計(jì)后進(jìn)行），按SQA審計(jì)檢查單的內(nèi)容進(jìn)行逐項(xiàng)審計(jì)，審計(jì)內(nèi)容為：上次審計(jì)到本次審計(jì)期間的軟件工作產(chǎn)品和軟件工程活動(dòng)的過程記錄。

?

質(zhì)量保證

質(zhì)量審核確保項(xiàng)目滿足預(yù)定的質(zhì)量目標(biāo)。項(xiàng)目經(jīng)理會(huì)主持正式的質(zhì)量審核以確保建立的質(zhì)量控制流程被執(zhí)行并且結(jié)果與項(xiàng)目質(zhì)量目標(biāo)相吻合。

?

變更控制計(jì)劃

對于變更，通過如下流程進(jìn)行管理和控制：

變更由雙方項(xiàng)目組成員提出

xx項(xiàng)目經(jīng)理與金融公司項(xiàng)目經(jīng)理共同確認(rèn)此變更請求是否為變更。

若是變更，提交總體技術(shù)組或相關(guān)人員評估此變更，同時(shí)交變更管理員登記此變更。

根據(jù)評估結(jié)果,由xx項(xiàng)目經(jīng)理與金融公司項(xiàng)目經(jīng)理簽字決定是否執(zhí)行此變更。

若此變更決定被執(zhí)行，項(xiàng)目組即可按照推薦方案上的內(nèi)容制訂相應(yīng)的變更實(shí)施計(jì)劃，進(jìn)行有關(guān)的變更操作，并詳細(xì)記錄狀態(tài)。

由技術(shù)組或相關(guān)人員評估此變更執(zhí)行結(jié)果。如果達(dá)到要求，則完成變更。若未達(dá)到，則直到達(dá)到要求為止。變更的執(zhí)行結(jié)果交變更管理員歸檔。

項(xiàng)目風(fēng)險(xiǎn)管理

項(xiàng)目技術(shù)風(fēng)險(xiǎn)分析

? ????風(fēng)險(xiǎn)評估旨在描述如何通過風(fēng)險(xiǎn)控制保證系統(tǒng)建設(shè)中的業(yè)務(wù)連續(xù)性，本項(xiàng)目涉及的主要風(fēng)險(xiǎn)描述如下：

數(shù)據(jù)風(fēng)險(xiǎn)

• 客戶資料、資金等信息的安全保障。

• 客戶歷史交易信息，及系統(tǒng)資料變更信息。

系統(tǒng)風(fēng)險(xiǎn)

• 系統(tǒng)處理能力
• 操作系統(tǒng)和數(shù)據(jù)庫處理能力
• 硬件平臺(tái)處理能力
• 業(yè)務(wù)整合涉及的技術(shù)細(xì)節(jié)
• 信息技術(shù)部人員應(yīng)對系統(tǒng)架構(gòu)的技術(shù)業(yè)務(wù)知識(shí)儲(chǔ)備

設(shè)備風(fēng)險(xiǎn)

• 服務(wù)器

• 中間件

• 業(yè)務(wù)處理機(jī)

• 通訊線路

• 網(wǎng)絡(luò)設(shè)備，如路由器、交換機(jī)等
• 項(xiàng)目業(yè)務(wù)風(fēng)險(xiǎn)分析

• 由于業(yè)務(wù)流程變化對業(yè)務(wù)造成影響

• 對新系統(tǒng)熟悉度和理解不夠?qū)е碌腻e(cuò)誤業(yè)務(wù)或錯(cuò)誤業(yè)務(wù)流程
• 項(xiàng)目管理風(fēng)險(xiǎn)分析

• 項(xiàng)目管理，項(xiàng)目規(guī)定的執(zhí)行力度，人員的配合。

• 機(jī)房管理，責(zé)任是否明確，人員的積極性、主動(dòng)性等

• 管理模式發(fā)生的變化，由此產(chǎn)生的風(fēng)險(xiǎn)

• 工程實(shí)施規(guī)范的落實(shí)。

• 工程實(shí)施人員的誤操作。

• 工程實(shí)施過程中不可預(yù)見或未能預(yù)見的問題
• 項(xiàng)目技術(shù)風(fēng)險(xiǎn)應(yīng)對

數(shù)據(jù)風(fēng)險(xiǎn)應(yīng)對

數(shù)據(jù)轉(zhuǎn)換過程由xx八步數(shù)據(jù)轉(zhuǎn)換法嚴(yán)格控制，如下圖：

?

數(shù)據(jù)遷移核對指通過后臺(tái)腳本和前臺(tái)客戶端查詢進(jìn)行數(shù)據(jù)一致性、完整性和正確性的檢查，保證遷移數(shù)據(jù)的正確。其中后臺(tái)腳本核對由數(shù)據(jù)遷移人員和機(jī)房管理員通過編寫的腳本在后臺(tái)對客戶資金、賬戶、交易流水等數(shù)據(jù)進(jìn)行核對；前臺(tái)業(yè)務(wù)核對是由系統(tǒng)管理員、業(yè)務(wù)人員通過應(yīng)用系統(tǒng)查詢并核對上述數(shù)據(jù)。

系統(tǒng)風(fēng)險(xiǎn)應(yīng)對

為全面保障系統(tǒng)交易和數(shù)據(jù)安全，中心機(jī)房建設(shè)的同時(shí)同步建設(shè)高級別災(zāi)備機(jī)房。建立完善的應(yīng)急預(yù)案，并進(jìn)行有組織有計(jì)劃的應(yīng)急演練。

小機(jī)+ORACLE平臺(tái)實(shí)施方面，xx有專門的ORACLE實(shí)施專家11名，均為經(jīng)過ORACLE官方認(rèn)證的OCP，同時(shí)具備55家ORACLE版系統(tǒng)的建設(shè)和切換經(jīng)驗(yàn)。

設(shè)備風(fēng)險(xiǎn)應(yīng)對

服務(wù)器、中間件、轉(zhuǎn)換機(jī)等交易關(guān)鍵節(jié)點(diǎn)設(shè)備在部署時(shí)均已考慮成組冗余部署，單臺(tái)設(shè)備故障均不會(huì)對業(yè)務(wù)連續(xù)性造成影響。

項(xiàng)目業(yè)務(wù)風(fēng)險(xiǎn)應(yīng)對

相關(guān)業(yè)務(wù)部門人員全面參與項(xiàng)目建設(shè)、為系統(tǒng)業(yè)務(wù)功能和業(yè)務(wù)流程的建設(shè)提供指導(dǎo)。

對客戶技術(shù)和業(yè)務(wù)人員的培訓(xùn)貫穿于整個(gè)項(xiàng)目實(shí)施進(jìn)行過程中。

• 集中培訓(xùn)：將主要業(yè)務(wù)和技術(shù)人員集中或通過視頻進(jìn)行統(tǒng)一培訓(xùn)。
• 安裝培訓(xùn)：由xx工程實(shí)施人員在工程實(shí)施期間，系統(tǒng)安裝過程中或安裝完畢后，對用戶技術(shù)和業(yè)務(wù)人員的操作培訓(xùn)；
• 項(xiàng)目組人員培訓(xùn)：對所有參與工程實(shí)施及程序部署的項(xiàng)目組成員進(jìn)行規(guī)范性培訓(xùn)，確保工程實(shí)施的規(guī)范性和一致性。
• 加強(qiáng)客戶宣傳工作，提供優(yōu)秀的系統(tǒng)幫助文檔，指導(dǎo)用戶正確操作。

另外貴方可根據(jù)需要參與由xx服務(wù)總部定期在杭州xx培訓(xùn)中心舉辦的系統(tǒng)運(yùn)維、Oracle、Hadoop等培訓(xùn)。

?

項(xiàng)目管理風(fēng)險(xiǎn)應(yīng)對

引入嚴(yán)格的項(xiàng)目管理，雙方成立公司級的項(xiàng)目小組；引入嚴(yán)格的質(zhì)量控制，確保程序的穩(wěn)定性和實(shí)施的規(guī)范性。項(xiàng)目雙方要明確責(zé)任，升級過程中各相關(guān)部門要有足夠的重視程度和合作深度。

項(xiàng)目小組成立后，需要通過相關(guān)約定和制度加強(qiáng)項(xiàng)目組各成員的配合程度，調(diào)動(dòng)所有人員參與的積極主動(dòng)性，明確每人的職責(zé)。雙方責(zé)任如下表所示。?

xx公司項(xiàng)目組
NO	主要職責(zé)及關(guān)注問題	備注
1)	協(xié)助項(xiàng)目整體規(guī)劃（配合客戶項(xiàng)目組）	?
2)	配合完成項(xiàng)目實(shí)施規(guī)范	?
3)	系統(tǒng)的安裝、調(diào)試、穩(wěn)定運(yùn)行	?
4)	提供交易接口，以供第三方廠商及時(shí)準(zhǔn)備；	?
5)	技術(shù)和業(yè)務(wù)人員的操作培訓(xùn)；	?
6)	工程文檔的移交；	?
7)	xx內(nèi)部資源的協(xié)調(diào)；	?
8）	協(xié)助建立系統(tǒng)的運(yùn)維體系和管理規(guī)范	?

?

?

交付文檔說明

所提交的文檔需按本項(xiàng)目相應(yīng)的文檔模板編寫,也可進(jìn)行合理的調(diào)整。所有提交的文檔必須符合文檔規(guī)范，且文字通順、條理清楚、無二義性。主要交付物如下：

???

編號(hào)	文檔名稱	質(zhì)量標(biāo)準(zhǔn)
1	項(xiàng)目計(jì)劃書	本項(xiàng)目所需的子計(jì)劃已全部完成 各子計(jì)劃內(nèi)容完整，合理，可行 計(jì)劃中定義的組織結(jié)構(gòu)合理，其中的角色及責(zé)任明確 計(jì)劃中的管理流程合理，高效 時(shí)間表及任務(wù)的安排合理高效
2	需求分析說明書	用戶界面風(fēng)格布局已與用戶確認(rèn) 報(bào)表中的元素及布局已與用戶確認(rèn) 用戶界面與報(bào)表中的元素的屬性已與用戶確認(rèn) 所有的功能的設(shè)計(jì)是合理的且便于計(jì)算機(jī)的實(shí)現(xiàn) 界面輸入的所有的元素應(yīng)被合理的處理 所有的輸出結(jié)果是符合業(yè)務(wù)邏輯的 若業(yè)務(wù)邏輯需要優(yōu)化，優(yōu)化后的業(yè)務(wù)邏輯是合理的高效的 整個(gè)系統(tǒng)是自成體系的，完整的 與其他系統(tǒng)的接口已定義明確 為將來業(yè)務(wù)的發(fā)展留有余地 審核中發(fā)現(xiàn)的問題已修正，好的建議已納入
3	系統(tǒng)設(shè)計(jì)說明書	數(shù)據(jù)庫的設(shè)計(jì)符合數(shù)據(jù)庫設(shè)計(jì)理論和應(yīng)用開發(fā)經(jīng)驗(yàn) 命名規(guī)范明確，合理，易于管理 提示信息的處理規(guī)范明確、合理、易于管理維護(hù) 程序模塊設(shè)計(jì)合理高效，符合結(jié)構(gòu)化設(shè)計(jì)理論 需求分析中的所有的功能都有相應(yīng)的程序處理 所有的子程序都是合理的且被多次調(diào)用，相似的子程序應(yīng)被合并 程序的返回信息已被統(tǒng)一規(guī)范 數(shù)據(jù)流程圖能清晰表達(dá)設(shè)計(jì)思路
4	集成測試計(jì)劃	集成測試計(jì)劃已完成 集成測試的方法，模塊集成的順序合理，有效，易行 集成測試的流程合理，高效，易操作 案例的編碼方法易于管理追蹤 已定義了切實(shí)可行的，合理的配置管理方法
5	集成測試案例	案例已覆蓋到所有需要集成的功能 所有的集成測試案例已按案例模板中的項(xiàng)目完成 案例已按相關(guān)性進(jìn)行分類
6	系統(tǒng)測試計(jì)劃	系統(tǒng)測試計(jì)劃已完成 系統(tǒng)測試的方法合理，有效，易行 系統(tǒng)測試的流程合理，高效，易操作 已對整個(gè)項(xiàng)目組按業(yè)務(wù)和技術(shù)做了合理有效的安排 案例的編碼方法易于管理追蹤 已定義了切實(shí)可行的，合理的配置管理方法
7	系統(tǒng)測試案例	案例已覆蓋到本系統(tǒng)所有的功能 案例包含功能測試案例和按業(yè)務(wù)流程的綜合測試案例 功能測試案例能覆蓋本功能的各種業(yè)務(wù)分支 所有的打印輸出和業(yè)務(wù)報(bào)表應(yīng)被覆蓋 所有的集成測試案例已按案例模板中的項(xiàng)目完成 案例已按相關(guān)性進(jìn)行分類
8	用戶手冊	按用戶手冊模板完成 使用方法已被清晰描述

?

售后服務(wù)

xx公司承諾嚴(yán)格遵循高速度響應(yīng)和二十四小時(shí)不間斷的服務(wù)體系。xx追求創(chuàng)新技術(shù)和實(shí)有功能的完美結(jié)合，強(qiáng)調(diào)客戶的成功就是我們的成功！ xx公司是行業(yè)內(nèi)第一家通過ISO9001、CMMI4認(rèn)證的企業(yè)，我們已經(jīng)建立了一套成熟的軟件過程控制管理辦法，從軟件的設(shè)計(jì)、編碼、測試、安裝、服務(wù)等都有一套符合國際標(biāo)準(zhǔn)的流程管理體系，并通過象NOKIA、NEC等國際企業(yè)的認(rèn)可。同時(shí)，xx真正把服務(wù)作為一項(xiàng)系統(tǒng)工程進(jìn)行建設(shè)，建立完整的質(zhì)量保證體系，使產(chǎn)品和服務(wù)都處于嚴(yán)格的受控狀態(tài)。

我們通過自身的嚴(yán)格控制，為貴公司制訂切實(shí)可靠的技術(shù)支持和服務(wù)保障。

軟件開發(fā)控制流程的承諾

在整個(gè)系統(tǒng)設(shè)計(jì)和開發(fā)、實(shí)施過程中，對于每個(gè)環(huán)節(jié)都需要填寫工作計(jì)劃、需求說明、設(shè)計(jì)文檔、測試計(jì)劃、測試文檔，使每一項(xiàng)工作都處于受控狀態(tài)。

xx服務(wù)質(zhì)量控制體系的承諾

xx服務(wù)質(zhì)量方針

為中國證券、金融、期貨等行業(yè)提供安全、實(shí)用、規(guī)范、配套、開放的軟件產(chǎn)品和集成工程；向每一家xx用戶提供專業(yè)、及時(shí)、長期、發(fā)展、多樣的服務(wù)。

xx服務(wù)質(zhì)量目標(biāo)

精心設(shè)計(jì)、細(xì)心編程、嚴(yán)格測試，xx產(chǎn)品無過失；

周密設(shè)計(jì)、互相配合、認(rèn)真安裝，xx工程無返工；

健全體系、規(guī)范管理、耐心負(fù)責(zé)，xx服務(wù)無投訴。

xx客戶服務(wù)體系和內(nèi)容的承諾

合理的服務(wù)機(jī)構(gòu)設(shè)置

客戶服務(wù)中心總部設(shè)在公司總部杭州，下轄29個(gè)地區(qū)客戶分中心。能夠保證貴公司得到第一時(shí)間的現(xiàn)場服務(wù)。xx的服務(wù)強(qiáng)調(diào)高效應(yīng)、快速的服務(wù)。

首席客戶服務(wù)代表制

xx公司將會(huì)指定一名資深的工程師作為貴公司的首席客戶服務(wù)代表，作為貴公司的維護(hù)專員，及時(shí)解決軟件使用中碰到的問題。首席客戶服務(wù)代表每月至少兩次與信息技術(shù)部總經(jīng)理或指定的技術(shù)專員作溝通，了解xx產(chǎn)品的使用情況，主動(dòng)介紹xx在產(chǎn)品、技術(shù)、服務(wù)等上的最新進(jìn)展。

用戶意見的處理

貴公司對于此系統(tǒng)的任何需求，都可以通過項(xiàng)目經(jīng)理或者首席客戶代表和我們進(jìn)行聯(lián)系，我們會(huì)在36小時(shí)內(nèi)作出合格的回復(fù)；針對回復(fù)單里所作的承諾，實(shí)行登記管理。用戶個(gè)性化需求經(jīng)產(chǎn)品組程序修改后，由測試室嚴(yán)格測試，再發(fā)放給客戶，并收集用戶反饋。

高效流程、多層服務(wù)

對于重要的業(yè)務(wù)均確定了辦事流程，對客戶意見及處理等都制訂了工作流程，使所有的服務(wù)處于受控狀態(tài)。技術(shù)服務(wù)分兩個(gè)層次，一線工程支持和二線工程支持。總部部分工程師和全國地區(qū)客戶分中心的網(wǎng)絡(luò)工程師提供客戶一線技術(shù)支持，二線工程師由總部資深工程師組成。

客戶服務(wù)管理系統(tǒng)

我們把服務(wù)管理、資料管理、產(chǎn)品管理、合同管理等相關(guān)工作聯(lián)結(jié)起來，實(shí)現(xiàn)了公司局域網(wǎng)上的電子化作業(yè)，有利于建立高效的管理監(jiān)督控制體系。它最大的作用是相當(dāng)于設(shè)立了用戶軟件系統(tǒng)的“病例卡”，能方便地查閱每一用戶的產(chǎn)品信息和歷史問題。從而讓xx用戶享受到更好的個(gè)性化服務(wù)、繼承性服務(wù)。

7*24小時(shí)隨時(shí)待命服務(wù)

xx的服務(wù)能夠真正做到了有保障的7*24小時(shí)熱線維護(hù)：

公司配置：22條中繼線維護(hù)；27線維護(hù)分機(jī)；8條modem專線；16只專用維護(hù)手機(jī)；全公司所有人員的手機(jī)24小時(shí)開通，以備萬一。

客戶服務(wù)承諾

故障類型分類

根據(jù)我們多年的經(jīng)驗(yàn)，我們將用戶故障類型分為四個(gè)級別。

一級故障?? 系統(tǒng)癱瘓，用戶業(yè)務(wù)停機(jī)

二級故障?? 系統(tǒng)性能下降，嚴(yán)重影響客戶業(yè)務(wù)

三級故障?? 個(gè)別設(shè)備故障，只影響局部，不影響全局業(yè)務(wù)

四級故障?? 安裝、配置等技術(shù)難點(diǎn)，業(yè)務(wù)不受影響

根據(jù)對故障級別的定義，我們的一線工程師、二線工程師將在嚴(yán)格規(guī)定的時(shí)限內(nèi)，對客戶進(jìn)行響應(yīng)和故障處理。

?

故障級別	? 電話響應(yīng)	一線支持時(shí)限	二線支持時(shí)限
1	? < 0.5小時(shí)	?	?< 4小時(shí)
2	< 0.5小時(shí)	? < 4小時(shí)	?< 1天
3	< 0.5小時(shí)	? < 4小時(shí)	< 1 天
4	< 0.5小時(shí)	< 2天	?< 2天

?

xx公司承諾在本項(xiàng)目保修期內(nèi)(本項(xiàng)目的免費(fèi)服務(wù)期為一年）為用戶提供7X24小時(shí)的支持，響應(yīng)時(shí)間不多于0.5小時(shí)。如果用戶允許，xx公司提供遠(yuǎn)程電子支持手段（ECS），通過遠(yuǎn)程登錄完成故障排除。同時(shí)，由于xx在各地客戶中心都駐有多名工程師，可為客戶提供及時(shí)周到的服務(wù)，xx工程師可在1小時(shí)之內(nèi)趕赴現(xiàn)場解決問題。

新業(yè)務(wù)、新需求的響應(yīng)

對金融公司在有新業(yè)務(wù)開展過程中相關(guān)風(fēng)險(xiǎn)監(jiān)控內(nèi)容的需求，xx提供專門客服代表負(fù)責(zé)接收金融公司的需求提交，并承諾2天內(nèi)就需求的技術(shù)實(shí)現(xiàn)、時(shí)間期限等給出明確回復(fù)。

系統(tǒng)規(guī)劃

數(shù)據(jù)中心的整個(gè)建設(shè)是一個(gè)持續(xù)投入、不斷優(yōu)化的過程。在整個(gè)建設(shè)過程中，應(yīng)根據(jù)現(xiàn)實(shí)和未來的需求分步驟來建設(shè)數(shù)據(jù)中心。建議采用“統(tǒng)籌規(guī)劃、分步實(shí)施”的策略，分步有序推進(jìn)。

搭建大數(shù)據(jù)中心，完成數(shù)據(jù)倉庫建設(shè)以及駕駛艙功能開發(fā)

推進(jìn)數(shù)據(jù)對接改造，完成星形數(shù)據(jù)網(wǎng)絡(luò)布局和數(shù)據(jù)挖掘開發(fā)

以數(shù)據(jù)中心為載體推進(jìn)數(shù)據(jù)治理工作

xx優(yōu)勢

公司實(shí)力優(yōu)勢

xx是目前金融行業(yè)規(guī)模最大，產(chǎn)品線最全的軟件公司。

專家優(yōu)勢

xx公司長期致力于金融行業(yè)產(chǎn)品研發(fā)、政策研究，擁有一大批行業(yè)業(yè)務(wù)專家，也是證監(jiān)會(huì)風(fēng)控系統(tǒng)標(biāo)準(zhǔn)制定、現(xiàn)場評審等的專家小組成員單位，直接參與標(biāo)準(zhǔn)的制定和評審，對證券公司合規(guī)和風(fēng)險(xiǎn)管理有深刻的理解。

中間件優(yōu)勢

系統(tǒng)采用xx在證券行業(yè)具有突出技術(shù)優(yōu)勢的專用金融基礎(chǔ)件作為數(shù)據(jù)采集和監(jiān)控的基礎(chǔ)平臺(tái)。平臺(tái)提供了完整的容錯(cuò)機(jī)制和故障快速修復(fù)手段，從多個(gè)層面提高了系統(tǒng)的安全性、穩(wěn)定性。

業(yè)務(wù)理解優(yōu)勢

xx公司在大金融行業(yè)產(chǎn)品線全面，產(chǎn)品涵蓋了證券、基金和金融公司的各個(gè)業(yè)務(wù)應(yīng)用領(lǐng)域，能獨(dú)立提供全面的整體解決方案。

數(shù)據(jù)中心優(yōu)勢

xx證券公司數(shù)據(jù)中心系統(tǒng)支持證券公司現(xiàn)有各個(gè)數(shù)據(jù)源系統(tǒng)的接口，數(shù)據(jù)采集性能和穩(wěn)定性高；系統(tǒng)支持客戶容量為1000萬，能做到TB級別數(shù)據(jù)處理，已有500萬級客戶的成功案例；完善的元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理與完備的容錯(cuò)數(shù)據(jù)處理能力；數(shù)據(jù)服務(wù)接口完美支持證券公司風(fēng)控系統(tǒng)、營銷管理平臺(tái)等系統(tǒng)的數(shù)據(jù)需求；擁有成熟的數(shù)據(jù)中心模型體系，數(shù)據(jù)中心指標(biāo)體系，支持各業(yè)務(wù)部門的數(shù)據(jù)查詢分析需求；擁有豐富的大數(shù)據(jù)處理經(jīng)驗(yàn)，有完善的大數(shù)據(jù)級數(shù)據(jù)中心建設(shè)方案；利用成熟的數(shù)據(jù)挖掘工具與數(shù)據(jù)挖掘算法，從海量數(shù)據(jù)中準(zhǔn)確找到數(shù)據(jù)趨勢與數(shù)據(jù)價(jià)值。

主動(dòng)預(yù)警

系統(tǒng)支持靈活多樣的預(yù)警方式，支持監(jiān)控結(jié)果和待處理任務(wù)的主動(dòng)推送。在出現(xiàn)預(yù)警信息和待處理任務(wù)時(shí)，系統(tǒng)可支持界面、郵件、短信等多種預(yù)警方式，大大提升了監(jiān)控效率。

全面風(fēng)險(xiǎn)對接優(yōu)勢

xx全面風(fēng)險(xiǎn)以及內(nèi)控系統(tǒng)市占率非常高，數(shù)據(jù)中心有多年和風(fēng)控相關(guān)系統(tǒng)的對接經(jīng)驗(yàn)，對于風(fēng)險(xiǎn)數(shù)據(jù)集市和風(fēng)險(xiǎn)管理領(lǐng)導(dǎo)者駕駛艙的開發(fā)有成熟方案。

強(qiáng)大的二次開發(fā)支持

客戶的IT技術(shù)人員可以自行增加表和存儲(chǔ)過程，并對系統(tǒng)參數(shù)表進(jìn)行相應(yīng)的配置，來達(dá)到增加新的業(yè)務(wù)功能。

成功案例

總結(jié)

以上是生活随笔為你收集整理的XX数据中心技术方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。