中國礦業(yè)大學(xué)自2012年啟動(dòng)數(shù)字化校園建設(shè)以來，已經(jīng)建立校園信息門戶系統(tǒng)，集成了面向教學(xué)科研服務(wù)的本科教務(wù)、研究生教務(wù)、科研系統(tǒng)、MOOC平臺(tái)、實(shí)踐教學(xué)等系統(tǒng)，以及面向管理保障服務(wù)的OA系統(tǒng)、財(cái)務(wù)、圖書、一卡通、計(jì)費(fèi)、迎新離校、節(jié)能平臺(tái)等系統(tǒng)。為徹底解決當(dāng)前數(shù)據(jù)共享中存在的“數(shù)據(jù)質(zhì)量不高，數(shù)據(jù)流向混亂，共享度不足，歷史數(shù)據(jù)缺失”問題，對(duì)學(xué)校數(shù)據(jù)中心進(jìn)行了重新建構(gòu)，搭建起主數(shù)據(jù)管理平臺(tái)，較好地實(shí)現(xiàn)了數(shù)據(jù)的深度共享。
系統(tǒng)架構(gòu)
主數(shù)據(jù)管理平臺(tái)密切圍繞高校的教學(xué)、管理、科研、人事、財(cái)務(wù)等核心功能，強(qiáng)調(diào)各業(yè)務(wù)數(shù)據(jù)系統(tǒng)的協(xié)調(diào)和整合，實(shí)現(xiàn)各類數(shù)據(jù)的抽取采集、存儲(chǔ)共享、分析應(yīng)用等核心功能，適應(yīng)學(xué)校的改革發(fā)展需求。我們搭建的主數(shù)據(jù)管理平臺(tái)架構(gòu)(如圖1所示)，主要包含了數(shù)據(jù)源、數(shù)據(jù)集成共享、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)接口、應(yīng)用服務(wù)五個(gè)層次?！?/p>
業(yè)務(wù)數(shù)據(jù)源包括高校的各類業(yè)務(wù)數(shù)據(jù)，涵蓋所有需要集成到數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)，特別是需要重復(fù)利用、多次共享、互相關(guān)聯(lián)的基礎(chǔ)數(shù)據(jù)。
數(shù)據(jù)集成層通過流向規(guī)劃工具、數(shù)據(jù)集成工具、元數(shù)據(jù)管理工具、主數(shù)據(jù)管理工具、代碼標(biāo)準(zhǔn)工具解決全局性共享問題，能夠靈活適應(yīng)高校復(fù)雜的業(yè)務(wù)環(huán)境。將收集數(shù)據(jù)進(jìn)行異構(gòu)數(shù)據(jù)庫的轉(zhuǎn)換，支持多種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)交換，支持事件觸發(fā)、增量更新、定時(shí)抽取、策略抽取、日志挖掘等多種同步或異步的數(shù)據(jù)維護(hù)方式。支持Oracle、Microsoft SQL Server(2000&2005)、Sybase、MySQL、MicrosoftAccess等主流數(shù)據(jù)庫，支持Excel、dBase、Foxbase、Webservice、Photo、Tabled Text、離散表格等多種數(shù)據(jù)源，支持?jǐn)U展FTP、Excel/Foxpro、BLOB、CLOB類型的數(shù)據(jù)集成接口。
數(shù)據(jù)存儲(chǔ)層主要存儲(chǔ)主數(shù)據(jù)管理平臺(tái)的各類數(shù)據(jù)，建有元數(shù)據(jù)庫、數(shù)據(jù)代碼倉庫、歷史庫、主數(shù)據(jù)共享庫、數(shù)據(jù)集市、應(yīng)用服務(wù)庫。元數(shù)據(jù)庫主要對(duì)數(shù)據(jù)源、數(shù)據(jù)對(duì)象管理，定義了主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的語義規(guī)則。數(shù)據(jù)代碼庫主要包括代碼標(biāo)準(zhǔn)體系、校內(nèi)自定義代碼規(guī)范、使用規(guī)范等。歷史庫是各類數(shù)據(jù)庫的歷史記錄，是歷史切片，OLAP分析的來源。主數(shù)據(jù)庫用以存儲(chǔ)業(yè)務(wù)系統(tǒng)間需要共享的數(shù)據(jù)，經(jīng)抽取整合業(yè)務(wù)系統(tǒng)需要被共享的數(shù)據(jù)。數(shù)據(jù)集市建立了多種主題數(shù)據(jù)分析模型，存儲(chǔ)了多維數(shù)據(jù)分析表，為更深入的數(shù)據(jù)分析提供支持。應(yīng)用服務(wù)庫存儲(chǔ)用戶的注冊(cè)信息、權(quán)限信息、應(yīng)用系統(tǒng)共享數(shù)據(jù)的提供和使用情況。
數(shù)據(jù)接口層通過ESB總線建立數(shù)據(jù)服務(wù)接口，便于其他應(yīng)用對(duì)主數(shù)據(jù)庫共享數(shù)據(jù)、歷史庫的數(shù)據(jù)進(jìn)行訪問和調(diào)研，封裝數(shù)據(jù)集市分析模型和應(yīng)用服務(wù)模型，同時(shí)能夠訪問數(shù)據(jù)源層內(nèi)的校內(nèi)各業(yè)務(wù)系統(tǒng)。
應(yīng)用服務(wù)層簡單分為服務(wù)分析決策和師生綜合服務(wù)兩大應(yīng)用領(lǐng)域，同時(shí)引入系統(tǒng)監(jiān)控工具和主數(shù)據(jù)監(jiān)控工具保障平臺(tái)的運(yùn)行。系統(tǒng)運(yùn)行監(jiān)控工具主要對(duì)整個(gè)平臺(tái)進(jìn)行系統(tǒng)健康檢查，對(duì)集成過程、運(yùn)行情況和數(shù)據(jù)情況進(jìn)行運(yùn)維監(jiān)控。主數(shù)據(jù)管理工具對(duì)主數(shù)據(jù)質(zhì)量監(jiān)督，既抽采又監(jiān)控，切實(shí)推進(jìn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量。
建設(shè)內(nèi)容
1.信息標(biāo)準(zhǔn)
規(guī)范元數(shù)據(jù)庫建設(shè)，統(tǒng)一維護(hù)，分類管理，確保主數(shù)據(jù)及業(yè)務(wù)系統(tǒng)數(shù)據(jù)定義清晰，方便查詢。支持業(yè)務(wù)系統(tǒng)元數(shù)據(jù)的注冊(cè)，形成全校完整的數(shù)據(jù)視圖。元數(shù)據(jù)庫的數(shù)據(jù)源管理包括系統(tǒng)名稱、數(shù)據(jù)庫類型、連接字符串、連接用戶名、數(shù)據(jù)對(duì)象所有者、是否啟用、修改時(shí)間等屬性。數(shù)據(jù)對(duì)象包括基本信息、字段屬性、引用關(guān)系等屬性。支持自定義校標(biāo)，可以根據(jù)需求，制定校級(jí)信息編碼標(biāo)準(zhǔn)及相關(guān)信息標(biāo)準(zhǔn)子集。
標(biāo)準(zhǔn)代碼管理包括日常管理、變更審核、流向規(guī)劃代碼比對(duì)和代碼使用等幾個(gè)功能(如圖2所示)。標(biāo)準(zhǔn)提供方管理員負(fù)責(zé)規(guī)劃和控制代碼流向，主數(shù)據(jù)管理平臺(tái)標(biāo)準(zhǔn)管理員負(fù)責(zé)審核校標(biāo)代碼變更申請(qǐng)和日常管理工作。標(biāo)準(zhǔn)使用方管理員在業(yè)務(wù)代碼庫使用前必須與代碼標(biāo)準(zhǔn)庫進(jìn)行認(rèn)真比對(duì)。
2.數(shù)據(jù)集成與共享
數(shù)據(jù)集成層由數(shù)據(jù)交換集成平臺(tái)實(shí)現(xiàn)，是主數(shù)據(jù)管理平臺(tái)的關(guān)鍵部分，能夠精準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)抽采收集與數(shù)據(jù)另存之間數(shù)據(jù)傳送和交換的功能。按照國標(biāo)和部標(biāo)，數(shù)據(jù)管理模式采用“集中在代碼標(biāo)準(zhǔn)管理工具中管理-業(yè)務(wù)系統(tǒng)使用”的模式。這種數(shù)據(jù)集成方法優(yōu)點(diǎn)比較突出，一方面不更改和損害原業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，保證了數(shù)據(jù)的統(tǒng)一性和完整性，另一方面完成了數(shù)據(jù)的標(biāo)準(zhǔn)化流向和集成。
數(shù)據(jù)流向規(guī)劃能夠規(guī)范業(yè)務(wù)系統(tǒng)建設(shè)與集成，指導(dǎo)信息化建設(shè)方向，持續(xù)積累業(yè)務(wù)數(shù)據(jù)。設(shè)計(jì)數(shù)據(jù)流向規(guī)劃工具能夠規(guī)范業(yè)務(wù)系統(tǒng)的建設(shè)與集成，有效持續(xù)積累數(shù)據(jù)。下面，我們以教職工數(shù)據(jù)的流向規(guī)劃(如圖3所示)為例，進(jìn)一步闡述數(shù)據(jù)流向規(guī)劃的重要性。平臺(tái)首先從業(yè)務(wù)部門提取了任課、職稱、教改、科研、工資等信息，歸納出基本信息、簡歷信息、獎(jiǎng)懲情況、職稱評(píng)定進(jìn)修等共享數(shù)據(jù)。最后，共享數(shù)據(jù)將能夠廣泛具體應(yīng)用在教學(xué)、科研、財(cái)務(wù)、報(bào)表、公告等領(lǐng)域。共享數(shù)據(jù)的正確性和唯一性是數(shù)據(jù)再次利用的基礎(chǔ)?！ ?/p>
數(shù)據(jù)交換集成支持Oracle、SQL Server等各種異構(gòu)數(shù)據(jù)源，通過集成的策略配置，滿足不同場(chǎng)景數(shù)據(jù)交換的需求，涵蓋了抽取、篩選、過濾、轉(zhuǎn)換、清洗、裝載等一系列過程。數(shù)據(jù)抽取根據(jù)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫事先定義的抽取規(guī)則，能夠?qū)崿F(xiàn)自動(dòng)化抽取和篩選過濾。在數(shù)據(jù)轉(zhuǎn)換過程中，根據(jù)信息變更的頻繁程度采用實(shí)時(shí)更新或定期上傳的方式。對(duì)于諸如教職工和學(xué)生基本信息的修改等數(shù)據(jù)實(shí)時(shí)性要求不高的信息，應(yīng)照顧服務(wù)器的并發(fā)能力和負(fù)載能力，采用空閑時(shí)間采集配置的數(shù)據(jù)同步策略。
數(shù)據(jù)質(zhì)量檢查工具能夠?qū)蓴?shù)據(jù)做出驗(yàn)證和質(zhì)量監(jiān)控，生成完善的數(shù)據(jù)集成日志。數(shù)據(jù)清洗能夠?qū)崿F(xiàn)多余、錯(cuò)誤數(shù)據(jù)的修改刪除功能，支持圖形化數(shù)據(jù)轉(zhuǎn)化與映射，支持?jǐn)?shù)據(jù)增量抽取和數(shù)據(jù)轉(zhuǎn)換函數(shù)自定義等操作。數(shù)據(jù)裝載是指將清洗后的數(shù)據(jù)初始化到數(shù)據(jù)庫中，包括數(shù)據(jù)表、代碼表的更新管理等操作。
根據(jù)數(shù)據(jù)集成層的功能需求，我們?cè)O(shè)計(jì)了流向規(guī)劃工具、數(shù)據(jù)集成工具、元數(shù)據(jù)管理工具、代碼標(biāo)準(zhǔn)工具、主數(shù)據(jù)管理工具、數(shù)據(jù)質(zhì)量檢查工具等6種工具。
流向規(guī)劃工具：主要用于規(guī)劃代碼流向，包括創(chuàng)建、主管、使用、查詢四種功能設(shè)計(jì)。數(shù)據(jù)流向分為對(duì)象類和活動(dòng)類兩個(gè)大類，前者包括邏輯對(duì)象子類和實(shí)體對(duì)象子類，后者包括對(duì)象管理活動(dòng)子類、綜合活動(dòng)子類。各對(duì)象類分別與人事庫、學(xué)工庫、科研庫、資產(chǎn)庫建立起關(guān)系。
數(shù)據(jù)集成工具：制作和調(diào)度運(yùn)行數(shù)據(jù)交換接口，支持多種數(shù)據(jù)源，靈活適應(yīng)復(fù)雜環(huán)境。對(duì)象類是指數(shù)據(jù)對(duì)象，主要包括實(shí)體對(duì)象和邏輯對(duì)象。實(shí)體對(duì)象是指傳統(tǒng)的數(shù)據(jù)對(duì)象，如人、活動(dòng)等;而邏輯對(duì)象則是指一些非傳統(tǒng)的數(shù)據(jù)對(duì)象，如院系信息等。活動(dòng)類包括對(duì)象管理活動(dòng)和綜合管理活動(dòng)，可以按照對(duì)象的生命周期進(jìn)行管理活動(dòng)的設(shè)定。其中對(duì)象管理活動(dòng)指基于對(duì)象的管理部分活動(dòng)可以進(jìn)行清晰的劃分和歸納的數(shù)據(jù)，比如一些對(duì)實(shí)體對(duì)象的管理;綜合管理活動(dòng)是指包含的內(nèi)容和相關(guān)聯(lián)系會(huì)隨著應(yīng)用、定位以及數(shù)據(jù)使用的角度不同而變化的活動(dòng)。具有靈活的策略配置，按不同場(chǎng)景數(shù)據(jù)交換急迫程度要求，按運(yùn)行周期、事件觸發(fā)、交換模式等，有針對(duì)性地進(jìn)行管理。
元數(shù)據(jù)管理工具：負(fù)責(zé)數(shù)據(jù)源、數(shù)據(jù)對(duì)象的定義規(guī)則，確保語義清晰可查。
代碼標(biāo)準(zhǔn)工具：負(fù)責(zé)代碼標(biāo)準(zhǔn)日常管理。能夠有效進(jìn)行標(biāo)準(zhǔn)普及和動(dòng)態(tài)更新調(diào)整，實(shí)現(xiàn)多種數(shù)據(jù)的真正集成和共享。具有代碼標(biāo)準(zhǔn)管理、代碼標(biāo)準(zhǔn)查詢、代碼使用范圍檢索、代碼映射關(guān)系、代碼使用情況檢查等功能，實(shí)現(xiàn)標(biāo)準(zhǔn)的制定(Draw)、維護(hù)(Edit)、理解(Understand)、分享(Share)、集成(Integration)。同時(shí)，監(jiān)督代碼標(biāo)準(zhǔn)的執(zhí)行情況，逐步優(yōu)化趨向統(tǒng)一。
主數(shù)據(jù)管理工具：能夠有效地融合老系統(tǒng)、新系統(tǒng)和未開發(fā)系統(tǒng)的三類數(shù)據(jù)。原業(yè)務(wù)系統(tǒng)集成方法，由數(shù)據(jù)流向規(guī)劃工具提出數(shù)據(jù)集成方案，元數(shù)據(jù)管理工具和代碼標(biāo)準(zhǔn)管理工具分別負(fù)責(zé)業(yè)務(wù)系統(tǒng)元數(shù)據(jù)注冊(cè)及代碼標(biāo)準(zhǔn)檢測(cè)，經(jīng)過方案評(píng)審后，實(shí)施標(biāo)準(zhǔn)迭代。最后通過數(shù)據(jù)集成工具和數(shù)據(jù)共享接口發(fā)表工具，實(shí)施系統(tǒng)集成，通過運(yùn)行監(jiān)控工具實(shí)時(shí)監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)。規(guī)范新業(yè)務(wù)系統(tǒng)集成，正式開發(fā)前使用代碼標(biāo)準(zhǔn)和數(shù)據(jù)流向工具對(duì)系統(tǒng)數(shù)據(jù)事先標(biāo)準(zhǔn)化規(guī)范。進(jìn)入開發(fā)環(huán)節(jié)后，進(jìn)一步規(guī)范數(shù)據(jù)庫設(shè)計(jì)、代碼和主數(shù)據(jù)模式，進(jìn)行EMAP數(shù)據(jù)建模預(yù)置，規(guī)范應(yīng)用服務(wù)接入和數(shù)據(jù)審核。未開發(fā)系統(tǒng)的數(shù)據(jù)，可以授權(quán)給業(yè)務(wù)部門，通過簡單導(dǎo)入、導(dǎo)出功能完成數(shù)據(jù)采集，保證數(shù)據(jù)共享的完整性。
3.數(shù)據(jù)存儲(chǔ)
純粹的數(shù)據(jù)倉庫和聯(lián)邦數(shù)據(jù)庫系統(tǒng)是不能適應(yīng)數(shù)字化校園建設(shè)需求的。我們采用最新數(shù)據(jù)和歷史數(shù)據(jù)分類存儲(chǔ)，既保證交換共享效率，又使得數(shù)據(jù)存儲(chǔ)更完整，支持?jǐn)?shù)據(jù)分析和數(shù)據(jù)的記錄追蹤。
根據(jù)整個(gè)平臺(tái)的規(guī)劃，我們建立了數(shù)據(jù)集市、應(yīng)用服務(wù)庫、元數(shù)據(jù)庫、代碼標(biāo)準(zhǔn)庫、主數(shù)據(jù)庫和歷史庫等6個(gè)數(shù)據(jù)庫分別存儲(chǔ)不同的數(shù)據(jù)集合。
數(shù)據(jù)集市：主要運(yùn)用于校內(nèi)數(shù)據(jù)的決策分析，以主題模式存儲(chǔ)各類管理數(shù)據(jù)，實(shí)現(xiàn)了標(biāo)準(zhǔn)評(píng)估、預(yù)測(cè)、差異分析、問題定位等，建立事實(shí)表、維度表、維度級(jí)別、管理關(guān)系、邏輯列等，實(shí)現(xiàn)了鉆取、切片、即席查詢、即席分析等功能。
應(yīng)用數(shù)據(jù)庫：主要面向師生的具體應(yīng)用服務(wù)，存儲(chǔ)了系統(tǒng)授權(quán)或系統(tǒng)用戶的注冊(cè)信息、權(quán)限信息，能夠滿足大量、靈活和復(fù)雜的開發(fā)需求，集成了需提取共享數(shù)據(jù)。
元數(shù)據(jù)庫：存儲(chǔ)主數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)的語義規(guī)則，各種數(shù)據(jù)庫的結(jié)構(gòu)和內(nèi)容展示。
代碼標(biāo)準(zhǔn)庫：按照國標(biāo)、部標(biāo)和行業(yè)標(biāo)準(zhǔn)，建有學(xué)校特色的代碼標(biāo)準(zhǔn)體系庫。
主數(shù)據(jù)庫：存儲(chǔ)全校范圍內(nèi)的共享數(shù)據(jù)，保障提供數(shù)據(jù)信息正確性、權(quán)威性和及時(shí)性。建成了以師生為中心的全面人事數(shù)據(jù)，涉及教學(xué)、科研、管理、后勤、財(cái)務(wù)等相關(guān)的活動(dòng)數(shù)據(jù)。同時(shí)廣泛使用結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)等多樣化的數(shù)據(jù)形式。
歷史庫：根據(jù)歸檔規(guī)則，對(duì)主數(shù)據(jù)庫、代碼庫的數(shù)據(jù)進(jìn)行歸檔，以便開展基于歷史數(shù)據(jù)的統(tǒng)計(jì)分析工作。引入數(shù)據(jù)倉庫中拉鏈表，全程記錄數(shù)據(jù)從始至今的所有狀態(tài)。
4.數(shù)據(jù)接口
數(shù)據(jù)接口是連接主數(shù)據(jù)管理平臺(tái)和應(yīng)用服務(wù)的關(guān)鍵環(huán)節(jié)。數(shù)據(jù)共享接口適配器能夠有效地融合學(xué)生、教師、科研、組織、財(cái)務(wù)等組件，并通過ESB總線建立統(tǒng)一數(shù)據(jù)服務(wù)接口，方便應(yīng)用軟件對(duì)主數(shù)據(jù)庫和歷史庫的數(shù)據(jù)進(jìn)行訪問和調(diào)用，有效地解決共享度不足的問題。
數(shù)據(jù)共享接口發(fā)布工具：采用面向服務(wù)體系架構(gòu)(Service Oriented Architecture，SOA)，把主數(shù)據(jù)封裝，供第三方開發(fā)者使用。采用WebService數(shù)據(jù)服務(wù)共享方式，可以減少對(duì)數(shù)據(jù)庫的直接訪問，滿足實(shí)時(shí)、按需的共享需求。
5.數(shù)據(jù)應(yīng)用及質(zhì)控工具
主數(shù)據(jù)的集成存儲(chǔ)是為實(shí)現(xiàn)基于共享的分析決策和教學(xué)、學(xué)生、管理、科研、財(cái)務(wù)及后勤服務(wù)等各項(xiàng)應(yīng)用。數(shù)據(jù)集市和應(yīng)用服務(wù)庫的復(fù)雜建模、多維分析、可視化實(shí)現(xiàn)，能夠有效服務(wù)高校管理層決策及智能決策提供可執(zhí)行的數(shù)據(jù)應(yīng)用。
系統(tǒng)應(yīng)用直接面向各類用戶，給用戶帶來了最終體驗(yàn)。有效管控系統(tǒng)的運(yùn)行情況和數(shù)據(jù)質(zhì)量，引入運(yùn)行監(jiān)控工具、數(shù)據(jù)質(zhì)量檢測(cè)工具和云服務(wù)。
系統(tǒng)運(yùn)行監(jiān)控工具：對(duì)系統(tǒng)健康檢查，對(duì)各類操作、集成過程、運(yùn)行情況和數(shù)據(jù)情況進(jìn)行運(yùn)維監(jiān)控。采用列表、框圖、進(jìn)程圖等表現(xiàn)形式，展現(xiàn)出系統(tǒng)動(dòng)態(tài)、數(shù)據(jù)接口情況、數(shù)據(jù)質(zhì)量、異常、信息標(biāo)準(zhǔn)和主數(shù)據(jù)情況等信息。
主數(shù)據(jù)監(jiān)控工具：監(jiān)督主數(shù)據(jù)質(zhì)量，避免只抽采不監(jiān)督，推進(jìn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量提升。引入空檢查規(guī)則、代碼檢查規(guī)則、文本檢查規(guī)則、邏輯表達(dá)式規(guī)則。代碼檢查主要核實(shí)字段在系統(tǒng)預(yù)先定義的代碼表中。文本檢查主要檢查文本取值是否滿足長度、格式和固定編碼規(guī)則要求，如單個(gè)長度、多個(gè)長度范圍組合，數(shù)字、字母、大寫字母、小寫字母、字母數(shù)字、漢字等;預(yù)定義編碼如：郵政編碼、Email地址、URL地址和身份證號(hào)等。邏輯表達(dá)檢查主要核實(shí)一個(gè)或多個(gè)字段取值是否滿足指定的邏輯表達(dá)式，如單個(gè)字段的取值范圍、多個(gè)字段的邏輯關(guān)系等。
云服務(wù)平臺(tái)：與開發(fā)公司有效對(duì)接，納入公司對(duì)大學(xué)管理平臺(tái)的運(yùn)行情況綜合監(jiān)督分析體系，方便產(chǎn)品升級(jí)，實(shí)施新規(guī)范。
(辛良單位為中國礦業(yè)大學(xué)黨政辦公室，侯效禮 陳越 崔曉鵬單位為中國礦業(yè)大學(xué)數(shù)字化校園辦公室)
