遠(yuǎn)程運(yùn)營(yíng)中心大數(shù)據(jù)平臺(tái)解決方案

　　恒潤(rùn)遠(yuǎn)程運(yùn)營(yíng)中心大數(shù)據(jù)平臺(tái)(后稱(chēng)‘大數(shù)據(jù)平臺(tái)’)的架構(gòu)規(guī)劃見(jiàn)下圖。系統(tǒng)共分為五層：數(shù)據(jù)接入層、數(shù)據(jù)預(yù)處理層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層、應(yīng)用系統(tǒng)層。該架構(gòu)的主要優(yōu)勢(shì)是大數(shù)據(jù)框架技術(shù)、SOA 架構(gòu)設(shè)計(jì)、高并發(fā)、安全與平臺(tái)管理等。

　　1、數(shù)據(jù)接入層

　　針對(duì)實(shí)時(shí)上傳的車(chē)輛總線(xiàn)數(shù)據(jù)，大數(shù)據(jù)平臺(tái)提供了基于Java NIO 技術(shù)(Netty)，支持高并發(fā)TCP 連接的通訊數(shù)據(jù)網(wǎng)關(guān);

　　針對(duì)百萬(wàn)并發(fā)海量消息實(shí)時(shí)接入，恒潤(rùn)提供IBM 公司的高性能MessageSight 消息網(wǎng)關(guān)。

　　針對(duì)實(shí)時(shí)視頻流數(shù)據(jù)，系統(tǒng)提供獨(dú)立的視頻流網(wǎng)關(guān)可以接收RTSP(EasyDrawin)/RTMP(Red5)或基于UDP/TCP 協(xié)議的視頻數(shù)據(jù)流。針對(duì)存放在關(guān)系型數(shù)據(jù)庫(kù)中的歷史數(shù)據(jù)，大數(shù)據(jù)平臺(tái)提供了面向關(guān)系型數(shù)據(jù)庫(kù)與分布式文件系統(tǒng)(Hadoop)的ETL 工具(Sqoop)。針對(duì)離線(xiàn)數(shù)據(jù)文件或視頻文件，系統(tǒng)提供了基于HTTP 協(xié)議的文件上傳應(yīng)用功能(Plupload)，應(yīng)支持在應(yīng)用層進(jìn)行操作。

　　2、數(shù)據(jù)預(yù)處理層

　　針對(duì)車(chē)輛數(shù)據(jù)，為確保高并發(fā)上傳的實(shí)時(shí)數(shù)據(jù)能夠被及時(shí)解析。數(shù)據(jù)網(wǎng)關(guān)后接分布式消息隊(duì)列，即可通過(guò)添加服務(wù)器的模式橫向動(dòng)態(tài)擴(kuò)充隊(duì)列吞吐量。海量數(shù)據(jù)實(shí)時(shí)預(yù)處理采用分布式的流式數(shù)據(jù)處理工具(Apache Storm)或IBM 公司商業(yè)軟件Infosphere Streams，可將協(xié)議解析、解壓縮、解密、數(shù)據(jù)流解析等數(shù)據(jù)處理流程進(jìn)行分解，并通過(guò)增加并發(fā)量等手段近實(shí)時(shí)的得到所有信號(hào)物理量。也可根據(jù)實(shí)際業(yè)務(wù)需求對(duì)數(shù)據(jù)解析追加去重、標(biāo)準(zhǔn)化、降噪、篩選、清洗等業(yè)務(wù)相關(guān)操作。

　　針對(duì)視頻數(shù)據(jù)，視頻網(wǎng)關(guān)將視頻文件中繼至內(nèi)網(wǎng)，系統(tǒng)使用一個(gè)流媒體服務(wù)器(Red5)進(jìn)行統(tǒng)一視頻編解碼與格式轉(zhuǎn)換，并將視頻文件或視頻流根據(jù)瀏覽器端播放器支持的協(xié)議進(jìn)行推送。同時(shí)提供了根據(jù)某一時(shí)間戳，對(duì)其前后一段時(shí)間的視頻片段進(jìn)行切割的功能(ffmpeg)，這樣可以?xún)H對(duì)此片段進(jìn)行視頻流播放以期盡量降低帶寬。

　　3、數(shù)據(jù)存儲(chǔ)層

　　針對(duì)車(chē)輛數(shù)據(jù)，恒潤(rùn)大數(shù)據(jù)平臺(tái)提供先進(jìn)的分布式大數(shù)據(jù)框架Hadoop。經(jīng)過(guò)近10 年的發(fā)展，Hadoop 已經(jīng)成為大數(shù)據(jù)領(lǐng)域的一個(gè)標(biāo)準(zhǔn)并形成了一個(gè)完整的軟件生態(tài)圈。本系統(tǒng)中的車(chē)輛總線(xiàn)數(shù)據(jù)具有一次寫(xiě)入多次讀取的特征，適合用hadoop生態(tài)圈中的Hbase nosql 數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。該數(shù)據(jù)庫(kù)繼承了Hadoop 分布式易于擴(kuò)容的特點(diǎn)，并通過(guò)LSM 數(shù)據(jù)結(jié)構(gòu)做到了快速的數(shù)據(jù)讀寫(xiě)平衡。

　　針對(duì)視頻數(shù)據(jù)，由于可能需要對(duì)源文件進(jìn)行轉(zhuǎn)碼或切割的操作，視頻數(shù)據(jù)并不適合用hadoop 存儲(chǔ)。因?yàn)镠adoop 會(huì)對(duì)視頻文件進(jìn)行切割并將不同數(shù)據(jù)塊存儲(chǔ)于不同的數(shù)據(jù)節(jié)點(diǎn)，而當(dāng)需要對(duì)視頻文件進(jìn)行任何操作時(shí)，都需要先從各個(gè)節(jié)點(diǎn)將視頻文件進(jìn)行恢復(fù)再操作。另外，由于視頻文件往往比較大，Hadoop 的高可用3 備份方案會(huì)造成較大的空間浪費(fèi)。對(duì)于視頻文件的存儲(chǔ)方案，本系統(tǒng)選用視頻流媒體服務(wù)器所在服務(wù)器的文件系統(tǒng)。

　　針對(duì)元數(shù)據(jù)與應(yīng)用數(shù)據(jù)，應(yīng)用相關(guān)數(shù)據(jù)結(jié)構(gòu)化較強(qiáng)且增長(zhǎng)速度較慢，本系統(tǒng)選用關(guān)系型數(shù)據(jù)庫(kù)與文件系統(tǒng)結(jié)合的方案進(jìn)行存儲(chǔ)。

　　4、數(shù)據(jù)分析層

　　大數(shù)據(jù)平臺(tái)提供如下數(shù)據(jù)分析工具，以便在應(yīng)用層協(xié)助完成用戶(hù)的業(yè)務(wù)需求：

　　基于Hbase 原生API 的簡(jiǎn)單數(shù)據(jù)統(tǒng)計(jì)與檢索

　　SQL on Hadoop/Hbase

　　集成機(jī)器學(xué)習(xí)/ 統(tǒng)計(jì)學(xué)算法的工具

　　基于流式數(shù)據(jù)處理的實(shí)時(shí)數(shù)據(jù)處理

　　5、應(yīng)用系統(tǒng)層

　　應(yīng)用系統(tǒng)采用B/S 架構(gòu)，即用戶(hù)可隨時(shí)隨地通過(guò)瀏覽器對(duì)系統(tǒng)進(jìn)行訪(fǎng)問(wèn)與操作。系統(tǒng)使用SpringMVC 與Hibernate框架進(jìn)行開(kāi)發(fā)，并在前臺(tái)應(yīng)用KendoUI、Echarts、高德地圖等Javascript 庫(kù)。

　　應(yīng)用系統(tǒng)采用模塊化設(shè)計(jì)，使用ESB 技術(shù)有利于保證系統(tǒng)的可擴(kuò)展性并兼顧多團(tuán)隊(duì)協(xié)同開(kāi)發(fā)的情況。恒潤(rùn)大數(shù)據(jù)平臺(tái)采用IBM 公司的IIB 商業(yè)解決方案，不對(duì)建設(shè)在其上的應(yīng)用系統(tǒng)附加限制，如開(kāi)發(fā)平臺(tái)、語(yǔ)言、通訊協(xié)議等。

　　6、平臺(tái)管理

　　大數(shù)據(jù)平臺(tái)的Hadoop 版本選用的是Cloudera 的CDH5。Cloudera 是規(guī)模、知名度的Hadoop 解決方案服務(wù)商之一。CDH5 封裝了大量Hadoop 生態(tài)圈中的工具如Zookeeper、HDFS、YARN、Hbase、Spark 等。整體平臺(tái)的管理則依托于Cloudera Manager，允許管理員通過(guò)web 的方式對(duì)Hadoop 集群進(jìn)行監(jiān)控與管理。

　　7、系統(tǒng)安全

　　系統(tǒng)安全的保障則是通過(guò)以下四個(gè)手段進(jìn)行保障：

　　數(shù)據(jù)加密

　　車(chē)輛總線(xiàn)端口(報(bào)文)數(shù)據(jù)經(jīng)過(guò)通訊協(xié)議、加密、壓縮等封裝后，需在內(nèi)網(wǎng)經(jīng)過(guò)層層解析才能被解析為信號(hào)物理量。

　　IT部署方式

　　由于車(chē)載設(shè)備是通過(guò)數(shù)據(jù)網(wǎng)關(guān)與視頻網(wǎng)關(guān)與大數(shù)據(jù)平臺(tái)進(jìn)行交互，因此網(wǎng)關(guān)需要提供公網(wǎng)IP。這意味著網(wǎng)關(guān)是部署在企業(yè)的DMZ區(qū)，大數(shù)據(jù)平臺(tái)可確保數(shù)據(jù)的解析與處理均發(fā)生在企業(yè)內(nèi)網(wǎng)。

　　Hadoop自帶安全機(jī)制

　　大數(shù)據(jù)平臺(tái)可通過(guò)Cloudera Manager與企業(yè)LDAP集成并配置使用Hadoop/Hbase提供的KMS、Kerberos等安全審計(jì)機(jī)制確保數(shù)據(jù)的安全。

　　應(yīng)用系統(tǒng)權(quán)限控制

　　應(yīng)用系統(tǒng)采用基于角色的權(quán)限控制(RBAC)對(duì)系統(tǒng)功能菜單進(jìn)行權(quán)限分配。并提供資產(chǎn)管理對(duì)車(chē)型、車(chē)輛、車(chē)載終端設(shè)備等資產(chǎn)進(jìn)行細(xì)顆粒度權(quán)限控制。