本發(fā)明公開了一種基于海量數(shù)據(jù)的實(shí)時(shí)結(jié)構(gòu)化數(shù)據(jù)比對系統(tǒng)，包括規(guī)則中心服務(wù)器以及分別與之相連接的外部規(guī)則服務(wù)器、比對客戶端和比對服務(wù)集群，還包括設(shè)置于規(guī)則中心服務(wù)器中的布隆過濾器；所述外部規(guī)則服務(wù)器將規(guī)則傳輸給規(guī)則中心服務(wù)器，規(guī)則中心服務(wù)器通過對規(guī)則計(jì)算，利用hash把規(guī)則均勻散列至比對服務(wù)集群，比對服務(wù)集群將收到的規(guī)則加載至其物理內(nèi)存中；規(guī)則中心服務(wù)器把規(guī)則中用于匹配的內(nèi)容加載至布隆過濾器，規(guī)則中心服務(wù)器完成規(guī)則計(jì)算后，把布隆過濾器同步至比對客戶端，比對客戶端把布隆過濾器的信息加載至其內(nèi)存中；比對客戶端實(shí)時(shí)接收海量數(shù)據(jù)，實(shí)時(shí)給出準(zhǔn)確比對結(jié)果響應(yīng)。本發(fā)明使低成本部署大量規(guī)則的實(shí)時(shí)比對系統(tǒng)成為可能。

1.一種基于海量數(shù)據(jù)的實(shí)時(shí)結(jié)構(gòu)化數(shù)據(jù)比對系統(tǒng)，其特征在于：所述系統(tǒng)的硬件構(gòu)建
包括規(guī)則中心服務(wù)器以及分別與之相連接的外部規(guī)則服務(wù)器、比對客戶端和比對服務(wù)集
群；
系統(tǒng)的工作流程具體如下：
首先，所述外部規(guī)則服務(wù)器將規(guī)則傳輸給規(guī)則中心服務(wù)器，規(guī)則中心服務(wù)器通過對規(guī)
則計(jì)算，利用hash把規(guī)則均勻散列至比對服務(wù)集群，比對服務(wù)集群將收到的規(guī)則加載至其
物理內(nèi)存中；
同時(shí)，規(guī)則中心服務(wù)器把規(guī)則中用于匹配的內(nèi)容加載至規(guī)則中心服務(wù)器內(nèi)設(shè)置的布隆
過濾器，規(guī)則中心服務(wù)器完成規(guī)則計(jì)算后，把布隆過濾器同步至比對客戶端，比對客戶端把
布隆過濾器的信息加載至其內(nèi)存中；
比對服務(wù)集群將規(guī)則快速加載至其物理內(nèi)存中，具體的步驟包括：
步驟一、比對服務(wù)集群將從規(guī)則中心服務(wù)器接收的規(guī)則放入規(guī)則隊(duì)列之中；
步驟二、輪詢線程從規(guī)則隊(duì)列之中輪詢規(guī)則指令，
201、若沒有指令則繼續(xù)定時(shí)輪詢規(guī)則隊(duì)列；
202、若存在指令則取出一個(gè)規(guī)則指令；
步驟三、對取出的規(guī)則指令進(jìn)行解析，按規(guī)則格式對規(guī)則進(jìn)行拆分，把整體規(guī)則拆分成
預(yù)規(guī)則，并把預(yù)規(guī)則放入預(yù)規(guī)則隊(duì)列；
步驟四、啟動(dòng)復(fù)數(shù)個(gè)預(yù)規(guī)則輪詢線程，每個(gè)線程獲取預(yù)規(guī)則進(jìn)行計(jì)算，加載至比對服務(wù)
集群的內(nèi)存容器之中；
步驟五、所有預(yù)規(guī)則輪詢線程結(jié)束后，繼續(xù)輪詢規(guī)則隊(duì)列；
最后，比對客戶端實(shí)時(shí)接收海量數(shù)據(jù)，實(shí)時(shí)給出準(zhǔn)確比對結(jié)果響應(yīng)；
比對客戶端進(jìn)行數(shù)據(jù)比對工作的流程為：
a)比對客戶端接收實(shí)時(shí)的海量數(shù)據(jù)；
b)海量數(shù)據(jù)按待比對內(nèi)容經(jīng)過含有規(guī)則信息的布隆過濾器過濾，
301、若海量數(shù)據(jù)沒有被布隆過濾器匹配命中，則此數(shù)據(jù)不會(huì)命中規(guī)則；
302、若海量數(shù)據(jù)被布隆過濾器匹配命中，則進(jìn)如步驟c)；
c)對布隆過濾器匹配命中的數(shù)據(jù)按待比對內(nèi)容進(jìn)行計(jì)算，根據(jù)計(jì)算的結(jié)果，把數(shù)據(jù)傳
輸?shù)奖葘Ψ?wù)集群，可能匹配中的規(guī)則和海量數(shù)據(jù)將被分發(fā)到比對服務(wù)集群中的同一臺(tái)比
對服務(wù)器；
d)比對服務(wù)器接收比對客戶端傳輸?shù)臄?shù)據(jù)，對接收的數(shù)據(jù)與加載在內(nèi)存規(guī)則容器中的
規(guī)則通過二次Hash計(jì)算，實(shí)現(xiàn)實(shí)時(shí)精確匹配；
e)比對服務(wù)集群把命中的規(guī)則信息傳輸給比對客戶端；
f)比對客戶端把命中信息回填到此海量數(shù)據(jù)中，標(biāo)識(shí)此條數(shù)據(jù)命中及命中的規(guī)則信
息。
2.如權(quán)利要求1所述的一種基于海量數(shù)據(jù)的實(shí)時(shí)結(jié)構(gòu)化數(shù)據(jù)比對系統(tǒng)，其特征在于：所
述規(guī)則中心服務(wù)器的規(guī)則計(jì)算以及比對客戶端對布隆過濾器匹配命中的數(shù)據(jù)按待比對內(nèi)
容所進(jìn)行的計(jì)算，均采用hash算法。
3.如權(quán)利要求1所述的一種基于海量數(shù)據(jù)的實(shí)時(shí)結(jié)構(gòu)化數(shù)據(jù)比對系統(tǒng)，其特征在于：所
述外部規(guī)則服務(wù)器使用規(guī)則中心服務(wù)器的API接口把規(guī)則傳輸給規(guī)則中心服務(wù)器。