1.一種基于高密度網絡流量的數據報文處理方法,該方法包括高密度報文物理處理交
換系統與高密度報文邏輯處理交換系統,其特征在于:
所述的高密度報文物理處理交換系統流程包括,當用戶發生網絡訪問行為時,所產生
的上網行為數據報文通過其所連接的網絡進行傳輸;該網絡由用戶使用端、交換機與互聯
網組成;用戶使用端通過交換機的交換系統分配連接于互聯網上;用戶使用端與交換機的
鏈路之間設置高密度數據報文處理系統;高密度數據報文處理系統即可以完全采用網絡光
復用原理進行,也可以兼容端口鏡像的模式;系統采用上下級分發模式,在不超過光端口的
最大值的狀態下無線接收和處理網絡中傳輸的數據報文;
所述的高密度報文邏輯處理交換系統包括,采用多CPU核心并行列隊高速緩存處理的
處理原理;該處理原理的具體流程包括,
首先建立數據緩存空間,使用alloc_bootmem接口,使調用函數族在內存管理子系統
slab啟動前調用;設定主處理設備內存容量為32G的情況下,分配網絡數據包緩沖區為12G;
而后建立hook數據包接收點,在網絡數據包的統計接收點netif_receive_skb接口中
添加一個自定義hook回調點netif_receive_skb_hook,實現該回調即可得到所有數據包;
然后插入數據接收模塊,將緩沖區以CPU個數進行分區,每一塊區域都是對應的CPU核
心的局部緩沖區,由某CPU核心接收的數據包即存儲在該CPU核心的對應緩沖區中;
最后建立數據分析過濾模塊及高速數據對比算法,依次取CPU核心中一個局部緩沖區
中的數據報文進行數據報文過濾分析;高速數據對比算法采用基于IP層的高速數據報文對
比算法,所有虛擬隊列緩存處理和高速比對算法都是在網絡驅動層實現完畢,做到理論線
性無延遲,再采用若干個數據并發處理引擎進行深度數據挖掘分析,當發現某一條數據報
文中有異常時即可進行數據留存以便進行深度的數據挖掘分析。
2.根據權利要求1所述的一種基于高密度網絡流量的數據報文處理方法,其特征在于,
高密度報文物理處理交換系統包括:
高密度報文物理處理交換系統上有一張10Gb或更高速的網絡端口適配器和若干臺
10Gb或1Gb的網絡端口組成的并發處理引擎來組成;將主網絡數據獲取端口通過驅動編程
將其設置為數據捕獲模式,從而能夠做到實時獲取分光設備上的數據報文,根據多核心隊
列緩存的原理來確定數據有哪些,并指定發送到特定標記為空閑狀態的網絡端口上。
3.根據權利要求1所述的一種基于高密度網絡流量的數據報文處理方法,其特征在于:
所述的核心處理設備群都存放在私有地址池中,所以無需考慮設備的安全性。
4.根據權利要求1所述的一種基于高密度網絡流量的數據報文處理方法,其特征在于,
當數據處理量達到峰值時的應變措施包括:
當高密度報文物理處理交換系統達到處理瓶頸時僅需增加若干臺數據并發處理引擎
即可對數據進行分流處理,并將其中的數據由若干臺數據并發實時處理引擎進行分析處
理。
展開