時間:2022-05-04 05:49:29
引言:易發(fā)表網(wǎng)憑借豐富的文秘實踐,為您精心挑選了九篇網(wǎng)絡(luò)流量監(jiān)測范例。如需獲取更多原創(chuàng)內(nèi)容,可隨時聯(lián)系我們的客服老師。
關(guān)鍵詞:網(wǎng)絡(luò)管理;網(wǎng)絡(luò)流量;監(jiān)測
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網(wǎng)絡(luò)流量的特征
(一)數(shù)據(jù)流是雙向的,但通常是非對稱的
互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異,這是因為從網(wǎng)站下載時會導致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。
(二)大部分TCP會話是短期的
超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。
(三)包的到達過程不是泊松過程
大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數(shù)分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關(guān)性而使其在應(yīng)用上要比其他模型更加簡單。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數(shù)分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達,即包的到達是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進了網(wǎng)絡(luò)通信量模型的研究。
(四)網(wǎng)絡(luò)通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(guān)(時間局域性)和基于空間的相關(guān)(空間局域性)。
二、網(wǎng)絡(luò)流量的測量
網(wǎng)絡(luò)流量的測量是人們研究互聯(lián)網(wǎng)絡(luò)的一個工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設(shè)計出更加符合實際的網(wǎng)絡(luò)設(shè)備和更加合理的網(wǎng)絡(luò)協(xié)議。計算機網(wǎng)絡(luò)不是永遠不會出錯的,設(shè)備的一小點故障都有可能使整個網(wǎng)絡(luò)癱瘓,或者使網(wǎng)絡(luò)性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡(luò)管理者提供詳細的信息以幫助發(fā)現(xiàn)和解決問題。互聯(lián)網(wǎng)流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網(wǎng)絡(luò)數(shù)據(jù)而特別設(shè)計的專用硬件設(shè)備進行網(wǎng)絡(luò)流的測量,這些設(shè)備一般都比較昂貴,而且受網(wǎng)絡(luò)接口數(shù)量,網(wǎng)絡(luò)插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡(luò)接口部分,使其具備捕獲網(wǎng)絡(luò)數(shù)據(jù)包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網(wǎng)絡(luò)流量分析器。
(二)主動測量和被動測量
被動測量只是記錄網(wǎng)絡(luò)的數(shù)據(jù)流,不向網(wǎng)絡(luò)流中注入任何數(shù)據(jù)。大部分網(wǎng)絡(luò)流量測量都是被動的測量。主動測量使用由測量設(shè)備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡(luò)而獲知網(wǎng)絡(luò)的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡(luò)延時。
(三)在線分析和離線分析
有的網(wǎng)絡(luò)流量分析器支持實時地收集和分析網(wǎng)絡(luò)數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結(jié)果,大部分基于硬件的網(wǎng)絡(luò)分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡(luò)數(shù)據(jù),把數(shù)據(jù)存儲下來,并不對數(shù)據(jù)進行實時的分析。
(四)協(xié)議級分類
對于不同的協(xié)議,例如以太網(wǎng)(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡(luò)插件來收集網(wǎng)絡(luò)數(shù)據(jù),因此也就有了不同的通信量測試方法。
三、網(wǎng)絡(luò)流量的監(jiān)測技術(shù)
根據(jù)對網(wǎng)絡(luò)流量的采集方式可將網(wǎng)絡(luò)流量監(jiān)測技術(shù)分為:基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)、基于SNMP的監(jiān)測技術(shù)和基于Netflow的監(jiān)測技術(shù)三種常用技術(shù)。
(一)基于網(wǎng)絡(luò)流量全鏡像的監(jiān)測技術(shù)
網(wǎng)絡(luò)流量全鏡像采集是目前IDS主要采用的網(wǎng)絡(luò)流量采集模式。其原理是通過交換機等網(wǎng)絡(luò)設(shè)備的端口鏡像或者通過分光器、網(wǎng)絡(luò)探針等附加設(shè)備,實現(xiàn)網(wǎng)絡(luò)流量的無損復(fù)制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應(yīng)用層信息。
(二)基于Netflow的流量監(jiān)測技術(shù)
Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備提供的Netflow機制實現(xiàn)的網(wǎng)絡(luò)流量信息采集。
(三)基于SNMP的流量監(jiān)測技術(shù)
關(guān)鍵詞 網(wǎng)絡(luò)管理;流量監(jiān)測;方法;
中圖分類號TP39 文獻標識碼A 文章編號 1674-6708(2012)69-0174-02
自人類進入21世紀以來,以計算機為基礎(chǔ)的互聯(lián)網(wǎng)技術(shù)在我們生活中各個領(lǐng)域得到了不同程度的應(yīng)用。因此,對網(wǎng)絡(luò)的管理工作為保證其穩(wěn)定、良好的運行有著十分重要的意義。在網(wǎng)絡(luò)管理中,對于用戶的各種應(yīng)用我們難以進行強制限制。由此也可能帶來管理上的難題與安全隱患,比如由于病毒、木馬或其它流量導致網(wǎng)絡(luò)的擁塞。因而科學的網(wǎng)絡(luò)規(guī)劃時前提,但對網(wǎng)絡(luò)上的各種流量進行長期的監(jiān)測,也是保障網(wǎng)絡(luò)正常穩(wěn)定的運行重要舉措。
1 進行網(wǎng)絡(luò)流量監(jiān)測的現(xiàn)實意義
所謂網(wǎng)絡(luò)流量監(jiān)測是指通過對網(wǎng)絡(luò)數(shù)據(jù)的連續(xù)采集,從而對網(wǎng)絡(luò)的流量情況進行了解與監(jiān)視,它是網(wǎng)絡(luò)管理中最基礎(chǔ)的工作之一。對于網(wǎng)絡(luò)監(jiān)測所獲取的網(wǎng)絡(luò)流量數(shù)據(jù)進行統(tǒng)計與和計算,從而得到網(wǎng)絡(luò)重要成分的性能指標。網(wǎng)絡(luò)管理員就可以根據(jù)已存儲網(wǎng)絡(luò)的相關(guān)數(shù)據(jù)結(jié)合當前所獲取的網(wǎng)絡(luò)性能數(shù)據(jù)指標,通過分析了解網(wǎng)絡(luò)性能變化趨勢。了解網(wǎng)絡(luò)運行情況,分析制約網(wǎng)絡(luò)性能的瓶頸問題,從而為科學規(guī)劃網(wǎng)絡(luò)、優(yōu)化網(wǎng)絡(luò)設(shè)置,為解決網(wǎng)絡(luò)故障采取及時有效的措施,提供了重要信息,有著重要的現(xiàn)實意義。
2 網(wǎng)絡(luò)流量的特性分析
在經(jīng)過對互聯(lián)網(wǎng)通信流量的長期監(jiān)測與測量,從現(xiàn)有的技術(shù)水平來說,我們把網(wǎng)絡(luò)流量的主要特性歸結(jié)為以下4個方面:
1)數(shù)據(jù)流雙向和非對稱性:即,從互聯(lián)網(wǎng)上的應(yīng)用來看,其實質(zhì)就是數(shù)據(jù)的雙向交換,因此網(wǎng)絡(luò)流量體現(xiàn)出雙向性的特點;但同時這種雙向的數(shù)據(jù)交流并非是對等的,上行和下載的流量并不相同,而是表現(xiàn)出非對稱性的特點。
2)大部分TCP會話是短期的。在互聯(lián)網(wǎng)通信中,從時間的角度來看,TCP會話時間只有數(shù)秒十分之短,這是由于會話中交換的數(shù)據(jù)量超過90%的比例都是小于10K字節(jié)的。從研究來看,一些不是短期的TCP對話(如文件傳輸),不過由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的快速增長從而使得TCP會話時間也是十分短暫。
3)包的到達過程不是泊松過程。在過去較長的時間內(nèi),傳統(tǒng)的排隊理論以及通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數(shù)分布。然而隨著技術(shù)的進步,研究發(fā)現(xiàn)這種理論解釋存在著不足,它難以精確地描述包的到達過程,人們開始從網(wǎng)絡(luò)通信量模型展開研究,進而來豐富網(wǎng)絡(luò)流量的理論原理。
4)網(wǎng)絡(luò)流量體現(xiàn)出局域性。從現(xiàn)有技術(shù)應(yīng)用特點來看,網(wǎng)絡(luò)通信量表現(xiàn)出在時間和空間兩個維度的局域性。這主要是從互聯(lián)網(wǎng)流量中數(shù)據(jù)包的時間和目的地址上,從而表現(xiàn)顯時間局域性和空間局域性的特性。
3 網(wǎng)絡(luò)管理中網(wǎng)絡(luò)流量監(jiān)測的方法
在對互聯(lián)網(wǎng)通信特性有了深入的了解以后,我們就可以采取相應(yīng)的技術(shù)措施來對網(wǎng)絡(luò)流量進行監(jiān)測。從當前實踐用用來看,習慣上我們把當對流量監(jiān)測的方法歸為主動測量和被動測量兩大類,他們各自的優(yōu)勢與特點主要表現(xiàn)如下:
3.1主動測量
主動測量是基于端到端的測量,通過測量設(shè)備向被測網(wǎng)絡(luò)注入一些以探測網(wǎng)絡(luò)特征或網(wǎng)絡(luò)流量負載等信息為目的的探測流,進而了解被測網(wǎng)絡(luò)目前的運行狀態(tài)和提供數(shù)據(jù)傳輸?shù)哪芰Α?/p>
從上述分析我們可以看到,在進行網(wǎng)絡(luò)流量的主動測量,我們構(gòu)建的網(wǎng)絡(luò)測量系統(tǒng)應(yīng)當由測量節(jié)點、中心服務(wù)器、中心數(shù)據(jù)庫、分析服務(wù)器這四個部分構(gòu)成。
從主動測量的實踐應(yīng)用來看,其優(yōu)勢體現(xiàn)在主動性、可控性、靈活性三個方面。即,在進行網(wǎng)絡(luò)流量監(jiān)測時是主動發(fā)送測量數(shù)據(jù),同時這個操作過程可以靈活把握,因而可控制性也比較高。此外,主動測量也便于對端到端的性能能夠開展直觀的統(tǒng)計。
不過從測試過程我們也可以看出,由于是主動對網(wǎng)絡(luò)進行注入流量,因此,我們所獲取的結(jié)果與實際情況存在偏差是在所難免的,這就是主動測量的不足之處。
3.2被動監(jiān)測
被動測量是一種分布式的網(wǎng)絡(luò)監(jiān)測技術(shù)的應(yīng)用,其監(jiān)測原理是對被測對象部署一定的監(jiān)測點與網(wǎng)絡(luò)設(shè)備,從而通過這些點與設(shè)備來獲取網(wǎng)絡(luò)流量的相關(guān)信息與數(shù)據(jù)。因此,這種監(jiān)測它是在不改變原有網(wǎng)絡(luò)流量的基礎(chǔ)上進行的。通過諸多的被動監(jiān)測的實踐,也證明了這一點。
被動監(jiān)測的優(yōu)勢不僅如此,并且相對前文分析中的主動測量來說,被動測量方式得到的網(wǎng)絡(luò)數(shù)據(jù)與實際情況偏差更小一些。其缺點是被動測量是從單個設(shè)備或點實現(xiàn)相關(guān)信息的采集,這種實時采集往往信息數(shù)據(jù)量大,因此難以實現(xiàn)對網(wǎng)絡(luò)端對端的性能分析,還為數(shù)據(jù)泄露等安全問題留下了隱患。但總體來說,被動測量的優(yōu)點遠大于其不足,因此被廣泛用于測量和分析網(wǎng)絡(luò)流量分布。
4 結(jié)論
以計算機為基礎(chǔ)的現(xiàn)代信息技術(shù)成為了當前事(企)業(yè)單位的科研生產(chǎn)的重要平臺,一方提高了工作效率,另一方面也加大了人們對網(wǎng)絡(luò)的依賴和需求,因此加強網(wǎng)絡(luò)流量監(jiān)測工作十分重要。本文對網(wǎng)絡(luò)管理中的流量監(jiān)測問題進行了闡述,并根據(jù)其中存在的問題進行總結(jié)與歸納,以對其進行改善和提高。這需要我們廣大從事信息技術(shù)的工作者與管理員提高業(yè)務(wù)水平,加強對相關(guān)技術(shù)的研發(fā)與探索,創(chuàng)新管理手段,以促進網(wǎng)絡(luò)的良好穩(wěn)定運行。
參考文獻
本文就網(wǎng)絡(luò)流量監(jiān)測的作用和移動互聯(lián)網(wǎng)的研究現(xiàn)狀進行分析,探討CDMA移動互聯(lián)網(wǎng)的特征,以便更好的對網(wǎng)絡(luò)流量進行監(jiān)測。
【關(guān)鍵詞】
網(wǎng)絡(luò)流量;監(jiān)測;移動互聯(lián)網(wǎng)
0 引言
隨著互聯(lián)網(wǎng)規(guī)模的不斷擴大,其應(yīng)用領(lǐng)域越來越廣泛,因此,急需要對網(wǎng)絡(luò)流量進行實時、在線的監(jiān)控和管理。對網(wǎng)絡(luò)流量特征進行研究,有利于有效的管理、規(guī)劃、發(fā)展網(wǎng)絡(luò)。其中網(wǎng)絡(luò)流量監(jiān)測是網(wǎng)絡(luò)測量技術(shù)之一,通過對網(wǎng)絡(luò)流量進行監(jiān)測和分析研究,能夠較好的掌握網(wǎng)絡(luò)流量的特征,了解網(wǎng)絡(luò)的狀況,并能夠根據(jù)詳細的流量信息,對故障進行定位和修復(fù),能夠獲取網(wǎng)絡(luò)所承載的業(yè)務(wù)的大小,及時了解用戶應(yīng)用強度、頻度等行為模型。
1 網(wǎng)絡(luò)流量監(jiān)測的作用
其一,有利于網(wǎng)絡(luò)規(guī)劃。在移動網(wǎng)絡(luò)中出現(xiàn)擁堵的現(xiàn)象時,傳統(tǒng)的做法通常為網(wǎng)絡(luò)擴容。如果借助網(wǎng)絡(luò)流量監(jiān)測技術(shù),能夠及時的掌握當前的移動網(wǎng)絡(luò)的流量趨勢,有效的解決網(wǎng)絡(luò)中出現(xiàn)的問題,并運用科學合理的方式進行規(guī)劃。
其二,提高網(wǎng)絡(luò)資源的利用率。由于移動網(wǎng)絡(luò)的流量比較復(fù)雜多變,目前還有大多數(shù)網(wǎng)絡(luò)特征未被外界認知,通過網(wǎng)絡(luò)流量監(jiān)測技術(shù),能夠及時的了解當前網(wǎng)絡(luò)流量的情況和移動網(wǎng)絡(luò)業(yè)務(wù)的特征。
其三,便于移動網(wǎng)絡(luò)安全維護。隨著網(wǎng)絡(luò)的普及,越來越多的惡意程序通過網(wǎng)絡(luò)傳播,嚴重影響到用戶的隱私和財產(chǎn)安全。充分運用網(wǎng)絡(luò)流量監(jiān)測技術(shù),能夠?qū)W(wǎng)絡(luò)流量進行分析,制定出不同移動平臺的移動網(wǎng)絡(luò)安全策略。
2 移動互聯(lián)網(wǎng)的現(xiàn)狀
近年來,隨著社交網(wǎng)絡(luò)、微博、微信等新型網(wǎng)絡(luò)應(yīng)用的發(fā)展,使得互聯(lián)網(wǎng)行業(yè)的發(fā)展充滿生機和活力。移動通信技術(shù)和互聯(lián)網(wǎng)技術(shù)的緊密結(jié)合形成了一種新的網(wǎng)絡(luò),即移動互聯(lián)網(wǎng)。移動互聯(lián)網(wǎng)指的是通過使用手機網(wǎng)絡(luò)、平板電腦等移動終端,基于移動網(wǎng)絡(luò)聯(lián)網(wǎng)獲取圖像、語音、文字等用戶需求的隨時可接入的網(wǎng)絡(luò)。根據(jù)通訊世界網(wǎng)訊全球技術(shù)研究和咨詢公司的最新研究報告表明,我國手機用戶在2013年突破10億,預(yù)測在2014年,我國手機市場將銷售4.436億部手機,使用手機將超過10.76億部。網(wǎng)民人數(shù)達到6.15億,移動互聯(lián)網(wǎng)用戶數(shù)已達到8.38億。我國的移動互聯(lián)網(wǎng)用戶人數(shù)將會呈現(xiàn)持續(xù)增長的趨勢,同時,伴隨著平板電腦、智能手機的發(fā)展,國內(nèi)移動互聯(lián)網(wǎng)絡(luò)用戶群將會逐漸擴大。另外,在移動互聯(lián)網(wǎng)迅猛發(fā)展的同時,也會帶來一定的風險和挑戰(zhàn)。首先隨著移動互聯(lián)網(wǎng)內(nèi)容不斷的豐富,產(chǎn)生了各種寬帶負荷較大的業(yè)務(wù),例如基于P2P業(yè)務(wù)。傳統(tǒng)的互聯(lián)網(wǎng)監(jiān)控方式不一定適用于移動互聯(lián)網(wǎng),缺乏有針對性的移動互聯(lián)網(wǎng)監(jiān)控平臺。目前移動互聯(lián)網(wǎng)的監(jiān)控制度還不夠完善,限制了網(wǎng)絡(luò)服務(wù)質(zhì)量的提高,對未來網(wǎng)絡(luò)的發(fā)展具有嚴重的影響作用。其次,移動網(wǎng)絡(luò)運營商雖然為各種內(nèi)容提供商業(yè)支持,推廣了各種業(yè)務(wù),但多種業(yè)務(wù)的流量特征研究不夠完善,運行質(zhì)量沒有進行深入的研究,大多互聯(lián)網(wǎng)基礎(chǔ)指標在移動互聯(lián)網(wǎng)的場景下分布比較異常。
3 CDMA移動互聯(lián)網(wǎng)特征研究
3.1網(wǎng)絡(luò)流量原始流量采集
本文使用的網(wǎng)絡(luò)數(shù)據(jù)是由本研究團隊自行研發(fā)的檢測設(shè)備TMS進行采集的。原始網(wǎng)絡(luò)流量均采用我國某大城市的骨干網(wǎng)節(jié)點。在采集CDMA實驗數(shù)據(jù)時,部署了4個采集探針在同一個城市的鏈路上,位于分組數(shù)據(jù)服務(wù)節(jié)點和城市核心節(jié)點之間并行的鏈路上。詳情如圖1所示。
另外,網(wǎng)絡(luò)流量分類技術(shù)主要包括深度包檢測和深度流檢測技術(shù)。分類時,首先使用深度包檢測技術(shù),通常能夠達到較高的分類效果。針對不同的網(wǎng)絡(luò)應(yīng)用,比較適合使用深度流檢測技術(shù)。本文的算法中就引入了深度流檢測的技術(shù)。
3.2網(wǎng)絡(luò)流量建模
由于采集的網(wǎng)絡(luò)寬帶較大,運算和存貯資源比較有限,需要選取一個適合的時間段,采集數(shù)據(jù)子集后為后續(xù)分析充當樣本。網(wǎng)絡(luò)流量建模的原理指的是充分利用統(tǒng)計獲取的網(wǎng)絡(luò)流量特征,對其進行數(shù)學推導后得出的符合統(tǒng)計規(guī)律的模型來模擬實際網(wǎng)絡(luò)流量趨勢。網(wǎng)絡(luò)流量建模通常采用ARIMA模型[3]。其指的是分差整合移動平均自回歸模型,通常用于進行平穩(wěn)序列和分差后平穩(wěn)序列的建模分析。ARIMA模型分析的一般步驟為:(1)根據(jù)序列的自相關(guān)函數(shù)分布圖和偏相關(guān)函數(shù)分布圖,分析序列的平穩(wěn)性。(2)對非平穩(wěn)性序列進行平穩(wěn)化處理;根據(jù)時間序列的識別規(guī)定,對ARIMA模型的相關(guān)參數(shù)進行識別,建立相應(yīng)模型。建立分析后,需要對參數(shù)進行評估,并對參數(shù)進行檢驗,其中參數(shù)檢驗通常會采用AIC準則。AIC的計算公式為:
其中T為可使用的觀測值,RSS指的是參差平方根和,n為待估參數(shù)個數(shù)。比較不同參數(shù)時,需要采用AIC值更小的模型。
3.3網(wǎng)絡(luò)流量基本特征
其一,網(wǎng)絡(luò)協(xié)議。在互聯(lián)網(wǎng)中使用的TCP/IP協(xié)議族為傳輸層明確了兩個主要的協(xié)議,分別為TCP協(xié)議和UDP協(xié)議。TCP協(xié)議需要在兩個TCP之間建立一個虛連接,在運輸層中使用流量控制和差錯控制機制,即為面向連接的、可靠的傳輸協(xié)議。UDP協(xié)議為無連接、不可靠傳輸協(xié)議。本文對兩種網(wǎng)絡(luò)協(xié)議進行研究,如表1所示。
其二,網(wǎng)絡(luò)流長(字節(jié))分布。網(wǎng)絡(luò)中的流量實際時由IP流來承擔的,IP流的長度在一定程度上反映了網(wǎng)絡(luò)負載的情況。圖2為CDMA網(wǎng)絡(luò)中的流長分布情況。
其三,網(wǎng)絡(luò)流持續(xù)時間分布。IP流持續(xù)的時間為IP流第一個報文達到的時間和最后一個報文達到的時間差值。對IP流持續(xù)的時間分布進行研究,可以從宏觀的角度反映出IP流在網(wǎng)絡(luò)中分布的時間,根據(jù)其他網(wǎng)絡(luò)特征,可以綜合對網(wǎng)絡(luò)流的各種行為特點進行研究。根據(jù)統(tǒng)計可知,CDMA網(wǎng)絡(luò)中平均UDP流持續(xù)的時間為62.15秒,在TCP流中持續(xù)的時間為17.85秒。
4 總結(jié)
隨著移動互聯(lián)網(wǎng)絡(luò)的飛速發(fā)展,多種移動互聯(lián)網(wǎng)絡(luò)的應(yīng)用成為人們生活中不可或缺的一部分。由于移動互聯(lián)網(wǎng)場景復(fù)雜,使得流量的多種特征還沒被發(fā)現(xiàn)。網(wǎng)絡(luò)流量監(jiān)測技術(shù)和移動互聯(lián)網(wǎng)特征的研究,能夠?qū)σ苿泳W(wǎng)絡(luò)流量進行保存,可以有效的規(guī)劃網(wǎng)絡(luò),充分利用網(wǎng)絡(luò)資源,維護移動互聯(lián)網(wǎng)的安全。
【參考文獻】
[1]王華奎.移動通信原理與技術(shù)[M].清華大學出版社,2010.
關(guān)鍵詞:網(wǎng)絡(luò) 異常流量 檢測
一、異常流量監(jiān)測基礎(chǔ)知識
異常流量有許多可能的來源,包括新的應(yīng)用系統(tǒng)與業(yè)務(wù)上線、計算機病毒、黑客入侵、網(wǎng)絡(luò)蠕蟲、拒絕網(wǎng)絡(luò)服務(wù)、使用非法軟件、網(wǎng)絡(luò)設(shè)備故障、非法占用網(wǎng)絡(luò)帶寬等。網(wǎng)絡(luò)流量異常的檢測方法可以歸結(jié)為以下四類:統(tǒng)計異常檢測法、基于機器學習的異常檢測方法、基于數(shù)據(jù)挖掘的異常檢測法和基于神經(jīng)網(wǎng)絡(luò)的異常檢測法等。用于異常檢測的5種統(tǒng)計模型有:①操作模型。該模型假設(shè)異常可通過測量結(jié)果和指標相比較得到,指標可以根據(jù)經(jīng)驗或一段時間的統(tǒng)計平均得到。②方差。計算參數(shù)的方差,設(shè)定其置信區(qū)間,當測量值超出了置信區(qū)間的范圍時表明可能存在異常。③多元模型。操作模型的擴展,通過同時分析多個參數(shù)實現(xiàn)檢測。④馬爾可夫過程模型。將每種類型事件定義為系統(tǒng)狀態(tài),用狀態(tài)轉(zhuǎn)移矩陣來表示狀態(tài)的變化。若對應(yīng)于發(fā)生事件的狀態(tài)轉(zhuǎn)移矩陣概率較小,則該事件可能是異常事件。⑤時間序列模型。將測度按時間排序,如一新事件在該時間發(fā)生的概率較低,則該事件可能是異常事件。
二、系統(tǒng)介紹分析與設(shè)計
本系統(tǒng)運行在子網(wǎng)連接主干網(wǎng)的出口處,以旁路的方式接入邊界的交換設(shè)備中。從交換設(shè)備中流過的數(shù)據(jù)包,經(jīng)由軟件捕獲,處理,分析和判斷,可以對以異常流量方式出現(xiàn)的攻擊行為告警。本系統(tǒng)需要檢測的基本的攻擊行為如下:(1)ICMP攻擊(2)TCP攻擊,包括但不限于SYN Flood、RST Flood(3)IP NULL攻擊(4)IP Fragmentation攻擊(5)IP Private Address Space攻擊(6)UDP Flood攻擊(7)掃描攻擊不同于以特征、規(guī)則和策略為基礎(chǔ)的入侵檢測系統(tǒng)(Intrusion Detection Systems),本研究著眼于建立正常情況下網(wǎng)絡(luò)流量的模型,通過該模型,流量異常檢測系統(tǒng)可以實時地發(fā)現(xiàn)所觀測到的流量與正常流量模型之間的偏差。當偏差達到一定程度引發(fā)流量分配的變化時,產(chǎn)生系統(tǒng)告警(ALERT),并由網(wǎng)絡(luò)中的其他設(shè)備來完成對攻擊行為的阻斷。系統(tǒng)的核心技術(shù)包括網(wǎng)絡(luò)正常流量模型的獲取、及對所觀察流量的匯聚和分析。由于當前網(wǎng)絡(luò)以IPv4為主體,網(wǎng)絡(luò)通訊中的智能分布在主機上,而不是集中于網(wǎng)絡(luò)交換設(shè)備,而在TCP/IP協(xié)議中和主機操作系統(tǒng)中存在大量的漏洞,況且網(wǎng)絡(luò)的使用者的誤用(misuse)也時有發(fā)生,這就使得網(wǎng)絡(luò)正常流量模型的建立存在很大的難度。為達到保障子網(wǎng)的正常運行的最終目的,在本系統(tǒng)中,采用下列方式來建立多層次的網(wǎng)絡(luò)流量模型:
(1)會話正常行為模型。根據(jù)IP報文的五元組(源地址、源端口、目的地址、目的端口和協(xié)議),TCP和UDP報文可以構(gòu)成流(flow)或偽流(pseudo-flow)。兩個五元組中源和目的相反的流可以構(gòu)成一個會話。由于ICMP的特殊性,對于ICMP的報文,分別進行處理:ICMP(query)消息構(gòu)成獨立會話,而ICMP錯誤(error)消息則根據(jù)報文中包含的IP報頭映射到由IP報頭所制定的會話中去。每一類協(xié)議(TCP/UDP/ICMP)的正常行為由一個有限狀態(tài)及刻畫。在這個狀態(tài)機中,如果一個事件的到來導致了錯誤狀態(tài)的出現(xiàn),那么和狀態(tài)機關(guān)聯(lián)的計數(shù)器對錯誤累加。協(xié)議狀態(tài)機是一種相對嚴格的行為模型,累加的錯誤計數(shù)本身并不一定代表發(fā)現(xiàn)了攻擊行為。
(2)流量規(guī)則特征模型。在正常的網(wǎng)絡(luò)流量中,存在著穩(wěn)定的規(guī)則特征。比如一個IP收到和發(fā)出的含SYN標志位和含F(xiàn)IN標志位的報文的比值、一個IP的出度和入度的比值以及一個IP的平均會話錯誤數(shù)等。這些網(wǎng)絡(luò)不變量是檢驗在一定時間區(qū)間內(nèi),一個IP是否行為異常的標準之一。這個模型要求對會話表中的會話摘要(一個含有會話特征的向量)進行匯聚,在會話正常行為模型基礎(chǔ)上增加攻擊行為判斷的準確程度。
(3)網(wǎng)絡(luò)流量關(guān)聯(lián)模型。把一些流量特征(如字節(jié)數(shù)、報文數(shù)、會話錯誤數(shù)等)在一定時間區(qū)間內(nèi)的累加值記錄下來,可以看作時間序列。通過對序列的分析,可以找到長期的均值、方差、周期、趨勢等特征。當攻擊行為發(fā)生時,觀察到的一些流量特征會偏離其長期特征。這種特征偏離的相關(guān)性就提供了判斷是否攻擊已發(fā)生的一個依據(jù)。
三、大規(guī)模流量異常檢測框架
異常檢測通常需要描述正常網(wǎng)絡(luò)行為,網(wǎng)絡(luò)行為模型越準確,異常檢測算法效果越好。在大規(guī)模流量異常檢測中通常通過網(wǎng)絡(luò)探針了解單個實體或結(jié)點的行為來推測整個網(wǎng)絡(luò)行為,基于網(wǎng)絡(luò)斷層成像(network tomography)思想通過使用探針測量推斷網(wǎng)絡(luò)特征,這是檢測非協(xié)作(noncooperative)網(wǎng)絡(luò)異常和非直接管理控制網(wǎng)絡(luò)異常的有效手段。對于單個管理域,基于實體研究可以向網(wǎng)絡(luò)管理者提供有用信息,例如網(wǎng)絡(luò)拓撲。在單個結(jié)點使用一些基本的網(wǎng)絡(luò)設(shè)計和流量描述的方法,可以檢測網(wǎng)絡(luò)異常和性能瓶頸。然后觸發(fā)網(wǎng)絡(luò)管理系統(tǒng)的告警和恢復(fù)機制。為了對大規(guī)模網(wǎng)絡(luò)的性能和行為有一個基本的了解,需要收集和處理大量網(wǎng)絡(luò)信息。有時,全局網(wǎng)絡(luò)性能信息不能直接獲得,只有綜合所獲得的本地網(wǎng)絡(luò)信息才能對全局網(wǎng)絡(luò)行為有個大致的了解。因為不存在準確的正常網(wǎng)絡(luò)操作的統(tǒng)計模型,使得難以描述異常網(wǎng)絡(luò)模型的統(tǒng)計行為,也沒有單個變量或參數(shù)能包括正常網(wǎng)絡(luò)功能的各個方面。需要從多個統(tǒng)計特征完全不同的矩陣中合成信息的問題。為解決該問題,有人提出利用操作矩陣關(guān)聯(lián)單個參數(shù)信息。但導致算法的計算復(fù)雜度較高,為了滿足異常檢測的實時性要求,本文關(guān)聯(lián)本地和全局數(shù)據(jù)檢測網(wǎng)絡(luò)異常。盡管本章利用行為模型對IP Forwarding異常進行檢測,但該方法并不僅限于檢測本地異常。通過關(guān)聯(lián)多條網(wǎng)絡(luò)鏈路的時間序列數(shù)據(jù),也可以檢測類似于空間的網(wǎng)絡(luò)異常。因此,該方法可以擴展到其他類型的大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)和其他大規(guī)模網(wǎng)絡(luò)異常。
參考文獻:
[1]司偉紅.淺析網(wǎng)絡(luò)攻擊常用方法.科技廣場,2006,7:36-38.
關(guān)鍵詞:入侵檢測;異常檢測;時間序列分析
中圖分類號:TP393文獻標識碼:A文章編號:1009-3044(2007)05-11229-02
1 引言
隨著科技進步和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展,信息產(chǎn)業(yè)及其應(yīng)用得到了巨大的發(fā)展,政府、金融、教育等企事業(yè)單位以及個人用戶等對網(wǎng)絡(luò)的依賴程度越來越高。同時也由此帶來了信息安全隱患,如何保障網(wǎng)絡(luò)與信息系統(tǒng)的安全已經(jīng)成為高度重視的問題。作為一種主動安全防護技術(shù),入侵檢測系統(tǒng)能夠檢測和識別來自外部或者內(nèi)部的異常活動或者入侵行為(例如,對計算機和網(wǎng)絡(luò)資源的惡意使用或者破壞、內(nèi)部用戶的未授權(quán)訪問等),己經(jīng)成為傳統(tǒng)計算機安全技術(shù)(如防火墻)的有益補充,是網(wǎng)絡(luò)安全領(lǐng)域研究的一個新熱點。
入侵檢測系統(tǒng)(Intrusion Detection System, IDS)是防火墻的合理補充。本文使用時間序列分析,設(shè)計和實現(xiàn)一個面向網(wǎng)絡(luò)流量異常的檢測系統(tǒng),實時地監(jiān)測和分析網(wǎng)絡(luò)中的異常流量,并采取相應(yīng)措施(如與防火墻聯(lián)動)來避免或抑止網(wǎng)絡(luò)掃描、Dos/DDoS攻擊、網(wǎng)絡(luò)蠕蟲病毒、惡意下載等網(wǎng)絡(luò)攻擊對局域網(wǎng)安全的威脅,保障網(wǎng)絡(luò)的正常運行,最大限度地發(fā)揮網(wǎng)絡(luò)的作用。
2 常見的網(wǎng)絡(luò)流量異常
網(wǎng)絡(luò)流量異常會嚴重影響網(wǎng)絡(luò)性能,造成網(wǎng)絡(luò)擁塞,嚴重的甚至會網(wǎng)絡(luò)中斷,使網(wǎng)絡(luò)設(shè)備利用率達到100%,無法響應(yīng)進一步的指令。造成網(wǎng)絡(luò)異常流量的原因可能有:網(wǎng)絡(luò)掃描、Ddos攻擊、網(wǎng)絡(luò)蠕蟲、惡意下載、用戶對網(wǎng)絡(luò)資源的不當使用以及物理鏈路損壞或者設(shè)備不能正常運轉(zhuǎn)等。
這些安全攻擊或威脅有一個共同點,即會引起網(wǎng)絡(luò)流量的急劇變化,它對網(wǎng)絡(luò)的影響主要體現(xiàn)在兩個方面:
(1)占用帶寬資源使網(wǎng)絡(luò)擁塞,造成網(wǎng)絡(luò)網(wǎng)絡(luò)丟包或時延增大,嚴重時可導致網(wǎng)絡(luò)不可用;
(2)占用網(wǎng)絡(luò)設(shè)備系統(tǒng)資源(CPU、內(nèi)存等),使網(wǎng)絡(luò)不能正常的服務(wù)。
3 面向流量異常檢測的數(shù)學建模
本文設(shè)計和實現(xiàn)面向流量異常的網(wǎng)絡(luò)檢測系統(tǒng),是在基于網(wǎng)絡(luò)行為學的研究結(jié)果。網(wǎng)絡(luò)行為學認為網(wǎng)絡(luò)的流量行為具有長期特征和短期特征。網(wǎng)絡(luò)長期特征表現(xiàn)在網(wǎng)絡(luò)行為具有一定的規(guī)律性和穩(wěn)定性。能夠?qū)钟蚓W(wǎng)的流量或者某些關(guān)鍵主機的流量情況進行實時監(jiān)測,及早發(fā)現(xiàn)和識別入侵攻擊的發(fā)生。
網(wǎng)絡(luò)流量模型依據(jù)的數(shù)學理論基礎(chǔ)的不同,大致可以分為4大類:馬爾可夫類模型、自回歸類模型、長程依賴類流量模型,漏桶類模型[1]。其中,自回歸模型定義下一個業(yè)務(wù)流量變量作為前一個變量的一個明確的函數(shù),即利用前一段時間變量的數(shù)據(jù)來預(yù)測該變量的下一個時間的值,在一個時間窗口中,由目前向過去延伸。多個研究結(jié)果表明,它可以有效地用于網(wǎng)絡(luò)流量行為的實時預(yù)測和控制。因此,可以通過對統(tǒng)計的歷史統(tǒng)計量數(shù)據(jù)進行分析,為網(wǎng)絡(luò)流量建立合理的統(tǒng)計模型,并作為檢測系統(tǒng)的異常檢測引擎。
首先在局域網(wǎng)的總出口處連續(xù)的采集進出網(wǎng)絡(luò)的流量數(shù)據(jù),觀測時間為4周(每周7個工作日),建立網(wǎng)絡(luò)的正常行為模式。從采集到的數(shù)據(jù)序列,可以看出,網(wǎng)絡(luò)的帶寬利用率(或者總流量)和單播/非單播包比率具有明顯的周期性特征,但它是一個不平穩(wěn)的序列,可以采用時間序列分析的方法為它們建立統(tǒng)計模型[2]。
對帶寬利用率和單播/非單播包比率這兩個統(tǒng)計量的時間序列模型可以按如下步驟建立,并用于異常流量的檢測。
(1)原始數(shù)據(jù)處理
首先,采集4周28個工作日的數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)采集系統(tǒng)在工作中有時會引入一些虛假數(shù)據(jù),因此,在整個數(shù)據(jù)分析過程中,最好先進行異點的檢測和剔除,以便確保這些值是體現(xiàn)正常網(wǎng)絡(luò)行為。根據(jù)格拉布斯準則,如果x表示x1,x2,x3,x4的在一周內(nèi)的某一時刻的平均值(4周數(shù)據(jù)的平均),v表示它們的標準差,即,如果xi滿足|xi|>kv,則xi為異常值,應(yīng)剔除不用。 x1,x2,x3,x4中剩余的求平均。其中k是格拉布斯準則系數(shù),與置信區(qū)間為95%相對應(yīng)的k=1.46。這樣,得到了4周歷史數(shù)據(jù)的10080個時刻的平均值。再采用方差分析的方法的方法對序列進行平穩(wěn)化,這樣就可以把網(wǎng)絡(luò)流量的局部看成統(tǒng)計上近似的平穩(wěn)。然后將這個局部作為一個滑動時間窗口,窗口的大小設(shè)為N。用這N個局部流量數(shù)據(jù)建立ARMA(n,n-1)模型,來判斷第N+1個數(shù)據(jù)是否異常(在實時異常檢測中,只需要將時間窗口不斷往前依次滑動[3]。
(2)模型的確定和模型參數(shù)的估計
在建模策略上,系統(tǒng)建模法采用ARMA(n,n-1)模型逼近序列{xt},即
為使建模過程計算盡量簡單,降低階數(shù),我們用直線擬合樣本數(shù)據(jù)的趨勢,然后提取趨勢項。對提取趨勢項后的數(shù)據(jù)進行建模研究。
文中建模時的初始猜測值采用逆函數(shù)方法確定。它的基本原理是:逆函數(shù)系數(shù)本身是ARMA模型無窮展開式的自回歸參數(shù),所以對于一個ARMA,可以用無窮階AR模型去逼近。對于ARMA(2n,2n-1),需要擬和一個AR(2n-1)模型。這一步可以通過求解Yule-Walker方程方法容易地估出AR的系數(shù)Φi。把這些AR模型的系數(shù)Φi作為ARMA(n,n-1)模型的逆函數(shù)系數(shù)Ii。逆函數(shù)系數(shù)的公式如下
將式(2)代入式(1)可以得到算子恒等式,再利用相應(yīng)的系數(shù)相等的方法,得到ARMA(n,n-1)的滑動平均系數(shù)Φi,最后利用已知的Φi和Ii求出作為AR模型系數(shù)Φi的初始估計值。這樣可以得到ARMA(n,n-1)模型的初始參數(shù)Φi和θi。該方法的整個過程都僅涉及到線性方程組的求解,因而計算簡便易于實現(xiàn),是對高階ARMA模型進行參數(shù)初估計的有效方法。這種參數(shù)初估計方法不但具有在計算機上容易實現(xiàn)的特點,而且與當前常用的參數(shù)初估計方法相比,在參數(shù)估計精度上有了較大的提高。
由于最終的ARMA模型方程對參數(shù)是非線性的,文章用非線性最小二乘法來逐步逼近的方式來實現(xiàn)殘差平方和的極小化。這個方法從諸參數(shù)的初始值開始,利用下式遞歸計算殘差并求得平方和
一旦在參數(shù)空間中達到平方和較小的那一點時,則以此點為初始值開始新一次的迭代,迭代一直持續(xù)到達到規(guī)定的允許誤差為止。文中利用全局收斂的Levenberg-Marquardt修正的高斯-牛頓法算法來迭代計算殘差。一旦達到誤差要求,就可以得到模型的參數(shù)和階數(shù)。這個方法還可利用局部線性的假設(shè),借助線性最小二乘理論求得各估計參數(shù)的近似置信區(qū)間。
(3)模型適用性檢驗
文中所用的檢驗判據(jù)是F檢驗。 ,式中A0是不受限模型的平方和(較小),A1是受限模型的平方和(較大),F(xiàn)(s,N-r)是具有s和N-r個自由度的F-分布。其中殘差平方和的公式為:RSS=∑a 。用F檢驗來驗證在階數(shù)增加的過程中殘差的平方和是否顯著,從而確定在那個顯著性水平上,模型是否合適。同時F判據(jù)還可以作為擬合ARMA(2n,2n-1)系列時的停止判據(jù)。一旦決定停止在ARMA(2n,2n-1)模型上時,還可以進一步用F-判據(jù)判斷是否自回歸階次為奇數(shù)。在決定了最終的模型后,也可以用F-判據(jù)去判斷是否還有其他理想的模型形式是合適的。
在使用F-判據(jù)的同時,還必須使用殘差的自相關(guān)檢驗x2來作為進一步的實用性檢驗。x2分布是表征相互獨立的諸標準正態(tài)變量平方和的一個分布, 。使用殘差的自相關(guān)檢驗來判斷殘差的相互獨立性,從而確定殘差是否是白噪聲序列,進一步確定模型是否合理。
3 入侵檢測系統(tǒng)的功能模塊設(shè)計
根據(jù)系統(tǒng)的功能需求,可以將流量異常檢測原型系統(tǒng)分成5個基本模塊:流量采集模塊、流量統(tǒng)計模塊、流量異常檢測模塊,報警和響應(yīng)模塊以及人機交互界面。系統(tǒng)的體系結(jié)構(gòu)如圖1所示。
系統(tǒng)的工作原理是:在局域網(wǎng)的總出口(或被監(jiān)控的核心主機附近的采集點)采集流量數(shù)據(jù);對每個數(shù)據(jù)包進行分類并統(tǒng)計相關(guān)流量信息(如協(xié)議和端口使用量等),將這些統(tǒng)計值保存到特定的存儲結(jié)構(gòu):并采用異常檢測模塊對這些流量數(shù)據(jù)進行分析;對于識別出的異常流量分析特征,并通過修改防火墻的規(guī)則或者受害主機隔離等方式來抑止和阻斷這些網(wǎng)絡(luò)攻擊的進一步發(fā)展。最后,安全管理人員可以通過人機交互模塊對查看系統(tǒng)的工作狀態(tài)并對系統(tǒng)進行配置和管理[4]。
圖1 系統(tǒng)的體系結(jié)構(gòu)
圖1中的5個模塊的功能分別如下:
(1)流量采集模塊。局域網(wǎng)的總出口或者網(wǎng)絡(luò)中被監(jiān)控的核心服務(wù)器附近設(shè)置流量采集點,采集所有流經(jīng)該采集點的流量數(shù)據(jù);
(2)流量統(tǒng)計模塊。對所有捕獲的網(wǎng)絡(luò)數(shù)據(jù)包進行拆分,統(tǒng)計各種協(xié)議的包的協(xié)議類型、源/目標地址、端口、大小、標識位等信息。然后,該模塊以分鐘為時間粒度,統(tǒng)計網(wǎng)絡(luò)帶寬利用率、單播/非單播包比率、應(yīng)用層協(xié)議包數(shù)量、SYN(SYN+ACK)包比率等統(tǒng)計量進行存儲,等待進一步的處理;
(3)異常檢測模塊。該模塊通過分析網(wǎng)絡(luò)流量的幾個統(tǒng)計量來描述其正常的行為模式或者狀態(tài)。其中網(wǎng)絡(luò)帶寬利用率、單播/非單播包比率是與時間相關(guān)的統(tǒng)計量,采用時間序列分析的方法為它們建立ARMA(2,1)模型,并用于檢測這些統(tǒng)計量序列中的異常。通過綜合這些統(tǒng)計量的異常情況,識別出網(wǎng)絡(luò)流量中的異常情況,并產(chǎn)生安全事件消息;
(4)報警和響應(yīng)模塊。如果檢測到異常流量,首先需要報警,使系統(tǒng)和系統(tǒng)管理員可以根據(jù)情況選擇不同的處理方法。然后,系統(tǒng)根據(jù)報警級別和安全響應(yīng)策略采取兩種更為主動的響應(yīng)方式,即防火墻聯(lián)動和主機隔離;
(5)人機交互界面。采用基于Web的用戶管理,通過該交互界面可以實現(xiàn)信息查看、闡值設(shè)定以及處理報警等功能。系統(tǒng)應(yīng)該對于檢測出的異常主機進行標記,標記異常的類型、統(tǒng)計量、閡值指標、消息以及異常發(fā)生的時間等情況,給系統(tǒng)管理員報告一個異常信息。
4 系統(tǒng)實現(xiàn)與測試
原型系統(tǒng)在Windows 2000環(huán)境采用VC++6.0開發(fā),采用SQL Sever 2000作為安全事件數(shù)據(jù)庫、安全日志、安全響應(yīng)策略庫等的后臺數(shù)據(jù)庫。
實驗結(jié)果表明,本文設(shè)計和實現(xiàn)的網(wǎng)絡(luò)流量異常檢測原型系統(tǒng)對于網(wǎng)絡(luò)掃描、Dos/Ddos、蠕蟲等類型的網(wǎng)絡(luò)攻擊和入侵具有明顯的檢測效果。但是,相對于紛繁變化的網(wǎng)絡(luò)攻擊手段,限于軟硬件環(huán)境和統(tǒng)計分析技術(shù)的缺陷,系統(tǒng)的異常檢測能力還不是很完善,存在著一些不足之處這些都還有待改進。因此,本文的主要目的是希望為同類型的入侵檢測系統(tǒng)或者網(wǎng)絡(luò)異常檢測系統(tǒng)的設(shè)計和開發(fā)提供一種思路和模式,也為建立局域網(wǎng)的立體縱深、多層次防御系統(tǒng)進行一些有益的嘗試。
參考文獻:
[1]宋獻濤.等.入侵檢測系統(tǒng)的分類學研究[J].計算機工程與應(yīng)用,2002,38(8):132-13.
[2]孫欽東,張德運,高鵬.并行入侵檢測系統(tǒng)的負載均衡算法[J].小型微型計算機,2004,25(12): 2215-2217.
[3]李信滿,趙大哲,趙宏.基于應(yīng)用的高速網(wǎng)絡(luò)入侵檢測系統(tǒng)研究[J].通信學報,2002, 23(9):1-7.
>> 基于支持向量機的網(wǎng)絡(luò)流量分類方法 一種基于多維支持向量機的P2P網(wǎng)絡(luò)流量識別模型 基于支持向量機的地鐵客流量預(yù)測 支持向量機的半監(jiān)督網(wǎng)絡(luò)流量分類方法 基于組合優(yōu)化理論的無線網(wǎng)絡(luò)流量建模與預(yù)測 基于支持向量機的Freegate軟件流量檢測研究 基于小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測 基于徑向基神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測 基于小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測研究 基于改進Elman神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測 基于改進小波神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測研究 基于BP神經(jīng)網(wǎng)絡(luò)的非線性網(wǎng)絡(luò)流量預(yù)測 一種基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量組合預(yù)測模型 基于支持向量機的股指期貨合約價格預(yù)測 基于支持向量機的債券時間序列預(yù)測 基于支持向量機回歸的中國CPI預(yù)測研究 基于免疫支持向量機預(yù)測模型的研究 基于支持向量機的短期負荷預(yù)測 基于支持向量機的短期電力負荷預(yù)測 基于長相關(guān)網(wǎng)絡(luò)流量預(yù)測分析 常見問題解答 當前所在位置:l上獲得),按5分鐘的時間尺度對該流量序列做聚集操作,獲得了用于建模的流量序列,記為TSb,長度為250。
核函數(shù)選擇徑向基函數(shù),動態(tài)調(diào)整法選取參數(shù)后,流量預(yù)測結(jié)果如圖1所示,預(yù)測RMSE為2.5136,RRMSE為0.021。各項誤差指標對比如表1所列,在參數(shù)優(yōu)化后, RMSE和RRMSE都少了,表明參數(shù)優(yōu)化后的效果優(yōu)于優(yōu)化前。
5 結(jié)論
網(wǎng)絡(luò)流量工程對于大規(guī)模網(wǎng)絡(luò)的規(guī)劃設(shè)計、網(wǎng)絡(luò)資源管理以及實現(xiàn)網(wǎng)絡(luò)入侵檢測等方面都具有積極的意義,而流量建模與預(yù)測是網(wǎng)絡(luò)流量工程的重要組成部分。傳統(tǒng)的流量時間序列模型只適合于分析平穩(wěn)過程及特殊的非平穩(wěn)過程,難以刻畫大規(guī)模網(wǎng)絡(luò)的復(fù)雜流量行為。文中采用支持向量機回歸方法進行網(wǎng)絡(luò)流量預(yù)測,首先對觀測序列進行歸一化預(yù)處理,根據(jù)訓練樣本動態(tài)調(diào)整參數(shù)后,再進行預(yù)測。從實際預(yù)測結(jié)果來看,該方法具有較好的預(yù)測效果。
參考文獻:
[1] Kantz H.非線性時間序列分析[M].北京:清華大學出版社,2000.
[2] Chen Bor-Sen ,Peng Sen-Chueh,Wang Ku-Chen. Traffic Modeling,Prediction,and Congestion Control for High-Speed Networks:A Fuzzy AR Approach[J].IEEE Transaction on Fuzzy Systems,2000 ,8(5)
[3] Vapnik V N. Statistical Learning Theory [M].New York Wiley,1998.
[4] 劉勝,李妍妍.自適應(yīng)GA-SVM 參數(shù)選擇算法研究[J]. 哈爾濱工程大學學報,2007,28(4).
[5] 魏海坤.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的理論與方法[M].北京:國防工業(yè)出版社,2005.
關(guān)鍵詞:ITS 3G網(wǎng)絡(luò) 交通流量 數(shù)據(jù)傳輸
中圖分類號:TP368 文獻標識碼:A 文章編號:1007-9416(2012)07-0028-02
智能交通系統(tǒng)通過實時、準確、高效和多方位的檢測監(jiān)控設(shè)備,檢測有關(guān)車道占有率、車流量、行車速度等交通流量信息,利用有線以及無線通信網(wǎng)絡(luò)傳輸檢測數(shù)據(jù)信息,使得交通主管部門能夠詳實的數(shù)據(jù),處理交通流量數(shù)據(jù),充分發(fā)揮現(xiàn)有交通基礎(chǔ)設(shè)施潛力,改善交通安全以及緩解交通擁擠,提高整個路網(wǎng)的運輸效率和通行能力;既能夠降低油耗,減少廢氣排放,降低、對環(huán)境的污染[2],又能夠提高交通出行的方便性、安全性,節(jié)約運輸成本,提高社會效益和經(jīng)濟效益。
1、交通流量檢測技術(shù)
交通流量檢測是智能交通系統(tǒng)的基礎(chǔ)部分,其在交通監(jiān)控、交通誘導、交通應(yīng)急指揮等研究應(yīng)用中占有很重要的地位。主要是通過各種檢測設(shè)備對路面行駛車輛進行探測,獲取相關(guān)交通參數(shù),包括各車道的車流量、車道占有率,車速、車型、車頭時距等,以達到對公路各路段交通狀況及異常事件的自動檢測、監(jiān)控、報警等目的。交通流量檢測方式一種是接觸式[3][4],其主要分為壓電、壓力管探測、環(huán)行線圈探測和磁力式探測,其特點是埋藏在路面之下,當汽車經(jīng)過采集裝置上方時會引起相應(yīng)的壓力、電場或磁場的變化,最后采集裝置將這些力和場的變化轉(zhuǎn)換為所需要的交通信息;另一種是非接觸式[5],主要分為微波、超聲波和紅外、和視頻探測等,除了超聲波探測只能進行單車道交通信息采集外,其余都可同時進行多車道交通信息采集,其安裝維護簡單,發(fā)展非常迅速。
2、交通流量檢測需求分析
智能交通系統(tǒng)應(yīng)用了計算機技術(shù)、信息技術(shù)、通信技術(shù)和控制技術(shù)等新技術(shù),把人、車、路緊密聯(lián)系起來,通過對交通流信息進行實時檢測,掌握道路交通的運行情況,根據(jù)交通流的動態(tài)變化,迅速做出交通誘導控制,不僅有效的解決了交通阻塞問題,而且對交通事故的應(yīng)急處理、環(huán)境的保護、能源的節(jié)約都有顯著的效果。它是以交通指揮中心為主體,并隨著科技發(fā)展和管理方法的改進在不斷完善中。交通流量檢測系統(tǒng)和通信系統(tǒng)是智能交通系統(tǒng)的關(guān)鍵。交通流量檢測系統(tǒng)主要完成提取流量數(shù)據(jù)所需的原始信息的采集工作,可通過地感線圈、激光、紅外或視頻方法,檢測與識別交通流、路況等實時監(jiān)視,提取交通流信息(車流量、車道占有率、車速等);通信系統(tǒng)是數(shù)據(jù)采集和數(shù)據(jù)處理的橋梁,它是將原始數(shù)據(jù)信息通過有線網(wǎng)絡(luò)或是無線網(wǎng)絡(luò)傳輸?shù)浇煌ūO(jiān)控中心,監(jiān)控中心處理原始數(shù)據(jù),進而對得到的信息進行進一步地分析,判斷該路段的交通擁塞狀況,監(jiān)督異常事故的發(fā)生,在交通擁擠未發(fā)生時交通信息,及時采取分流措施,疏導交通,防止交通擁擠發(fā)生。智能交通系統(tǒng)的結(jié)構(gòu)圖如圖1所示。
目前智能交通系統(tǒng)中使用的有線傳輸主要采用標準RS-232或是光纖通信等,在距離監(jiān)控中心較遠且供電不便利的重點路段、橋隧等地區(qū),或者一些臨時性的設(shè)備通信,傳統(tǒng)的有線連接便顯得十分不方便,因此希望以一種低成本、高可靠性的無線傳輸方案來代替?zhèn)鹘y(tǒng)的有線方式。3G網(wǎng)絡(luò)技術(shù)可以方便實現(xiàn)設(shè)備之間的無線連接,具有低成本、低功耗、高速率、組網(wǎng)靈活等特點,其通信架設(shè)方便,供電可以采用蓄電池或太陽能電池板等,是實現(xiàn)無線數(shù)據(jù)采集系統(tǒng)的理想選擇。
3、3G網(wǎng)絡(luò)技術(shù)傳輸架構(gòu)
第三代移動通信技術(shù)(3rd-generation,3G)[6],主要是支持高速數(shù)據(jù)傳輸?shù)姆涓C移動通訊技術(shù)。目前3G標準分別是WCDMA、CDMA2000和TD-SCDMA。3G網(wǎng)絡(luò)架構(gòu)由無線接入網(wǎng)絡(luò)(RAN)和核心網(wǎng)絡(luò)(CN)組成。其中,RAN用于處理所有與無線有關(guān)的功能,而CN則處理3G系統(tǒng)內(nèi)所有的話音呼叫和數(shù)據(jù)連接,并實現(xiàn)與外部網(wǎng)絡(luò)的交換和路由功能,CN從邏輯上可分為電路交換域(CS)和分組交換域(PS)。3G網(wǎng)絡(luò)分為核心網(wǎng)和接入網(wǎng),UMTS 陸地無線接入網(wǎng)(UTRAN)、CN與用戶設(shè)備(UE)一起構(gòu)成了整個無線系統(tǒng)[7],如圖2所示,體現(xiàn)出分層建設(shè)的特點:骨干層傳輸設(shè)備位于網(wǎng)絡(luò)的骨干或核心節(jié)點,具有大容量的業(yè)務(wù)調(diào)度功能,強調(diào)業(yè)務(wù)的中繼和傳送能力;接入層傳輸設(shè)備覆蓋在城域的各熱點地區(qū),完成業(yè)務(wù)的接入,體現(xiàn)出低成本、業(yè)務(wù)處理能力弱的特點;匯聚層設(shè)備連接骨干層和接入層,完成MADM之間的業(yè)務(wù)整合和匯聚功能。
4、智能交通檢測系統(tǒng)架構(gòu)及連接拓撲圖
智能交通檢測系統(tǒng)的結(jié)構(gòu)分為交通信息采集系統(tǒng)、交通信息數(shù)據(jù)傳輸和交通信息處理整合審核管理三大子系統(tǒng),分為二層結(jié)構(gòu),信息數(shù)據(jù)層和信息應(yīng)用基礎(chǔ)層。具體結(jié)構(gòu)如圖3所示。
交通信息采集是整個系統(tǒng)的基石,其采集主要是通過設(shè)置在公路上交通流量檢測器、視頻監(jiān)控的信息采集設(shè)備以及其他方式,獲得真實的、可靠及時的交通流量狀況、突發(fā)事件等有關(guān)交通的信息,同時與其他相關(guān)部門的數(shù)據(jù)共享,及時動態(tài)獲得各種信息。
交通通信系統(tǒng)是將現(xiàn)場的交通流量的檢測設(shè)備檢測到的信息,通過有線或者無線傳輸系統(tǒng),傳輸?shù)奖O(jiān)控中心,在那里進行集合與整理。如距離比較近,可以采用光纖與標準RS-232等進行傳輸;當檢測設(shè)備距離監(jiān)控中心較遠,布設(shè)數(shù)據(jù)線與供電不方便處,就可以采用3G網(wǎng)絡(luò)進行無線數(shù)據(jù)傳輸,同時采用蓄電池或是太陽能電池板進行供電。
交通信息處理整合是集合與整理,去偽存真,而這些是需要大量人力、物力以及先進的網(wǎng)絡(luò)設(shè)備和技術(shù)。將與交通流量有關(guān)的信息自動統(tǒng)計匯總,通過人工智能決策系統(tǒng),或是人工分析處理的方法,確定暢通路線、擁擠路段、交通的氣象信息等,并且存儲到數(shù)據(jù)庫中。
根據(jù)交通部門的對交通流量需求,對交通數(shù)據(jù)進行采集,同時集成其他有關(guān)交通的部門有關(guān)交通流量的信息,通過無線或是3G網(wǎng)絡(luò)進行傳輸,傳輸?shù)浇煌ūO(jiān)控指揮中心,進而進行數(shù)據(jù)集合和整理,其連接拓撲圖如圖4。
5、結(jié)語
目前,智能交通系統(tǒng)發(fā)展應(yīng)用的時期,建立和完善交通流量數(shù)據(jù)采集與傳輸系統(tǒng)來滿通出、交通管理以及應(yīng)急指揮的需要是當務(wù)之急。隨著智能交通系統(tǒng)的實施及應(yīng)用的逐步發(fā)展,充分利用新技術(shù)先進設(shè)備建設(shè)的高標準高質(zhì)量的3G網(wǎng)絡(luò)傳輸技術(shù),其多樣化的數(shù)據(jù)傳輸設(shè)置,有利于智能交通系統(tǒng)更大的應(yīng)用,它的建成以及所采用的各類設(shè)施設(shè)備各種技術(shù)為交通運輸和交通管理的安全暢通發(fā)揮了十分重要的作用,將會在實際使用中取得了很好的效果,達到了預(yù)期的建設(shè)目標。
參考文獻
[1]夏勁,郭紅衛(wèi).國內(nèi)外城市智能交通系統(tǒng)的發(fā)展概況與趨勢及其啟示[J].科技進步與對策.2003年01期.P176-179.
[2]葉文進.高速公路出行綜合信息服務(wù)系統(tǒng)分析[J].中國交通信息化,2010(6):125-128.
[3]MARGRIT BETKE,ESIN HARITAOGLU, LARRY S DAVIS. Multiple Vehicle Detection and Tracking in Hard Real-Time[J].IEEE,1996,(9):351~356.
[4]JUNG SOH, BYUNG TAE CHUN, MIN WANG. Analysis of Road Image Sequences for Vehicle Counting,[J].IEEE International Conferenceon,1995,(1):679~683.
[5]劉東.ITS中的車輛檢測技術(shù)[J]北京:公安大學學報(自然科學版),2000,20(4):35~39.
1網(wǎng)絡(luò)流量監(jiān)測的必要性及意義
網(wǎng)絡(luò)管理中非常重要且非常基礎(chǔ)的一個環(huán)節(jié)就是網(wǎng)絡(luò)流量監(jiān)測,網(wǎng)絡(luò)流量監(jiān)測即是通過對網(wǎng)絡(luò)數(shù)據(jù)的連續(xù)采集,以此來監(jiān)測網(wǎng)絡(luò)的流量。網(wǎng)絡(luò)及其重要成分的性能指標也是對網(wǎng)絡(luò)流量數(shù)據(jù)的統(tǒng)計和計算得到的。網(wǎng)絡(luò)管理員根據(jù)當前的和歷史的存儲網(wǎng)絡(luò)及其重要成分的性能的數(shù)據(jù)數(shù)據(jù),就可對網(wǎng)絡(luò)及其主要成分的性能進行性能管理,通過數(shù)據(jù)分析獲得性能的變化趨勢。分析制約網(wǎng)絡(luò)性能的瓶頸問題。在網(wǎng)絡(luò)流量監(jiān)測的基礎(chǔ)上,管理員可對感興趣的網(wǎng)絡(luò)管理對象設(shè)置閾值范圍以配置網(wǎng)絡(luò)閾值對象,閾值對象監(jiān)控實時輪詢網(wǎng)絡(luò)獲取定義對象的當前值。若超出閥值的上限和下限則報警,幫助管理員發(fā)現(xiàn)網(wǎng)絡(luò)瓶頸,這樣即可實現(xiàn)一定程度上的故障管理,而網(wǎng)絡(luò)流量監(jiān)測本身也涉及到安全管理方面的內(nèi)容。所以,研究網(wǎng)絡(luò)流量監(jiān)測是非常有意義的。
2網(wǎng)絡(luò)流量的特性
2.1數(shù)據(jù)流是雙向的,但通常是非對稱的。互聯(lián)網(wǎng)上大部分的應(yīng)用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡(luò)的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異,這是因為從網(wǎng)站下載時會導致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。
2.2大部分TCP會話是短期的。超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。1.3包的到達過程不是泊松過程大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡(luò)設(shè)計都假設(shè)包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數(shù)分布。然而近年來對互聯(lián)網(wǎng)絡(luò)通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數(shù)分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達,即包的到達是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結(jié)構(gòu)的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡(luò)的可靠性,從而促進了網(wǎng)絡(luò)通信量模型的研究。
2.3網(wǎng)絡(luò)通信量具有局域性。互聯(lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應(yīng)用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(guān)(時間局域性)和基于空間的相關(guān)(空間局域性)。
3網(wǎng)絡(luò)流量的監(jiān)測技術(shù)與方法
3.1網(wǎng)絡(luò)流量的監(jiān)測技術(shù)種類
(1)基于流量鏡像協(xié)議分析。流量鏡像(在線TAP)協(xié)議分析方式是把網(wǎng)絡(luò)設(shè)備的某個端口(鏈路)流量鏡像給協(xié)議分析儀,通過7層協(xié)議解碼對網(wǎng)絡(luò)流量進行監(jiān)測。與其他3種方式相比,協(xié)議分析是網(wǎng)絡(luò)測試的最基本手段,特別適合網(wǎng)絡(luò)故障分析。缺點是流量鏡像(在線TAP)協(xié)議分析方式只針對單條鏈路,不適合全網(wǎng)監(jiān)測。
(2)基于硬件探針的監(jiān)測技術(shù)。硬件探針是一種用來獲取網(wǎng)絡(luò)流量的硬件設(shè)備,使用時將它串接在需要捕捉流量的鏈路中,通過分流鏈路上的數(shù)字信號而獲取流量信息。一個硬件探針監(jiān)視一個子網(wǎng)(通常是一條鏈路)的流量信息。對于全網(wǎng)流量的監(jiān)測需要采用分布式方案,在每條鏈路部署一個探針,再通過后臺服務(wù)器和數(shù)據(jù)庫,收集所有探針的數(shù)據(jù),做全網(wǎng)的流量分析和長期報告。與其他的3種方式相比,基于硬件探針的最大特點是能夠提供豐富的從物理層到應(yīng)用層的詳細信息。但是硬件探針的監(jiān)測方式受限于探針的接口速率,一般只針對1000M以下的速率。而且探針方式重點是單條鏈路的流量分析,Netflow更偏重全網(wǎng)流量的分析。
(3)基于SNMP的流量監(jiān)測技術(shù)。基于SNMP的流量信息采集,實質(zhì)上是測試儀表通過提取網(wǎng)絡(luò)設(shè)備Agent提供的MIB(管理對象信息庫)中收集一些具體設(shè)備及流量信息有關(guān)的變量。相似的方式還包括RMON。與其他的方式相比,基于SNMP的流量監(jiān)測技術(shù)受到設(shè)備廠家的廣泛支持,使用方便,缺點是信息不夠豐富和準確,分析集中在網(wǎng)絡(luò)的2、3層的信息和設(shè)備的消息。SNMP方式經(jīng)常集成在其他的3種方案中,如果單純采用SNMP做長期的、大型的網(wǎng)絡(luò)流量監(jiān)控,在測試儀表的基礎(chǔ)上,需要使用后臺數(shù)據(jù)庫。
(4)基于Netflow的流量監(jiān)測技術(shù)。Netflow流量信息采集是基于網(wǎng)絡(luò)設(shè)備(Cisco)提供的Netflow機制實現(xiàn)的網(wǎng)絡(luò)流量信息采集。Netflow為Cisco之專屬協(xié)議,已經(jīng)標準化,并且Juniper、extreme、華為等廠家也逐漸支持,Netflow由路由器、交換機自身對網(wǎng)絡(luò)流量進行統(tǒng)計,并且把結(jié)果發(fā)送到第3方流量報告生成器和長期數(shù)據(jù)庫。一旦收集到路由器、交換機上的詳細流量數(shù)據(jù)后,便可為網(wǎng)絡(luò)流量統(tǒng)計、網(wǎng)絡(luò)使用量計價、網(wǎng)絡(luò)規(guī)劃、病毒流量分析,網(wǎng)絡(luò)監(jiān)測等應(yīng)用提供計數(shù)根據(jù)。Netflow方式是網(wǎng)絡(luò)流量統(tǒng)計方式的發(fā)展趨勢。在綜合比較四種技術(shù)之后,不難得出以下結(jié)論:基于SNMP的流量監(jiān)測技術(shù)能夠滿足網(wǎng)絡(luò)流量分析的需要,且信息采集效率高,適合在各類網(wǎng)絡(luò)中應(yīng)用。
3.2網(wǎng)絡(luò)流量的監(jiān)測方法
流量監(jiān)測包括測量工具/系統(tǒng)的部署、流量數(shù)據(jù)的采集(包括數(shù)據(jù)包捕獲、歸并和采樣處理等)、數(shù)據(jù)包的解析和處理、測量實體量化數(shù)值的獲得與統(tǒng)計分析、流量特征化描述、流量存儲和查詢表示、流量建模等多個環(huán)節(jié),具有相對復(fù)雜的處理和分析過程。目前存在有眾多種流量測量的實現(xiàn)方法,他們可適用不同的測量環(huán)境、滿足不同的測量要求,并且有著不同的實現(xiàn)方式。基于硬件的測量通常需要設(shè)計和應(yīng)用特定的硬件設(shè)備來對流量數(shù)據(jù)進行采集和分析。被測量的流量并非由普通的商用計算機直接獲得,而是需要從服務(wù)器、交換機、路由器等特定的網(wǎng)絡(luò)設(shè)備上經(jīng)過一定處理后導出,然后再由普通的商用計算機完成后續(xù)的流量處理和統(tǒng)計分析等工作。不同形式的數(shù)據(jù),對應(yīng)要求在普通的商用計算機上通過不同的程序或軟件實現(xiàn)相應(yīng)的流量處理和統(tǒng)計分析功能。
【論文摘要】:網(wǎng)絡(luò)流量性能測量是網(wǎng)絡(luò)管理和系統(tǒng)管理的一個重要組成部分,為網(wǎng)絡(luò)的運行和維護提供了重要信息,問時也是網(wǎng)絡(luò)流量具體建模、分析的必要前提和手段。網(wǎng)絡(luò)流量的測量方法分為主動測量和被動測量。兩種測量方法各有優(yōu)缺點,分別用于不同的場合。針對網(wǎng)絡(luò)流量的測量展開系統(tǒng)性的研究將對Internet行為學方面的研究取得理論突破具有重要意。
網(wǎng)絡(luò)流量性能測量與分析涉及許多關(guān)鍵技術(shù),如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協(xié)同工作,網(wǎng)絡(luò)測量體系結(jié)構(gòu)的搭建,性能指標的量化,性能指標的模型化分析,對網(wǎng)絡(luò)未來狀態(tài)進行趨勢預(yù)測,對海量測量數(shù)據(jù)進行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊論)研究其自相似特征,測量與分析結(jié)果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網(wǎng)絡(luò)中采用網(wǎng)絡(luò)性能監(jiān)測技術(shù),可以實現(xiàn)
1.1 合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)性能
為更好的管理和改善網(wǎng)絡(luò)的運行,網(wǎng)絡(luò)管理者需要知道其網(wǎng)絡(luò)的流量情況和盡量多的流量信息。通過對網(wǎng)絡(luò)流量的監(jiān)測、數(shù)據(jù)采集和分析,給出詳細的鏈路和節(jié)點流量分析報告,獲得流量分布和流向分布、報文特性和協(xié)議分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2 基于流量的計費
現(xiàn)在lSP對網(wǎng)絡(luò)用戶提供服務(wù)絕大多數(shù)還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網(wǎng)絡(luò)提供者不能夠統(tǒng)計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網(wǎng)時長、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實現(xiàn)基于時間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的交費標準。
1.3 網(wǎng)絡(luò)應(yīng)用狀況監(jiān)測與分析
了解網(wǎng)絡(luò)的應(yīng)用狀況,對研究者和網(wǎng)絡(luò)提供者都很重要。通過網(wǎng)絡(luò)應(yīng)用監(jiān)測,可以了解網(wǎng)絡(luò)上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡(luò)應(yīng)用的使用情況,研究者可以據(jù)此研究新的協(xié)議與應(yīng)用,網(wǎng)絡(luò)提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡(luò)。
1.4 實時監(jiān)測網(wǎng)絡(luò)狀況
針對網(wǎng)絡(luò)流量變化的突發(fā)性特性,通過實時監(jiān)測網(wǎng)絡(luò)狀況,能實時獲得網(wǎng)絡(luò)的當前運行狀況,減輕維護人員的工作負擔。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時發(fā)出自動告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測。現(xiàn)在隨著Internet網(wǎng)絡(luò)不斷擴大,網(wǎng)絡(luò)中也經(jīng)常會出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡(luò)突發(fā)事件從設(shè)備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡(luò)管理員感到棘手。因此,針對網(wǎng)絡(luò)中突發(fā)性的異常流量分析將有助于網(wǎng)絡(luò)管理員發(fā)現(xiàn)和解決問題。
1.5 網(wǎng)絡(luò)用戶行為監(jiān)測與分析
這對于網(wǎng)絡(luò)提供者來說非常重要,通過監(jiān)測訪問網(wǎng)絡(luò)的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網(wǎng)絡(luò)。
2)訪問我的網(wǎng)絡(luò)最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網(wǎng)絡(luò)的哪些部分。
通過這些信息,網(wǎng)絡(luò)提供者可以更好的為用戶提供服務(wù),從而也獲得更大的收益。
2.網(wǎng)絡(luò)流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡(luò)流量的測量實體,即性能指標主要包括以下幾項。 2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應(yīng)該是網(wǎng)絡(luò)的基本能力或?qū)傩?不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網(wǎng)絡(luò)的丟包率,一般采用直接發(fā)送測量包來進行測量。目前評估網(wǎng)絡(luò)丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網(wǎng)絡(luò)能夠提供的最大的吞吐量。
2.5 流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考:一種是以一段時間間隔內(nèi)在測量點上觀測到的所有傳輸成功的IP包數(shù)量除以時間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量:用傳輸成功的IP包中總字節(jié)數(shù)除以時間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式:被動數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術(shù)被網(wǎng)絡(luò)用戶或網(wǎng)絡(luò)研究人員用來分析指定網(wǎng)絡(luò)路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應(yīng)作為性能評分的結(jié)果來分析。測量者一般采用模擬現(xiàn)實的流量(如Web Server的請求、FTP下載、DNS反應(yīng)時間等)來測量一個應(yīng)用的性能或者網(wǎng)絡(luò)的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2 被動測量
被動測量是在網(wǎng)絡(luò)中的一點收集流量信息,如使用路由器或交換機收渠數(shù)據(jù)或者一個獨立的設(shè)備被動地監(jiān)測網(wǎng)絡(luò)鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應(yīng),這些優(yōu)點使人們更愿意使用被動測量技術(shù)。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經(jīng)過的路由。但被動測量的優(yōu)點使得決定測量之前應(yīng)該首先考慮被動測量。被動測量技術(shù)遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網(wǎng)絡(luò)流量抽樣測量技術(shù)
選擇部分報文,當采樣時間間隔較大時,細微的網(wǎng)絡(luò)行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統(tǒng)采樣或隨機采樣;也隨觸發(fā)采樣事件的不同而不同。如由報文到達時間觸發(fā)(基于時間采樣),由報文在流中所處的位置觸發(fā)(基于數(shù)目采樣)或由報文的內(nèi)容觸發(fā)(基于內(nèi)容采樣)。為了在減少采樣樣本和獲取更精確的流量數(shù)據(jù)之間達到平衡。
4.結(jié)語
預(yù)計1個月內(nèi)審稿 部級期刊
國家海洋局主辦
預(yù)計1個月內(nèi)審稿 部級期刊
中央網(wǎng)絡(luò)安全和信息化委員會辦公(國家互聯(lián)網(wǎng)信息辦公室)主辦
預(yù)計1個月內(nèi)審稿 部級期刊
中央網(wǎng)絡(luò)安全和信息化委員會辦公(國家互聯(lián)網(wǎng)信息辦公室)主辦
預(yù)計1個月內(nèi)審稿 省級期刊
遼寧省發(fā)展和改革委員會主辦
預(yù)計1個月內(nèi)審稿 省級期刊
長春大學網(wǎng)絡(luò)安全學院主辦
預(yù)計1個月內(nèi)審稿 部級期刊
工業(yè)和信息化部主辦