隨著流媒體技術(shù)的發(fā)展,其應(yīng)用范圍在不斷擴(kuò)展。特別是在視頻監(jiān)控領(lǐng)域,高清網(wǎng)絡(luò)攝像機(jī)的出現(xiàn)和發(fā)展,對(duì)實(shí)時(shí)視頻流媒體的存儲(chǔ)提出了新的挑戰(zhàn)。
實(shí)時(shí)流媒體存儲(chǔ)的主要特點(diǎn)是以“持續(xù)寫入”為主,以“隨機(jī)讀出”為輔,與傳統(tǒng)的廣播電視音像資料存儲(chǔ)系統(tǒng)和文件系統(tǒng)應(yīng)用有著明顯的區(qū)別。
1、引言
基于網(wǎng)絡(luò)的視頻監(jiān)控存儲(chǔ)系統(tǒng)的存儲(chǔ)介質(zhì)主要由磁盤陣列和相應(yīng)的控制系統(tǒng)組成,根據(jù)其結(jié)構(gòu),可分為直連式存儲(chǔ)(DAS)、網(wǎng)絡(luò)附加存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)。
DAS是以服務(wù)器為中心的存儲(chǔ)系統(tǒng),在視頻數(shù)量較多時(shí),其響應(yīng)能力下降比較嚴(yán)重,在大規(guī)模流媒體存儲(chǔ)系統(tǒng)中很少采用。
NAS是直接連接在網(wǎng)絡(luò)上的存儲(chǔ)系統(tǒng),是一種專用的存儲(chǔ)服務(wù)器,通常采用CIFS和NFS協(xié)議,提供文件系統(tǒng)服務(wù)。NAS系統(tǒng)具有較好的網(wǎng)絡(luò)共享能力,部署靈活,管理簡(jiǎn)單。但在大量網(wǎng)絡(luò)并發(fā)傳輸持續(xù)數(shù)據(jù)時(shí)性能可能會(huì)顯著下降。
SAN是一種專用的存儲(chǔ)網(wǎng)絡(luò)系統(tǒng),提供統(tǒng)一的塊級(jí)存儲(chǔ),所有存儲(chǔ)設(shè)備可以集中管理,支持完善的冗余備份功能。SAN可以是交換式網(wǎng)絡(luò),也可以是共享式網(wǎng)絡(luò)。FC-SAN的最大缺點(diǎn)是成本昂貴,限制了它的廣泛應(yīng)用。iSCSI的出現(xiàn),提供了低成本SAN(IPSAN),促進(jìn)了SAN的應(yīng)用和發(fā)展。
網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)對(duì)流媒體的存儲(chǔ)需求特點(diǎn)可以概括為:大容量、高性能、高可靠性、部署靈活、低成本。研究表明,iSCSI性能要明顯優(yōu)于NFS/CIFS[1,2],采用iSCSI協(xié)議的IPSAN產(chǎn)品非常適合網(wǎng)絡(luò)流媒體存儲(chǔ)應(yīng)用。
2、iSCSI簡(jiǎn)介 iSCSI(internetSCSI)[3]就是SCSIOverIP,將SCSI協(xié)議封裝在IP數(shù)據(jù)包中,在IP網(wǎng)絡(luò)上傳輸Block級(jí)I/O數(shù)據(jù)。目的是為了用IP協(xié)議將存儲(chǔ)設(shè)備連接在一起。通過在IP網(wǎng)上傳送SCSI命令和數(shù)據(jù),ISCSI推動(dòng)了數(shù)據(jù)在網(wǎng)際之間的傳遞,同時(shí)也促進(jìn)了數(shù)據(jù)的遠(yuǎn)距離管理。由于其出色的數(shù)據(jù)傳輸能力,ISCSI協(xié)議被認(rèn)為是促進(jìn)存儲(chǔ)區(qū)域網(wǎng)(SAN)市場(chǎng)快速發(fā)展的關(guān)鍵因素之一。因?yàn)镮P網(wǎng)絡(luò)的廣泛應(yīng)用,ISCSI能夠在LAN、WAN甚至internet上進(jìn)行數(shù)據(jù)傳送,使得數(shù)據(jù)的存儲(chǔ)不再受地域的限制。
iSCSI協(xié)議定義了在TCP/IP網(wǎng)絡(luò)上發(fā)送、接收Block(塊)級(jí)的存儲(chǔ)數(shù)據(jù)的規(guī)則和方法。ISCSI技術(shù)的核心是在TCP/IP網(wǎng)絡(luò)上傳輸SCSI協(xié)議,用TCP/IP報(bào)文、iSCSI報(bào)文封裝SCSI協(xié)議,使得SCSI命令和數(shù)據(jù)可以在普通以太網(wǎng)絡(luò)上進(jìn)行傳輸。iSCSI在以太網(wǎng)上傳輸?shù)姆庋b結(jié)構(gòu)如圖1所示。硬盤,配置RAID5,千兆網(wǎng)連接。
如圖1
iSCSI遵循SCSI協(xié)議的客戶機(jī)-服務(wù)器體系結(jié)構(gòu),客戶端稱為Initiator(發(fā)起端),服務(wù)器端稱為Target(目標(biāo)端)。
發(fā)起端將SCSI命令和數(shù)據(jù)封裝到TCP/IP包,經(jīng)過網(wǎng)絡(luò)傳輸,目標(biāo)端收到TCP/IP包之后,將其解包獲得SCSI命令和數(shù)據(jù)并執(zhí)行,完成之后將返回的SCSI命令和數(shù)據(jù)封裝到TCP/IP包中再傳送回發(fā)起端。整個(gè)過程對(duì)用戶是透明的,使用遠(yuǎn)端的存儲(chǔ)設(shè)備就象訪問本地的SCSI設(shè)備一樣。
Initiator可以使用軟件或硬件實(shí)現(xiàn),通常以軟件實(shí)現(xiàn),作為操作系統(tǒng)內(nèi)核驅(qū)動(dòng)的一部分,使用現(xiàn)有網(wǎng)卡和網(wǎng)絡(luò)協(xié)議棧,通過編程實(shí)現(xiàn)。Windows系統(tǒng)自帶Initiator軟件,Linux系統(tǒng)下存在多種開源的Initiator軟件,包括Core-iSCSI、Open-iSCSI、UNH-iSCSI等。
iSCSI Target一般指專門的連接網(wǎng)絡(luò)的數(shù)據(jù)存儲(chǔ)設(shè)備,也可以是運(yùn)行相應(yīng)Target軟件的通用計(jì)算機(jī)�，F(xiàn)在有眾多的存儲(chǔ)設(shè)備提供商可以提供商用IPSAN設(shè)備,當(dāng)然也有象Openfiler、UNH-iSCSI等構(gòu)建在Linux系統(tǒng)上的開源iSCSI Target軟件。作為研究用途,軟件設(shè)計(jì)人員完全可以參考iSCSI RFC文檔自行開發(fā)iSCSI Target軟件[4,5]。
3、系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
本文研究?jī)?nèi)容是在iSCSI設(shè)備上實(shí)現(xiàn)實(shí)時(shí)流媒體存儲(chǔ),如何實(shí)現(xiàn)iSCSI Initiator和Target不是本文關(guān)注的重點(diǎn),因此,這里選用商用IPSAN設(shè)備和Open-iSCSI開源軟件作為研究的基礎(chǔ)。
在視頻監(jiān)控領(lǐng)域,目前主要存在兩種使用iSCSI實(shí)現(xiàn)實(shí)時(shí)流存儲(chǔ)的結(jié)構(gòu),分別是:
(1) 前端IP攝像機(jī)或編碼器直接把碼流寫入IPSAN設(shè)備,如圖2所示;
圖2、3
圖2 前端IP攝像機(jī)直接把碼流寫入IPSAN
圖3 流媒體服務(wù)器接收碼流然后寫入IPSAN
(2) 在后端使用服務(wù)器接收數(shù)字視頻流,然后寫入IPSAN,如圖3所示。
第一種存儲(chǔ)系統(tǒng)結(jié)構(gòu)簡(jiǎn)單,節(jié)省后端服務(wù)器設(shè)備,但是要求前端設(shè)備實(shí)現(xiàn)存儲(chǔ)管理,而且存儲(chǔ)碼流采用iSCSI封裝,而實(shí)時(shí)監(jiān)控碼流一般需要使用RTP封裝,必須傳輸至少兩路碼流,對(duì)前端設(shè)備的網(wǎng)絡(luò)傳輸處理能力要求較高,對(duì)接入網(wǎng)的帶寬需求較大。{$page$}
第二種存儲(chǔ)系統(tǒng)需要在后端使用流媒體存儲(chǔ)服務(wù)器完成接收RTP流,然后封裝成iSCSI流并寫入IPSAN設(shè)備,對(duì)前端設(shè)備要求較低,前端設(shè)備只需要發(fā)出一個(gè)RTP組播碼流,就可以同時(shí)為存儲(chǔ)和實(shí)時(shí)監(jiān)控服務(wù),節(jié)省了前端接入網(wǎng)帶寬。存儲(chǔ)系統(tǒng)主要依靠后端設(shè)備完成,與前端設(shè)備的具體實(shí)現(xiàn)無關(guān)。
顯然,由于一般前端接入網(wǎng)帶寬有限,而后端局域網(wǎng)一般能夠提供足夠的帶寬和較好的傳輸質(zhì)量,第二種結(jié)構(gòu)更適合大多數(shù)系統(tǒng),本文采用第二種結(jié)構(gòu)進(jìn)行研究,并搭建如下的實(shí)現(xiàn)環(huán)境:流存儲(chǔ)服務(wù)器系統(tǒng)硬件使用通用的PC服務(wù)器,采用SUSE11操作系統(tǒng),采用MySQL數(shù)據(jù)庫管理系統(tǒng);前端使用H.264編碼的網(wǎng)絡(luò)攝像機(jī),采用組播方式傳輸視頻流,如圖3所示。
系統(tǒng)主要由以下軟件模塊組成:
1、 攝像機(jī)信息管理:包括攝像機(jī)名稱、組播組、碼流類型、碼流帶寬等信息管理;
2、 存儲(chǔ)計(jì)劃管理:為每個(gè)攝像機(jī)制定存儲(chǔ)計(jì)劃;
3、 碼流接收處理模塊:根據(jù)存儲(chǔ)計(jì)劃和攝像機(jī)碼流信息接收RTP數(shù)據(jù)流;
4、 存儲(chǔ)模塊:把接收的碼流封裝成iSCSI格式寫入IPSAN設(shè)備。
5、 視頻檢索信息處理:生成檢索信息,并寫入數(shù)據(jù)庫;
6、 回放和下載服務(wù):接收用戶回放或下載請(qǐng)求,并根據(jù)索引信息從IPSAN設(shè)備讀出數(shù)據(jù),封裝到RTP數(shù)據(jù)包中發(fā)回請(qǐng)求者,請(qǐng)求者接收碼流進(jìn)行回放或下載保存;
7、 系統(tǒng)管理:系統(tǒng)管理模塊用戶信息管理、系統(tǒng)運(yùn)行狀態(tài)監(jiān)控、日志管理等功能。
存儲(chǔ)設(shè)備上視頻數(shù)據(jù)的組織,不同于文件的隨機(jī)讀寫,而是采取順序讀寫方式,分塊存儲(chǔ)。系統(tǒng)在寫滿一個(gè)預(yù)定義數(shù)據(jù)塊后,根據(jù)該視頻數(shù)據(jù)流對(duì)應(yīng)的攝像機(jī)的IP地址、寫入本數(shù)據(jù)塊的起止時(shí)間,自動(dòng)生成一個(gè)塊索引值,存儲(chǔ)到數(shù)據(jù)庫中。按照存儲(chǔ)計(jì)劃,存儲(chǔ)到期后可依次覆蓋原有視頻數(shù)據(jù)。本系統(tǒng)利用iSCSI協(xié)議直接寫磁盤塊,規(guī)避了文件系統(tǒng)的工作機(jī)制,可以有效減少文件系統(tǒng)造成的磁盤碎片,提高磁盤空間的利用率。
4、實(shí)驗(yàn)分析
為了測(cè)試上述系統(tǒng)的性能,搭建以下實(shí)驗(yàn)環(huán)境:
網(wǎng)絡(luò)狀況:千兆以太網(wǎng)。
流媒體存儲(chǔ)服務(wù)器:4核Xeon CPU,2GB內(nèi)存,千兆網(wǎng)連接。
IPSAN存儲(chǔ)設(shè)備:16TB硬盤,配置RAID5,千兆網(wǎng)連接。
網(wǎng)絡(luò)攝像機(jī):H.2641080P編碼,RTP組播傳輸,8Mbps碼流帶寬。
測(cè)試實(shí)時(shí)流:在另外一臺(tái)服務(wù)器上使用碼流轉(zhuǎn)發(fā)服務(wù)軟件轉(zhuǎn)發(fā)50路8Mbps碼流,模擬50路8Mbps實(shí)時(shí)流的環(huán)境。
對(duì)設(shè)備寫入48小時(shí)后進(jìn)行測(cè)試。
4.1流媒體寫入性能
使用iftop查看網(wǎng)絡(luò)吞吐量,如圖4所示,可以看到,從流媒體存儲(chǔ)服務(wù)器(192.168.0.23)到IPSAN存儲(chǔ)設(shè)備(192.168.0.114)的流量持續(xù)大于400Mbps。IPSAN設(shè)備在測(cè)試時(shí)間過去2秒、10秒、40秒的平均接收流量分別為418Mbps、419Mbps和420Mbps。這個(gè)數(shù)據(jù)與預(yù)期結(jié)果相符,可以認(rèn)為50路8Mbps碼流全部寫入到IPSAN設(shè)備中。
圖4 使用iftop查看網(wǎng)絡(luò)流量
4.2視頻檢索測(cè)試
使用測(cè)試程序分別對(duì)12小時(shí)、24小時(shí)、48小時(shí)、60小時(shí)和72小時(shí)的歷史視頻數(shù)據(jù)進(jìn)行檢索,響應(yīng)時(shí)間分別為29ms、42ms、51ms、56ms和61ms,隨著數(shù)據(jù)量的增加,檢索時(shí)間也相應(yīng)的緩慢增加。由于受測(cè)試設(shè)備存儲(chǔ)空間限制,無法測(cè)試更長(zhǎng)時(shí)間的數(shù)據(jù),但是從圖5的曲線可以推算,對(duì)于較大數(shù)據(jù)量,檢索時(shí)間也在可承受范圍之內(nèi)。
4.3視頻回放測(cè)試
使用VLC軟件通過RTSP協(xié)議對(duì)存儲(chǔ)的視頻進(jìn)行播放,可見視頻播放流暢、連續(xù),沒有中斷,但偶爾存在少量馬賽克現(xiàn)象,說明存在數(shù)據(jù)丟包現(xiàn)象。分析可能的丟包原因存在三個(gè)方面:實(shí)時(shí)流的網(wǎng)絡(luò)傳輸丟包、存儲(chǔ)丟包、回放過程的網(wǎng)絡(luò)傳輸丟包。通過在流媒體存儲(chǔ)服務(wù)器上使用工具軟件抓包分析,發(fā)現(xiàn)實(shí)時(shí)流傳輸過程存在少量丟包現(xiàn)象。
上述結(jié)果表明,運(yùn)行原型系統(tǒng)的一臺(tái)服務(wù)器上能夠滿足50路8Mbps的高清視頻流存儲(chǔ)需求,其索引響應(yīng)時(shí)間極短,可以滿足一般系統(tǒng)需求。
圖5 數(shù)據(jù)量和檢索時(shí)間關(guān)系圖
5、結(jié)束語
本文以iSCSI協(xié)議為基礎(chǔ),對(duì)實(shí)時(shí)流媒體存儲(chǔ)技術(shù)進(jìn)行了探討,設(shè)計(jì)實(shí)現(xiàn)了一個(gè)高性能的原型系統(tǒng),并進(jìn)[5]劉化君.物聯(lián)網(wǎng)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)時(shí)代,2010,(7):4.
行了系統(tǒng)性能測(cè)試。測(cè)試結(jié)果表明,原型系統(tǒng)的存儲(chǔ)和檢索性能可以滿足高清網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的需求。本文對(duì)于正在迅速增長(zhǎng)的高清網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中的流媒體存儲(chǔ)提供了很好的參考。<
來源：互聯(lián)網(wǎng)
http:leisuda.cn/news/35398.htm
0755-82905460
郵箱 
：
