氣象監(jiān)測解決方案范文
時(shí)間:2024-01-12 17:47:51
導(dǎo)語:如何才能寫好一篇?dú)庀蟊O(jiān)測解決方案,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。
篇1
關(guān)鍵詞:自動氣象站;通信網(wǎng)絡(luò);管理;維護(hù)
中圖分類號:TP文獻(xiàn)標(biāo)識碼:A文章編號:1007-9599 (2011) 16-0000-01
Automatic Weather Station Communications Network Management and Maintenance
Zhao Weidong,Zhang Yan
(Dalian 91550 units,Dalian116023,China)
Abstract:This is an article based on the needs of the working practice,this article analyses the current automatic weather stations communication network management and maintenance technology,and mainly introduces the present situation of the strengthen automatic weather stations around the environment management,and tell us daily to ensure automatic weather stations normal work,how to establish and improve the communication network system and timely monitoring and maintenance stations communication network,and how to reduce adverse factors outside of the influence of communication stations,establish and improve the management and maintenance system solutions and specific application.
Keywords:Automatic weather stations;Communication network;Management;Maintenance
自動氣象站是一種在沒有人操作的情況下,依然能夠自動的對氣象采取定時(shí)觀測、發(fā)報(bào)或記錄的設(shè)置在地面上的氣象觀測站。它在節(jié)省人力以及對技術(shù)落后的偏遠(yuǎn)地區(qū)的氣象觀測起到了極其重要的作用。所以,如何管理和維護(hù)自動氣象站的通信網(wǎng)絡(luò)讓它能夠進(jìn)行正常的日常工作以及更好的為人們提供準(zhǔn)確的氣象數(shù)據(jù)是我們必須盡快解決的問題。自動氣象站通信網(wǎng)絡(luò)的管理和維護(hù),不僅是為了保證氣象站正常工作,而且能夠幫助管理及維修人員更加詳細(xì)的了解自動氣象站。由此,相關(guān)人員應(yīng)引起足夠重視。
一、自動氣象站通信網(wǎng)絡(luò)的管理和維護(hù)現(xiàn)狀
(一)通信網(wǎng)絡(luò)易被破壞,不穩(wěn)定因素多
我們知道自動氣象站被放置的地方往往是供電網(wǎng)絡(luò)和通訊網(wǎng)絡(luò)發(fā)達(dá)的地區(qū),自動氣象站的強(qiáng)大功能必須建立在正常工作的前提下。而目前影響工作的因素很多,一方面,通信網(wǎng)絡(luò)只有在通訊網(wǎng)絡(luò)和供電網(wǎng)絡(luò)正常的前提下才能發(fā)揮作用;另一方面,極易收到外界不穩(wěn)定因素的破壞,如電纜被老鼠或其他動物咬斷或者在雷雨天氣雷電對通信網(wǎng)絡(luò)的影響也非常巨大。對此等情況,相關(guān)技術(shù)人員應(yīng)采取措施。
(二)依靠計(jì)算機(jī),易受病毒攻擊
如今的生活中,計(jì)算機(jī)所占的地位是舉足輕重,在各行各業(yè)中都能看到計(jì)算機(jī)的廣泛應(yīng)用以及強(qiáng)大功能。自動氣象站通信網(wǎng)絡(luò)同樣離不開計(jì)算機(jī),自動氣象站既是無人操控,那么必然是依靠電子設(shè)備或計(jì)算機(jī)來負(fù)責(zé)觀測以及資料傳輸工作,其重要地位可見一斑。我們知道,計(jì)算機(jī)各項(xiàng)功能極其強(qiáng)大,當(dāng)然離不開正常工作的前提。計(jì)算機(jī)的缺點(diǎn)是極易受到病毒攻擊而導(dǎo)致計(jì)算機(jī)癱瘓,不僅影響正常工作,其間所儲存數(shù)據(jù)資料也容易因病毒影響而丟失或者亂碼。所以,如何管理和維護(hù)計(jì)算機(jī)也是氣象站通信網(wǎng)絡(luò)管理和維護(hù)的重要部分。
(三)自動氣象站需要頻繁維護(hù)
不同于有人操作和管理的氣象站,自動氣象站由于“自動”這一功能,理想意義上應(yīng)該是全自動,節(jié)約人力和資源的氣象站。但事實(shí)上,為保持自動氣象站里的傳感器的敏感性,一些不穩(wěn)定因素必須被經(jīng)常排除,例如灰塵或是細(xì)小雜物會堵塞雨量傳感器的漏斗,導(dǎo)致傳感器故障。這些情況僅靠定期的清理是無法解決突發(fā)狀況的,必須依靠頻繁的清理及維護(hù)。
二、自動氣象站通信網(wǎng)絡(luò)的管理與維護(hù)問題的解決方案及具體應(yīng)用
(一)加強(qiáng)自動氣象站日常周圍環(huán)境的管理,確保自動氣象站正常工作
加強(qiáng)自動氣象站周圍環(huán)境的日常管理,確保自動氣象站能夠安全穩(wěn)定的正常工作。為防止老鼠或其他動物咬斷或是以其他方式破環(huán)電纜,是傳感器無法將數(shù)據(jù)傳送到采集器上,必須保證觀測場內(nèi)的較大空隙以及各類管口的修堵及定期查看,氣象站里的設(shè)備會被強(qiáng)烈電流損壞,無法采集乃至數(shù)據(jù)缺失,嚴(yán)重影響工作。為此,預(yù)防雷擊也是一個(gè)重要工作,必須保證每一樣金屬設(shè)備都嚴(yán)格接地,另外,氣象站周圍也必須做好避雷措施如在適當(dāng)位置安置避雷針等舉措。同時(shí),為保證通訊網(wǎng)絡(luò)的通暢,各臺計(jì)算機(jī)以及網(wǎng)線之間和供電系統(tǒng)都必須安裝防雷器,防止雷電的侵襲。
(二)建立更加完善和強(qiáng)大的通信網(wǎng)絡(luò)系統(tǒng)
自動氣象站的通信都是依靠計(jì)算機(jī)來完成的,它主要包括兩個(gè)大的部分:一是自動氣象站的局域計(jì)算機(jī)和省局計(jì)算機(jī)的通信網(wǎng)絡(luò),二是負(fù)責(zé)采集數(shù)據(jù)的采集器和計(jì)算機(jī)的串口的通信。兩部分通信都是通過電纜電線和相關(guān)設(shè)備連接組成的。計(jì)算機(jī)既然作為氣象站工作的核心,自然必須嚴(yán)格防止網(wǎng)絡(luò)病毒的侵襲,氣象站應(yīng)購買安裝正版殺毒軟件,且定期殺毒和升級殺毒軟件。自動氣象站管理人員也應(yīng)了解學(xué)習(xí)基本的故障維修方法,以便簡單常見故障出現(xiàn)時(shí)能第一時(shí)間排除。
(三)努力降低外界不利因素對氣象站通信的影響,建立完善的管理及維護(hù)體制
自動氣象站能夠應(yīng)用于氣象,農(nóng)業(yè),工業(yè)等行業(yè)中,離不開它具有的各類設(shè)備。自動氣象站所包含有溫濕傳感器,氣壓傳感器等已經(jīng)采集資料的采集器等設(shè)備,這些設(shè)備的使用要求是非常嚴(yán)格的?;旧纤栽O(shè)備都必須做到定期清理灰塵雜物等工作,才能保證設(shè)備的正常運(yùn)行。努力降低這些外界不利因素對自動氣象站通信的影響,定期維護(hù)與檢修,建立完善的管理及維護(hù)體制,保證通信網(wǎng)絡(luò)的暢通。
三、總結(jié)
總之,當(dāng)前自動氣象站通信網(wǎng)絡(luò)的管理和維護(hù)存在諸多問題,對于自動氣象站管理者和維修人員來說都需要不斷的了解及認(rèn)真研究問題出現(xiàn)的原因和解決方案。這些問題的解決更需要的是氣象站通信網(wǎng)絡(luò)的了解和研究,指定科學(xué)的管理方案,及時(shí)更新檢測和維修設(shè)備,此外相關(guān)管理維護(hù)人員也必須給予重視,仔細(xì)研究如何更好的管理及維護(hù)自動氣象站,讓它能更好的為我們提供準(zhǔn)確的氣象資料以及其他行業(yè)的各項(xiàng)數(shù)據(jù)。
參考文獻(xiàn):
篇2
關(guān)鍵詞:氣象條件、農(nóng)業(yè)生產(chǎn)、氣象影響農(nóng)業(yè)
1各類氣象條件下對于農(nóng)業(yè)的影響
對農(nóng)業(yè)產(chǎn)生直接影響的氣象條件主要包括大風(fēng)、連陰雨、低溫冷凍、干旱、洪澇、冰雹六種。
1.1大風(fēng)
當(dāng)風(fēng)力超過8級,風(fēng)速超過17m/s的時(shí)候,都被稱為大風(fēng)。在我國出現(xiàn)大風(fēng)的情況主要有三種:雷雨帶來的大風(fēng)、臺風(fēng)以及北方冷空氣南下引起的大風(fēng)。這三種大風(fēng)中,第三種是最常見的。大風(fēng)的危害較大,最常見的就是會摧毀樹木、房屋、農(nóng)作物、通信設(shè)備等,嚴(yán)重的話還可能引發(fā)風(fēng)沙走石,這對于農(nóng)作物的摧殘是十分嚴(yán)重的。
1.2低溫冷凍
低溫冷凍對農(nóng)業(yè)生產(chǎn)的影響也是非常大的。主要是由于冷空氣以及寒潮的入侵,導(dǎo)致氣溫連續(xù)下降,使農(nóng)作物的生長造成危害,最終的結(jié)果就是減產(chǎn)。
1.3連陰雨
連續(xù)下雨時(shí)間超過5天,累積的降水量超過30mm的天氣現(xiàn)象就是連陰雨。連陰雨的天氣情況下,因?yàn)橛晁?,空氣里的濕度較大,同時(shí)光照減少,就會影響到農(nóng)作物的生長,另外對于成熟的農(nóng)作物的收割也會有很大的影響。連陰雨的天氣狀況對大豆、棉花、花生以及蔬菜的影響是最大的,會影響這些農(nóng)作物的產(chǎn)量。如果在播種期間遇上連陰雨,需要推遲播種的時(shí)間,減少不良天氣對農(nóng)作物的影響。
1.4干旱
干旱是一種災(zāi)害性氣象情況,是指在一定的比較長的時(shí)間段里,由于降水不足以及土壤蒸發(fā)導(dǎo)致的土地缺少水分,另外江河湖泊的水位大幅度的下降甚至出現(xiàn)干涸的現(xiàn)象,干旱不僅會對農(nóng)作物產(chǎn)生影響,而且還會影響到人們的日常生活。相對來說,干旱是氣象災(zāi)害中對農(nóng)作業(yè)影響較大的一種,會導(dǎo)致農(nóng)作物嚴(yán)重減產(chǎn)甚至零產(chǎn)量。因?yàn)楦珊禃罐r(nóng)業(yè)生產(chǎn)缺少基本用水,同時(shí)人和家畜用水也會出現(xiàn)嚴(yán)重問題,損失非常嚴(yán)重。
1.5洪澇
洪澇是指持續(xù)不斷降雨,大雨以及暴雨等天氣,使地勢較低的地區(qū)出現(xiàn)積水甚至淹沒的情況。在我國,洪澇一般主要發(fā)生在夏天,每年的降水量不等,但洪澇災(zāi)害發(fā)生頻率較大。洪澇自然也會影響到農(nóng)作物的生長,會令農(nóng)作物出現(xiàn)較大的減產(chǎn),嚴(yán)重影響到農(nóng)業(yè)生產(chǎn)。洪澇也是對農(nóng)作物影響最大的氣象災(zāi)害中的一種,同時(shí),也會對人們的日常生活甚至生命安全帶來影響。
1.6冰雹
冰雹的危害也是非常大的,冰雹主要來源于對流強(qiáng)盛的積雨云。一般來說,冰雹和雷電以及狂風(fēng)、暴雨一起降臨的。冰雹有大有小,小的冰雹米粒大小,所造成的災(zāi)害并不會太嚴(yán)重,甚至不注意的話,可能都感覺不到正在下冰雹。但如果冰雹比較大的話,就會對農(nóng)作物產(chǎn)生較大的影響,甚至可能會導(dǎo)致顆粒無收。
2農(nóng)業(yè)氣象災(zāi)害的發(fā)生規(guī)律
2.1具有較強(qiáng)的季節(jié)性
由于全球氣候的變化,我國近年發(fā)生氣象災(zāi)害的頻率較以前要來得更高一些。通過對全國范圍內(nèi)發(fā)生的氣象災(zāi)害情況進(jìn)行的統(tǒng)計(jì)研究表明,農(nóng)業(yè)氣象災(zāi)害的發(fā)生具有非常明顯的季節(jié)性。所以相關(guān)部門可以根據(jù)這類特點(diǎn)對農(nóng)業(yè)氣象災(zāi)害開展研究。
2.2具有較強(qiáng)的局部性
在我國的部分地區(qū),氣象災(zāi)害的發(fā)生往往不是單獨(dú)的,而是幾種災(zāi)害一起發(fā)生,特別是在一些特定的時(shí)間和區(qū)域里。比如在我國的一些地區(qū)每年都會出現(xiàn)冰雹和霜凍,這種發(fā)生氣象災(zāi)害的規(guī)律很明確地指明氣象災(zāi)害的發(fā)生具有比較強(qiáng)的局部性。
2.3具有較強(qiáng)的區(qū)域性
通過對近年氣象資料的對比發(fā)現(xiàn),降水量較多的地區(qū),其發(fā)生洪澇災(zāi)害的概率也就越大。這些地區(qū)一般地勢都比較低,而且河網(wǎng)眾多。而像臺風(fēng)這類的氣象災(zāi)害則多發(fā)于沿海地區(qū),內(nèi)陸發(fā)生的比較少。
3減少氣象災(zāi)害對農(nóng)業(yè)生產(chǎn)的影響策略
3.1提高準(zhǔn)確性、針對性和及時(shí)性
創(chuàng)建綜合性的專業(yè)的農(nóng)業(yè)氣象監(jiān)測站,監(jiān)測的目標(biāo)主要包括田地、自然環(huán)境、交通出行、林果業(yè)等方面,展開全天24h的不間斷監(jiān)測,提高綜合的監(jiān)測能力和準(zhǔn)確性。根據(jù)農(nóng)業(yè)生產(chǎn)的實(shí)際要求,建立新型的農(nóng)業(yè)氣象服務(wù)體系,重視氣象情況播放的時(shí)效性,把短時(shí)間播報(bào)和固定的滾動播動進(jìn)行結(jié)合。開發(fā)氣象服務(wù)新領(lǐng)域,充分利用網(wǎng)絡(luò),搭建現(xiàn)代化、交互式的動態(tài)氣象服務(wù)管理體系,幫助人們隨時(shí)方便快捷的掌握氣象信息。建設(shè)高效地服務(wù)制度,加強(qiáng)基層的合作,確保氣象信息精準(zhǔn)、按時(shí)的傳達(dá)到農(nóng)民那里,以引導(dǎo)農(nóng)民進(jìn)行科學(xué)種植。
3.2提高防御能力
農(nóng)民朋友對于防御災(zāi)害的能力比較弱,主要是對氣象知識的認(rèn)知不夠,這就要求基層政府多下功夫,介紹關(guān)于氣象災(zāi)害的基本知識以及解決方案和預(yù)防措施,引導(dǎo)正確的、科學(xué)的防御災(zāi)害。政府還應(yīng)該建立起相應(yīng)的氣象科普機(jī)制,積極的、多形式地開展氣象宣傳,普及與氣象相關(guān)的知識,把宣傳做到每家每戶。
3.3建立完善的災(zāi)害防御機(jī)制
有關(guān)氣象部門一定要強(qiáng)化針對自然災(zāi)害防御機(jī)制的研究力度,強(qiáng)化自然災(zāi)害防御管理體系的搭建強(qiáng)度,對于常見的農(nóng)業(yè)自然災(zāi)害,要強(qiáng)化評估、預(yù)警機(jī)制、氣象預(yù)報(bào)和數(shù)據(jù)監(jiān)測的力度,充分運(yùn)用現(xiàn)代化的科學(xué)技術(shù),持續(xù)地發(fā)展健全自然災(zāi)害防御的信息化系統(tǒng),提高自然災(zāi)害防御能力,實(shí)行季節(jié)性的自然災(zāi)害氣象預(yù)報(bào),強(qiáng)化自然災(zāi)害的核查強(qiáng)度,強(qiáng)化農(nóng)村地區(qū)的雷電預(yù)警機(jī)制。針對自然災(zāi)害防御設(shè)施要實(shí)行定期的檢修,保障設(shè)施正常的運(yùn)行。
3.4掌握氣象規(guī)律,調(diào)整農(nóng)業(yè)布局
相關(guān)部門的工作人員需要足夠了解環(huán)境的變化對于氣象的影響,掌握氣象變化的規(guī)律,適時(shí)調(diào)整農(nóng)業(yè)布局,達(dá)到農(nóng)業(yè)生產(chǎn)和氣象條件相互利用的可持續(xù)發(fā)展,從而實(shí)現(xiàn)現(xiàn)代農(nóng)業(yè)高產(chǎn)高質(zhì)的經(jīng)濟(jì)目標(biāo)。
3.5建立農(nóng)業(yè)災(zāi)害保險(xiǎn)與補(bǔ)貼機(jī)制
建立適合我國實(shí)際情況的自然災(zāi)害農(nóng)業(yè)保險(xiǎn)體系,由政府組織和商業(yè)保險(xiǎn)參與,將補(bǔ)貼和扶持相結(jié)合的適合我國國情的農(nóng)業(yè)保險(xiǎn)體系,可降低自然災(zāi)害給農(nóng)業(yè)生產(chǎn)帶來的損失,提高農(nóng)民積極性。
篇3
2008年6月20日,隨著北京奧運(yùn)會的日漸臨近,公眾對于奧運(yùn)期間氣象狀況的關(guān)注度也是與日俱增――根據(jù)不久前出版的《第二奧運(yùn)會及第十三屆殘奧會氣象服務(wù)手冊》,奧運(yùn)會期間出現(xiàn)降雨的概率為37%,平均3天就會出現(xiàn)一次降雨過程。如何充分利用雨季帶來的大量雨水資源,在保證奧運(yùn)期間場館和景觀用水的同時(shí),實(shí)現(xiàn)環(huán)保節(jié)水?在奧運(yùn)全球合作伙伴美國GE公司全體員工看來,應(yīng)用世界級水處理技術(shù)的“鳥巢”將為國內(nèi)各類大型基礎(chǔ)設(shè)施起到積極的示范作用,進(jìn)而彰顯北京奧運(yùn)‘綠色’與‘科技’理念的完美結(jié)合。
國家體育場雨洪利用項(xiàng)目總設(shè)計(jì)師,中國建筑設(shè)計(jì)研究院建筑節(jié)能與新能源工程中心副總工程師劉鵬表示:“‘鳥巢’背后有一個(gè)規(guī)模龐大的世界級雨洪綜合利用系統(tǒng)在24小時(shí)不間斷運(yùn)轉(zhuǎn),可以將賽場及周邊區(qū)域的雨水收集、凈化后,提供給場館使用。率先采用領(lǐng)先環(huán)保科技的‘鳥巢’既凸顯出北京市政府積極貫徹實(shí)施‘綠色奧運(yùn)’理念的種種努力,也展示了北京奧運(yùn)所秉承的追求‘人與自然協(xié)調(diào)發(fā)展’的生態(tài)文明觀?!?/p>
“鳥巢”雨洪綜合利用工程的面積相當(dāng)于六個(gè)足球場,整個(gè)系統(tǒng)的雨水收集面積達(dá)22公頃,年回收利用總量約6.7萬立方米,設(shè)計(jì)日凈產(chǎn)水量為2,000立方米。遍布于場館及周邊綠地的收集引流系統(tǒng)可以將雨水匯集至6座地下蓄水池中,其最大儲水能力高達(dá)12,000立方米。據(jù)有關(guān)部門評估,北京年平均降水量為630毫米,城區(qū)每年的雨水利用潛力達(dá)到1億立方米。由此估算,“鳥巢”蓄水池每年可以填滿16次。經(jīng)凈化處理后的“雨水”可用于場館綠化、賽場用水、空調(diào)冷卻、道路和汽車清洗,以及洗手間沖洗等,且水質(zhì)遠(yuǎn)高于國內(nèi)中水回用標(biāo)準(zhǔn)。
“鳥巢”周邊草木成蔭――百余株常綠喬木、數(shù)千株落葉喬木和灌木、近8萬平方米的草坪時(shí)常需要灌溉維護(hù)。在北京這樣一個(gè)人均水資源占有量不足300立方米的水資源稀缺的城市,既要為這些綠色植物“解渴”,實(shí)現(xiàn)和諧生態(tài),又要兼顧水資源節(jié)約,這使奧運(yùn)主會場的設(shè)計(jì)者們一度面臨著前所未有的挑戰(zhàn),而雨洪綜合利用工程則從根本上解決了這一難題。系統(tǒng)配備了中控機(jī)房,借助先進(jìn)的計(jì)算機(jī)系統(tǒng)來監(jiān)測和控制雨水收集、處理及供水的各個(gè)環(huán)節(jié)――通過對雨水資源的有效收集、凈化和回用,該系統(tǒng)每年節(jié)約的水資源足以注滿一座9米高的足球場,因而可確?!傍B巢”70%的用水來自于回用水,其中23%則由雨洪綜合利用工程提供。
回收后的水資源能否實(shí)現(xiàn)真正的“高效回用”,其關(guān)鍵在于凈化?!傍B巢”雨洪綜合利用工程的核心凈化技術(shù)應(yīng)用了奧運(yùn)全球合作伙伴美國GE公司的解決方案――納濾膜技術(shù)。簡言之,系統(tǒng)收集的雨水將經(jīng)過砂濾、超濾、納濾三重凈化步驟,方能投入回用――砂濾可去除水中的懸浮物、膠體等污染物;超濾則以小孔徑膜技術(shù)濾去水中的細(xì)菌和大分子物質(zhì);納濾則是用納濾膜科技對雙重凈化過的水做進(jìn)一步處理。作為膜技術(shù)在中國大型公共建筑領(lǐng)域的首個(gè)應(yīng)用案例,“鳥巢”雨洪綜合利用工程無疑為國內(nèi)城市未來的水資源回收利用工作提供了鑒益。
GE消費(fèi)及工業(yè)產(chǎn)品集團(tuán)大中華區(qū)總裁兼首席執(zhí)行官、北京2008奧林匹克業(yè)務(wù)總裁金飛翔(Jim Fisher)表示:“有機(jī)會深入?yún)⑴c北京奧運(yùn)場館建設(shè),助力綠色奧運(yùn)、科技奧運(yùn)――GE對此深感榮幸。GE希望把領(lǐng)先的環(huán)保技術(shù)和產(chǎn)品引入中國,在推進(jìn)‘綠色創(chuàng)想’的同時(shí),助力奧運(yùn)主辦城市實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo),為中國‘循環(huán)經(jīng)濟(jì)’和‘節(jié)約型社會’的建設(shè)貢獻(xiàn)力量?!?/p>
GE水處理及工藝過程處理集團(tuán)大中華區(qū)總裁周威方指出:“‘鳥巢’雨洪綜合利用系統(tǒng)所采用的膜技術(shù)凝聚了當(dāng)前全球水處理科技領(lǐng)域的至高成就,代表著未來的發(fā)展趨勢。隨著該技術(shù)的廣泛應(yīng)用,產(chǎn)量和本地化成分的不斷提升,相關(guān)技術(shù)和產(chǎn)品的成本優(yōu)勢也將逐步顯現(xiàn)。綠色奧運(yùn)僅僅是我們實(shí)現(xiàn)雨水回用的一個(gè)起點(diǎn)。從這個(gè)意義上說,綠色奧運(yùn)為綠色中國樹立了一個(gè)典范,也給出了一個(gè)標(biāo)桿。”
鏈接
GE公司
GE夢想啟動未來――GE是一家多元化的科技、媒體和金融服務(wù)公司,致力于解決世界上最棘手的一些問題。GE的產(chǎn)品和服務(wù)范圍廣闊,從飛機(jī)發(fā)動機(jī)、發(fā)電設(shè)備、水處理和安防技術(shù),到醫(yī)療成像、商務(wù)和消費(fèi)者融資、媒體以及高新材料,客戶遍及全球100多個(gè)國家,擁有30多萬員工。迄今為止,GE所有的工業(yè)集團(tuán)都已在中國開展業(yè)務(wù)。GE在中國擁有超過12,000名員工,總投資超過15億美元。如需更多資料,請?jiān)L問省略/cn 和 省略。
篇4
SENSUS系統(tǒng)是什么?
SENSUS是沃爾沃汽車三大科技創(chuàng)新子品牌之一,代表了沃爾沃面向未來汽車智能化互聯(lián)的創(chuàng)新方向,以隨車管家(Volvo on Call)和智能在線(SENSUS Connect)兩項(xiàng)功能為核心,包含移動互聯(lián)(Connect)、服務(wù)(Service)、影音娛樂(Entertain)、導(dǎo)航(Navi)、便捷控制(Control)在內(nèi)的全方位車載互聯(lián)解決方案。沃爾沃“以人為尊”的品牌理念讓SENSUS不僅具備充滿科技感的外觀,更擁有人性關(guān)懷的溫暖內(nèi)核:它的設(shè)計(jì)如同自身感官的自然延展,真正做到讓生活更簡單、舒適。
2015款沃爾沃S60L新增了SENSUS系統(tǒng)的34項(xiàng)功能,將為用戶打造更加高效、智能及尊貴的駕駛體驗(yàn)?;谠凭W(wǎng)絡(luò)技術(shù)的服務(wù)平臺,在與未來互聯(lián)技術(shù)和應(yīng)用的對接上產(chǎn)生無限可能,讓汽車真正成為互聯(lián)世界的重要部分。SENSUS完美演繹了以云服務(wù)技術(shù)架構(gòu)為代表的未來汽車車載互聯(lián)的行業(yè)趨勢。
隨車管家=全能助手
沃爾沃隨車管家,是一項(xiàng)車載智能多功能服務(wù)系統(tǒng),它以駕駛者為中心,與手持移動設(shè)備同步,提供安全、安防、車輛情況檢查等22項(xiàng)車輛管理功能,同時(shí)還能夠?yàn)轳{駛者的出行提供導(dǎo)航、生活服務(wù)預(yù)訂等人性化服務(wù)內(nèi)容。借助隨車管家,沃爾沃車主能夠更加便捷地掌握車輛動態(tài),讓出行變得更加輕松、愉快。
2015款S60L所搭載的隨車管家同時(shí)身兼警察(安全、安防)、醫(yī)生(救援保障)、保姆(自檢、診斷)和秘書(信息服務(wù))多項(xiàng)職責(zé),進(jìn)一步優(yōu)化了S60L車主的用車和出行體驗(yàn)。其中,一鍵SOS的緊急求救功能,使車主能夠在車輛發(fā)生事故時(shí),自動向隨車管家服務(wù)中心發(fā)送信號,告知車輛位置以及事故信息,服務(wù)中心則可報(bào)警并引導(dǎo)救援人員第一時(shí)間到達(dá)現(xiàn)場。此項(xiàng)功能終身免費(fèi),進(jìn)一步凸顯沃爾沃汽車對于安全的重視和保障。
隨車管家還能夠?yàn)檐囍魈峁┓辣I警報(bào)、衛(wèi)星定位及車輛鎖定等一系列安防功能,確保車輛安全。通過智能手機(jī)的APP客戶端,車主還能隨時(shí)隨地用手機(jī)和自己的車輛進(jìn)行對話。比如遠(yuǎn)程啟動發(fā)動機(jī),預(yù)冷、預(yù)熱調(diào)節(jié)車艙溫度;鎖車或解鎖車輛等。
針對中國用戶需求,2015款S60L所搭載隨車管家還提供三年免費(fèi)的7天24小時(shí)I-Call服務(wù),即車主可在車內(nèi)要求后臺服務(wù)人員以語音形式提供包括目的地查詢,以及股票、天氣、酒店和機(jī)票預(yù)訂等服務(wù),并遠(yuǎn)程輸入到車內(nèi)。
智能在線――語音控制的在線互聯(lián)體驗(yàn)
沃爾沃智能在線,是基于目前最為先進(jìn)的車聯(lián)網(wǎng)云技術(shù)為用戶提供12項(xiàng)安全可靠的互聯(lián)及信息交互服務(wù),帶來便捷、易用、智能的全方位輕松愜意的車內(nèi)互聯(lián)體驗(yàn)。在2014年Telematics Update底特律大會上,沃爾沃智能在線榮膺“全球OEM信息娛樂解決方案獎”(Global OEM Infotainment Solutions Award)。智能在線基于云技術(shù)的服務(wù)平臺能夠在未來持續(xù)更新和分享車載應(yīng)用,讓行車生活變得更加愉快并富有樂趣。
2015款S60L全系標(biāo)配的智能在線功能支持語音控制,只需用戶發(fā)出語音指令即可完成聲控導(dǎo)航、聲控電話和聲控收音機(jī)三大功能。駕駛員雙手無需離開方向盤即可進(jìn)行操作,實(shí)現(xiàn)更簡便人車互動的同時(shí)也保證了行車安全。
值得一提的是,針對中國市場,沃爾沃智能在線不僅提供了百度、豆瓣、蜻蜓等符合中國用戶使用習(xí)慣的應(yīng)用軟件,天氣預(yù)報(bào)中還增加中央氣象局和環(huán)境監(jiān)測局實(shí)時(shí)的AQI空氣質(zhì)量指數(shù)和PM 2.5監(jiān)測功能,為用戶的健康出行保駕護(hù)航。
世界級云技術(shù)服務(wù)
沃爾沃汽車是少數(shù)通過云網(wǎng)絡(luò)技術(shù)提供應(yīng)用程序與服務(wù)的汽車廠商之一。為沃爾沃提供云服務(wù)的是全球最大的移動系統(tǒng)供應(yīng)商愛立信公司和歐洲著名車載信息方案供應(yīng)商WirelessCar。愛立信不僅提供端到端全面通信解決方案,同時(shí)也是全球移動通信標(biāo)準(zhǔn)化的領(lǐng)導(dǎo)企業(yè)。為沃爾沃Sensus系統(tǒng),愛立信與WirelessCar量身定制了兩個(gè)云端,向中國用戶提供了全球一致的車載互聯(lián)體驗(yàn)。
篇5
隨著數(shù)字多媒體技術(shù)、高容量硬盤存儲技術(shù)、視音頻智能識別技術(shù)的成熟,以語音和圖像識別為基礎(chǔ)的廣播電視監(jiān)播系統(tǒng)已成為廣播電視監(jiān)播的發(fā)展方向。傳統(tǒng)廣播電視監(jiān)播系統(tǒng)主要是人工監(jiān)播和硬盤錄像,存在監(jiān)播成本高,效率低等特點(diǎn)。為了對天氣預(yù)報(bào)節(jié)目及廣告進(jìn)行監(jiān)播,掌握各檔節(jié)目播出的時(shí)間,分析統(tǒng)計(jì)各廣告播出情況,更好地服務(wù)廣大廣告客戶,福建省氣象影視中心緊隨新技術(shù)的發(fā)展,建立了適應(yīng)氣象影視經(jīng)營發(fā)展的智能監(jiān)播系統(tǒng)。
二、氣象影視節(jié)目監(jiān)播的重要性
氣象影視事業(yè)經(jīng)過三十多年的發(fā)展,已經(jīng)在全國的省、地甚至縣的各級氣象部門得到普遍的開展。各地大多建立了相應(yīng)的氣象影視制作和經(jīng)營部門,小僅進(jìn)行天氣預(yù)報(bào)節(jié)目的制作,還開展了氣象影視廣告的經(jīng)營,儼然成為一個(gè)個(gè)小電視臺。
福建省氣象影視中心自開展氣象影視節(jié)目制作以來,便伴隨著氣象影視廣告的市場開發(fā)和經(jīng)營,并且在1991年特別成立了福建省新氣象廣告公司專門負(fù)責(zé)廣告的經(jīng)營。目前,廣告公司承擔(dān)了福建電視臺八個(gè)頻道、十八檔節(jié)目、二十四個(gè)播出時(shí)次的“天氣預(yù)報(bào)”節(jié)目廣告的市場經(jīng)營開發(fā),涉及對數(shù)十家廣告企業(yè)與客戶的服務(wù)。
為了及時(shí)了解氣象節(jié)目的播出情況,滿足客戶對廣告播出情況的監(jiān)督,必須對各個(gè)頻道節(jié)目的播出時(shí)間和播出內(nèi)容進(jìn)行監(jiān)播和采集。一方而,經(jīng)過對采集到的節(jié)目視頻的分析,確定各檔節(jié)目播出時(shí)間的準(zhǔn)時(shí)性,及時(shí)向各電視頻道反饋節(jié)目播出時(shí)間的偏差并協(xié)商糾正。同時(shí),審查各廣告播出的編排和播出情況,及時(shí)向客戶提供廣告播出視頻和監(jiān)播報(bào)告。另一方而,通過保存節(jié)目和廣告播出的完整視頻及播出資料,以備與電視臺及廣告客戶出現(xiàn)爭議時(shí)提供必要的依據(jù)。多年實(shí)踐證明,進(jìn)行氣象影視節(jié)目播出的監(jiān)播是氣象影視經(jīng)營順利發(fā)展的重要保障。
三、福建氣象影視監(jiān)播系統(tǒng)的發(fā)展
福建省氣象影視中心使用的節(jié)目監(jiān)播系統(tǒng)已經(jīng)歷了三代的技術(shù)模式。第一代是二十世紀(jì)初購置的多通道硬盤錄像機(jī)。該系統(tǒng)采用全時(shí)段錄制、全人工檢索的技術(shù)模式。全時(shí)段錄制需占用大量的硬盤空間,硬盤存儲錄制視頻的時(shí)間跨度少,無法進(jìn)行長時(shí)間的檢索查詢。同時(shí),存在檢索工作繁瑣,費(fèi)時(shí)費(fèi)力、效率低下,設(shè)備故障頻出,并們-.們小能客觀記錄監(jiān)播結(jié)果等諸多缺陷。但是,基于當(dāng)時(shí)的技術(shù)發(fā)展和資金投入能力,系統(tǒng)還是較好地應(yīng)付了對節(jié)目和廣告的監(jiān)播需要,并為中心以后的節(jié)目監(jiān)播技術(shù)發(fā)展積累了經(jīng)驗(yàn)。
(二)引進(jìn)了網(wǎng)絡(luò)硬盤錄像機(jī)進(jìn)行節(jié)目錄制和廣告監(jiān)播。該系統(tǒng)可采用全時(shí)段錄制和定時(shí)錄制的方式。使用定時(shí)錄制方式可大大減少硬盤占用空間,增加節(jié)目視頻的錄制和保存長度,方便節(jié)目和廣告的檢索和查詢。但是,采用定時(shí)錄制也會出現(xiàn)因電視臺節(jié)目播出時(shí)間臨時(shí)調(diào)整而錄制小上的現(xiàn)象。雖然該系統(tǒng)也提供網(wǎng)絡(luò)檢索功能,可無需在硬盤錄像機(jī)上進(jìn)行操作即可進(jìn)行檢索,但功能較為簡單,僅提供一般的檢索、查看、下載功能,無法進(jìn)行有效數(shù)據(jù)統(tǒng)計(jì)分析。
(二)隨著圖像處理技術(shù)與模式識別技術(shù)的快速發(fā)展,基于電視內(nèi)容,依靠u而特征(人體特征和物體特征)來進(jìn)行u而識別的技術(shù)得以實(shí)現(xiàn)。系統(tǒng)能在高速CPU技術(shù)的支持下,對視頻u而的關(guān)鍵部分進(jìn)行建模,并與原有模板庫進(jìn)行比對,從而精確識別電視的內(nèi)容。
利用集監(jiān)看、視音頻/TS流收錄于一身的多格式網(wǎng)絡(luò)監(jiān)測收錄系統(tǒng),依靠專業(yè)開發(fā)的收錄軟件及網(wǎng)絡(luò)傳輸技術(shù),實(shí)現(xiàn)了對RF/ASI接u,cuss接u,sDI接u,aEs接u和IP網(wǎng)絡(luò)中點(diǎn)到多點(diǎn)的高效數(shù)據(jù)傳送,有效節(jié)約網(wǎng)絡(luò)帶寬,降低網(wǎng)絡(luò)負(fù)載,大大提高數(shù)據(jù)傳輸?shù)男?。智能高效的系統(tǒng)設(shè)計(jì)可降低設(shè)備的造價(jià),提高系統(tǒng)的工作效率和使用成本,可適應(yīng)氣象影視制作和播出的實(shí)際需求。經(jīng)過充分的調(diào)研和分析,結(jié)介氣象影視節(jié)目和廣告監(jiān)播的要求,通過與設(shè)備提供商的緊密介作,制定了氣象影視智能監(jiān)播系統(tǒng)的解決方案。
四、氣象影視節(jié)目監(jiān)播的基本要求
(一)根據(jù)福建電視天氣預(yù)報(bào)節(jié)目在多個(gè)頻道播出的實(shí)際情況,系統(tǒng)必須能夠同時(shí)對多個(gè)電視頻道的節(jié)目和廣告進(jìn)行同步監(jiān)測和采集;
(二)電視天氣預(yù)報(bào)節(jié)目的廣告形式多樣,包括平播廣告、城市開窗廣告、側(cè)屏廣告、角標(biāo)廣告等形式。除平播廣告外,其它的廣告形式都沒有廣告配音,也小是全屏廣告(開窗或側(cè)屏)。監(jiān)播系統(tǒng)必須對小同形式的目標(biāo)廣告進(jìn)行u而自動識別。
(三)監(jiān)播系統(tǒng)記錄的內(nèi)容需要包括:播出節(jié)目和廣告的名稱、開始時(shí)間、結(jié)束時(shí)間、前節(jié)目、后節(jié)目、前廣告、后廣告、本組廣告的數(shù)量,本條廣告在本組所處的序號等。對目標(biāo)節(jié)目和廣告進(jìn)行自動檢索和列表統(tǒng)計(jì)、打印。系統(tǒng)支持節(jié)目和廣告樣本的跨頻道、跨媒體識別,節(jié)目和廣告樣本能夠適介于所有的廣播電視頻道。
(四)系統(tǒng)采用文件方式對視音頻數(shù)據(jù)進(jìn)行處理,能夠自接對兼容的數(shù)據(jù)文件進(jìn)行處理,充分保證了系統(tǒng)的可靠性,確保數(shù)據(jù)小會丟失。
(五)系統(tǒng)提供標(biāo)準(zhǔn)接日的播放插件,視頻文件可以使用微軟MediaPlayer接進(jìn)行播放。并且提供轉(zhuǎn)碼工具,轉(zhuǎn)換成DVD、VCD、WMV、RM等多種視頻格式。
(六)支持多終端網(wǎng)絡(luò)管理。在使用部門建立廣告播出管理平臺,實(shí)現(xiàn)廣告播出的網(wǎng)絡(luò)傳輸和交播手續(xù)的無紙化,及廣告播出管理的互動和監(jiān)督。
(七)系統(tǒng)可建立氣象節(jié)目和廣告政策的網(wǎng)絡(luò)平臺,方便廣告客戶的監(jiān)看,實(shí)現(xiàn)自動提供播出廣告的長度、時(shí)間、頻次,以作為落實(shí)廣告播出介同的依據(jù)。
五、監(jiān)播系統(tǒng)的技術(shù)方案
主要技術(shù)特點(diǎn)
1.整個(gè)系統(tǒng)滿足最多16路模擬電視信號24小時(shí)穩(wěn)定運(yùn)行實(shí)現(xiàn)監(jiān)測錄制,實(shí)現(xiàn)MPEG2\H.264壓縮錄制(壓縮碼流從SOOKb/ps一SMb/ps可調(diào));
2.支持對信號的區(qū)域識別比對,通過文件的方式實(shí)現(xiàn)對實(shí)時(shí)信號的比對,當(dāng)信號出現(xiàn)時(shí)即時(shí)錄制。實(shí)現(xiàn)視頻的預(yù)錄制功能,可在5秒一60秒之間人工設(shè)置預(yù)錄制時(shí)間;
3.采用FIFO(先進(jìn)先出)原則管理系統(tǒng)存儲,整個(gè)系統(tǒng)完全滿足對所有頻道的全時(shí)錄制,錄制視音頻信號有1個(gè)月以上的存儲量,并可根據(jù)需要擴(kuò)充存儲硬盤陣列,增加錄制視音頻信號的存儲時(shí)間;
4.可實(shí)時(shí)疊加自定義的LOGO,時(shí)間,標(biāo)志,頻道信息等資料;
5.實(shí)現(xiàn)對錄制素材的剪輯,介成,檢索,統(tǒng)計(jì),查詢,瀏覽,回放等功能;
6.提供流媒體的接u,可在每個(gè)客戶端實(shí)現(xiàn)TS流的整流錄制和單PS流、單TS流錄制功能。
7.系統(tǒng)具有可擴(kuò)展性,系統(tǒng)的輸入日可任意增加,可擴(kuò)充至CVBS\HDSDI\SDSDI\ASI\AES等接u,只需要增力ii編轉(zhuǎn)碼模塊即可,系統(tǒng)具有擴(kuò)展和在線升級能力。
六、結(jié)語
氣象影視節(jié)目監(jiān)播系統(tǒng)的建設(shè)是完善氣象影視服務(wù)的基礎(chǔ)性工程。新一代天氣預(yù)報(bào)節(jié)目智能監(jiān)播系統(tǒng)根據(jù)模板庫建立的節(jié)目片頭和廣告樣本實(shí)現(xiàn)智能監(jiān)播,對各個(gè)頻道視頻流進(jìn)行比對,將需要的節(jié)目和廣告視頻錄制下來,減少了硬盤占用空間,增加節(jié)目的存儲時(shí)間長度。同時(shí),通過網(wǎng)絡(luò)連接可在各個(gè)客戶端實(shí)現(xiàn)查詢檢索轉(zhuǎn)碼下載,打印統(tǒng)計(jì)分析報(bào)告等功能。經(jīng)過統(tǒng)計(jì)媒介廣告播出情況,對廣告的客戶類型、產(chǎn)品類別進(jìn)行統(tǒng)計(jì)分析,有效挖掘潛在廣告投放客戶行業(yè)。
篇6
【關(guān)鍵詞】日志分析 ELK 智能化運(yùn)維
1 引言
大數(shù)據(jù)時(shí)代,隨著存儲與計(jì)算集群規(guī)模的不斷擴(kuò)大,氣象部門業(yè)務(wù)系統(tǒng)的集群環(huán)境也已普遍。然而現(xiàn)在的機(jī)群系統(tǒng)不僅限于解決性能、可靠、可擴(kuò)展性等層面上,更重要的是具有易操作性和內(nèi)部數(shù)據(jù)共享性等。運(yùn)維及開發(fā)人員通過日志信息不但可以知道系統(tǒng)運(yùn)行狀況、檢查運(yùn)行過程中的錯(cuò)誤及排查原因,還可以知道服務(wù)器的負(fù)荷,性能安全性,從而及時(shí)采取措施糾正錯(cuò)誤。
大規(guī)模集群系統(tǒng)中日志被分散的儲存不同的設(shè)備上。傳統(tǒng)方法通過使用命令工具如cat、tail、sed、awk、grep等等進(jìn)行過濾輸出后分析的方法由于效率較低與不再適用,明顯增加了運(yùn)維工作量。當(dāng)務(wù)之急的工作就是要使用集中化的日志管理平臺,將所有服務(wù)器上的日志收集匯總進(jìn)行監(jiān)控、分析。優(yōu)秀的系統(tǒng)運(yùn)維平臺既能實(shí)現(xiàn)數(shù)據(jù)平臺各組件的集中式管理、方便系統(tǒng)運(yùn)維人員日常監(jiān)測、提升運(yùn)維效率,又能反饋系統(tǒng)運(yùn)行狀態(tài)給系統(tǒng)開發(fā)人員。
2 ELK簡介
ELK是由ElasticSearch、Logstash、Kibana組成的開源日志處理平臺解決方案。ELK能把這些日志集中管理,并提供全文檢索、統(tǒng)計(jì)分析功能,不僅可以提高診斷的效率,同時(shí)可以起到實(shí)時(shí)系統(tǒng)監(jiān)測、網(wǎng)絡(luò)安全、事件管理和發(fā)現(xiàn)bug等功能。
2.1 ElasticSearch簡介
ElasticSearch是一個(gè)基于Lucene的全文搜索引擎?;赗ESTful web接口,提供了一個(gè)分布式多用戶能力的全文搜索引擎。用Java開發(fā)的Apache許可條款下的開放源碼。在云計(jì)算應(yīng)用中,能夠達(dá)到實(shí)時(shí)搜索,穩(wěn)定,可靠,快速,且安裝使用方便。
2.2 Logstash簡介
Logstash由JRuby語言編寫的日志采集解析工具,基于消息(message-based)的簡單架構(gòu)。Logstash由input、filter和output三部分組成,input負(fù)責(zé)從數(shù)據(jù)源提取數(shù)據(jù),filter負(fù)責(zé)解析、處理數(shù)據(jù),output負(fù)責(zé)輸出數(shù)據(jù),每部分都有提供豐富的插件。不同于分離的端(agent)或主機(jī)端(server),Logstash可配置單一的端(agent)與其它開源軟件結(jié)合,以實(shí)現(xiàn)不同的功能。
2.3 Kibana簡介
Kibana也是一個(gè)開源的分析可視化平臺,它具有匯總、分析和搜索重要數(shù)據(jù)日志并提供友好的web界面的功能。他可以為Logstash和ElasticSearch提供的日志分析的 Web 界面,具有較好的展示效果,可以自定義多種表格、柱狀圖、餅狀圖、折線圖,對存儲在ElasticSearch中的數(shù)據(jù)進(jìn)行深入挖掘分析與可視化。
3 日志分析系統(tǒng)
3.1 日志分析系統(tǒng)框架
基于ELK的日志分析系統(tǒng)的體系結(jié)構(gòu)總體分為日志采集、日志預(yù)處理和日志分析三部分,如圖1所示。
雖然單純的ELK架構(gòu)方式容易搭建,但是由于沒有消息隊(duì)列緩沖,存在數(shù)據(jù)丟失隱患,故本文設(shè)計(jì)的日志分析平_引入了消息隊(duì)列機(jī)制。多個(gè)獨(dú)立的Logstash agent(shipper)部署在CIMISS系統(tǒng)(26臺服務(wù)器)各個(gè)日志生成host上,負(fù)責(zé)收集不同來源的日志,直接將日志輸出到Redis隊(duì)列(list)中;Logstash(Indexe)負(fù)責(zé)從Redis中取出數(shù)據(jù),對數(shù)據(jù)進(jìn)行格式化和相關(guān)預(yù)處理后,輸出到ElasticSearch集群中存儲;最后由Kibana呈現(xiàn)給用戶做統(tǒng)計(jì)、分析。
3.2 ELK環(huán)境部署
3.2.1 基礎(chǔ)環(huán)境準(zhǔn)備
ELK日志分析平臺采用兩臺安有Centos6.4系統(tǒng)的虛擬機(jī)作為集群,一臺作為master節(jié)點(diǎn),另一臺為slave節(jié)點(diǎn),master收集到日志后,會隨機(jī)把一部分?jǐn)?shù)據(jù)碎片到salve上;同時(shí),master和slave又都會各自做副本,并把副本放到對方機(jī)器上,這樣就保證了數(shù)據(jù)不會丟失。如果master宕機(jī)了,那么客戶端在日志采集配置中將ElasticSearch主機(jī)指向改為slave,就可以保證ELK日志的正常采集和web展示。
3.2.2 ElasticSearch安裝及配置
由于ElasticSearch和Logstash都是依賴于java環(huán)境運(yùn)行,且對java版本要求較高,首先在兩臺ElasticSearch客戶端逐臺安裝jdk8。然后安裝ElasticSearch5.0.1,集群名設(shè)置為ElasticSearch,每臺服務(wù)器的主機(jī)名為默認(rèn)主機(jī)名,完成配置文件修改工作并登陸Web頁面測試安裝是否成功。最后安裝head插件,它是一個(gè)用瀏覽器跟ES集互的插件,可以查看集群狀態(tài)、集群的doc內(nèi)容、執(zhí)行搜索和普通的Rest請求等。
3.2.3 Logstash安裝及配置
Logstash的安裝較為簡單,首先檢查CIMISS系統(tǒng)中各日志生成服務(wù)器的java版本是否能夠支持Logstash,如果版本較低的話創(chuàng)建新用戶,安裝高版本的JDK,同時(shí)配置環(huán)境變量。然后在日志生成服務(wù)器和客戶端安裝Logstash5.0.1,并編寫簡單的輸入輸出信息測試Logstash是否能夠正確輸出。測試完成創(chuàng)建一個(gè)配置文件,使用 input 、filter和 output 定義收集日志時(shí)的輸入和輸出的相關(guān)配置,啟動Logstash時(shí)指定使用該配置文件。
3.2.4 Kibana及插件安裝配置
解壓安裝Kibana后修改配置文件,由于Kibana需要一直運(yùn)行在前臺,因此選擇使用screen啟動Kibana。為了保證日志分析平臺的安全性,在Kibana和ElasticSearch中安裝x-pack插件。此時(shí)Logstash的配置文件中應(yīng)將x-pack的訪問權(quán)限配置到output。使用瀏覽器訪問Kibana,在Discover中添加Logstash發(fā)送給ElasticSearch的index名,并在Query bar中輸入日志中可能引起系統(tǒng)異常的字段,搜索結(jié)果會隨著時(shí)間的推移顯示在頁面頂部的方直圖中,如圖2所示。同時(shí)可以保存關(guān)注的搜索結(jié)果,并在Visualize中創(chuàng)建柱狀圖,在Dashboard中監(jiān)控。
4 結(jié)論
大數(shù)據(jù)時(shí)代的運(yùn)維管理有著重大的意義,好的日志處理平臺事半功倍的提升開發(fā)人員和運(yùn)維人員的效率。本文提出了基于ELK實(shí)時(shí)進(jìn)行大日志數(shù)據(jù)搜索的軟件集成方案。采集CIMISS系統(tǒng)各設(shè)備上的操作日志、系統(tǒng)運(yùn)行日志、進(jìn)程輸出日志、以及維護(hù)記錄日志,發(fā)現(xiàn)和捕獲海量日志中的異常行為和違規(guī)行為,通過分析日志快速定位系統(tǒng)異常,為保障氣象部門系統(tǒng)系統(tǒng)安全提供支持。
參考文獻(xiàn)
[1]https://elastic.co/
[2]呂增輝,陶振凱,唐靜.基于的對象持久化的實(shí)現(xiàn)[J].吉林師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,30(01):90-91.
[3][美]拉斐爾?酷奇,等.深入理解ElasticSearch[M].北京:機(jī)械工業(yè)出版社,2016.
篇7
這些現(xiàn)象其實(shí)都在說明一個(gè)問題:如果你對這些現(xiàn)象感到驚訝,那么你落伍了;如果你對這些現(xiàn)象感到興奮,那么你看完本文一定大有收獲。不過在展開之前,我們首先知道什么是大數(shù)據(jù)。
根據(jù)研究機(jī)構(gòu)Gartner的定義,大數(shù)據(jù)是指需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看,“大數(shù)據(jù)”指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。
通俗地講,大數(shù)據(jù)具有4V特點(diǎn):Volume(數(shù)據(jù)量大)、Velocity(實(shí)時(shí)性強(qiáng))、Variety(種類多樣)、Veracity(真實(shí)性)。更為重要的是,大數(shù)據(jù)還具有Value(價(jià)值)的特點(diǎn)。我們選取幾個(gè)最具代表性的故事來說明大數(shù)據(jù)。
第1、草船借箭:大數(shù)據(jù)讓你“神機(jī)妙算”
情節(jié)概覽:草船借箭,想必讀過書的人都知道這一歷史典故。它發(fā)生在三國時(shí)期,由于周瑜長期以來“羨慕嫉妒”諸葛亮的才干,故意刁難并要求諸葛亮在十天內(nèi)趕造十萬支箭。然而,諸葛亮卻表示不需要十天的時(shí)間,并以下軍令狀的勇氣和自信,承諾在三天內(nèi)就能提供這十萬支箭。后來,當(dāng)然如諸葛亮所料,輕輕松松地利用“草船”“借”到了曹軍的十萬多支箭。
總結(jié)分析:“草船借箭”體現(xiàn)的是三國時(shí)代背景下,諸葛亮的足智多謀。但換在現(xiàn)在來看,“草船借箭”能夠付諸實(shí)施,很大程度上得益于孔明對氣象的準(zhǔn)確觀察和預(yù)測,這種觀察預(yù)測和當(dāng)今的天氣預(yù)報(bào)本質(zhì)上是一回事,只不過孔明加入了對當(dāng)時(shí)所處形勢的預(yù)判。
“草船借箭”和大數(shù)據(jù)有什么關(guān)系呢?對天象的觀察是基于一種對風(fēng)、云、溫度、濕度、光照和所處節(jié)氣的綜合分析。這些數(shù)據(jù)來源于多元化的“非結(jié)構(gòu)”類型,并且數(shù)據(jù)量較大,只不過這些數(shù)據(jù)輸入到的不是電腦,而是人腦并最終通過計(jì)算分析得出結(jié)論。需要注意的是,單純的概率統(tǒng)計(jì)和數(shù)據(jù)分析,失去眾多非結(jié)構(gòu)類型數(shù)據(jù)支撐的分析、結(jié)論都不是“大數(shù)據(jù)”。
當(dāng)然,“草船借箭”只能算是大數(shù)據(jù)的雛形,并不能和當(dāng)今真正意義上的“大數(shù)據(jù)”相比,但筆者希望通過這種人盡皆知的歷史典故,揭開對“大數(shù)據(jù)”的更直觀、更深刻認(rèn)識。
第2、智慧城市:智能交通視頻監(jiān)控
情節(jié)概覽:每次出門,是否總擔(dān)心路上遇到交通擁堵?每次行車,是否總害怕前方遇上交通事故?這些問題,恐怕當(dāng)今社會每個(gè)人都曾遭遇過。通過現(xiàn)有的IT技術(shù)在大數(shù)據(jù)時(shí)代背景下,完全可以打造一座智慧之城。
筆者曾在南京深刻感受到智慧城市視頻監(jiān)控系統(tǒng)給整個(gè)城市帶來的變革?;趶?qiáng)大的云平臺運(yùn)行智慧交通云系統(tǒng)、云視頻監(jiān)控和智能分析應(yīng)用,實(shí)時(shí)采集和處理南京1000個(gè)攝像頭、每天數(shù)百TB的海量交通數(shù)據(jù),并對整個(gè)南京140萬機(jī)動車規(guī)模的交通數(shù)據(jù)進(jìn)行實(shí)時(shí)查詢和分析。
除此之外,云計(jì)算平臺還可以跟蹤車輛的行車記錄、統(tǒng)計(jì)分析交通擁堵路段。以往需要人工參與并監(jiān)控的交通擁堵和車禍等信息,現(xiàn)在完全可以交由該平臺進(jìn)行處理,主動分析攝像頭搜集的各個(gè)路段信息,并分析視頻、主動報(bào)警、主動通知用戶。
總結(jié)分析:智慧城市,很大程度上就蘊(yùn)含了交通作為城市動脈的數(shù)據(jù)流。通過視頻監(jiān)控,采集各個(gè)道路視頻攝像頭信息,并對比歷史記錄和實(shí)時(shí)車流、人流進(jìn)行分析,可以計(jì)算和預(yù)測該路段當(dāng)前、未來的交通情況,也可以動態(tài)調(diào)整交通狀況并實(shí)時(shí)預(yù)警。其數(shù)據(jù)量之大、結(jié)構(gòu)類型之多、實(shí)時(shí)性之高,足以體現(xiàn)大數(shù)據(jù)在智慧城市的應(yīng)用前景和價(jià)值所在。
第3、生態(tài)中國:讓大數(shù)據(jù)、云計(jì)算監(jiān)測預(yù)警環(huán)保
情節(jié)概覽:中國是一個(gè)人口大國,同時(shí)也是一個(gè)能源大國。其中,山西省更是以盛產(chǎn)煤炭資源而著稱的能源大省。在過去的現(xiàn)代化建設(shè)中,在開采礦產(chǎn)和煤炭資源過程中,出現(xiàn)了很多破壞生態(tài)環(huán)境的做法。
然而,得益于物聯(lián)網(wǎng)技術(shù)和IT技術(shù)的突破性發(fā)展,近年來,在開采礦產(chǎn)資源過程中破壞生態(tài)植被、出現(xiàn)生產(chǎn)事故的幾率大大減少,相反還出現(xiàn)了可以實(shí)時(shí)監(jiān)測并提前告警的智能化解決方案。
筆者去煤炭大省山西太原了解了這一發(fā)展動態(tài)。目前該省物聯(lián)網(wǎng)、安全生產(chǎn)和節(jié)能環(huán)保、能源物流等項(xiàng)目都被整合到―個(gè)物聯(lián)網(wǎng)云平臺上,并通過“云端”的方式不斷推進(jìn)。具體來說,“云”負(fù)責(zé)承載業(yè)務(wù)并通過資源池化為用戶(包括政府、公益部門和企業(yè)部門等等)提供接入服務(wù),由嵌入式電路及其之上的智能終端設(shè)備組成的“端”,負(fù)責(zé)采集并實(shí)時(shí)監(jiān)測全省各個(gè)煤礦(包括瓦斯含量、溫度、濕度等數(shù)據(jù)),從而打造出智能化、自動后的“數(shù)字礦山”。除了煤礦物聯(lián)網(wǎng)之外,還可通過公關(guān)物聯(lián)網(wǎng)、環(huán)保物聯(lián)網(wǎng)等服務(wù)平臺,對地下管網(wǎng)(“地眼工程”)、污水處理、城市道路提供服務(wù)。
總結(jié)分析:坦白說,物聯(lián)網(wǎng)并不是大數(shù)據(jù),但物聯(lián)網(wǎng)本身具有大數(shù)據(jù)特征,而且在發(fā)展的過程中也需要應(yīng)對大數(shù)據(jù)這種挑戰(zhàn)。對于傳感器數(shù)據(jù)量已經(jīng)達(dá)到PB級別、且結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)日益增長的物聯(lián)網(wǎng)平臺來說,需要和企業(yè)一樣共同面對大數(shù)據(jù)帶來的挑戰(zhàn),挖掘大數(shù)據(jù)中所潛藏的巨大價(jià)值。
物聯(lián)網(wǎng),尤其是基于類似山西省的這種煤炭、環(huán)保、公益物聯(lián)網(wǎng)平臺,在遇上大數(shù)據(jù)的時(shí)候,更多的需要考慮甚至重新部署設(shè)計(jì),以獲得更為靈活高效的實(shí)時(shí)監(jiān)控和預(yù)警,并幫助各類企業(yè)和環(huán)保等公益事業(yè)部門做出更科學(xué)合理的決策分析??梢灶A(yù)見,生態(tài)中國、美麗中國,需要物聯(lián)網(wǎng),更需要大數(shù)據(jù)解決方案。
第4、云平臺:個(gè)性化自主學(xué)習(xí)
情節(jié)概覽:教育是一個(gè)國家和社會最具靈魂性的領(lǐng)域。對于教育而言,關(guān)系到每個(gè)人的切身利益,而且伴隨著每個(gè)人的成長旅程。教育可以改變?nèi)说拿\(yùn),同樣,教育方式和教育理念也可以改變?nèi)说囊簧?。不同于以往的“趕鴨上架”式教育模式,借助信息技術(shù)在二十一世紀(jì)的教育模式將發(fā)生根本性轉(zhuǎn)變。這些轉(zhuǎn)變中,以“個(gè)性化學(xué)習(xí)”模式最具變革性。比如在重慶石堰鎮(zhèn)中心學(xué)校,采用了一種“一對一數(shù)字化學(xué)習(xí)”的模式推動傳統(tǒng)教育的變革。
具體做法是,通過引進(jìn)英特爾“一對一數(shù)字化學(xué)習(xí)”項(xiàng)目,前期先在實(shí)驗(yàn)班開展實(shí)施,給每一個(gè)學(xué)生都派發(fā)個(gè)人學(xué)習(xí)終端(小電腦),并在一對一數(shù)字化教學(xué)環(huán)境下,加強(qiáng)互動教學(xué)與整合信息技術(shù)的培養(yǎng),將傳統(tǒng)的學(xué)習(xí)以教師為中心轉(zhuǎn)變?yōu)橐詫W(xué)生為中心的自主、交互式教學(xué)。如何實(shí)現(xiàn)個(gè)性化學(xué)習(xí)呢?讓學(xué)生融入到快樂自主學(xué)習(xí)的狀態(tài),培養(yǎng)知識探究的求學(xué)精神,最后還會通過課程標(biāo)準(zhǔn)和學(xué)習(xí)評價(jià)系統(tǒng),對每個(gè)學(xué)生在不同科目上的學(xué)習(xí)進(jìn)度、興趣愛好、知識關(guān)聯(lián)上的不同,針對性地做出教學(xué)指導(dǎo)和建議。目前,該學(xué)校已經(jīng)全面開展了這種個(gè)性化數(shù)字學(xué)習(xí)模式。
總結(jié)分析:“一對一數(shù)字化學(xué)習(xí)”并不一定是最理想的個(gè)性化學(xué)習(xí)模式,但卻是目前最具實(shí)踐性并幫助取得教育信息化改革突破的最好方式。個(gè)性化學(xué)習(xí),會通過學(xué)生在自己的學(xué)習(xí)平臺上的多媒體學(xué)習(xí)資料、學(xué)習(xí)進(jìn)展、互動(包括書面和音視頻)、自主學(xué)習(xí)(利用平臺主動學(xué)習(xí)相關(guān)領(lǐng)域科學(xué)知識),幫助學(xué)生完善知識結(jié)構(gòu)并加快學(xué)生對自身興趣愛好的挖掘和特長的培養(yǎng)。
對學(xué)習(xí)評價(jià)體系,也會根據(jù)每個(gè)學(xué)生的這些行為特征和學(xué)習(xí)內(nèi)容,對考核和科目設(shè)置進(jìn)行評價(jià),并最終幫助培養(yǎng)學(xué)生早日成為創(chuàng)新人才。雖然單個(gè)學(xué)生的各種數(shù)據(jù)(結(jié)構(gòu)、非結(jié)構(gòu))量并不一定很大,但從整個(gè)教學(xué)模式的轉(zhuǎn)變,尤其是在教育信息化改革的背景下,這種學(xué)習(xí)方式也體現(xiàn)出了基于大數(shù)據(jù)的個(gè)性化學(xué)習(xí)發(fā)展方向。
可以預(yù)見,未來個(gè)性化學(xué)習(xí)終端,將會更多的融入學(xué)習(xí)資源云平臺,根據(jù)每個(gè)學(xué)生的不同興趣愛好和特長,推送相關(guān)領(lǐng)域的前沿技術(shù)、資訊、資源乃至未來職業(yè)發(fā)展方向等等,并貫穿每個(gè)人終身學(xué)習(xí)的全過程,也就是個(gè)人云平臺中貫穿自己終身教育的應(yīng)用。
第5、網(wǎng)絡(luò)求職:“上位”變得更加簡單
情節(jié)概覽:求職,是每個(gè)學(xué)子走向社會的必經(jīng)之路,也是實(shí)現(xiàn)個(gè)人價(jià)值最為常見的方式之一。在這里,我們講的并不是大數(shù)據(jù)時(shí)代下涌現(xiàn)出的大數(shù)據(jù)相關(guān)崗位,也不是介紹大數(shù)據(jù)促進(jìn)rr就業(yè)機(jī)會,而是如何通過大數(shù)據(jù)讓“對”的人才更好、更快地在“對”的崗位“上位”。
網(wǎng)絡(luò)求職,是廣大求職者找工作的一種重要途徑。從開始之初的簡歷制作、投放技巧到面試技巧等等,其實(shí)說的都是一個(gè)問題,以更好的技巧來找到更好的崗位。如果說傳統(tǒng)的網(wǎng)絡(luò)求職更多的是投機(jī)取巧的話,那么大數(shù)據(jù)時(shí)代下的網(wǎng)絡(luò)求職則是智能分析。當(dāng)然,這種智能化既有利于招聘者也有利于求職者。
網(wǎng)絡(luò)上的每一秒鐘,都有^在發(fā)電子郵件、在線交易、觀看視頻、內(nèi)容檢索等等。而網(wǎng)絡(luò)求職更多的就是內(nèi)容檢索。1秒鐘背后的上萬億URL,要求高效的數(shù)據(jù)檢索和算法?;ヂ?lián)網(wǎng)搜索經(jīng)歷了數(shù)據(jù)、信息到知識、智慧搜索的發(fā)展過程。目前的搜索引擎正處在從信息搜索向知識搜索發(fā)展的階段。
近年來,在搜索領(lǐng)域出現(xiàn)了一種基于語義的分析搜索技術(shù),這種技術(shù)在招聘求職行業(yè)擁有廣泛的用途。通常來說,招聘流程包括三大過程:異構(gòu)數(shù)據(jù)轉(zhuǎn)化成同構(gòu)信息、篩選并提煉信息、信息高效存儲和推送。由于文化背景、語言背景、教育背景等不同而造成的表達(dá)方式不同,會導(dǎo)致人才簡歷、招聘啟示、用戶行為在表現(xiàn)方式上的不同。通過語義分析技術(shù)將它們轉(zhuǎn)化成可以對比、關(guān)聯(lián)、篩選的同構(gòu)信息,并將合適的人才信息與合適的崗位信息進(jìn)行匹配。
總結(jié)分析:單純看求職者簡歷,數(shù)據(jù)量再大也不屬于大數(shù)據(jù);僅憑招聘啟示,再復(fù)雜多樣的表達(dá)方式也同樣不屬于大數(shù)據(jù)。如何更智能、更高效、更準(zhǔn)確地為人才和雇主搭建起橋梁,才是大數(shù)據(jù)應(yīng)用的精髓所在。
一方面,企業(yè)主需要有更多渠道來尋找更具有成長價(jià)值的人才,而在網(wǎng)絡(luò)這個(gè)平臺上,由于海量求職信息的充斥,使得企業(yè)主尋找合適人才的時(shí)間成本和資金成本都很高。廣大獵頭在市場上得以快速發(fā)展就是最好證明。另一方面,應(yīng)聘者需要更準(zhǔn)確地尋找到自己適合的成長平臺。通過網(wǎng)絡(luò)途徑,將自己的教育背景、從業(yè)經(jīng)歷、技能特長等固化到個(gè)人屬性之中,并以此對海量數(shù)據(jù)信息進(jìn)行篩選分析,找到稱心如意的崗位。
語義搜索能理解工作和技能的特征,識別同一個(gè)詞在不同語境中不同的語義。一方面把簡歷和職位信息映射到語義網(wǎng)絡(luò)中去,另一方面把用戶搜索和用戶行為也映射進(jìn)去,最終通過語義網(wǎng)絡(luò)實(shí)現(xiàn)精準(zhǔn)搜索和匹配,將招聘者或求職者從搜索和分析工作中解脫出來,讓二者的匹配能達(dá)到最優(yōu)。
第6、信用卡:消費(fèi)者的管家和助理
情節(jié)概覽:信用卡不同于儲蓄卡,它鼓勵(lì)透支消費(fèi)并按照協(xié)議進(jìn)行償還,如此反復(fù)并建立起現(xiàn)代消費(fèi)的良性循環(huán),實(shí)現(xiàn)商家、銀行和消費(fèi)者三者都獲益。
信用卡的發(fā)展,乃至于整個(gè)銀行業(yè)的發(fā)展,都與計(jì)算機(jī)技術(shù)、通訊技術(shù)的發(fā)展息息相關(guān)不可分割。比如信用卡安全碼就是根據(jù)戶主的信用卡卡號以及一套復(fù)雜算法計(jì)算得出,以此區(qū)別信用卡的真?zhèn)巍?/p>
相比電子商務(wù),銀行業(yè)尤其是信用卡領(lǐng)域接觸大數(shù)據(jù)來得還是晚一些,但信用卡的發(fā)行和使用,其實(shí)也都與大數(shù)據(jù)息息相關(guān)。一方面,銀行在確保安全可靠的情況下,會給那些優(yōu)質(zhì)客戶提供高級別信用卡(比如極具身份地位象征的“黑卡”);另一方面,他們還會根據(jù)信用卡持有人的消費(fèi)記錄對其進(jìn)行精準(zhǔn)營銷、級別調(diào)整等等。
有沒有想過,信用卡能在卡主無意識的情況下暴露出其行蹤?甚至能根據(jù)卡主的使用情況大體了解一個(gè)人的興趣愛好、工作居住情況、人際關(guān)系和業(yè)余時(shí)間安排等等。因?yàn)樾庞每ㄊ窃谒⒖ㄏM(fèi),而儲蓄卡僅僅是通過取款消費(fèi)。因此信用卡更能直觀、準(zhǔn)確、全面地反映出卡主的個(gè)人特征。
比如,當(dāng)持普通信用卡的用戶所持信用卡是沒有附加航空意外險(xiǎn)和航空里程積分的產(chǎn)品,但是當(dāng)該持卡人使用該卡購買了機(jī)票,作為發(fā)卡銀行就會主動向該客戶推薦帶有航空意外險(xiǎn)和航空里程積分的航空公司聯(lián)名信用卡。同樣,用戶還會經(jīng)常收到頻繁消費(fèi)或者關(guān)注度高的產(chǎn)品促銷信息,這些信息的背后其實(shí)也都潛藏著大數(shù)據(jù)的應(yīng)用,通過用戶無數(shù)的交易行為、還款記錄、消費(fèi)地點(diǎn)等,對其進(jìn)行分門別類,并對日后的額度提升、用戶升級、商業(yè)貸款提供依據(jù)。
總結(jié)分析:數(shù)據(jù)將是未來銀行的核心競爭力之一,在“大數(shù)據(jù)時(shí)代”,銀行所面臨的競爭不僅僅來自于同行業(yè)內(nèi)部,外部的挑戰(zhàn)也非常嚴(yán)峻。雖然銀行對于傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析在所有行業(yè)中都處于領(lǐng)先水平,但銀行傳統(tǒng)的數(shù)據(jù)庫信息量并不豐富也不完整(僅僅擁有客戶基本身份屬性,沒有客戶的個(gè)性屬性),缺乏對用戶性格特征、興趣愛好、消費(fèi)習(xí)慣、行業(yè)和家庭狀況等等信息的收集和了解。
此外,信息技術(shù)的發(fā)展,使得用戶的資金交易信息越來越多地來自網(wǎng)銀瀏覽、服務(wù)通話、ATM錄像監(jiān)控等等非結(jié)構(gòu)化數(shù)據(jù)。銀行缺乏對這些數(shù)據(jù)的分析和整合,進(jìn)一步凸顯在信用卡環(huán)境下大數(shù)據(jù)應(yīng)用的緊迫感。因此,新時(shí)代下的信用卡更突出了大數(shù)據(jù)的應(yīng)用價(jià)值。
第7、天文探測:了解宇宙的金鑰匙
情節(jié)概覽:我們時(shí)不時(shí)的會從新聞中看到各種天文奇觀、星系、星團(tuán)、行星的報(bào)道,而且不僅能給出大致的形態(tài)、結(jié)構(gòu)、距離等屬性信息,甚至還可以給出天文奇觀上演的準(zhǔn)確時(shí)間以及星體年限等信息。
比如登上美國NASA重點(diǎn)觀察名單的代號為4179的“圖塔蒂斯”行星。當(dāng)時(shí)NASA形容這款行星為“形狀似花生,又似啞鈴,直徑約5公里,每3.98年就會經(jīng)過地球一次。”2004年,該小行星曾與地球“近距離接觸”,兩者距離最近時(shí)僅為150萬公里。更為重要的是,人們還能精確預(yù)測其飛臨近地點(diǎn)的準(zhǔn)確時(shí)間。
我們國家的嫦娥二號衛(wèi)星是距地球約700萬公里遠(yuǎn)的深空成功飛越的行星,并對其進(jìn)行了高清晰成像。
我們經(jīng)常看到的天文奇觀預(yù)測報(bào)告,其實(shí)很多都來自于NASA背后的海量數(shù)據(jù)收集、管理、分析。從1959年以來,NASA JSC(約翰遜航天中心)已收集400多萬靜態(tài)圖像,總達(dá)950萬英尺的16毫米膠卷,85000卷錄像磁帶,以及總時(shí)長81616小時(shí)的視頻模擬及數(shù)碼檔案。通過開發(fā)10(在線影像)應(yīng)用平臺,對影像文件名與所有相關(guān)元數(shù)據(jù)連接,并對其進(jìn)行存檔、管理以備科研之需。
總結(jié)分析:天文學(xué)是最先經(jīng)歷信息爆炸的科學(xué)領(lǐng)域之一,其數(shù)據(jù)量之大、類型之復(fù)雜,恐怕不是一般的行業(yè)領(lǐng)域所能比擬的。
首先在觀測方面,普通的人眼是不行的,需要通過天文望遠(yuǎn)鏡來實(shí)時(shí)監(jiān)測,并對天文物體的距離、運(yùn)動軌跡進(jìn)行跟蹤拍照,這些生成的圖片數(shù)據(jù)單個(gè)都有上GB的規(guī)模(高清原始圖像);通過這些觀測收集的數(shù)據(jù),還需要對其進(jìn)行處理和備份,并通過高性能計(jì)算平臺,對其挖掘。篩選挖掘出有價(jià)值的數(shù)據(jù)信息,分析獲得所要開展科研的情報(bào)。
第8、風(fēng)力發(fā)電:科學(xué)選址精確測定遠(yuǎn)程監(jiān)測
情節(jié)概覽:為什么在大城市里面看不到風(fēng)能發(fā)電機(jī)?為什么風(fēng)力發(fā)電機(jī)都齊整有序的排列?早期的風(fēng)力發(fā)電場更多是選擇在風(fēng)力大、地勢平坦、常年盛行的地理位置,而如今,人們更多的會通過科學(xué)計(jì)算來準(zhǔn)確選擇風(fēng)力發(fā)電機(jī)的選址和間距。
一家丹麥風(fēng)力公司Vestas,通過使用超級計(jì)算機(jī)以及大數(shù)據(jù)模型解決方案,精確定位其風(fēng)力發(fā)電機(jī),以達(dá)到最大發(fā)電量,并減少能源成本。從全球天氣系統(tǒng)中收集的數(shù)據(jù),與公司現(xiàn)有發(fā)電機(jī)的數(shù)據(jù)結(jié)合,存儲于風(fēng)庫中。
現(xiàn)在,該公司的風(fēng)庫存儲有2.8PB數(shù)據(jù),這些數(shù)據(jù)涵蓋地面至300英尺高空的氣溫、氣壓、空氣濕度、空氣沉淀物、風(fēng)向、風(fēng)速以及公司的歷史數(shù)據(jù)記錄。另外,該公司還增加全球森林砍伐追蹤圖、衛(wèi)星圖像、地理數(shù)據(jù)以及月相與潮汐數(shù)據(jù)。
總結(jié)分析:風(fēng)速及風(fēng)向的變化對風(fēng)力發(fā)電機(jī)的發(fā)電量有著較大的影響。通常,塔架越高,風(fēng)速越大,氣流越平穩(wěn),發(fā)電量越大。因此風(fēng)力發(fā)電機(jī)的
第9、預(yù)防犯罪:讓小偷自投羅網(wǎng)
情節(jié)概覽:《黑貓警長》大家都很熟悉,它講述的是“黑貓警長”如何精明能干、對壞人窮追不舍、跌宕起伏的故事情節(jié)。拿到大數(shù)據(jù)時(shí)代背景下的話,雖然它也能體現(xiàn)“黑貓警長”的盡職盡責(zé)、聰明能干,但更多的會歸結(jié)到一個(gè)問題:為何還是如此的被動、低效?疾病可以預(yù)防,難道犯罪不能預(yù)防么?
答案是肯定的。美國密歇根大學(xué)研究人員就設(shè)計(jì)出一種利用“超級計(jì)算機(jī)以及大量數(shù)據(jù)”來幫助警方定位那些最易受到不法份子侵?jǐn)_片區(qū)的方法。具體做法是,研究人員通過大量的多類型數(shù)據(jù)(從人口統(tǒng)計(jì)數(shù)據(jù)到犯罪數(shù)據(jù)到各區(qū)域所出售酒的種類、治安狀況、流動人口數(shù)據(jù)等等),創(chuàng)建一張波士頓犯罪高發(fā)地區(qū)熱點(diǎn)圖。同時(shí),還將相鄰片區(qū)等各種因素加入到數(shù)據(jù)模型中,并根據(jù)歷史犯罪記錄和地點(diǎn)統(tǒng)計(jì)并不斷修正所得出的預(yù)測數(shù)據(jù)。
IBM也通過大數(shù)據(jù)技術(shù)和整合預(yù)防犯罪和數(shù)選址應(yīng)慎重考慮,每一次安裝都不同,而且要考慮塔筒高、電池組的距離、當(dāng)?shù)匾?guī)劃要求以及建筑和樹木這些障礙物等因素。這些因素的背后,考驗(yàn)的是施工方對這些數(shù)據(jù)(包括數(shù)值數(shù)據(jù)和圖像、遙感、檢測等數(shù)據(jù))的分析能力,并幫助決策生成科學(xué)合理的方案??梢灶A(yù)見,風(fēng)能包括未來的潮汐能等清潔能源的應(yīng)用,都將引入更多的大數(shù)據(jù)技術(shù)和解決方案,幫助人類更加科學(xué)合理的利用這些可再生能源。據(jù)智能軟件資源,為執(zhí)法部門、國防、國家安全和私營機(jī)構(gòu)提供智能和調(diào)查服務(wù)。當(dāng)然,這種服務(wù)也可以被用來提供數(shù)字營銷、運(yùn)營管理等服務(wù)。
總結(jié)分析:美國中情局曾經(jīng)利用過云計(jì)算和大數(shù)據(jù)技術(shù)找到,也屬于此類話題。其實(shí),對于犯罪分子而言,往往事先都有犯罪動機(jī)(所謂的“激情犯罪”另當(dāng)別論),也就是刑法上的所說的“行為人為追求某種結(jié)果的發(fā)生而故意采取某類行為”的主觀故意。
而在大數(shù)據(jù)時(shí)代下的個(gè)人,其生活狀況、消費(fèi)習(xí)慣、家庭背景、社會經(jīng)歷、身份特征等等,都將成為數(shù)據(jù)集的人格化,可以通過這些數(shù)據(jù)來區(qū)分任何一個(gè)人。作為執(zhí)法部門,考慮到整個(gè)社會的利益,需要也有必要對某些潛在的特定高危人群進(jìn)行布控(尤其在犯罪高發(fā)地區(qū))。在經(jīng)過對數(shù)據(jù)的收集、傳輸、存儲、分析等一系列過程之后,最終將為執(zhí)法部門提高執(zhí)法效率,變被動為主動,由教育勸解變犯罪預(yù)防。
第10、天氣預(yù)報(bào):天公的心我最懂
情節(jié)概覽:2012年7月21日北京遭遇特大暴雨,在一天之內(nèi),平均降雨量達(dá)164毫米,這是北京市61年以來最大規(guī)模暴雨。此次暴雨因來勢兇猛給廣大市民生活帶來巨大影響。其實(shí),攤上這種事兒,最主要的還是需要?dú)庀蟛块T及時(shí)、準(zhǔn)確地做出預(yù)警,并協(xié)同其他運(yùn)營部門,將這種預(yù)警信息第一時(shí)間下發(fā)給北京市民(包括在京旅行的人士)。也正是如此,那場暴雨不僅暴露出了管理工作上的漏洞,也引起了業(yè)內(nèi)人士關(guān)于一場“大數(shù)據(jù)”的探討。
在美國NOAA(國家海洋暨大氣總署)其實(shí)早就在使用大數(shù)據(jù)業(yè)務(wù)。每天通過衛(wèi)星、船只、飛機(jī)、浮標(biāo)、傳感器等收集超過35億份觀察數(shù)據(jù)。收集完畢后,NOAA會匯總大氣數(shù)據(jù),海洋數(shù)據(jù),以及地質(zhì)數(shù)據(jù),進(jìn)行直接測定,繪制出復(fù)雜的高保真預(yù)測模型,將其提供給NWS(國家氣象局)做出氣象預(yù)報(bào)的參考數(shù)據(jù)。目前,NOAA每年新增管理的數(shù)據(jù)量就高達(dá)30PB(1PB=1024TB)。由NWS生成最終分析結(jié)果,呈現(xiàn)在日常的天氣預(yù)報(bào)和預(yù)警報(bào)道上。
篇8
【關(guān)鍵詞】Flex RIA 氣象預(yù)報(bào)預(yù)警系統(tǒng)
一、引言
在防汛調(diào)度與決策中,氣象情報(bào)預(yù)報(bào)的作用越來越受到重視。多年來,水情和防汛部門一直與氣象部門密切合作,充分應(yīng)用所能得到的氣象情報(bào)預(yù)報(bào)資料為水情預(yù)報(bào)和防洪調(diào)度提供信息[1]。近年來,為提高山洪地質(zhì)災(zāi)害氣象監(jiān)測和預(yù)報(bào)預(yù)警能力,氣象部門已經(jīng)逐步開展山洪地質(zhì)災(zāi)害精細(xì)化氣象預(yù)報(bào)服務(wù)業(yè)務(wù)。因此建立防汛精細(xì)化氣象預(yù)報(bào)預(yù)警業(yè)務(wù)系統(tǒng)有非常重要的意義。
近年來WebGIS中在氣象領(lǐng)域有了一定的研究和實(shí)踐累了不少成功案例。但這些平臺大都基于頁面服務(wù)器模型,在界面設(shè)計(jì)、交互操作、響應(yīng)速度等諸多方面都不能令人滿意,且基本都只能為用戶提供空間數(shù)據(jù)瀏覽、查詢等功能,不能在系統(tǒng)上進(jìn)行預(yù)報(bào)產(chǎn)品制作及訂正,也不能將地形條件及山洪暴發(fā)的臨界雨量指標(biāo)體系進(jìn)行融入,嚴(yán)重影響了預(yù)報(bào)質(zhì)量。
RIA豐富互聯(lián)網(wǎng)應(yīng)用程序是一種將桌面應(yīng)用程序的交互用戶體驗(yàn)與傳統(tǒng)Web應(yīng)用部署靈活性結(jié)合起來的網(wǎng)絡(luò)應(yīng)用程序。是一種全新的Web應(yīng)用解決方案。在現(xiàn)有的幾種RIA客戶端開發(fā)技術(shù)中,以Adobe公司的flex較為成熟,因此,系統(tǒng)建設(shè)選擇flex技術(shù)作為客戶端顯示手段[2]。
二、總體框架
根據(jù)業(yè)務(wù)要求及系統(tǒng)的技術(shù)開發(fā)路線,系統(tǒng)總體框架由數(shù)據(jù)層、服務(wù)層、表現(xiàn)層組成。
數(shù)據(jù)層:本層存儲系統(tǒng)所需要的所有數(shù)據(jù),包括氣象業(yè)務(wù)數(shù)據(jù)及系統(tǒng)所需要的地理信息數(shù)據(jù)、社會經(jīng)濟(jì)和人口等數(shù)據(jù)。
服務(wù)層:本層包含運(yùn)行在不同服務(wù)器上,為系統(tǒng)正常運(yùn)轉(zhuǎn)提供服務(wù)的各種后臺服務(wù)。包括GIS服務(wù),氣象數(shù)據(jù)轉(zhuǎn)換服務(wù)、WebService服務(wù)和Web服務(wù)。GIS服務(wù)提供矢量地圖服務(wù)、屬性查詢等功能;氣象數(shù)據(jù)轉(zhuǎn)換服務(wù)將各種不同類型的氣象數(shù)據(jù)轉(zhuǎn)換成GIS服務(wù)能識別的標(biāo)準(zhǔn)地理信息格式。WebService服務(wù)提供數(shù)據(jù)查詢服務(wù),Web服務(wù)提供網(wǎng)站瀏覽及頁面交互服務(wù)。
表現(xiàn)層:基于瀏覽器或Flash播放器的一個(gè)富客戶端為用戶呈現(xiàn)一個(gè)豐富的、具有高交互性的可視化界面,一圖文一體化的方式顯示空間和屬性信息,同時(shí)也為用戶提供地圖交互、信息查詢、地圖分析的交互接口[3]。
三、主要功能
(一)地理信息顯示
系統(tǒng)提供高精度的國家基礎(chǔ)地理信息數(shù)據(jù),包括省界、市界、縣界、鄉(xiāng)鎮(zhèn)點(diǎn)、地質(zhì)災(zāi)害點(diǎn)、公路、河流、鐵路及DEM等數(shù)據(jù)。用戶還可以選擇是否加載網(wǎng)絡(luò)上已經(jīng)共享的各種高清地圖服務(wù)。本系統(tǒng)展現(xiàn)了豐富的地理信息,為防汛預(yù)警提供必要的數(shù)據(jù)支持。
(二)氣象業(yè)務(wù)數(shù)據(jù)顯示
可疊加顯示七要素、兩要素觀測站的降水及溫度信息、實(shí)時(shí)雷達(dá)回波數(shù)據(jù)、FY2云圖數(shù)據(jù)、閃電定位數(shù)據(jù)。各類信息均以專題圖的形式顯示。在后期還將陸續(xù)添加各類數(shù)值預(yù)報(bào)產(chǎn)品的顯示,如WRF、T639等。
(三)降水落區(qū)繪制
可以根據(jù)相關(guān)數(shù)值預(yù)報(bào)產(chǎn)品及實(shí)時(shí)雷達(dá)、云圖數(shù)據(jù)繪制不同時(shí)效的雨量落區(qū),并可進(jìn)行修改。雨量落區(qū)顏色根據(jù)現(xiàn)行中央氣象臺規(guī)定的色標(biāo)制定。
(四)災(zāi)害點(diǎn)山洪預(yù)警
根據(jù)預(yù)報(bào)員上傳的雨量落區(qū)數(shù)據(jù),后臺服務(wù)器計(jì)算出相關(guān)災(zāi)害點(diǎn)所屬的面雨量預(yù)報(bào)數(shù)據(jù),利用GIS的空間分析功能,和臨界雨量指標(biāo)數(shù)據(jù)進(jìn)行判斷,分析出災(zāi)害點(diǎn)是否有山洪風(fēng)險(xiǎn)。
四、關(guān)鍵技術(shù)
(一)數(shù)據(jù)轉(zhuǎn)換
預(yù)報(bào)員平時(shí)使用最多的數(shù)據(jù)為MICAPS格式,這些格式不能被通用的GIS所識別,GIS中空間數(shù)據(jù)是按矢量模型和柵格模型進(jìn)行組織和管理的,矢量數(shù)據(jù)又細(xì)分為點(diǎn)、線、面3種類型,同類型的矢量數(shù)據(jù)可以形成矢量圖層;MICAPS數(shù)據(jù)中,不同種類的信息可以存儲在一個(gè)圖層中,如封閉線、普通線、點(diǎn)符號、線符號、文本等。而在常用的GIS軟件中是不允許將不同類型的矢量數(shù)據(jù)在同一層中表達(dá)。因此GIS應(yīng)用于氣象領(lǐng)域,首要解決問題的就是氣象資料的數(shù)據(jù)轉(zhuǎn)換問題[2]。
系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換程序基于Visual Studio 2010進(jìn)行開發(fā),GIS組件使用的是ArcGIS Engine 10.0,程序?qū)⒗走_(dá)回波、衛(wèi)星云圖數(shù)據(jù)轉(zhuǎn)換成TIFF格式,將閃電定位數(shù)據(jù)轉(zhuǎn)換為shapefile格式進(jìn)行顯示。
(二)雨量落區(qū)繪制
ArcGIS 10.0之前沒有提供Feature services,不能對矢量進(jìn)行在線編輯。系統(tǒng)交互能力受到嚴(yán)重制約。Feature services出現(xiàn)后,客戶端可以執(zhí)行查詢以得到要素或執(zhí)行編輯。由于雨量落區(qū)預(yù)報(bào)時(shí)效比較多,后臺要準(zhǔn)備多個(gè)空白落區(qū)模板,并在執(zhí)行相關(guān)的空間分析操作后及時(shí)刪除數(shù)據(jù),以應(yīng)對下一次繪制。
(三)通過GP獲取預(yù)警信息
GP服務(wù)是Geoprocessing服務(wù)的簡稱,Geoprocessing包含了一系列地理數(shù)據(jù)處理的功能,像做緩沖區(qū)分析、疊加分析、以及對柵格數(shù)據(jù)制作陰影圖等等。首先要在后臺根據(jù)業(yè)務(wù)需要建立模型并測試好,將GP在ArcGIS Server上,通過客戶端調(diào)用的GP便可以得到結(jié)果。預(yù)警信息的獲取主要是通過某地的面雨量值與當(dāng)?shù)厣胶楸┌l(fā)的臨界雨量進(jìn)行比較,如果超過則彈出預(yù)警信息,如果沒有達(dá)到則不作處理。
五、結(jié)語
基于Flex的防汛預(yù)報(bào)預(yù)警系統(tǒng)克服了原有WebGIS中存在的響應(yīng)速度慢,無交互功能等缺陷,能夠呈現(xiàn)更加豐富、體驗(yàn)性更強(qiáng)的用戶界面,為WebGIS應(yīng)用提供了一種嶄新的表現(xiàn)機(jī)制[3]。該平臺投入業(yè)務(wù)化運(yùn)行后,給預(yù)報(bào)員及其他決策人員提供了非常直觀的瀏覽數(shù)據(jù)方式及有價(jià)值的山洪預(yù)警信息,提高了氣象部門的防災(zāi)減災(zāi)能力。
參考文獻(xiàn):
[1]楊楊.防汛工作中氣象信息的收集和應(yīng)用.水文.1991,03.54-56.
篇9
六成以上中國網(wǎng)民訪問生活服務(wù)類網(wǎng)站,互聯(lián)網(wǎng)成網(wǎng)民獲取生活服務(wù)內(nèi)容的重要媒介
艾瑞咨詢iUserTracker監(jiān)測數(shù)據(jù)顯示,2010年上半年,除個(gè)別月份,中國生活服務(wù)類網(wǎng)站月度訪問人數(shù)整體呈穩(wěn)步增長態(tài)勢;6月的月度訪問人數(shù)達(dá)到2.4億,占中國互聯(lián)網(wǎng)服務(wù)整體用戶的66.0%,創(chuàng)下2010年新高。
艾瑞咨詢分析,互聯(lián)網(wǎng)不僅為網(wǎng)民提供了QQ、MSN等溝通工具,網(wǎng)游、視頻等娛樂內(nèi)容,同時(shí)也已成為網(wǎng)民獲取生活、消費(fèi)、氣象等生活服務(wù)內(nèi)容的重要媒介。預(yù)計(jì),隨著中國互聯(lián)網(wǎng)網(wǎng)民規(guī)模的增長,生活服務(wù)類網(wǎng)站的訪問量將不斷攀升。
健康類服務(wù)訪問用戶最高,生活資訊類、飲食類其次;未來各項(xiàng)生活服務(wù)內(nèi)容逐漸豐富
艾瑞咨詢iUserTracker監(jiān)測數(shù)據(jù)顯示,2010年6月中國各類生活服務(wù)類網(wǎng)站中,月度覆蓋用戶最高的是健康類,2010年4-6月均在億人以上。其次是生活資訊類,二季度單月訪問人數(shù)均在9000萬以上;相比而言,飲食類、消費(fèi)資訊類、攝影類的月度訪問人數(shù)規(guī)模略低。
艾瑞咨詢分析,隨著互聯(lián)網(wǎng)普及程度的加深,圍繞居民衣、食、住、行、用各方面需求的互聯(lián)網(wǎng)服務(wù)內(nèi)容將不斷豐富。以飲食為例。消費(fèi)者多從飯桶、大眾點(diǎn)評網(wǎng)等處獲取消費(fèi)場所信息,目前,主推本地生活服務(wù)的團(tuán)購網(wǎng)站也成為網(wǎng)民知曉商家、獲取餐券的重要途徑。艾瑞咨詢預(yù)計(jì),未來互聯(lián)網(wǎng)領(lǐng)域,圍繞生活服務(wù)的創(chuàng)新將不斷涌現(xiàn)。
相關(guān)鏈接
篇10
摘要:到報(bào)監(jiān)測是氣象水文數(shù)據(jù)傳輸、處理等的重要環(huán)節(jié),其實(shí)時(shí)性是關(guān)鍵設(shè)計(jì)目標(biāo)。通過分析文件目錄掃描方法和消息通知機(jī)制的應(yīng)用特點(diǎn),結(jié)合氣象水文資料傳輸、處理規(guī)程及應(yīng)用模式,重點(diǎn)闡述了結(jié)合實(shí)時(shí)性和可靠性要求的到報(bào)監(jiān)測方法,并給出一種重構(gòu)性強(qiáng)、應(yīng)用靈活的到報(bào)監(jiān)測模塊的設(shè)計(jì)方案。
關(guān)鍵詞:氣象水文資料到報(bào)監(jiān)測;實(shí)時(shí)性;FileSystemWatcher;目錄掃描;軟件設(shè)計(jì)
中圖分類號:P4文獻(xiàn)標(biāo)識碼:A
1引言
到報(bào)監(jiān)測旨在獲取最新到達(dá)的資料信息,既是資料傳輸業(yè)務(wù)監(jiān)控管理的主要內(nèi)容,也是資料處理應(yīng)用系統(tǒng)的重要組成部分。氣象水文資料應(yīng)用實(shí)時(shí)性要求高,及時(shí)響應(yīng)資料到達(dá)狀態(tài),提高到報(bào)監(jiān)測的實(shí)時(shí)性,是資料實(shí)時(shí)處理的前提。
有別于計(jì)算機(jī)數(shù)據(jù)庫系統(tǒng),氣象水文資料在生成、處理和轉(zhuǎn)儲等應(yīng)用過程中,多以磁盤文件的形式存儲,效存儲在計(jì)算機(jī)系統(tǒng)中的一般文件,其特點(diǎn)主要表現(xiàn)為種類多,到報(bào)量、到報(bào)時(shí)間粒度、數(shù)據(jù)大小差異性大,數(shù)據(jù)文件按照類別存儲在不同的目錄,文件名稱中多含有與時(shí)間或者類別相關(guān)的信息;其信息服務(wù)應(yīng)用特點(diǎn)是時(shí)效性強(qiáng)、更新快,操作系統(tǒng)多樣,數(shù)據(jù)訪問復(fù)雜等。因此氣象水文資料到報(bào)監(jiān)測的實(shí)時(shí)性設(shè)計(jì)難度大。
常規(guī)獲取資料到報(bào)的方法是進(jìn)行兩次目錄掃描,對比前后掃描結(jié)果,提取資料更新信息。該方法對于目錄內(nèi)文件較多時(shí),獲取的周期就會過長,且頻繁的掃描影響系統(tǒng)效率。另一種方法是基于Windows消息機(jī)制的文件系統(tǒng)監(jiān)視,實(shí)時(shí)響應(yīng)資料更新,但是該機(jī)制由于緩存溢出等多種原因而時(shí)常失效。
本文結(jié)合目錄掃描方法和消息通知機(jī)制,利用氣象水文資料及其使用要求的特點(diǎn),通過優(yōu)化變更信息獲取方法,設(shè)計(jì)了基于隊(duì)列管理的多任務(wù)到報(bào)監(jiān)測方法,能夠有效提高相關(guān)應(yīng)用的實(shí)時(shí)性和可靠性,并采用面向接口的軟件設(shè)計(jì)思想,給出了易于維護(hù)的軟件設(shè)計(jì)[2]。
2監(jiān)測方法
2.1定時(shí)輪詢
定時(shí)輪詢方法是按照一定時(shí)間間隔掃描整個(gè)被監(jiān)視目錄及其子目錄中的文件,記錄每個(gè)文件的屬性(例如:文件最后修改時(shí)間、HASH值、CRC校驗(yàn)碼等),比較前后兩次掃描獲得的信息,篩選出變化的資料,是一種可靠的方法。
但是,這種方法的缺點(diǎn)也很明顯:首先,掃描一遍目錄需要花費(fèi)一段時(shí)間,如果目錄中文件或子目錄數(shù)量過多、目錄層次過深,掃描花費(fèi)的時(shí)間可能會更長,對于實(shí)時(shí)性要求高的應(yīng)用來說,是不允許的;其次,頻繁的文件掃描需要對文件進(jìn)行操作,如果這時(shí)恰好也有其它程序?qū)υ撐募M(jìn)行操作,就會產(chǎn)生資源占用沖突;第三,由于文件越大,計(jì)算其HASH或者CRC值的時(shí)間就越長,也會影響信息獲取的實(shí)時(shí)性。
2.2實(shí)時(shí)通知
Windows系統(tǒng)是一個(gè)消息(message)驅(qū)動的操作系統(tǒng),即系統(tǒng)維護(hù)一個(gè)或多個(gè)消息隊(duì)列,所有產(chǎn)生的消息都會被放入到消息隊(duì)列中。系統(tǒng)根據(jù)消息的接收句柄而將該消息發(fā)送給擁有該句柄程序的消息循環(huán)。
實(shí)時(shí)通知是利用Windows操作系統(tǒng)內(nèi)核提供的文件系統(tǒng)監(jiān)視(File System Watcher)消息機(jī)制。應(yīng)用程序通過建立一個(gè)被監(jiān)視文件或者目錄的句柄,將其注冊到操作系統(tǒng)文監(jiān)視消息通知中,就可以收到來自操作系統(tǒng)的文件或者目錄的變更通知。由于消息是由Windows操作系統(tǒng)內(nèi)核發(fā)出的,可以近似認(rèn)為是與文件系統(tǒng)的更新是同步的,也就可以說,采用這種模式獲得的文件更新事件,是在文件或目錄發(fā)生改變的瞬間獲得的,可以認(rèn)為是實(shí)時(shí)的。
在具體實(shí)現(xiàn)方面,Windows操作系統(tǒng)對目錄和文件的監(jiān)控提供了兩個(gè)消息驅(qū)動的API函數(shù)[5]:FindFirstChangeNotification和ReadDirectoryChangesW。調(diào)用它們就可以獲取Windows為文件系統(tǒng)記錄的消息隊(duì)列。在.NET Framework 2.0以上的版本中,提供了FileSystemWatcher類偵聽文件系統(tǒng)更改通知,在目錄或文件發(fā)生更改時(shí)引發(fā)事件,是對上述API進(jìn)行的封裝,簡化了文件監(jiān)控方法的實(shí)現(xiàn)。
盡管實(shí)時(shí)通知已經(jīng)很好地保證了Windows操作系統(tǒng)中文件監(jiān)測的實(shí)時(shí)性,利用FileSystemWatcher類實(shí)現(xiàn)也較為簡單,但是,實(shí)際應(yīng)用中卻有如下問題:
1)一次文件變化,可能引發(fā)多個(gè)消息,從而造成多次重復(fù)操作。例如:在一次資料內(nèi)容變化時(shí),除了內(nèi)容變化之外,還有文件其他屬性(例如:文件最后修改日期、文件大?。┮沧兓耍?/p>
2)文件系統(tǒng)監(jiān)視通過向Windows系統(tǒng)注冊來接收來自系統(tǒng)的文件或者目錄的變更消息,一旦發(fā)生操作失誤,注冊就會斷開,造成文件系統(tǒng)監(jiān)視永久失效。這種情況主要發(fā)生在:一次變化的文件數(shù)量過多,或者文件的名字過長、目錄層次過深,而造成緩沖溢出;對于存儲在遠(yuǎn)程共享目錄、網(wǎng)絡(luò)驅(qū)動器目錄的資料進(jìn)行訪問時(shí),由于網(wǎng)絡(luò)鏈路連通性故障,而造成監(jiān)視目標(biāo)訪問失?。?/p>
3)文件系統(tǒng)監(jiān)視無法獲取應(yīng)用系統(tǒng)運(yùn)行之前的信息,即已經(jīng)發(fā)生過的資料變更。
3方案設(shè)計(jì)
實(shí)時(shí)通知方法雖然實(shí)時(shí)性好,卻不是一個(gè)可靠的到報(bào)監(jiān)測方法。相反,定時(shí)輪詢每次都需要進(jìn)行一次完整的文件掃描和對比,效率低、實(shí)時(shí)性差,但是卻不會產(chǎn)生上述實(shí)時(shí)通知失效的問題,是一種可靠的文件監(jiān)測方式。
綜上所述,將兩種文件監(jiān)測方法結(jié)合起來使用,揚(yáng)長避短,不失一個(gè)較為完美的解決方案。
3.1總體設(shè)計(jì)
圖1描述了到報(bào)監(jiān)測模塊主要類設(shè)計(jì),也說明了到報(bào)監(jiān)測在整個(gè)應(yīng)用系統(tǒng)中的位置及其關(guān)系。到報(bào)監(jiān)測屬于應(yīng)用系統(tǒng)的一部分,向其客戶類(Client)提供資料更新信息以及操作接口(IDo)。
FileTimer類和FileWatcher類分別實(shí)現(xiàn)了定時(shí)輪詢、實(shí)時(shí)通知功能;FileObject類是資料到報(bào)信息的容器,是隊(duì)列類(Queue)管理的對象;Task類提供了包括定時(shí)輪詢和實(shí)時(shí)通知兩種方法的指定資料監(jiān)測任務(wù),并向客戶系統(tǒng)提供相應(yīng)的操作接口(IDo);TaskMgr類負(fù)責(zé)任務(wù)(Task)創(chuàng)建及其管理;客戶(Client)只要實(shí)例化TaskMgr類,創(chuàng)建資料到報(bào)監(jiān)測任務(wù)(Task)實(shí)例,就可以實(shí)現(xiàn)資料到報(bào)實(shí)時(shí)信息獲取。這種設(shè)計(jì)上的優(yōu)勢表現(xiàn)為:
1)操作(FileTimer、FileWatcher)和數(shù)據(jù)(FileObject)分離,實(shí)現(xiàn)了數(shù)據(jù)獨(dú)立管理和資源共享;
2)一個(gè)目錄的到報(bào)監(jiān)測抽象為任務(wù)(Task),實(shí)例化Task對象即建立了一個(gè)目錄監(jiān)測;
3)操作接口(IDo)設(shè)計(jì),使得到報(bào)監(jiān)測和具體資料操作相分離,從而實(shí)現(xiàn)不同資料的多種操作,符合“針對接口編程,而不是針對實(shí)現(xiàn)編程”[1]的思想;
如圖2,以定時(shí)輪詢?yōu)槔?,fileTimer對象監(jiān)測到資料到報(bào)時(shí),通知task創(chuàng)建(New)新fileObject對象,進(jìn)行入隊(duì)(Push),queue將fileObject對象通知給task,執(zhí)行資料操作(Do)。
設(shè)計(jì)中大量采用對象組合,通過獲得其它對象的引用而在運(yùn)行時(shí)刻動態(tài)定義,充分封裝而使單個(gè)任務(wù)集中在一個(gè)類中。這種設(shè)計(jì)在實(shí)現(xiàn)上存在較少的依賴關(guān)系,使得系統(tǒng)易于擴(kuò)展和維護(hù)[6]。
3.2定時(shí)輪詢
定時(shí)輪詢按照一定時(shí)間間隔進(jìn)行全目錄掃描,其掃描效率和時(shí)間間隔有密切的關(guān)系。當(dāng)時(shí)間間隔過大時(shí),實(shí)時(shí)性差;時(shí)間間隔過小時(shí),由于頻繁的掃描,勢必影響整個(gè)應(yīng)用系統(tǒng)的運(yùn)行效率。設(shè)定合理的掃描間隔是優(yōu)化掃描效率的主要手段。此外,也可以利用特定通配符和限定文件時(shí)間,從而縮小掃描范圍。
如圖3,F(xiàn)ileTimer類設(shè)計(jì)體現(xiàn)了掃描優(yōu)化:
1)資料到報(bào)時(shí)次是有一定規(guī)律的,通過分析和歸納,可以總結(jié)出到報(bào)時(shí)間間隔。掃描間隔(interval)控制定時(shí)器(timer)掃描頻率,可以參考資料到報(bào)頻次設(shè)置其值;
2)文件年齡(age)是指文件最后修改時(shí)間與當(dāng)前時(shí)間差,僅對符合文件年齡的資料進(jìn)行對比,可以加速掃描速度;
3)氣象水文資料文件通常按照某種規(guī)范命名[3]。以地面天氣觀測報(bào)為例,每小時(shí)6次報(bào)文,命名規(guī)則為“TTDDHHmm.abj”,其中:
TT代表資料類型,例如:SN地面報(bào)、UN探空報(bào)、GX格點(diǎn)報(bào)等;
DD代表編報(bào)日期,01-31編碼;
HH代表編報(bào)時(shí)間(UTC),按小時(shí)計(jì),00-23編碼;
mm代表編報(bào)時(shí)間(UTC),按分鐘計(jì),編碼值為00、10、20、30、40、50;
abj代表國家氣象中心代號后三位。
類成員wildcard表示需要掃描的資料文件通配符,可以歸納出地面天氣觀測報(bào)文件wildcard值為“??DDHHmm.abj”。掃描時(shí),只需要將其中時(shí)間符號替換為實(shí)際值。
將上述到報(bào)時(shí)次和文件命名規(guī)則結(jié)合起來,可以進(jìn)一步優(yōu)化,例如:如果每小時(shí)進(jìn)行地面天氣觀測報(bào)掃描,則wildcard值為“??DDHH??.abj”;每分鐘進(jìn)行掃描,則為“??DDHHmm.abj”。如圖4,task對象創(chuàng)建FileTimer類對象,調(diào)用Start方法啟動任務(wù),并調(diào)用Update執(zhí)行一次目標(biāo)全掃描,這樣就可以收集到應(yīng)用系統(tǒng)運(yùn)行之前的資料信息;當(dāng)定時(shí)器執(zhí)行(OnTimer)時(shí),開始進(jìn)行掃描(Update),查找到資料時(shí),通知(Notify)task進(jìn)行資料條件符合性檢查(age、wildcard),對符合條件的變更信息入隊(duì)(Push)。圖5實(shí)時(shí)通知類3.3實(shí)時(shí)通知
如圖5所示,成員fileSystemWatcher(以下稱監(jiān)視器)是FileSystemWatcher類對象。正如前面所述,監(jiān)視器本身是很脆弱的,其自身的有效性需要建立定時(shí)器(timer)對其進(jìn)行定期檢查(Check),也可以響應(yīng)緩沖溢出的錯(cuò)誤消息(OnError),并在失效時(shí)自動恢復(fù)(Reset)。監(jiān)視器也支持文件過濾,wildcard值也可以參考定時(shí)輪詢設(shè)置。
如圖6,任務(wù)實(shí)例(task)創(chuàng)建實(shí)時(shí)通知(FileWatcher)對象,啟動(Start)實(shí)時(shí)通知實(shí)例后,由定時(shí)器定期檢查監(jiān)視器有效性;當(dāng)收到來自監(jiān)視器的資料變更消息(OnChanged)時(shí),通知task進(jìn)行資料條件符合性檢查,對符合條件的變更信息入隊(duì)(Push)。
3.4隊(duì)列管理
當(dāng)應(yīng)用系統(tǒng)收到資料變更消息時(shí),還不能立刻執(zhí)行操作,這是因?yàn)楸O(jiān)視器在發(fā)現(xiàn)被監(jiān)視目錄變化時(shí),即向注冊應(yīng)用發(fā)出消息,而此時(shí)有可能數(shù)據(jù)還未準(zhǔn)備完畢,特別是大文件復(fù)制時(shí),立即進(jìn)行資料操作,勢必造成資源占用沖突;此外,考慮到資料文件操作失敗的可能,也需要再次執(zhí)行。因此,采用了緩沖隊(duì)列存儲資料變更和操作失敗的資料信息。
由于到報(bào)監(jiān)測只是為了獲取資料信息,而不是為了獲取其內(nèi)容,因此,采用文件最后修改時(shí)間(Last Written Time)作為區(qū)別文件版本的標(biāo)識,而非進(jìn)行復(fù)雜的HASH、CRC值計(jì)算。
如圖7,F(xiàn)ileObject類抽象了資料變更信息,以資料全路徑名稱(fullpathname)和最后修改時(shí)間(time)為標(biāo)識,通過Contain判斷唯一性;時(shí)間跨度(span)記錄下次可用性測試時(shí)間;生命周期(lifes)記錄變更文件入隊(duì)次數(shù),超過最高次數(shù)(MaxLife),文件將被丟棄,不再檢查。
如圖8,task收到監(jiān)視器資料變更通知(OnNotify),首先構(gòu)造(New)一個(gè)FileObject對象,檢查是否隊(duì)列中已經(jīng)存在(Contain),若不存在則進(jìn)行入隊(duì)(Push)。
如圖9,隊(duì)列管理快速查找每個(gè)fileObject對象的span值小于當(dāng)前時(shí)間值,并測試可訪問性,將符合條件的對象通知(Notify)給task,進(jìn)行具體資料操作(Do)。
該操作也存在一個(gè)問題,如果隊(duì)列過長,會延誤操作的時(shí)間,造成實(shí)時(shí)性的降低,因此,方案設(shè)計(jì)的隊(duì)列并非嚴(yán)格意義上的先入后出隊(duì)列。入隊(duì)時(shí)span值累加一個(gè)很小的時(shí)間差,出隊(duì)條件是span值小于當(dāng)前時(shí)間。
如圖10,出隊(duì)的fileObject由于不可訪問或者執(zhí)行錯(cuò)誤時(shí),可以重新入隊(duì)。通過復(fù)制創(chuàng)建新FileObject類對象,其span值在被復(fù)制對象span值的基礎(chǔ)上累加了一個(gè)時(shí)長,并將遞增被復(fù)制對象的lifes值賦給新對象的lifes值。如果新對象的lifes值大于最大生命周期值(MaxLife),則不會建立新對象,并釋放被復(fù)制對象,返回空值(null)。
緩沖隊(duì)列設(shè)計(jì)的優(yōu)勢在于:當(dāng)資料不可訪問,或者資料處理操作失敗時(shí),可以重新入隊(duì)等待操作;其次,通過Contain方法檢查隊(duì)列中是否已經(jīng)存在FileObject類對象,可以防止因同一資料到報(bào)信息多次觸發(fā)。3.5任務(wù)管理
應(yīng)用系統(tǒng)通常同時(shí)處理多種氣象水文資料,由于資料按類別分別存儲在各自的目錄中,因此,需要獨(dú)立進(jìn)行各自的到報(bào)監(jiān)測,即采用多線程的多任務(wù)處理。
如圖11,任務(wù)管理類(TaskMgr)包含了一個(gè)任務(wù)類(Task)的集合:一種資料的到報(bào)監(jiān)測對應(yīng)一個(gè)task,TaskMgr是Task的容器。Task類中聚合了FileTimer類、FileWatcher類和Queue類,提供了啟動任務(wù)(Start)、停止任務(wù)(Stop)等基本的任務(wù)操作,也可以立即啟動掃描(Update)。當(dāng)隊(duì)列中有符合條件的FileObject類對象時(shí),執(zhí)行資料文件的相應(yīng)操作(Do);同時(shí),操作中的錯(cuò)誤可以通知(Notify)給任務(wù)。
4總結(jié)
綜合上述可知,從資料到報(bào)開始到資料應(yīng)用的時(shí)間值大小與隊(duì)列長度和span值有關(guān):當(dāng)隊(duì)列越長時(shí),遍歷花費(fèi)的時(shí)間越長。通常情況下,氣象水文資料按時(shí)次定量到報(bào),設(shè)計(jì)上完全符合實(shí)時(shí)性要求;極端情況時(shí),資料一次到達(dá)過多、資料處理錯(cuò)誤過多而造成的重新入隊(duì),以及用戶啟動一次全目錄掃描時(shí),通過使用資料通配符(wildcard),控制采集資料年齡(age)可以降低入隊(duì)資料信息的數(shù)量。
本文所述的到報(bào)監(jiān)測方法在氣象水文資料傳輸、資料實(shí)時(shí)解報(bào)和資料傳輸狀態(tài)監(jiān)控等多個(gè)系統(tǒng)中得到了應(yīng)用,發(fā)揮了巨大作用。實(shí)踐證明,資料到報(bào)監(jiān)測及時(shí)、可靠性高,特別是易于維護(hù)的體系結(jié)構(gòu)設(shè)計(jì),便于理解和擴(kuò)展,更是系統(tǒng)快速重構(gòu)和應(yīng)用的基礎(chǔ)。
參考文獻(xiàn)
[1]Erich Gamma, Richard Helm, Ralph Johnson, John Vlissides[美],設(shè)計(jì)模式:可復(fù)用面向?qū)ο筌浖幕A(chǔ). 李英軍等(譯)[M].北京:機(jī)械工業(yè)出版社,2000年9月
[2]Joshua Kerievsky[美]. 重構(gòu)與模式,楊光 劉基誠(譯)[M].北京:人民郵電出版社,2006年12月
[3]總參氣象水文空間天氣總站信息中心[S].常用氣象水文資料手冊,2012年12月
[4]王世忠 譯.C語言與Unix系統(tǒng)編程,(美)胡佛 著[M].北京:清華大學(xué)出版社,2011年7月
熱門標(biāo)簽
氣象論文 氣象科技論文 氣象服務(wù)論文 氣象學(xué)論文 氣象觀測論文 氣象新聞 氣象工程論文 氣象學(xué)原理 氣象災(zāi)害論文 氣象研究 心理培訓(xùn) 人文科學(xué)概論