導(dǎo)語(yǔ)：如何才能寫好一篇數(shù)據(jù)分析，這就需要搜集整理更多的資料和文獻(xiàn)，歡迎閱讀由公務(wù)員之家整理的十篇范文，供你借鑒。

篇1

不久前，我與業(yè)務(wù)部的人員在茶歇閑聊中，談及到公司銷售狀況的時(shí)候，發(fā)現(xiàn)了很奇怪的現(xiàn)象。為什么不同人對(duì)同一結(jié)構(gòu)的數(shù)據(jù)分析出的結(jié)論卻大相徑庭。一個(gè)人說(shuō)公司最近銷售情況震蕩嚴(yán)重，而另一個(gè)人卻說(shuō)銷售情況沒有明顯波動(dòng)。于是為了探其究竟，我認(rèn)真聆聽了他們兩人的分析方法和參數(shù)設(shè)定。

結(jié)果發(fā)現(xiàn)原來(lái)兩個(gè)人，在橫軸時(shí)間參數(shù)不發(fā)生變化的情況下，一個(gè)人以萬(wàn)級(jí)金額為縱軸參數(shù)，一個(gè)人以十萬(wàn)級(jí)金額為縱軸參數(shù)。縱軸以不同的銷售數(shù)值區(qū)間出現(xiàn)，圖表形態(tài)以及曲線平滑度就變得完全不一樣了。這兩個(gè)的方法和分析結(jié)果雖然都正確，但是他們都沒有考慮到日銷售量范圍和實(shí)際經(jīng)營(yíng)情況，如果企業(yè)日經(jīng)營(yíng)規(guī)模通?；蛘呓^大時(shí)間都在萬(wàn)級(jí)單位上，那么前一個(gè)人指出的“銷售起伏較大”的結(jié)論自然是有價(jià)值的，需要我們進(jìn)一步的分析找尋原因，反之同理。從這個(gè)簡(jiǎn)單的事情不難看出不客觀的分析數(shù)據(jù)而產(chǎn)生的圖表是會(huì)讓我們產(chǎn)生“心理錯(cuò)覺”。企業(yè)結(jié)論性的數(shù)據(jù)分析是源于對(duì)基本數(shù)據(jù)的加工處理，當(dāng)我們?cè)谠O(shè)計(jì)分析模型的時(shí)候是需要?jiǎng)冸x我們的主觀意識(shí)，要一切從客觀事實(shí)出發(fā)，設(shè)定科學(xué)符合實(shí)際的變量參數(shù)，合理的劃分區(qū)間，不要讓我們被華麗的圖表而迷惑。

剛剛講的對(duì)業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確把握需要遵循客觀的經(jīng)濟(jì)行為和需求，這樣才能讓我們的數(shù)據(jù)結(jié)論更客觀，但是數(shù)據(jù)分析很多情況的誤讀并非是我們故意的，這和經(jīng)驗(yàn)和技能是密不可分的，我們需要掌握更多的技能和經(jīng)驗(yàn)，沒有這些技能和經(jīng)驗(yàn)即便你對(duì)業(yè)務(wù)有很好的感覺和清晰的頭腦，我們也同樣得不到好的結(jié)果。所以我們不要盲目地崇拜某種數(shù)據(jù)分析方法，不要夸大數(shù)據(jù)分析模型的作用，更不要夸大數(shù)據(jù)分析案例的作用。只有適合、實(shí)用、準(zhǔn)確才是硬道理。

“啤酒與尿布”是大家耳熟能詳?shù)臄?shù)據(jù)分析案例，有人根據(jù)此案例設(shè)計(jì)更多的購(gòu)物籃分析算法，也有人利用此案例進(jìn)行宣講數(shù)據(jù)分析的重要。而卻忽視“啤酒與尿布”的本來(lái)?！捌【婆c尿布”是在特定的時(shí)間，店內(nèi)人員發(fā)現(xiàn)后再經(jīng)過科學(xué)的數(shù)據(jù)分析才發(fā)現(xiàn)的。而并非被“自動(dòng)數(shù)據(jù)挖掘工具”給挖掘出來(lái)。

“啤酒與尿布”是典型的購(gòu)物籃分析，而購(gòu)物籃分析是高端應(yīng)用，高端應(yīng)用往往意味著高投入，高投入就必須有高回報(bào)，僅憑一個(gè)從海量的交易數(shù)據(jù)中挖掘出銷售額占比微不足道的“啤酒與尿布”的案例，就像我們從顧客的消費(fèi)中去尋找哪種品牌的牙膏和哪種品牌的牙刷有關(guān)聯(lián)一樣，“只要有力氣拿得起牙刷的人就一定會(huì)用到牙膏”也是勿庸置疑的常識(shí)！問題很可能會(huì)出在：購(gòu)物小票上用來(lái)分析的牙膏和牙刷是兩種商品（單品），而陳列在貨架上的牙膏和牙刷卻是兩個(gè)頗有規(guī)模的商品群；數(shù)十種品牌、系列、口味、功效、不同的包裝規(guī)格、不同的消耗周期、不同的單次購(gòu)買數(shù)量、越來(lái)越快的產(chǎn)品更新?lián)Q代、甚至在牙膏包裝中贈(zèng)送牙刷，這么多種因素的綜合交錯(cuò)會(huì)大幅度地稀釋牙膏牙刷在單品層面形成“同時(shí)并且重復(fù)購(gòu)買的組合”的概率，對(duì)購(gòu)物小票進(jìn)行遍歷分析后，很有可能會(huì)得出反常識(shí)的結(jié)論：牙膏、牙刷這兩種商品之間沒有關(guān)聯(lián)性！這樣的數(shù)據(jù)分析即使是準(zhǔn)確的，也毫無(wú)意義。打動(dòng)不了追求投資回報(bào)的企業(yè)決策者。

篇2

將醫(yī)院、醫(yī)療保健組織等數(shù)字化的醫(yī)療數(shù)據(jù)以特定的格式、協(xié)議發(fā)送到醫(yī)療數(shù)據(jù)分析模塊進(jìn)行分析與疾病預(yù)測(cè)．醫(yī)療數(shù)據(jù)提取模塊：該模塊由醫(yī)院電子病歷系統(tǒng)負(fù)責(zé)實(shí)現(xiàn)，我們使用openEHR系統(tǒng)作為醫(yī)院電子病歷系統(tǒng)，并在openEHR中實(shí)現(xiàn)醫(yī)療數(shù)據(jù)的提取功能．openEHR系統(tǒng)是一個(gè)開源、靈活的電子病歷系統(tǒng)，支持HL7衛(wèi)生信息交換標(biāo)準(zhǔn)．很多醫(yī)療健康組織、政府和學(xué)術(shù)科研單位都使用openEHR進(jìn)行開發(fā)和科研工作．如一種基于openEHR的患者病歷數(shù)據(jù)管理模型、openEHR等許多開源的電子病歷平臺(tái)的對(duì)比與評(píng)估和基于openEHR的檔案建模等．?dāng)?shù)據(jù)交換模塊：基于Web服務(wù)的數(shù)據(jù)交換模塊使用醫(yī)療數(shù)據(jù)通信協(xié)議實(shí)現(xiàn)醫(yī)療數(shù)據(jù)分析模塊與醫(yī)療數(shù)據(jù)提取模塊的數(shù)據(jù)交換．Web服務(wù)是一個(gè)平立、松耦合的Web應(yīng)用程序．由于Web服務(wù)的跨平臺(tái)特性，許多模型與框架是基于Web服務(wù)構(gòu)建的，如基于Web服務(wù)集成分布式資源和數(shù)據(jù)流分析測(cè)試等．在本文提出的醫(yī)療數(shù)據(jù)分析模型中，使用Web服務(wù)來(lái)連接醫(yī)療數(shù)據(jù)分析模塊和醫(yī)療數(shù)據(jù)提取模塊．醫(yī)療數(shù)據(jù)提取模塊作為Web服務(wù)的服務(wù)端，實(shí)現(xiàn)的方法包括存取數(shù)據(jù)、數(shù)據(jù)預(yù)處理、序列化等，改進(jìn)后的模型要求實(shí)現(xiàn)指定維度，指定屬性數(shù)據(jù)的讀取．本文提出的醫(yī)療數(shù)據(jù)分析模塊作為Web服務(wù)的客戶端，通過HTTP服務(wù)向數(shù)據(jù)提取模塊請(qǐng)求獲取數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理．醫(yī)療數(shù)據(jù)分析模塊：我們使用Caisis開源平臺(tái)作為醫(yī)療數(shù)據(jù)分析與疾病預(yù)測(cè)系統(tǒng)實(shí)現(xiàn)這一模塊．Caisis是基于Web的開源癌癥數(shù)據(jù)管理系統(tǒng)，一些臨床醫(yī)學(xué)研究使用Caisis系統(tǒng)管理和歸檔數(shù)字顯微圖像，通過向Caisis系統(tǒng)中添加特征選擇和SVM算法，使用SVM算法對(duì)醫(yī)療數(shù)據(jù)進(jìn)行分析和疾病預(yù)測(cè)，因此使用的特征選擇算法需要基于SVM，可以提高數(shù)據(jù)分析和疾病預(yù)測(cè)過程的效率和準(zhǔn)確度．

2數(shù)據(jù)分析模塊與算法

2．1SVM算法SVM算法最初是由Vapnik等人在1995年提出的一種可訓(xùn)練的機(jī)器學(xué)習(xí)算法．依據(jù)統(tǒng)計(jì)學(xué)習(xí)理論、VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論，從一定數(shù)目的樣本信息在學(xué)習(xí)能力和復(fù)雜度（對(duì)訓(xùn)練樣本的學(xué)習(xí)程度）中找到最佳折中，以期望獲得最好的推廣能力（或稱泛化能力）．

2．2基于SVM的醫(yī)療數(shù)據(jù)分析模塊將SVM分類算法應(yīng)用到醫(yī)療數(shù)據(jù)分析模塊中，進(jìn)行疾病預(yù)測(cè)．基于SVM的醫(yī)療數(shù)據(jù)分析模塊，通過數(shù)據(jù)交換模塊獲取原始組數(shù)據(jù)（患病病人醫(yī)療數(shù)據(jù)和對(duì)照組病人數(shù)據(jù)）．通過特征選擇過程輸入到SVM分類器中進(jìn)行訓(xùn)練，訓(xùn)練后可以對(duì)新的醫(yī)療數(shù)據(jù)進(jìn)行分析預(yù)測(cè)．

3改進(jìn)的醫(yī)療數(shù)據(jù)交換模塊

3．1醫(yī)療數(shù)據(jù)交換模塊在原始的醫(yī)療數(shù)據(jù)交換模塊中，數(shù)據(jù)請(qǐng)求原語(yǔ)只由4條通信原語(yǔ)組成．由原始醫(yī)療數(shù)據(jù)分析模型的3個(gè)模塊構(gòu)建，其中在醫(yī)療數(shù)據(jù)分析模塊與醫(yī)療數(shù)據(jù)提取模塊之間的4條通信原語(yǔ)包括2條請(qǐng)求和2條應(yīng)答．由于醫(yī)療數(shù)據(jù)的維度極大，屬性很多，但是在預(yù)測(cè)某個(gè)疾病時(shí)，只有很少的一部分屬性會(huì)對(duì)分類預(yù)測(cè)產(chǎn)生影響．這樣的全部維度的數(shù)據(jù)都需要傳輸，浪費(fèi)了時(shí)間，降低了數(shù)據(jù)傳輸效率，影響了醫(yī)療數(shù)據(jù)分析模塊的算法效率．

3．2改進(jìn)的醫(yī)療數(shù)據(jù)交換模塊在改進(jìn)的醫(yī)療數(shù)據(jù)交換模塊中，在數(shù)據(jù)傳輸協(xié)議中增加了4條原語(yǔ)．在每條原語(yǔ)中不僅有醫(yī)療記錄條數(shù)的要求，還包括對(duì)所請(qǐng)求醫(yī)療數(shù)據(jù)維度和屬性的具體說(shuō)明．醫(yī)療數(shù)據(jù)分析模塊先請(qǐng)求一小部分全部維度的數(shù)據(jù)，對(duì)這小部分?jǐn)?shù)據(jù)進(jìn)行特征選擇．然后醫(yī)療數(shù)據(jù)分析模塊只請(qǐng)求特征選擇出來(lái)的對(duì)預(yù)測(cè)相關(guān)的屬性的剩余所有醫(yī)療數(shù)據(jù)．最后通過SVM分類算法進(jìn)行訓(xùn)練和預(yù)測(cè)．在新的醫(yī)療數(shù)據(jù)交換模塊中，大部分?jǐn)?shù)據(jù)中只有小部分相關(guān)屬性被傳輸?shù)綌?shù)據(jù)分析模塊，極大地減少了數(shù)據(jù)傳輸總量，也同時(shí)增加了分析模塊預(yù)測(cè)算法的效率．

4原始模型與改進(jìn)模型的對(duì)比結(jié)果

篇3

關(guān)鍵詞：實(shí)踐教學(xué) Crystal Reports 數(shù)據(jù)分析 應(yīng)用型人才

中圖分類號(hào)：G642.41 文獻(xiàn)標(biāo)識(shí)碼：C DOI：10.3969/j.issn.1672-8181.2013.19.087

1 實(shí)踐教學(xué)的分類

目前，高校人才培養(yǎng)目標(biāo)正在向應(yīng)用型人才方向轉(zhuǎn)移，比如：獨(dú)立學(xué)院、職業(yè)學(xué)院以及高職高專都明確提出他們的人才培養(yǎng)目標(biāo)就是滿足社會(huì)需要的實(shí)用型人才，而實(shí)用型人才培養(yǎng)的重要環(huán)節(jié)是加強(qiáng)實(shí)踐教學(xué)，學(xué)生通過大量的實(shí)驗(yàn)活動(dòng)提升自己的理論與實(shí)際操作水平。

一般認(rèn)為，實(shí)踐教學(xué)由基礎(chǔ)型、設(shè)計(jì)型和綜合應(yīng)用創(chuàng)新型等三類各具特色并逐層深化的實(shí)踐教育方式構(gòu)成一個(gè)完整的體系。

1.1 基礎(chǔ)型實(shí)踐教學(xué)

基礎(chǔ)型實(shí)踐教學(xué)由基礎(chǔ)課及專業(yè)基礎(chǔ)課中包含的演示型、基礎(chǔ)型和設(shè)計(jì)型實(shí)驗(yàn)環(huán)節(jié)組成，目標(biāo)在于鞏固和提高學(xué)生學(xué)習(xí)的理論知識(shí)。

1.2 設(shè)計(jì)型實(shí)踐教學(xué)

設(shè)計(jì)型實(shí)踐教學(xué)由專業(yè)課中的綜合型試驗(yàn)或獨(dú)立實(shí)踐課程組成，目的在于進(jìn)一步提高學(xué)生的動(dòng)手能力、理論聯(lián)系實(shí)踐的能力及創(chuàng)新能力。該類實(shí)驗(yàn)采用在教師指導(dǎo)下，學(xué)生自主選題、自主設(shè)計(jì)、集體交流，鼓勵(lì)創(chuàng)新和團(tuán)隊(duì)協(xié)作等新型實(shí)驗(yàn)教學(xué)方法，使學(xué)生的實(shí)踐能力有跨越性的突破。

1.3 綜合應(yīng)用與創(chuàng)新型實(shí)踐教學(xué)

綜合應(yīng)用與創(chuàng)新型實(shí)踐教學(xué)以學(xué)生參與各項(xiàng)校內(nèi)外社會(huì)活動(dòng)為主，學(xué)生可隨不同的指導(dǎo)老師，按興趣分組，按能力分工，著眼于學(xué)生實(shí)踐能力的綜合培養(yǎng)，著眼于潛力個(gè)性開拓，著眼于創(chuàng)新精神的激勵(lì)。努力培養(yǎng)學(xué)生掌握企業(yè)管理和工程設(shè)計(jì)的基本方法，實(shí)現(xiàn)學(xué)生從具備一定實(shí)驗(yàn)?zāi)芰Φ骄哂休^高實(shí)戰(zhàn)能力的跨越。

2 Crystal Reports 系統(tǒng)

2.1 Crystal Reports簡(jiǎn)介

Crystal Reports 是SAP公司開發(fā)的、功能強(qiáng)大、動(dòng)態(tài)和可操作的報(bào)表解決方案，它能讀取多種數(shù)據(jù)源，在網(wǎng)絡(luò)環(huán)境下設(shè)計(jì)、開發(fā)可視化報(bào)表，嵌入到企業(yè)ERP系統(tǒng)或普通應(yīng)用系統(tǒng)中。在Crystal Reports的幫助下，用戶能夠制作企業(yè)OLAP在線分析，進(jìn)行企業(yè)業(yè)務(wù)，比如財(cái)務(wù)、生產(chǎn)和銷售管理的在線分析，以便指導(dǎo)企業(yè)經(jīng)營(yíng)工作，全球很多大公司都在選用這個(gè)軟件。

2.2 Crystal Reports特點(diǎn)

2.2.1 豐富的呈現(xiàn)形式

多種報(bào)表樣式：普通報(bào)表、交叉表和多維報(bào)表；

20多種圖形：條形圖、餅圖、曲線圖、甘特圖、雷達(dá)圖等，另外提供常用的報(bào)表模板。

2.2.2 廣泛的數(shù)據(jù)源連接

提供超過35個(gè)數(shù)據(jù)驅(qū)動(dòng)用于訪問任何相關(guān)數(shù)據(jù)源，支持在一份報(bào)表中整合多個(gè)數(shù)據(jù)源的能力，包括：ODBC、ADO等數(shù)據(jù)存儲(chǔ)方式。

2.2.3 可視化設(shè)計(jì)環(huán)境

通過拖放元素組成報(bào)表，設(shè)置標(biāo)題，自定義變量，整合數(shù)據(jù)庫(kù)字段等，有排序?qū)＜?、分組專家、匯總專家和圖標(biāo)專家等向?qū)?。還有強(qiáng)大的公式語(yǔ)言：160多個(gè)系統(tǒng)函數(shù)，也可以自定義需要的函數(shù)。如圖1所示。

圖1 Crystal Reports的可視化設(shè)計(jì)界面

2.2.4 多種文件導(dǎo)出格式

如：Word、Excel、HTML、XML、PDF、RTF、CSV、TXT等，方便將信息遞交給不同需求的用戶。

2.3 學(xué)習(xí)Crystal Reports軟件的好處

對(duì)于信管專業(yè)的學(xué)生，培養(yǎng)目標(biāo)包括三個(gè)方面：第一，掌握計(jì)算機(jī)科學(xué)和管理學(xué)的基本知識(shí)和技能；第二，具備進(jìn)行信息系統(tǒng)分析、設(shè)計(jì)的能力；第三，能進(jìn)行計(jì)算機(jī)知識(shí)和管理知識(shí)的交叉復(fù)合應(yīng)用，能夠在專業(yè)應(yīng)用上有所創(chuàng)新。根據(jù)專業(yè)培養(yǎng)目標(biāo)，要求信管專業(yè)的學(xué)生成為進(jìn)行軟件開發(fā)，進(jìn)行OLTP在線事務(wù)處理和OLAP在線分析處理的應(yīng)用型人才。

在企事業(yè)單位的數(shù)據(jù)處理過程中，通常利用大型數(shù)據(jù)庫(kù)和大型軟件系統(tǒng)來(lái)完成相關(guān)任務(wù)，同時(shí)需要進(jìn)行應(yīng)用軟件的二次開發(fā)，比如ERP軟件SAP、Oracle應(yīng)用于企業(yè)后需要定制各種財(cái)務(wù)、生產(chǎn)和銷售分析報(bào)表，SAP、Oracle的ERP系統(tǒng)本身自帶的報(bào)表不可能滿足所有用戶的所有需求，因此這些大型的標(biāo)準(zhǔn)化軟件需要系統(tǒng)實(shí)施人員進(jìn)行再開發(fā)，而Crystal Reports由于具有上述優(yōu)點(diǎn)而成為最好的開發(fā)工具，所以可以選擇Crystal Reports對(duì)信息管理和電子商務(wù)專業(yè)的同學(xué)進(jìn)行相關(guān)的系統(tǒng)訓(xùn)練以適應(yīng)社會(huì)發(fā)展的需要。

3 利用Crystal Reports 進(jìn)行實(shí)踐教學(xué)的方法

Crystal Reports既是一個(gè)在線分析軟件也是一個(gè)報(bào)表開發(fā)工具，因此，可認(rèn)為屬于程序設(shè)計(jì)科目，我們把它作為理論課程《數(shù)據(jù)分析與挖掘》的實(shí)驗(yàn)部分介紹給信息管理和電子商務(wù)專業(yè)的學(xué)生是因?yàn)檫@門課程的主要內(nèi)容是介紹數(shù)據(jù)庫(kù)的OLAP在線分析和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘，在進(jìn)行OLAP分析中，需要利用多維報(bào)表工具，而Crystal Reports可以制作多維報(bào)表。

從Crystal Reports的特點(diǎn)以及它的應(yīng)用范圍來(lái)看，可以把利用它進(jìn)行的實(shí)踐活動(dòng)歸類為設(shè)計(jì)型實(shí)踐和綜合應(yīng)用與創(chuàng)新型實(shí)踐相結(jié)合的實(shí)驗(yàn)項(xiàng)目，所以對(duì)同學(xué)們要求按照“規(guī)范設(shè)計(jì)，鼓勵(lì)創(chuàng)新”的原則進(jìn)行實(shí)驗(yàn)活動(dòng)。

由于《數(shù)據(jù)分析與挖掘》課程的理論性強(qiáng)、內(nèi)容多、難度大，所以相關(guān)實(shí)驗(yàn)采取學(xué)生分組進(jìn)行，每個(gè)小組2-3人，明確小組中每人的職責(zé)，比如：數(shù)據(jù)收集、OLAP報(bào)表制作、結(jié)果分析、報(bào)告撰寫等工作內(nèi)容，要求他們齊心協(xié)力、通力合作，首先把實(shí)驗(yàn)內(nèi)容和分工情況匯報(bào)給實(shí)驗(yàn)指導(dǎo)老師，經(jīng)過實(shí)驗(yàn)老師的確認(rèn)同意后，學(xué)生才能繼續(xù)后面的實(shí)驗(yàn)。實(shí)驗(yàn)時(shí)間除了學(xué)院實(shí)驗(yàn)室安排的課時(shí)（一般在實(shí)驗(yàn)專周中的15學(xué)時(shí)），還可以在實(shí)驗(yàn)課后用自己的電腦完成，完成后撰寫5000字左右的實(shí)驗(yàn)報(bào)告，把實(shí)驗(yàn)過程完整地記錄下來(lái)，并對(duì)實(shí)驗(yàn)提出自己的建議，以便實(shí)驗(yàn)老師不斷完善實(shí)驗(yàn)?zāi)Ｊ?、改善?shí)驗(yàn)指導(dǎo)，使之更符合社會(huì)發(fā)展和培養(yǎng)目標(biāo)的需要。

由于Crystal Reports是《數(shù)據(jù)分析與挖掘》課程的實(shí)驗(yàn)項(xiàng)目，所以讓同學(xué)們接觸實(shí)際應(yīng)用案例是首先必須考慮的問題，我們采取鼓勵(lì)同學(xué)廣開門路，挖掘數(shù)據(jù)來(lái)源，實(shí)行一個(gè)案例一個(gè)小組，找不到合適數(shù)據(jù)源的小組可以共享其他小組數(shù)據(jù)的方法解決數(shù)據(jù)源和案例問題，經(jīng)過同學(xué)們的努力，收集了10多個(gè)企業(yè)實(shí)際運(yùn)行數(shù)據(jù)，由于數(shù)據(jù)和信息是企業(yè)的生命，也是企業(yè)嚴(yán)加保護(hù)的資源，一般企業(yè)不愿提供，因此我們只要求企業(yè)過去10年至過去5年的部分?jǐn)?shù)據(jù)，并對(duì)數(shù)據(jù)加以刪減修改變更，保證企業(yè)的數(shù)據(jù)不泄密，同學(xué)們收集到的數(shù)據(jù)類型主要有Excel、Access、SQL Server以及Oracle等，這些類型的數(shù)據(jù)都可以被Crystal Reports讀取，但是讀取之前必須進(jìn)行ETL的操作，即對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和載入數(shù)據(jù)庫(kù)，以規(guī)范數(shù)據(jù)格式，完成數(shù)據(jù)標(biāo)準(zhǔn)化操作。

實(shí)驗(yàn)教師在整個(gè)實(shí)驗(yàn)活動(dòng)中除了在實(shí)驗(yàn)室向同學(xué)們演示Crystal Reports的使用方法外，還必須跟蹤同學(xué)們的實(shí)驗(yàn)進(jìn)度，加強(qiáng)對(duì)實(shí)驗(yàn)過程的管理，要求同學(xué)們分組用PPT演示稿上臺(tái)介紹自己的實(shí)驗(yàn)情況，讓全體同學(xué)分享他們的成果，實(shí)驗(yàn)老師對(duì)同學(xué)們完成的實(shí)驗(yàn)報(bào)告要進(jìn)行點(diǎn)評(píng)，讓他們知道自己那些地方做得好，那些地方有欠缺，以便今后改進(jìn)提高。

4 取得的成果及對(duì)實(shí)驗(yàn)教學(xué)的思考

在經(jīng)過實(shí)驗(yàn)專周的活動(dòng)后，同學(xué)們完成了基于企業(yè)經(jīng)營(yíng)業(yè)務(wù)的在線分析OLAP實(shí)驗(yàn)，分組提交了各種報(bào)告，如圖2所示。

圖2 學(xué)生的OLAP實(shí)驗(yàn)報(bào)告

從這些報(bào)告中，我們可以看出大部分同學(xué)完成情況良好，制作的圖表美觀大方，文本格式標(biāo)準(zhǔn)規(guī)范，大家通過實(shí)驗(yàn)理解了數(shù)據(jù)分析與挖掘的基本概念，學(xué)會(huì)了Crystal Reports的操作方法，能夠利用軟件工具讀取各種數(shù)據(jù)源，進(jìn)行數(shù)據(jù)的OLAP在線分析，按照需要制作標(biāo)準(zhǔn)報(bào)表、交叉報(bào)表和多維報(bào)表，這個(gè)過程相當(dāng)于對(duì)應(yīng)用軟件系統(tǒng)進(jìn)行了二次開發(fā)，開發(fā)的結(jié)果為企業(yè)的經(jīng)營(yíng)決策提供重要的參考意見，達(dá)到了預(yù)期目標(biāo)。

通過這些實(shí)驗(yàn)項(xiàng)目的實(shí)施，我們感覺到在實(shí)驗(yàn)教學(xué)應(yīng)該注意如下幾點(diǎn)：

第一，教學(xué)思想具備理念新穎性。

教學(xué)模式的構(gòu)建受教學(xué)思想的支配，教學(xué)思想是教學(xué)模式的靈魂和核心，好的教學(xué)模式必須以先進(jìn)的教學(xué)思想為指導(dǎo)，體現(xiàn)先進(jìn)的教學(xué)理念。實(shí)施新穎的教學(xué)思想可以通過向同學(xué)們開出現(xiàn)代的、先進(jìn)的學(xué)習(xí)科目來(lái)實(shí)現(xiàn)，比如：數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘等。

第二，教學(xué)目標(biāo)強(qiáng)調(diào)技術(shù)實(shí)用性。

在當(dāng)今信息技術(shù)條件下，應(yīng)用性人才必須能夠?qū)⑿畔⒓夹g(shù)直接應(yīng)用于工作實(shí)踐中。實(shí)踐教學(xué)的目的就是培養(yǎng)學(xué)生具備這樣的應(yīng)用能力，而不是簡(jiǎn)單地對(duì)理論的驗(yàn)證或?qū)夹g(shù)的一般了解，我們向同學(xué)們介紹Crystal Reports就是出于提高他們技術(shù)能力的需要。

第三，教學(xué)內(nèi)容充分考慮社會(huì)適應(yīng)性。

應(yīng)用型人才培養(yǎng)是以某一技術(shù)領(lǐng)域或職業(yè)崗位的能力培養(yǎng)為核心。因此，實(shí)踐教學(xué)的內(nèi)容必須滿足社會(huì)適應(yīng)性的能力要求，同時(shí)還要提供適應(yīng)學(xué)生可持續(xù)發(fā)展需要的能力和素質(zhì)。在內(nèi)容體系的組織上，實(shí)踐教學(xué)與理論教學(xué)必須相互滲透，理論知識(shí)需要通過實(shí)踐再認(rèn)識(shí)，并通過實(shí)踐課程來(lái)實(shí)現(xiàn)。

第四，教學(xué)手段突出技術(shù)先進(jìn)性。

當(dāng)代電子信息技術(shù)的快速發(fā)展，使得教育技術(shù)手段得到極大的提高，先進(jìn)的教學(xué)技術(shù)對(duì)教學(xué)模式的改革起到了直接的推動(dòng)作用，多媒體技術(shù)的普及，使仿真訓(xùn)練等更多地應(yīng)用于實(shí)踐教學(xué)。比如Cisco公司的Packet Tracer網(wǎng)絡(luò)模擬仿真軟件就是一個(gè)非常好的例子，在我們的教學(xué)過程中，我們也采用了這個(gè)軟件向同學(xué)們介紹計(jì)算機(jī)網(wǎng)絡(luò)知識(shí)，效果非常顯著。

總之，實(shí)踐教學(xué)需要走不斷改革創(chuàng)新之路，滿足社會(huì)對(duì)應(yīng)用型人才的需求，開辟實(shí)踐教學(xué)的新途徑，找出新辦法，培養(yǎng)合格的社會(huì)需要、國(guó)家需要的應(yīng)用型、復(fù)合型人才。

篇4

1. 行業(yè)資金流向

分析：今天只有白色家電、有色冶煉加工、房地產(chǎn)開發(fā)和醫(yī)藥商業(yè)四個(gè)行業(yè)呈現(xiàn)出資金凈流入狀態(tài)，以二三線的藍(lán)籌股和白馬股為主。在早盤上證指數(shù)沖高的過程中，起到了一定的引領(lǐng)作用，但受制于整體市場(chǎng)情緒的低迷，下午短線資金紛紛出逃，最終只有白色家電板塊的凈流入量超過了1億。

今天資金流出前五的分別是半導(dǎo)體及元件、光學(xué)光電子、通信設(shè)備、計(jì)算機(jī)應(yīng)用和證券板塊，其中半導(dǎo)體板塊連續(xù)兩天成為資金流出最多的板塊，表明前期獲利資金在持續(xù)性地進(jìn)行獲利了結(jié)。而通信設(shè)備板塊則是受到消息面上的影響，蘋果下修明年首季銷量預(yù)估，減幅超預(yù)期，從而使得蘋果產(chǎn)業(yè)鏈相關(guān)個(gè)股普遍被資金拋售。

2. 港資動(dòng)向

因圣誕假期，香港股市今天休市，港資無(wú)交易

3. 賺錢效應(yīng)

 分析：今日上漲家數(shù)720家，下跌家數(shù)2422家，漲跌比為0.30。漲停板家數(shù)25家，扣除5家未開板新股后，自然漲停板家數(shù)20家，其中醫(yī)藥類次新股5家，非醫(yī)藥類次新股5家，細(xì)胞免疫治療概念1家，其他類9家。

從中可以看出，具有板塊性效應(yīng)的主要是醫(yī)藥股和次新股，尤其是其中的疊加品種，這與上周五次新+天然氣的模式可謂是如出一轍，在目前相對(duì)弱勢(shì)的情況下，資金還是更青睞一些疊加熱點(diǎn)概念的小盤次新股。

昨日漲停板溢價(jià)為2.38%，與上個(gè)交易日基本持平，強(qiáng)勢(shì)股的持續(xù)性還是很一般，但由于個(gè)股漲跌比出現(xiàn)了明顯的下降，所以整體的賺錢效應(yīng)是降低的，操作難度則是相對(duì)的有所提升。

篇5

不可否認(rèn)，現(xiàn)在已經(jīng)是大數(shù)據(jù)的時(shí)代了，最近幾年，大數(shù)據(jù)發(fā)展趨勢(shì)蓬勃向上，吸引了社會(huì)各界的眼光，大家都看好大數(shù)據(jù)，想從大數(shù)據(jù)中獲得商機(jī)和財(cái)富。大數(shù)據(jù)也沒讓大家失望，在科研、教育、醫(yī)療、政府、經(jīng)濟(jì)等領(lǐng)域都產(chǎn)生了深遠(yuǎn)影響。據(jù)統(tǒng)計(jì)，目前大數(shù)據(jù)所形成的市場(chǎng)規(guī)模在51億美元左右，而到2017年，此數(shù)據(jù)預(yù)計(jì)會(huì)上漲到530億美元。

人們通過收集、整理相關(guān)領(lǐng)域方方面面的數(shù)據(jù)，并對(duì)其進(jìn)行分析挖掘，找到凌亂紛繁的數(shù)據(jù)背后的聯(lián)系，進(jìn)而從中獲得有價(jià)值的信息，最終衍化出一種新的商業(yè)模式。

但是，面對(duì)紛繁復(fù)雜的數(shù)據(jù)，不是所有人都能有效地對(duì)其進(jìn)行分析，并獲取其背后信息所代表的價(jià)值的。那么，有沒有什么辦法讓普通人也能輕易讀懂并使用大數(shù)據(jù)呢？

需求決定市場(chǎng)，隨著非科研人員對(duì)大數(shù)據(jù)需求的增大，很多大數(shù)據(jù)領(lǐng)域的創(chuàng)業(yè)公司不斷涌現(xiàn)，他們致力于將大數(shù)據(jù)以一種簡(jiǎn)單直觀地方式呈現(xiàn)給用戶，讓用戶能更好地“消化”這些數(shù)據(jù)。

Origami Logic就是這樣一家基于大數(shù)據(jù)的創(chuàng)業(yè)公司，它面向營(yíng)銷人員，主要通過數(shù)據(jù)可視化、自助分析等方式，將大數(shù)據(jù)“簡(jiǎn)單化”，讓即使不了解大數(shù)據(jù)的營(yíng)銷人員也能根據(jù)OrigamiLogic提供的分析結(jié)果做出更有效的營(yíng)銷策略。

可視化是大數(shù)據(jù)簡(jiǎn)單化的有效方式，也是創(chuàng)業(yè)公司常用方法?！稊?shù)據(jù)可視化之美》一書中指出，可視化是將數(shù)據(jù)以圖形表示，能夠一目了然地揭示數(shù)據(jù)中的復(fù)雜信息，同時(shí)通過對(duì)細(xì)節(jié)的翔實(shí)展示，能夠使受眾有效地產(chǎn)生對(duì)數(shù)據(jù)的洞察和新的理解。可視化可以幫助人們突破大數(shù)據(jù)技術(shù)中人的瓶頸。

通過Origami Logic，營(yíng)銷人員可以通過將CRM、社交媒體、郵件營(yíng)銷和調(diào)查報(bào)告等不同平臺(tái)的數(shù)據(jù)匯合整理在一起，并將冗雜的數(shù)據(jù)（包括郵件、文檔、圖片、音頻等）進(jìn)行有效分析處理，使其簡(jiǎn)單化、直觀化、視覺化，讓它變成普通的用戶都能看得懂的東西，然后依據(jù)這些統(tǒng)計(jì)分析結(jié)果來(lái)衡量整個(gè)營(yíng)銷效果，并做進(jìn)一步的營(yíng)銷活動(dòng)規(guī)劃。Origami Logic把“大數(shù)據(jù)”真正變成一盤生意。

“當(dāng)今的營(yíng)銷人員要根據(jù)社交網(wǎng)絡(luò)、移動(dòng)平臺(tái)、搜索引擎和電子郵件等方方面面進(jìn)行匯總分析，從而再制定相關(guān)的營(yíng)銷策略。他們對(duì)這些數(shù)據(jù)都是非常陌生的，而且難以捕捉數(shù)據(jù)背后的含義?！監(jiān)rigami Logic聯(lián)合創(chuàng)始人兼CEO Opher Kahane表示，“Origami Logic能夠幫助他們改善這種狀況，從而提高他們的營(yíng)銷能力。并且這個(gè)平臺(tái)能夠讓營(yíng)銷人員將盡可能多的營(yíng)銷工具整合到一起，并把不同營(yíng)銷工具所提供的數(shù)據(jù)變成自家平臺(tái)的資源中心，從而達(dá)到取代它們的目的。”

篇6

汽車制動(dòng)性能直接關(guān)系到交通安全，重大交通事故往往與汽車制動(dòng)性能差有關(guān)。制動(dòng)距離長(zhǎng)，制動(dòng)側(cè)滑，制動(dòng)跑偏等都會(huì)造成交通事故。汽車在制動(dòng)過程中人為地使汽車受到一個(gè)與其行駛方面相反的外力，汽車在這一外力作用下迅速地降低車速以至停車，這個(gè)外力稱為汽車的制動(dòng)力。制動(dòng)力是評(píng)價(jià)汽車制動(dòng)性能的基本因素，制動(dòng)力測(cè)量是機(jī)動(dòng)車安全性能檢測(cè)的重要組成部分。制動(dòng)力便于在制動(dòng)試驗(yàn)臺(tái)上測(cè)量，通過制動(dòng)力檢測(cè)不僅可以測(cè)得各車輪制動(dòng)力的大小，還可以了解汽車前、后軸制動(dòng)力合理分配，以及各軸兩側(cè)車輪制動(dòng)力平衡狀況。并同時(shí)測(cè)得制動(dòng)協(xié)調(diào)時(shí)間，能較全面地控測(cè)車輛的制動(dòng)性能。

一、汽車制動(dòng)性能檢驗(yàn)方式及檢驗(yàn)參數(shù)

在國(guó)標(biāo)（GB7258機(jī)動(dòng)車運(yùn)行安全技術(shù)條件）及（GB18565營(yíng)運(yùn)車輛綜合性能要求和檢驗(yàn)方法）中，對(duì)汽車制動(dòng)系提出了系統(tǒng)的技術(shù)要求，并規(guī)定了汽車制動(dòng)性能的檢測(cè)項(xiàng)目、檢測(cè)方法及評(píng)價(jià)標(biāo)準(zhǔn)。汽車性能檢測(cè)站在進(jìn)行汽車制動(dòng)性能檢測(cè)時(shí)，主要檢測(cè)汽車的制動(dòng)效能和制動(dòng)時(shí)的方向穩(wěn)定性。根據(jù)檢驗(yàn)參數(shù)和檢驗(yàn)方式的不同，制動(dòng)性能檢驗(yàn)可分為臺(tái)試和路試兩種。臺(tái)試主要檢測(cè)行車制動(dòng)力、制動(dòng)力平衡、車輪阻滯力、駐車制動(dòng)力、制動(dòng)協(xié)調(diào)時(shí)間;路試主要檢測(cè)制動(dòng)距離、制動(dòng)減速度、制動(dòng)協(xié)調(diào)時(shí)間、制動(dòng)時(shí)的方向穩(wěn)定性以及駐車制動(dòng)。汽車制動(dòng)試驗(yàn)臺(tái)根據(jù)其結(jié)構(gòu)型式不同，可分為滾筒式汽車制動(dòng)試驗(yàn)臺(tái)和平板式汽車制動(dòng)試驗(yàn)臺(tái)。由于具有占地面積小，使用安全性高等優(yōu)點(diǎn)目前汽車檢測(cè)站廣泛采用滾筒反力式汽車制動(dòng)試驗(yàn)臺(tái)。

通過汽車制動(dòng)試驗(yàn)臺(tái)進(jìn)行制動(dòng)性能檢測(cè)不僅可以測(cè)得各車輪的制動(dòng)力大小，還可以了解汽車前、后軸制動(dòng)力的分配情況，以及同一軸兩側(cè)車輪的制動(dòng)力平衡狀況。根據(jù)制動(dòng)力的大小，可評(píng)價(jià)車輛的制動(dòng)效能;根據(jù)左、右車輪制動(dòng)力的平衡情況，可衡量車輛制動(dòng)時(shí)的方向穩(wěn)定性。在實(shí)際檢測(cè)過程中，我們發(fā)現(xiàn)，經(jīng)常出現(xiàn)從檢測(cè)滾筒中“爬出”的現(xiàn)象。當(dāng)在非檢測(cè)軸車輪后加楔塊給車輛一定的縱向約束時(shí)，這種現(xiàn)象消失或程度減輕，這時(shí)制動(dòng)力實(shí)測(cè)值增大(接近實(shí)際情況)。上述現(xiàn)象說(shuō)明:用目前的反力式制動(dòng)試驗(yàn)臺(tái)檢測(cè)車輛制動(dòng)力時(shí)，特別是輕型車輛制動(dòng)力檢測(cè)時(shí)，因?qū)Ψ菧y(cè)試輪不施加水平約束(忽略滾動(dòng)阻力的影響)，測(cè)試時(shí)使汽車以較快的速度從滾筒中后退，或因滾筒與被測(cè)輪輪胎間的附著力過小而使車輪滑轉(zhuǎn)，結(jié)果造成能夠測(cè)得的制動(dòng)力偏低。且車輛為靜態(tài)，未能反映車輛動(dòng)態(tài)軸荷的變化，不能如實(shí)的反映車輛真實(shí)的制動(dòng)水平。

原因分析

一、根據(jù)滾筒式制動(dòng)力檢測(cè)臺(tái)的工作原理及特點(diǎn)分析；

1.安置角影響檢測(cè)結(jié)果，同一汽車在具有不同滾筒直徑和滾筒心距的檢測(cè)設(shè)備上檢測(cè)時(shí)，檢測(cè)數(shù)據(jù)會(huì)產(chǎn)生較大差異。

2.滾筒與輪胎之間的附著系數(shù)滬對(duì)檢測(cè)結(jié)果影響很大。當(dāng)附著系數(shù)低時(shí)，將測(cè)不出車輪可以達(dá)標(biāo)的制動(dòng)能力。

3.車軸所受的水平約束力，直接影響檢測(cè)的結(jié)果。

4.車位不正對(duì)檢測(cè)結(jié)果的影響，車位不正時(shí)，在進(jìn)行制動(dòng)檢測(cè)過程中，必然會(huì)使左右車輪的安置角產(chǎn)生差異，產(chǎn)生附加的左、右輪制動(dòng)力之差，使汽車制動(dòng)方向穩(wěn)定性的判斷失真。

5.其它車輪制動(dòng)效能對(duì)被測(cè)車輪亦有影響。

6.由于輪胎與滾筒之間的彈性變形、懸架等的彈性變形等大大影響了制動(dòng)力的增長(zhǎng)速率，加之制動(dòng)力在向檢測(cè)傳感器傳遞過程中滯后的影響，使測(cè)得制動(dòng)協(xié)調(diào)時(shí)間遠(yuǎn)大于被測(cè)車輪的實(shí)際制動(dòng)協(xié)調(diào)時(shí)間。因此，目前用滾筒試驗(yàn)臺(tái)無(wú)法準(zhǔn)確地測(cè)出制動(dòng)協(xié)調(diào)時(shí)間。

二、汽車制動(dòng)性能檢測(cè)中存在的問題

1．檢測(cè)設(shè)備的局限性

不同的制動(dòng)性能檢測(cè)設(shè)備各有其特點(diǎn),且存在一定的局限性。以平板式制動(dòng)試驗(yàn)臺(tái)和滾筒式制動(dòng)試驗(yàn)臺(tái)為例加以說(shuō)明。

1. 1　整車的運(yùn)動(dòng)狀態(tài)不一致

行駛的車輛在制動(dòng)過程中做減速運(yùn)動(dòng),因而汽車的質(zhì)量會(huì)發(fā)生向前軸轉(zhuǎn)移,而在滾筒制動(dòng)試驗(yàn)臺(tái)上車輛是靜止不動(dòng)的,車輛質(zhì)量轉(zhuǎn)移的現(xiàn)象不會(huì)出現(xiàn),這樣會(huì)形成靜態(tài)檢測(cè)與動(dòng)態(tài)實(shí)際制動(dòng)之間的差異性。平板制動(dòng)試驗(yàn)臺(tái)是憑借汽車在測(cè)試平板上實(shí)施緊急制動(dòng)過程來(lái)測(cè)定汽車前后制動(dòng)力的,是動(dòng)態(tài)檢測(cè),因而符合汽車制動(dòng)的實(shí)際過程,容易獲得汽車真實(shí)制動(dòng)檢測(cè)結(jié)果。特別是對(duì)裝有ABS防抱死制動(dòng)系統(tǒng)的車輛檢測(cè)更為有效。

1. 2　車輪的受力狀況不一致

車輪在路面運(yùn)行中,只是輪心下方的一小塊面積與地面接觸,而在滾筒試驗(yàn)臺(tái)上的車輪由于輪胎氣壓、外徑尺寸等問題,導(dǎo)致車輪受力狀況與實(shí)際制動(dòng)時(shí)的受力狀況不一致,直接影響檢測(cè)結(jié)果。平板式制動(dòng)檢測(cè)設(shè)備不存在“安置角”問題,測(cè)試時(shí)車輪的受力狀況接近于實(shí)際制動(dòng)時(shí)的受力狀況。

1. 3　測(cè)試時(shí)機(jī)不一致

車輛在制動(dòng)過程中前后橋是幾乎同時(shí)作用的,但滾筒式制動(dòng)試驗(yàn)臺(tái)必須分別對(duì)前后橋進(jìn)行制動(dòng)測(cè)試。這樣的測(cè)試結(jié)果能反映前后橋的同步情況與制動(dòng)力的分配,對(duì)裝有比例閥車輪的制動(dòng)測(cè)試更為適用。

2　滾筒制動(dòng)試驗(yàn)臺(tái)檢測(cè)常見問題

2. 1　被測(cè)車輪抱死滑磨

被測(cè)車輪停在滾筒上,滾筒帶動(dòng)車輪旋轉(zhuǎn),當(dāng)對(duì)被測(cè)車輪采取制動(dòng)時(shí),車輛的制動(dòng)力便傳遞給滾筒。隨著制動(dòng)力的增大,當(dāng)達(dá)到車輪與滾筒間的附著力時(shí),車輪就會(huì)抱死在滾筒上打滑,測(cè)試到的制動(dòng)力達(dá)到最大。車輪制動(dòng)力再增大,測(cè)試到的制動(dòng)力不變。由此可見,所能檢測(cè)到的最大制動(dòng)力與軸荷、設(shè)備結(jié)構(gòu)和附著系數(shù)有關(guān)。

篇7

關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)；數(shù)據(jù)分析；校園卡；教務(wù)

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)志碼：B 文章編號(hào)：1673-8454（2015）10-0013-03

隨著大數(shù)據(jù)時(shí)代的到來(lái)，各行各業(yè)都在利用大數(shù)據(jù)推動(dòng)本領(lǐng)域的發(fā)展。常熟理工學(xué)院自2009年開展教育信息化建設(shè)以來(lái)，在數(shù)據(jù)分析方面進(jìn)行了不斷地探索與實(shí)踐，目前廣泛應(yīng)用于教學(xué)和管理中。

一、數(shù)據(jù)分析的必要性和可行性

高校內(nèi)部一般都建有：教務(wù)系統(tǒng)、科研系統(tǒng)、學(xué)工管理系統(tǒng)、人事管理系統(tǒng)、資產(chǎn)管理系統(tǒng)等獨(dú)立業(yè)務(wù)系統(tǒng)。這些系統(tǒng)都各自記錄著學(xué)校方方面面的數(shù)據(jù)，卻都靜靜地躺在服務(wù)器硬盤里，猶如埋藏在地下的金礦，不能為高校全局決策提供支撐。

數(shù)據(jù)分析的目的就是要讓數(shù)據(jù)發(fā)聲，通過直觀的數(shù)據(jù)圖表來(lái)為高校管理提供輔助決策。例如：對(duì)教師的專業(yè)與學(xué)校開設(shè)專業(yè)的統(tǒng)計(jì)分析可以為人才引進(jìn)提供參考；對(duì)學(xué)生的校園卡使用記錄和校內(nèi)上網(wǎng)認(rèn)證記錄結(jié)合起來(lái)，可以為判斷學(xué)生的行為指明方向；對(duì)各二級(jí)學(xué)院的資產(chǎn)數(shù)據(jù)統(tǒng)計(jì)分析有助于學(xué)校對(duì)二級(jí)學(xué)院進(jìn)行成本核算。

二、數(shù)據(jù)倉(cāng)庫(kù)的建立

數(shù)據(jù)庫(kù)是數(shù)據(jù)分析的源頭，數(shù)據(jù)倉(cāng)庫(kù)的建立是數(shù)據(jù)分析的基礎(chǔ)。

建設(shè)過程中，首先要統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，只有準(zhǔn)確的數(shù)據(jù)才是有價(jià)值的，如果各系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，就會(huì)造成不準(zhǔn)確的數(shù)據(jù)分析結(jié)果，也就無(wú)法為高校管理提供真實(shí)有效的統(tǒng)計(jì)數(shù)據(jù)；

其次要建立公共數(shù)據(jù)平臺(tái)，公共數(shù)據(jù)平臺(tái)是指實(shí)現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，包括多個(gè)系統(tǒng)業(yè)務(wù)數(shù)據(jù)集中存儲(chǔ)、備份、數(shù)據(jù)共享和數(shù)據(jù)管理的公共平臺(tái)，為學(xué)校各應(yīng)用系統(tǒng)提供基礎(chǔ)數(shù)據(jù)；

三是要規(guī)范數(shù)據(jù)流程，把各業(yè)務(wù)系統(tǒng)中形形的數(shù)據(jù)按標(biāo)準(zhǔn)定期抽取到學(xué)校公共數(shù)據(jù)平臺(tái)中。確保任何業(yè)務(wù)系統(tǒng)的添加和修改不影響其他系統(tǒng)的正常運(yùn)行，同時(shí)新建應(yīng)用系統(tǒng)應(yīng)建立在統(tǒng)一的數(shù)據(jù)規(guī)范基礎(chǔ)和統(tǒng)一身份認(rèn)證基礎(chǔ)上，調(diào)用公共數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)（如部門、教工、學(xué)生等基礎(chǔ)信息），應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)也應(yīng)成為公共數(shù)據(jù)平臺(tái)的基礎(chǔ)數(shù)據(jù)，可供數(shù)據(jù)平臺(tái)共享訪問。確保提供反映學(xué)校全面情況的數(shù)據(jù)信息，為整個(gè)學(xué)校提供決策支持所需的數(shù)據(jù)信息，為今后應(yīng)用系統(tǒng)的建設(shè)和信息服務(wù)奠定良好的數(shù)據(jù)基礎(chǔ)。

圖1為數(shù)據(jù)架構(gòu)圖，最底層的是各業(yè)務(wù)系統(tǒng)，他們產(chǎn)生的數(shù)據(jù)按編碼標(biāo)準(zhǔn)經(jīng)過抽取、轉(zhuǎn)換、加載到數(shù)據(jù)中心，數(shù)據(jù)中心再按需要把相關(guān)數(shù)據(jù)同步給相應(yīng)的應(yīng)用數(shù)據(jù)庫(kù)或各數(shù)據(jù)集市，最后形成各類主題數(shù)據(jù)分析或綜合決策系統(tǒng)。

三、基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分析

在統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上，我們利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（ETL、OLAP、REPORT）和數(shù)據(jù)挖掘技術(shù)，對(duì)多種數(shù)據(jù)集市進(jìn)行數(shù)據(jù)分析，建立了校情綜合統(tǒng)計(jì)分析系統(tǒng)。該系統(tǒng)從學(xué)?；厩闆r、教職工信息、學(xué)生信息、教學(xué)信息、科研信息、資產(chǎn)與設(shè)備信息、圖書資料信息與師生消費(fèi)等方面進(jìn)行統(tǒng)計(jì)分析，為學(xué)校管理提供輔助決策支撐數(shù)據(jù)。

該系統(tǒng)從學(xué)校全局出發(fā)，通過多元主題展開分析，以文字、報(bào)表、圖表等多種形式展現(xiàn)分析成果。

該系統(tǒng)的推出實(shí)現(xiàn)了教學(xué)質(zhì)量、學(xué)生學(xué)習(xí)、生活行為等各種信息的監(jiān)控與分析，對(duì)高校資源配置優(yōu)化、提高高校管理科學(xué)化等方面具有不可估量的重要意義。這里筆者將以校園卡和教務(wù)數(shù)據(jù)分析功能為例進(jìn)行闡述。隨著校園卡在校園生活中使用范圍的日益擴(kuò)大，在應(yīng)用過程中產(chǎn)生了大量數(shù)據(jù)。校園卡僅僅一年的交易數(shù)據(jù)就有大約1000萬(wàn)條記錄。

校園卡數(shù)據(jù)分析主要實(shí)現(xiàn)以下五大類的分析功能：

（1）各時(shí)間段消費(fèi)情況分析

①?gòu)摹霸?、季度、半年、年”的角度?lái)查詢消費(fèi)總額、消費(fèi)用戶數(shù)和人均消費(fèi)等，反映出用戶消費(fèi)支出的趨勢(shì)，也可反映出物價(jià)的變化情況。

②從“幾點(diǎn)幾分”的角度查詢消費(fèi)人數(shù)可反映用戶在時(shí)間點(diǎn)上的消費(fèi)習(xí)慣，對(duì)于各營(yíng)業(yè)部門來(lái)說(shuō)可以合理地調(diào)整工作時(shí)間、工作人員等，以加強(qiáng)服務(wù)。還可根據(jù)教職工就餐時(shí)間點(diǎn)來(lái)分析他們是否嚴(yán)格遵守學(xué)校作息時(shí)間。

③從“早、中、晚”的角度統(tǒng)計(jì)分析學(xué)生早餐、中餐、晚餐的就餐率。

（2）各類消費(fèi)人群消費(fèi)情況分析

①對(duì)于學(xué)生工作管理層來(lái)說(shuō)，從“個(gè)人、班級(jí)、院系”的角度來(lái)查詢消費(fèi)金額作為發(fā)放貧困補(bǔ)助的依據(jù)。

②通過查詢一個(gè)時(shí)間周期內(nèi)（三天）學(xué)生消費(fèi)人數(shù)，起到了解學(xué)生是否在校的危機(jī)預(yù)警作用。

③從學(xué)生所屬院系、專業(yè)、年級(jí)等角度來(lái)查詢消費(fèi)人數(shù)、消費(fèi)金額和分布情況。

④從學(xué)生性別、來(lái)源地區(qū)（省、市、區(qū)）、年齡等人的自然屬性來(lái)查詢消費(fèi)人數(shù)、消費(fèi)金額和分布情況。

⑤分析教職工的消費(fèi)水平。

（3）各營(yíng)業(yè)單位消費(fèi)情況分析

從各個(gè)營(yíng)業(yè)單位角度來(lái)查詢校園用戶消費(fèi)人數(shù)，消費(fèi)金額和分布情況。

（4）各交易類型消費(fèi)情況

從消費(fèi)類型角度來(lái)查詢用餐、購(gòu)物、上網(wǎng)、上機(jī)、水電消費(fèi)等情況。

（5）工作站、終端個(gè)數(shù)統(tǒng)計(jì)

為直觀反映上述消費(fèi)數(shù)據(jù)，我們除用表格形式將分析結(jié)果展現(xiàn)在用戶終端外，還提供了柱狀圖、餅圖、曲線圖、點(diǎn)圖等形式來(lái)展現(xiàn)。圖2展示了我校2010年至2014年學(xué)生早、中、晚三餐平均價(jià)格，呈逐年穩(wěn)步上升狀態(tài)，這給餐飲部門提供準(zhǔn)確統(tǒng)計(jì)數(shù)據(jù)的同時(shí)，也穩(wěn)定了學(xué)生就餐消費(fèi)水平的承受心理。

高校教學(xué)信息化建設(shè)積累了豐富的業(yè)務(wù)數(shù)據(jù)，根據(jù)需求，教務(wù)數(shù)據(jù)分析功能主要包括三大類：教學(xué)任務(wù)、學(xué)生成績(jī)和教學(xué)評(píng)價(jià)。圖3為教務(wù)數(shù)據(jù)分析數(shù)據(jù)源視圖，圍繞教師的教學(xué)工作量、學(xué)生取得的成績(jī)以及學(xué)生對(duì)教師的評(píng)價(jià)等，我們做了一系列的報(bào)表。例如：教學(xué)場(chǎng)地信息、學(xué)生情況、任課教師情況、各學(xué)期教學(xué)任務(wù)情況、成績(jī)信息、教學(xué)評(píng)價(jià)、歷年各專業(yè)招生人數(shù)、各學(xué)院歷年教學(xué)情況、各學(xué)院歷年學(xué)生對(duì)教師評(píng)價(jià)。

另外，為滿足各二級(jí)學(xué)院要求，做了學(xué)業(yè)預(yù)警方面相關(guān)報(bào)表，各二級(jí)學(xué)院可根據(jù)年級(jí)、專業(yè)，通過總學(xué)分排行、課程門數(shù)排行來(lái)關(guān)注排在后面的學(xué)生情況。

數(shù)據(jù)分析表明，教師平均教學(xué)任務(wù)逐年增多，教師總體比較年輕，平均年齡男教師比女教師高，年齡在30-39之間的教師平均課時(shí)最多。管理學(xué)院歷年招生數(shù)比其它學(xué)院明顯高出很多，其中財(cái)務(wù)管理專業(yè)的學(xué)生數(shù)百分比最高。我校學(xué)生的成績(jī)也完全符合正態(tài)分布曲線要求。

四、結(jié)束語(yǔ)

大數(shù)據(jù)分析是一種發(fā)展趨勢(shì)，我們目前也僅僅就單項(xiàng)主題進(jìn)行了逐個(gè)分析，如果把這些主題串起來(lái)，進(jìn)行關(guān)聯(lián)分析，將會(huì)得出更有趣更有價(jià)值的結(jié)果，這也是將來(lái)我們努力的方向。

參考文獻(xiàn)：

[1]戴紅芳，馮翔，先曉兵等.商業(yè)智能在校園一卡通中的研究與實(shí)踐[J].微電子學(xué)與計(jì)算機(jī)，2012，29（7）：175-179.

[2]戴紅芳.基于多維數(shù)據(jù)模型的校園卡數(shù)據(jù)分析[D].上海：華東理工大學(xué)，2011.

篇8

關(guān)鍵詞：告警數(shù)據(jù) Hadoop Spark

1 引言

隨著電信網(wǎng)絡(luò)的不斷演進(jìn)，全省數(shù)據(jù)網(wǎng)、交換網(wǎng)、接入網(wǎng)設(shè)備單月產(chǎn)生告警原始日志近億條。以上告警通過網(wǎng)元網(wǎng)管、專業(yè)綜合網(wǎng)管、智能網(wǎng)管系統(tǒng)[1]三層收斂，監(jiān)控人員每月需處理影響業(yè)務(wù)或網(wǎng)絡(luò)質(zhì)量的告警事件為20萬(wàn)條，但一些對(duì)網(wǎng)絡(luò)可能造成隱患的告警信息被過濾掉。如何從海量告警數(shù)據(jù)中獲取與網(wǎng)絡(luò)性能指標(biāo)、運(yùn)維效率相關(guān)的有價(jià)值的數(shù)據(jù)，對(duì)于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)架構(gòu)而言，似乎是一個(gè)不可能完成的任務(wù)。

在一般告警量情況下，ORACLE數(shù)據(jù)處理能力基本可以滿足分析需求，但當(dāng)告警分析量上升到億級(jí)，如果采用傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和計(jì)算方式，一方面數(shù)據(jù)量過大，表的管理、維護(hù)開銷過大，要做到每個(gè)字段建索引，存儲(chǔ)浪費(fèi)巨大；另一方面計(jì)算分析過程耗時(shí)過長(zhǎng)，無(wú)法滿足實(shí)時(shí)和準(zhǔn)實(shí)時(shí)分析需求。因此必須采用新的技術(shù)架構(gòu)來(lái)分析處理海量告警信息，支撐主動(dòng)維護(hù)工作顯得尤為必要，為此我們引入了大數(shù)據(jù)技術(shù)。

2 分析目標(biāo)

（1）數(shù)據(jù)源：電信運(yùn)營(yíng)商網(wǎng)絡(luò)設(shè)備告警日志數(shù)據(jù)，每天50 G。

（2）數(shù)據(jù)分析目標(biāo)：完成高頻翻轉(zhuǎn)類（瞬斷）告警分析；完成自定義網(wǎng)元、自定義告警等可定制告警分析；完成被過濾掉的告警分析、TOPN告警分析；核心設(shè)備和重要業(yè)務(wù)監(jiān)控。

（3）分析平臺(tái)硬件配置：云計(jì)算平臺(tái)分配8臺(tái)虛擬機(jī)，每臺(tái)虛機(jī)配置CPU16核；內(nèi)存32 G；硬盤2 T。

3 制定方案

進(jìn)入大數(shù)據(jù)時(shí)代，行業(yè)內(nèi)涌現(xiàn)了大量的數(shù)據(jù)挖掘技術(shù)，數(shù)據(jù)處理和分析更高效、更有價(jià)值。Google、Facebook等公司提供可行的思路是通過類似Hadoop[2]的分布式計(jì)算、MapReduce[3]、Spark[4]算法等構(gòu)造而成的新型架構(gòu)，挖掘有價(jià)值信息。

Hadoop是Apache基金會(huì)用JAVA語(yǔ)言開發(fā)的分布式框架，通過利用計(jì)算機(jī)集群對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分布式計(jì)算分析。Hadoop框架最重要的兩個(gè)核心是HDFS和MapReduce，HDFS用于分布式存儲(chǔ)，MapReduce則實(shí)現(xiàn)分布式任務(wù)計(jì)算。

一個(gè)HDFS集群包含元數(shù)據(jù)節(jié)點(diǎn)（NameNode）、若干數(shù)據(jù)節(jié)點(diǎn)（DataNode）和客戶端（Client）。NameNode管理HDFS的文件系統(tǒng)，DataNode存儲(chǔ)數(shù)據(jù)塊文件。HDFS將一個(gè)文件劃分成若干個(gè)數(shù)據(jù)塊，這些數(shù)據(jù)塊存儲(chǔ)DataNode節(jié)點(diǎn)上。

MapReduce是Google公司提出的針對(duì)大數(shù)據(jù)的編程模型。核心思想是將計(jì)算過程分解成Map（映射）和Reduce（歸約）兩個(gè)過程，也就是將一個(gè)大的計(jì)算任務(wù)拆分為多個(gè)小任務(wù)，MapReduce框架化繁為簡(jiǎn)，輕松地解決了數(shù)據(jù)分布式存儲(chǔ)的計(jì)算問題，讓不熟悉并行編程的程序員也能輕松寫出分布式計(jì)算程序。MapReduce最大的不足則在于Map和Reduce都是以進(jìn)程為單位調(diào)度、運(yùn)行、結(jié)束的，磁盤I/O開銷大、效率低，無(wú)法滿足實(shí)時(shí)計(jì)算需求。

Spark是由加州伯克利大學(xué)AMP實(shí)驗(yàn)室開發(fā)的類Hadoop MapReduce的分布式并行計(jì)算框架，主要特點(diǎn)是彈性分布式數(shù)據(jù)集RDD[5]，中間輸出結(jié)果可以保存在內(nèi)存中，節(jié)省了大量的磁盤I/O操作。Spark除擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)外，還支持多次迭代計(jì)算，特別適合流計(jì)算和圖計(jì)算。

基于成本、效率、復(fù)雜性等因素，我們選擇了HDFS+Spark實(shí)現(xiàn)對(duì)告警數(shù)據(jù)的挖掘分析。

4 分析平臺(tái)設(shè)計(jì)

4.1 Hadoop集群搭建

基于CentOS-6.5系統(tǒng)環(huán)境搭建Hadoop集群，配置如表1所示。

4.2 Spark參數(shù)設(shè)置[6]

Spark參數(shù)設(shè)置如表2所示。

4.3 數(shù)據(jù)采集層

數(shù)據(jù)采集：由于需采集的告警設(shè)備種類繁多，故采取分布式的告警采集，數(shù)據(jù)網(wǎng)設(shè)備、交換網(wǎng)設(shè)備、接入網(wǎng)設(shè)備分別通過IP綜合網(wǎng)管、天元綜合網(wǎng)管、PON綜合網(wǎng)管進(jìn)行采集，采集周期5分鐘一次。采集機(jī)先將采集到的告警日志文件，通過FTP接口上傳到智能網(wǎng)管系統(tǒng)文件服務(wù)器上，再對(duì)文件進(jìn)行校驗(yàn)，通過Sqoop推送到Hadoop集群上。

4.4 邏輯處理層

（1）建立高頻翻轉(zhuǎn)告警監(jiān)控工作流程

先將海量告警進(jìn)行初步刪選，通過數(shù)量、位置和時(shí)間三個(gè)維度的分析，得出高頻翻轉(zhuǎn)類告警清單列表，最后由專業(yè)工程師甄別確認(rèn)，對(duì)某類告警進(jìn)行重點(diǎn)關(guān)注和監(jiān)控。

（2）差異化定制方案

按組網(wǎng)架構(gòu)細(xì)分，針對(duì)核心重要節(jié)點(diǎn)的所有告警均納入實(shí)時(shí)監(jiān)控方案；

按業(yè)務(wù)網(wǎng)絡(luò)細(xì)分，針對(duì)不同業(yè)務(wù)網(wǎng)絡(luò)設(shè)計(jì)個(gè)性化的監(jiān)控方案；

按客戶業(yè)務(wù)細(xì)分，針對(duì)客戶數(shù)字出租電路設(shè)計(jì)個(gè)性化的監(jiān)控方案。

4.5 數(shù)據(jù)分析層

Spark讀取Hive[7]表的告警數(shù)據(jù)，然后在Spark引擎中進(jìn)行SQL統(tǒng)計(jì)分析。Spark SQL模K在進(jìn)行分析時(shí)，將外部告警數(shù)據(jù)源轉(zhuǎn)化為DataFrame[8]，并像操作RDD或者將其注冊(cè)為臨時(shí)表的方式處理和分析這些數(shù)據(jù)。一旦將DataFrame注冊(cè)成臨時(shí)表，就可以使用類SQL的方式操作查詢分析告警數(shù)據(jù)。表3是利用Spark SQL對(duì)告警工單做的一個(gè)簡(jiǎn)單分析：

5 平臺(tái)實(shí)踐應(yīng)用

探索運(yùn)維數(shù)據(jù)分析的新方法，利用大數(shù)據(jù)分析技術(shù)，分析可能影響業(yè)務(wù)/設(shè)備整體性能的設(shè)備告警，結(jié)合網(wǎng)絡(luò)性能數(shù)據(jù)，找到網(wǎng)絡(luò)隱患，實(shí)現(xiàn)主動(dòng)維護(hù)的工作目標(biāo)。

5.1 高頻翻轉(zhuǎn)類告警監(jiān)控

首先制定了高頻翻轉(zhuǎn)類告警分析規(guī)則，將連續(xù)7天每天原始告警發(fā)生24次以上定義為高頻翻轉(zhuǎn)類告警，并基于大數(shù)據(jù)平臺(tái)開發(fā)了相應(yīng)的分析腳本，目前已實(shí)現(xiàn)全專業(yè)所有告警類型的分析。表4是全省高頻翻轉(zhuǎn)類TOP10排名。

5.2 核心設(shè)備和重要業(yè)務(wù)監(jiān)控

目前以設(shè)備廠商或?qū)＜医?jīng)驗(yàn)評(píng)定告警監(jiān)控級(jí)別往往會(huì)與實(shí)際形成偏差，主要表現(xiàn)在以下幾個(gè)方面：監(jiān)控級(jí)別的差異化設(shè)定基于已知的告警類型，一旦網(wǎng)絡(luò)重大故障上報(bào)未知的告警類型就無(wú)法在第一時(shí)間有效監(jiān)控到；同一類型的故障告警出現(xiàn)在不同網(wǎng)絡(luò)層面可能影響業(yè)務(wù)的程度是完全不同的；不同保障級(jí)別的客戶對(duì)故障告警監(jiān)控的實(shí)時(shí)性要求也是不同的。

通過大數(shù)據(jù)分析平臺(tái)對(duì)差異化監(jiān)控提供了靈活的定制手段，可根據(jù)告警關(guān)鍵字，分專業(yè)、地市、網(wǎng)管、機(jī)房、告警頻次等維度自主定制需要的告警數(shù)據(jù)，實(shí)現(xiàn)日、周、月、某個(gè)時(shí)間區(qū)等統(tǒng)計(jì)分析。

應(yīng)用案例：省NOC通過大數(shù)據(jù)分析出一條編號(hào)為CTVPN80113的中國(guó)平安大客戶電路在一段時(shí)間內(nèi)頻繁產(chǎn)生線路劣化告警，但用戶未申告，省NOC隨即預(yù)警給政企支撐工程師，政支工程師與用戶溝通后，派維護(hù)人員至現(xiàn)場(chǎng)處理，發(fā)現(xiàn)線路接頭松動(dòng)，緊急處理后告警消除、業(yè)務(wù)恢復(fù)。

5.3 被過濾告警分析

全省每天網(wǎng)絡(luò)告警數(shù)據(jù)300萬(wàn)條～500萬(wàn)條，其中99%都會(huì)根據(jù)告警過濾規(guī)則進(jìn)行過濾篩選，把過濾后的告警呈現(xiàn)給網(wǎng)絡(luò)監(jiān)控人員。過濾規(guī)則的準(zhǔn)確性直接影響告警數(shù)據(jù)的質(zhì)量。一般來(lái)說(shuō)告警過濾規(guī)則可以從具有豐富運(yùn)維經(jīng)驗(yàn)的網(wǎng)絡(luò)維護(hù)人員獲得，但是這個(gè)過程非常繁瑣，而且通過人工途徑獲得的告警過濾規(guī)則在不同的應(yīng)用環(huán)境可能存在差異，無(wú)法滿足網(wǎng)絡(luò)維護(hù)的整體需要。采用大數(shù)據(jù)技術(shù)對(duì)被過濾的告警進(jìn)行分析可以很好地完善過濾規(guī)則，讓真正急迫需要處理的告警優(yōu)先呈現(xiàn)給維護(hù)人員及時(shí)處理，真正做到先于客戶發(fā)現(xiàn)故障。表5是動(dòng)環(huán)專業(yè)被過濾的告警情況分布。

5.4 動(dòng)環(huán)深放電分析

動(dòng)環(huán)網(wǎng)管通過C接口采集蓄電池電壓數(shù)據(jù)，在停電告警產(chǎn)生之后，電壓數(shù)據(jù)首次下降到45 V，表示該局站電池出現(xiàn)深放電現(xiàn)象，通過計(jì)算這一放電過程的持續(xù)時(shí)間，記為深放電時(shí)長(zhǎng)，該時(shí)長(zhǎng)可以初步反映電池的放電性能。一個(gè)局站每天產(chǎn)生幾十萬(wàn)條電壓等動(dòng)環(huán)實(shí)時(shí)數(shù)據(jù)。

在告警數(shù)據(jù)分析的基礎(chǔ)上，實(shí)現(xiàn)對(duì)蓄電池電壓變化數(shù)據(jù)的分析，提醒分公司關(guān)注那些深放電次數(shù)過多和放電時(shí)長(zhǎng)過短的局站，核查蓄電池、油機(jī)配置、發(fā)電安排等，并進(jìn)行整治。利用Spark SQL統(tǒng)計(jì)了一個(gè)月內(nèi)撫州、贛州、吉安三分公司幾十億條動(dòng)環(huán)數(shù)據(jù)，分析了其中深放電的情況如表6所示。

6 結(jié)論

本文利用HDFS+Spark技術(shù)，實(shí)驗(yàn)性地解決告警數(shù)據(jù)存儲(chǔ)和分析等相關(guān)問題：一是通過數(shù)據(jù)分析，從海量告警數(shù)據(jù)中發(fā)現(xiàn)潛在的網(wǎng)絡(luò)隱患；二是結(jié)合資源信息和不同專業(yè)的告警，最終為用戶提供綜合預(yù)警；三是轉(zhuǎn)變網(wǎng)絡(luò)監(jiān)控思路和方式，通過數(shù)據(jù)匯聚、數(shù)據(jù)相關(guān)性分析、數(shù)據(jù)可視化展示，提高了網(wǎng)絡(luò)監(jiān)控效率；最后還擴(kuò)展到對(duì)動(dòng)環(huán)實(shí)時(shí)數(shù)據(jù)、信令數(shù)據(jù)進(jìn)行分析。

從實(shí)際運(yùn)行效果來(lái)看，HDFS和Spark完全可以取代傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和計(jì)算方式，滿足電信運(yùn)營(yíng)商主動(dòng)運(yùn)維的需求。

參考文獻(xiàn)：

[1] 中國(guó)電信股份有限公司. 中國(guó)電信智能網(wǎng)管技術(shù)規(guī)范-總體分冊(cè)[Z]. 2015.

[2] Tom white. Hadoop權(quán)威指南[M]. 4版. 南京： 東南大學(xué)出版社， 2015.

[3] RP Raji. MapReduce： Simplified Data Processing on Large Clusters[Z]. 2004.

[4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http：///.

[5] Matei Zaharia， Mosharaf Chowdhury， Tathagata Das， et al. Resilient Distributed Datasets： A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation， 2012，70（2）： 141-146.

[6] S鵬. Apache Spark源碼剖析[M]. 北京： 電子工業(yè)出版社， 2015.

[7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http：///.

[8] Holden Karau， Andy Konwinski， Patrick Wendell， et al. Learning Spark： Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc， 2015.

[9] 員建廈. 基于動(dòng)態(tài)存儲(chǔ)策略的數(shù)據(jù)管理系統(tǒng)[J]. 無(wú)線電工程， 2014，44（11）： 52-54.

篇9

[關(guān)鍵詞]數(shù)據(jù)挖掘；技術(shù)；電信技術(shù)

中圖分類號(hào)：TP393.01 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-914X（2014）29-0355-01

0.前言

我國(guó)電信行業(yè)一直以來(lái)呈現(xiàn)出中國(guó)移動(dòng)、中國(guó)聯(lián)通、中國(guó)電信三足鼎立的狀態(tài)，但是，隨著市場(chǎng)經(jīng)濟(jì)的進(jìn)一步完善，我國(guó)政府逐漸放開了對(duì)電信行業(yè)的準(zhǔn)入管制，越來(lái)越多的國(guó)外電信運(yùn)營(yíng)商進(jìn)入中國(guó)市場(chǎng)，這使得國(guó)內(nèi)電信市場(chǎng)的競(jìng)爭(zhēng)壓力不斷增加，另外，隨著我國(guó)消費(fèi)者的日趨成熟，對(duì)電信運(yùn)營(yíng)商的服務(wù)質(zhì)量要求逐漸提高，這一切都使得我國(guó)電信運(yùn)營(yíng)商面臨巨大挑戰(zhàn)，具體來(lái)看主要是成本增加、顧客流失、資源浪費(fèi)，傳統(tǒng)的管理方法已經(jīng)不能適應(yīng)形勢(shì)發(fā)展的要求，為了有效整合和利用資源，要求電信運(yùn)營(yíng)商借助信息化管理模式處理大量客戶信息和消費(fèi)數(shù)據(jù)，從中挖掘有價(jià)值的商業(yè)信息，從而制定出符合消費(fèi)者期望的優(yōu)質(zhì)服務(wù)策略。數(shù)據(jù)挖掘技術(shù)正好符合了電信行業(yè)發(fā)展的要求。

1.數(shù)據(jù)挖掘的概念

數(shù)據(jù)挖掘指的是從這些混亂的、無(wú)序的、模糊的、隨機(jī)的、不完全的數(shù)據(jù)當(dāng)中找出人們事先不知道但是具有潛在價(jià)值的信息和知識(shí)。從本質(zhì)上說(shuō)，數(shù)據(jù)挖掘是一種深層次的數(shù)據(jù)分析方法。人們根據(jù)數(shù)據(jù)挖掘任務(wù)的不同，把數(shù)據(jù)挖掘分為不同的類型，例如分類和預(yù)測(cè)模型發(fā)現(xiàn)，序列模式發(fā)現(xiàn)，數(shù)據(jù)歸類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)，依賴關(guān)系和依賴模型發(fā)現(xiàn)等等[1]。根據(jù)挖掘方法可以認(rèn)為統(tǒng)計(jì)學(xué)方法、機(jī)器學(xué)方法、數(shù)據(jù)庫(kù)方法以及神經(jīng)網(wǎng)絡(luò)方法.

2.數(shù)據(jù)挖掘的功能

總的來(lái)說(shuō)，數(shù)據(jù)挖掘具有五大功能，即分類功能、聚類功能、預(yù)測(cè)功能、偏差檢驗(yàn)功能以及關(guān)聯(lián)規(guī)則和序列模式發(fā)現(xiàn)功能。分類功能就是按照研究的對(duì)象的屬性建立不同的組類來(lái)描述對(duì)象。聚類功能就是把數(shù)據(jù)集合分組為由相似的對(duì)象組成的多個(gè)類別當(dāng)中，即通過間接相似度把類之間的差異識(shí)別出來(lái)，并挑選類之中的相似樣本。預(yù)測(cè)功能就是根據(jù)數(shù)據(jù)屬性特征等對(duì)數(shù)據(jù)進(jìn)行評(píng)估分析，從而預(yù)測(cè)其他未知屬性。常用的預(yù)測(cè)方法有回歸分析算法、神經(jīng)網(wǎng)絡(luò)算法等。偏差檢測(cè)功能是對(duì)數(shù)據(jù)庫(kù)中存在的異常記錄進(jìn)行排除，從而確保數(shù)據(jù)庫(kù)的安全穩(wěn)定，降低風(fēng)險(xiǎn)。關(guān)聯(lián)規(guī)則和序列模式發(fā)現(xiàn)功能關(guān)聯(lián)分析就是找出數(shù)據(jù)庫(kù)中各種隱藏的關(guān)聯(lián)性。

3.基于數(shù)據(jù)挖掘的電信數(shù)據(jù)分析

將數(shù)據(jù)挖掘引入電信數(shù)據(jù)分析，其目的就是深入挖掘顧客的消費(fèi)行為，探明客戶的特征、行為方式、理解客戶的價(jià)值，從而為電信運(yùn)營(yíng)商制定市場(chǎng)營(yíng)銷策略提供科學(xué)的依據(jù)。

3.1 電信業(yè)務(wù)下滑客戶分析

隨著市場(chǎng)競(jìng)爭(zhēng)堵塞加劇，電信顧客的流動(dòng)性增大，因此，要想增強(qiáng)企業(yè)的競(jìng)爭(zhēng)力，首先必須保持穩(wěn)定的客戶，防治客戶的流失，并在此基礎(chǔ)上吸引新的客戶。首先建立電信業(yè)務(wù)下滑客戶聚類模型，對(duì)客戶數(shù)據(jù)進(jìn)行聚類，先確立不同的聚類標(biāo)準(zhǔn)作為節(jié)點(diǎn)，對(duì)用戶進(jìn)行聚類分析，然后表節(jié)點(diǎn)把非業(yè)務(wù)下滑客戶列出來(lái)。把那些消費(fèi)波動(dòng)較大的用戶作為業(yè)務(wù)流失或退訂的客戶群。最后用表節(jié)點(diǎn)把業(yè)務(wù)下滑的客戶數(shù)據(jù)用表列出來(lái)。其次，電信客戶業(yè)務(wù)下滑原因分析。這是在前面的基礎(chǔ)上進(jìn)一步分析客戶業(yè)務(wù)下滑客戶的特征和原因，這里首先需要構(gòu)建數(shù)據(jù)訓(xùn)練集，把先前聚類的業(yè)務(wù)下滑客戶挑選出來(lái)，為了充分表現(xiàn)出業(yè)務(wù)下滑客戶與非業(yè)務(wù)下滑客戶的特征，將它們的比例設(shè)為1：1，然后建立決策樹，從客戶的在網(wǎng)時(shí)長(zhǎng)、長(zhǎng)途費(fèi)用、客戶使用的服務(wù)品牌這三方面的具體信息出發(fā)，做出有針對(duì)性的商業(yè)決策[2]。

3.2 電信用戶GPRS業(yè)務(wù)關(guān)聯(lián)分析

GPRS業(yè)務(wù)關(guān)聯(lián)分析模型主要有商業(yè)需求分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集、高價(jià)值客戶聚類、高價(jià)值客戶數(shù)據(jù)集、GPRS業(yè)務(wù)關(guān)聯(lián)分析、模型評(píng)估、模型等環(huán)節(jié)。首先商業(yè)需求分析。通過運(yùn)用數(shù)據(jù)挖掘技術(shù)分析GPRS業(yè)務(wù)用戶的特征、潛在用戶、用戶偏好、消費(fèi)潛力等，建立GPRS業(yè)務(wù)關(guān)聯(lián)模型進(jìn)行分析研究，發(fā)現(xiàn)其中的規(guī)律，由此預(yù)測(cè)出業(yè)務(wù)的潛在客戶群，協(xié)助企業(yè)擴(kuò)大用戶規(guī)模、獲得更大利潤(rùn)。其次是數(shù)據(jù)處理。先根據(jù)客戶性質(zhì)，將其劃分為多個(gè)群，找出最有價(jià)值的客戶群。再利用關(guān)聯(lián)性原則分析客戶偏好，進(jìn)而進(jìn)行相應(yīng)產(chǎn)品和服務(wù)的研究。其次，挖掘電信GPRS業(yè)務(wù)高價(jià)值客戶群。為了建立有效模型，首先要進(jìn)行聚類分析。按照客戶消費(fèi)金額分為幾種不同的類型。以其中一個(gè)點(diǎn)為高價(jià)值客戶的最低要求。從而找出高價(jià)值客戶群。第三電信客戶GPRS業(yè)務(wù)關(guān)聯(lián)分析。該環(huán)節(jié)的目的是要找出關(guān)聯(lián)大的業(yè)務(wù)。然后根據(jù)分析結(jié)果進(jìn)行業(yè)務(wù)銷售。

3.3 電信非綁定GPRS業(yè)務(wù)客戶預(yù)測(cè)

電信非綁定GPRS業(yè)務(wù)客戶預(yù)測(cè)模型與分析流程主要有商業(yè)需求分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)集、訓(xùn)練集、模型訓(xùn)練、GPRS業(yè)務(wù)客戶預(yù)測(cè)模型、模型評(píng)估、模型等。第一，商業(yè)需求分析。首先針對(duì)客戶使用情況，分析客戶消費(fèi)行為特征，然后對(duì)具有這些統(tǒng)計(jì)特征而未使用這套組合業(yè)務(wù)的客戶進(jìn)行推薦，由于運(yùn)營(yíng)商需要對(duì)客戶屬性和消費(fèi)行為進(jìn)行預(yù)測(cè)，因此還需要借助于決策樹建立分析模型。第二，數(shù)據(jù)處理，把無(wú)關(guān)數(shù)據(jù)排除，同時(shí)收集相關(guān)數(shù)據(jù)，并構(gòu)建模型。第三，電信非綁定GPRS業(yè)務(wù)客戶預(yù)測(cè)模型構(gòu)建。建立預(yù)測(cè)模型時(shí)要對(duì)模型有效性進(jìn)行測(cè)試，選擇合適的預(yù)測(cè)模型。在實(shí)際商業(yè)應(yīng)用中，根據(jù)模型分析結(jié)果對(duì)符合規(guī)則的目標(biāo)客戶推薦業(yè)務(wù)。

4.小結(jié)

本文以中國(guó)移動(dòng)某分公司的研究項(xiàng)目“某移動(dòng)業(yè)務(wù)精確營(yíng)銷模型研究及推廣”為背景，在數(shù)據(jù)挖掘理論和技術(shù)的基礎(chǔ)上，將數(shù)據(jù)挖掘技術(shù)的聚類分析算法、關(guān)聯(lián)規(guī)則算法、決策樹算法應(yīng)用于電信數(shù)據(jù)分析。

參考文獻(xiàn)

[1] 舒正渝.淺談數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[J].中國(guó)西部科技，2010，9（5）：38-39.

[2] 鞏建光.面向電信領(lǐng)域的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究[D].哈爾濱工程大學(xué)，2012：38-39.

篇10

福建省高速公路有限公司運(yùn)用微軟大數(shù)據(jù)解決方案，對(duì)視頻圖像、交通流、交通環(huán)境等結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)進(jìn)行管理，對(duì)數(shù)據(jù)中包含的車輛、車主、收費(fèi)站、地理位置等關(guān)聯(lián)信息進(jìn)行分析，改善道路管理效率和用戶出行體驗(yàn)……

10月18日，在微軟公司大數(shù)據(jù)媒體日活動(dòng)現(xiàn)場(chǎng)，微軟分享了其在大數(shù)據(jù)領(lǐng)域的最新研究成果和解決方案，來(lái)自國(guó)內(nèi)的銀行、汽車、交通運(yùn)輸、醫(yī)療衛(wèi)生和零售業(yè)用戶分享了其應(yīng)用體驗(yàn)。

大掌控、大智匯、大洞察

在大數(shù)據(jù)成為流行詞之前，微軟便已著手于大數(shù)據(jù)的應(yīng)用與研發(fā)，例如微軟Bing的高質(zhì)量搜索結(jié)果，便是通過分析超過100PB的數(shù)據(jù)得到的。微軟大數(shù)據(jù)解決方案的目標(biāo)，是讓所有用戶都能獲得來(lái)自任何數(shù)據(jù)有價(jià)值的洞察力。

微軟大中華區(qū)副總裁兼市場(chǎng)戰(zhàn)略部副總經(jīng)理、大中華區(qū)首席云戰(zhàn)略官謝恩偉介紹，為了實(shí)現(xiàn)這一目標(biāo)，微軟為大數(shù)據(jù)解決方案制定了全面的戰(zhàn)略——大掌控、大智匯、大洞察。

大掌控，即“支持所有數(shù)據(jù)類型的現(xiàn)代化的管理層”。微軟大數(shù)據(jù)解決方案的數(shù)據(jù)管理平臺(tái)可以無(wú)縫地存儲(chǔ)和處理包括結(jié)構(gòu)化、非結(jié)構(gòu)化和實(shí)時(shí)數(shù)據(jù)在內(nèi)的所有類型的數(shù)據(jù)。微軟推出的HDInsight是一種適合企業(yè)使用的、基于HDP的Hadoop服務(wù)，它將Windows的簡(jiǎn)易性和可管理性帶給Hadoop，提供了結(jié)合Hadoop的擴(kuò)展平臺(tái)，并為大數(shù)據(jù)提供了靈活且可擴(kuò)展的云。

大智匯，即“搜索并結(jié)合廣泛數(shù)據(jù)，進(jìn)行先進(jìn)分析與精煉，從而提高數(shù)據(jù)價(jià)值的富集層”。微軟大數(shù)據(jù)解決方案，通過將數(shù)據(jù)和模型與公開的數(shù)據(jù)服務(wù)相結(jié)合，實(shí)現(xiàn)了突破性的數(shù)據(jù)發(fā)現(xiàn)，例如自動(dòng)發(fā)現(xiàn)與共享防火墻外部的和第三方的數(shù)據(jù)源等。

大洞察，即“用戶熟悉的工具可為用戶提供具有直觀洞察力的洞悉層”。微軟大數(shù)據(jù)解決方案可以使客戶通過熟悉的由Hive add-in for Excel生成的Excel界面，從Hadoop功能中獲取有價(jià)值的洞察力，也可經(jīng)由企業(yè)熟悉的BI工具，如SQL Server 分析服務(wù)、PowerPivot和通過Hive Open Database Connectivity 驅(qū)動(dòng)生成的Power View來(lái)分析Hadoop中的非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)分析結(jié)果要“傻瓜化”

“我們要將挖掘與分析的結(jié)果直觀呈現(xiàn)，轉(zhuǎn)換為用戶真正需要的有價(jià)值的洞察力?！?微軟全球高級(jí)副總裁、大中華區(qū)董事長(zhǎng)兼首席執(zhí)行官賀樂賦說(shuō)。

賀樂賦說(shuō)，微軟大數(shù)據(jù)解決方案通過智能化的、甚至是基于云端的平臺(tái)和服務(wù)去管理和分析數(shù)據(jù)，從中獲取有價(jià)值的洞察信息，再以用戶最熟悉、最直觀的形式表現(xiàn)出來(lái)，從而幫助用戶做出決策。