公共文化大數(shù)據(jù)系統(tǒng)的實(shí)踐

時(shí)間:2022-08-11 11:00:21

導(dǎo)語:公共文化大數(shù)據(jù)系統(tǒng)的實(shí)踐一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。

公共文化大數(shù)據(jù)系統(tǒng)的實(shí)踐

摘要:本文針對(duì)公共數(shù)字文化服務(wù)高效、高質(zhì)量發(fā)展問題,介紹了以數(shù)據(jù)分析為抓手的公共文化大數(shù)據(jù)系統(tǒng)建設(shè)思路??偨Y(jié)實(shí)踐經(jīng)驗(yàn),提出大數(shù)據(jù)系統(tǒng)建設(shè)過程中需要重點(diǎn)關(guān)注的問題,為各地公共文化服務(wù)機(jī)構(gòu)大數(shù)據(jù)建設(shè)提供參考。

關(guān)鍵詞:公共文化服務(wù);大數(shù)據(jù);系統(tǒng)建設(shè);實(shí)踐

近年來,我國公共文化服務(wù)體系建設(shè)得到了長(zhǎng)足發(fā)展,公共文化服務(wù)正在從“有沒有”“缺不缺”向“好不好”“精不精”轉(zhuǎn)型升級(jí),大數(shù)據(jù)系統(tǒng)的建設(shè)在改善公共文化服務(wù)質(zhì)量、提升服務(wù)效能方面得到了社會(huì)的廣泛認(rèn)同。文化和旅游部全國公共文化發(fā)展中心基于帶動(dòng)、引領(lǐng)全國公共數(shù)字文化服務(wù)工作的考量,開展了公共文化大數(shù)據(jù)系統(tǒng)的探索性建設(shè)研究,為今后公共文化機(jī)構(gòu)的決策方式調(diào)整,更科學(xué)、更準(zhǔn)確地保障大眾的文化權(quán)益,奠定了理論和實(shí)踐基礎(chǔ)。

公共文化大數(shù)據(jù)系統(tǒng)建設(shè)基礎(chǔ)

“十三五”時(shí)期,我國通過規(guī)劃實(shí)施公共文化云平臺(tái)、中國文化網(wǎng)絡(luò)電視、邊疆萬里數(shù)字文化長(zhǎng)廊、數(shù)字文化館、數(shù)字圖書館等一系列項(xiàng)目,有力地推動(dòng)了全國公共文化服務(wù)的數(shù)字化提檔升級(jí)。數(shù)字化工作的逐步開展,為公共文化大數(shù)據(jù)分析與利用奠定了基礎(chǔ),也使今后利用大數(shù)據(jù)為公共文化服務(wù)賦能成為了可能。

公共文化大數(shù)據(jù)系統(tǒng)建設(shè)實(shí)踐

明確當(dāng)前需求與云計(jì)算、區(qū)塊鏈等應(yīng)用技術(shù)不同,大數(shù)據(jù)建設(shè)是一個(gè)工程體系。公共文化大數(shù)據(jù)系統(tǒng),是現(xiàn)代公共文化服務(wù)體系數(shù)字化服務(wù)的一種高度濃縮。公共文化大數(shù)據(jù)系統(tǒng)在建設(shè)上需要圍繞未來的核心服務(wù)集群設(shè)計(jì),逐步建立知識(shí)庫、模型庫、知識(shí)圖譜和算法庫,既要利用數(shù)字化技術(shù)面向公共文化機(jī)構(gòu)采集數(shù)據(jù),作為決策依據(jù),也要面向個(gè)人用戶采集數(shù)據(jù),開展“千人千面”的智能推薦。這些工作,需要龐大的人力、物力和財(cái)力的支持,比較可行的方式是采取分步走的方式開展建設(shè)。在現(xiàn)階段,考慮到后續(xù)經(jīng)費(fèi)的可持續(xù)投入等因素,筆者所在單位文化和旅游部全國公共文化發(fā)展中心將分析與展示問題的優(yōu)先級(jí)提到了前面,考慮優(yōu)先對(duì)公共數(shù)字文化工程已有的數(shù)據(jù)進(jìn)行采集,優(yōu)先建立相應(yīng)的分析模型對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析,生成部分成果數(shù)據(jù)集,并提供數(shù)據(jù)的可視化展示。通過基本系統(tǒng)的搭建和探索,為今后公共文化大數(shù)據(jù)系統(tǒng)的體系化建設(shè)奠定起步基礎(chǔ)。系統(tǒng)設(shè)計(jì)與搭建在建設(shè)公共文化大數(shù)據(jù)系統(tǒng)過程中,我們首先按照網(wǎng)絡(luò)安全等級(jí)保護(hù)三級(jí)標(biāo)準(zhǔn)建設(shè)一個(gè)基于hadoop(分布式系統(tǒng)基礎(chǔ)架構(gòu))的、可擴(kuò)展的大數(shù)據(jù)架構(gòu)體系。在系統(tǒng)功能方面,要求系統(tǒng)具備大數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工、數(shù)據(jù)展示等多種功能。在技術(shù)設(shè)計(jì)方面,采用模塊化建設(shè),使系統(tǒng)具有良好的可擴(kuò)展性和伸縮性,以適應(yīng)業(yè)務(wù)系統(tǒng)自身的不斷調(diào)整、修改和優(yōu)化。在成果展示方面,采用可視化技術(shù),支持不同場(chǎng)景、不同終端可形象地展示各類數(shù)據(jù)。同時(shí)提出應(yīng)允許第三方平臺(tái)(如:文化和旅游部應(yīng)急指揮平臺(tái))調(diào)用或集成相應(yīng)的展示頁面,通過標(biāo)準(zhǔn)接口進(jìn)行數(shù)據(jù)共享服務(wù)等要求。在分析了當(dāng)前公共數(shù)字文化服務(wù)主要需要后,將后臺(tái)管理、數(shù)據(jù)展示、數(shù)據(jù)應(yīng)用、MPP數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)管控、數(shù)據(jù)安全、數(shù)據(jù)采集、數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載(ETL)、數(shù)據(jù)存儲(chǔ)等定為核心業(yè)務(wù)模塊??紤]前期采集數(shù)據(jù)量及計(jì)算任務(wù)量有限的因素,系統(tǒng)建設(shè)支出可按最小配置部署,在10臺(tái)服務(wù)器上完成初步搭建,部署數(shù)據(jù)展示W(wǎng)eb端、存儲(chǔ)集群、核心軟件、管理節(jié)點(diǎn)、計(jì)算分析和負(fù)載均衡等服務(wù)即可。數(shù)據(jù)的采集與處理大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)采集,決定著系統(tǒng)的成敗。在數(shù)據(jù)采集上,我們現(xiàn)階段主要考慮采集的對(duì)象為國家公共文化云系統(tǒng)集群及以往全國公共數(shù)字文化工程建設(shè)項(xiàng)目中所取得的存量數(shù)據(jù)。之所以這樣考慮,是依據(jù)先易后難的原則,優(yōu)先將能采集的、好采集的一網(wǎng)打盡。之后再考慮比較難以采集的外部數(shù)據(jù)以及技術(shù)上的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。在第一階段,我們通過接口方式采集日志數(shù)據(jù)、報(bào)表數(shù)據(jù),線下采集統(tǒng)計(jì)數(shù)據(jù)、文字介紹、報(bào)告等約4億條。完成數(shù)據(jù)采集后,需要對(duì)數(shù)據(jù)進(jìn)行處理。經(jīng)過篩選,我們共提取出了2379個(gè)有效指標(biāo)項(xiàng),約1500個(gè)數(shù)據(jù)字段,形成84張?jiān)紨?shù)據(jù)存儲(chǔ)表和2283萬條可用數(shù)據(jù)。這些數(shù)據(jù),將成為后續(xù)的分析和可視化的基礎(chǔ)。數(shù)據(jù)的分析與可視化在數(shù)據(jù)分析方面,結(jié)合公共數(shù)字文化服務(wù)的實(shí)踐,我們探索嘗試建立了12個(gè)業(yè)務(wù)模型、3個(gè)數(shù)學(xué)算法模型提供決策使用。其中業(yè)務(wù)統(tǒng)計(jì)與分析模型包括:經(jīng)費(fèi)投入模型、人才隊(duì)伍模型、兩館一站模型、軟硬件設(shè)施模型、線上服務(wù)模型、活動(dòng)情況模型、用戶情況模型、公共文化云模型、地方文化館站模型、基礎(chǔ)數(shù)據(jù)模型、群體傾向模型和服務(wù)效能模型。數(shù)學(xué)算法模型包括:基礎(chǔ)數(shù)據(jù)相關(guān)性模型、一元線性回歸模型和歐幾里得距離模型。對(duì)于業(yè)務(wù)模型的分析,主要采用統(tǒng)計(jì)、聚類、對(duì)比的方法,包含的內(nèi)容為:中央轉(zhuǎn)移支付各省經(jīng)費(fèi)情況、各級(jí)公共文化機(jī)構(gòu)基本情況、各省兩館一站從業(yè)人員情況、各省軟硬件設(shè)施情況、兩館一站線上線下活動(dòng)情況、網(wǎng)站實(shí)時(shí)訪問情況、新媒體和社會(huì)化合作服務(wù)效果、用戶數(shù)量/訪問來源/年齡段分布情況、服務(wù)人群到館/活動(dòng)參與/男女比例/網(wǎng)站訪問時(shí)段傾向、服務(wù)能力/服務(wù)效率/服務(wù)效益情況等。數(shù)學(xué)算法模型中,如:相關(guān)性算法模型,主要利用皮爾森相關(guān)系數(shù)(Pearson),通過對(duì)圖書館從業(yè)人員數(shù)、各活動(dòng)參加人次、總流通人次、網(wǎng)站訪問量、文化館文藝活動(dòng)觀眾人次、本單位受訓(xùn)人次、志愿者服務(wù)隊(duì)人數(shù)等數(shù)據(jù)的分析,得到文化館(站)的相似性,從而進(jìn)一步分析不同地域、不同文化館之間的共性聯(lián)系,用于指導(dǎo)相關(guān)機(jī)構(gòu)進(jìn)一步改善服務(wù)。數(shù)據(jù)分析的目的是為決策提供支撐,因此在完成數(shù)據(jù)的分析后,需要以可視化的形式提供一目了然的呈現(xiàn)。可視化的核心是突出重點(diǎn),而非將所有信息平鋪直敘式羅列。在最初階段,可優(yōu)先考慮突出呈現(xiàn)訪問量、活動(dòng)人次、注冊(cè)用戶、數(shù)字資源總量、館舍面積、從業(yè)人員數(shù)量等。實(shí)時(shí)訪問情況、各地投入和服務(wù)情況則可以單獨(dú)界面進(jìn)行呈現(xiàn)。此外,為了滿足使用數(shù)據(jù)的實(shí)時(shí)性和便捷性要求,也針對(duì)移動(dòng)端進(jìn)行了可視化的建設(shè)。

系統(tǒng)建設(shè)的經(jīng)驗(yàn)與啟示

做好整體規(guī)劃。這里既包括對(duì)數(shù)據(jù)采集分析流程的規(guī)劃、對(duì)數(shù)據(jù)類型的規(guī)劃、基礎(chǔ)運(yùn)行環(huán)境的規(guī)劃,也包括數(shù)據(jù)分析結(jié)果與應(yīng)用系統(tǒng)服務(wù)形成完整反饋閉環(huán)的規(guī)劃。在頂層設(shè)計(jì)的基礎(chǔ)上開展具體工作,可使工作事半功倍。以需求為驅(qū)動(dòng)、可擴(kuò)展性為靈魂。公共文化大數(shù)據(jù)的落地,需抓住幾個(gè)典型需求驅(qū)動(dòng)型的應(yīng)用,讓大數(shù)據(jù)分析效果立竿見影。同時(shí),大數(shù)據(jù)系統(tǒng)的建設(shè)必須考慮可擴(kuò)展性。需求不斷變化,大數(shù)據(jù)系統(tǒng)也會(huì)隨著需求的變化不斷更新升級(jí)。大數(shù)據(jù)系統(tǒng)的可擴(kuò)展性是應(yīng)對(duì)未來變化的基本要求。重視數(shù)據(jù)標(biāo)簽的管理。數(shù)據(jù)標(biāo)簽是大數(shù)據(jù)應(yīng)用質(zhì)量的基石。好的數(shù)據(jù)標(biāo)簽可以產(chǎn)生質(zhì)量高的大數(shù)據(jù)應(yīng)用系統(tǒng)。建立一個(gè)可編輯、可修改、可擴(kuò)充、可升級(jí)的大數(shù)據(jù)標(biāo)簽管理系統(tǒng)是公共數(shù)字文化服務(wù)未來高質(zhì)量發(fā)展的必然需求。強(qiáng)化數(shù)據(jù)安全。數(shù)據(jù)安全問題,包括系統(tǒng)本身設(shè)計(jì)的安全、數(shù)據(jù)庫安全、數(shù)據(jù)傳輸與交換的安全、數(shù)據(jù)內(nèi)容的安全以及數(shù)據(jù)管理的安全等。在建設(shè)大數(shù)據(jù)系統(tǒng)之初,就應(yīng)嚴(yán)格按照《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國網(wǎng)絡(luò)安全法》的要求設(shè)計(jì)和執(zhí)行。提供人才保障。大數(shù)據(jù)系統(tǒng)從建設(shè)到使用產(chǎn)生效果,離不開高素質(zhì)人才的參與。專業(yè)技術(shù)機(jī)構(gòu)可以協(xié)助建設(shè)的只能是與業(yè)務(wù)內(nèi)容相關(guān)度較低的部分,而諸如數(shù)據(jù)的采集要求、內(nèi)容鑒別、分析利用等則需要既懂公共文化業(yè)務(wù)又懂大數(shù)據(jù)技術(shù)的人才參與其中。加強(qiáng)人才隊(duì)伍建設(shè),加大人才隊(duì)伍持續(xù)培養(yǎng),是未來公共文化大數(shù)據(jù)建設(shè)必須作為長(zhǎng)期戰(zhàn)略進(jìn)行考慮和開展的內(nèi)容。

結(jié)語

公共文化大數(shù)據(jù)建設(shè)是一項(xiàng)系統(tǒng)工程,從目前的實(shí)踐看來,盡管我們?cè)谔剿鬟^程中取得了一些成效,但是建設(shè)過程中涉及的一些重要理論問題、關(guān)鍵技術(shù)、標(biāo)準(zhǔn)規(guī)范、適用指標(biāo)還有待進(jìn)一步研究和突破。近日,文化和旅游部正式印發(fā)《“十四五”公共文化服務(wù)體系建設(shè)規(guī)劃》,對(duì)公共文化大數(shù)據(jù)系統(tǒng)建設(shè)也指明了發(fā)展方向?!笆奈濉睍r(shí)期,相信在各地公共文化機(jī)構(gòu)的共同努力下,公共文化大數(shù)據(jù)建設(shè)必然會(huì)取得長(zhǎng)足的發(fā)展,推動(dòng)公共文化服務(wù)向著更高水平邁進(jìn)。相信在各地公共文化機(jī)構(gòu)的共同努力下,公共文化大數(shù)據(jù)建設(shè)在“十四五”時(shí)期必然會(huì)取得長(zhǎng)足的發(fā)展,推動(dòng)公共文化服務(wù)向著更高水平邁進(jìn)。

參考文獻(xiàn):

[1]完顏鄧鄧,王子健.大數(shù)據(jù)環(huán)境下公共數(shù)字文化服務(wù)模式創(chuàng)新研究[J].圖書與情報(bào),2020(05):59-66.

[2]冷小嚴(yán).新時(shí)代文化館數(shù)字化建設(shè)的幾點(diǎn)思考[J].中國民族博覽,2018(08):54-55.

[3]周奚如.文化館數(shù)字化建設(shè)困境和思路[J].劇影月報(bào),2019(04):97-98.

[4]蘆麗麗.5G新媒體平臺(tái)大數(shù)據(jù)系統(tǒng)運(yùn)維體系的建設(shè)[J].現(xiàn)代電視技術(shù),2021(04):104-108.

[5]易成岐,竇悅,陳東,郭明軍,王建冬.全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系:總體框架與戰(zhàn)略價(jià)值[J].電子政務(wù),2021(06):2-10.

[6]馬霖,余倩男.智慧黃山時(shí)空大數(shù)據(jù)建設(shè)與應(yīng)用實(shí)踐[J].測(cè)繪與空間地理信息,2021,44(05):101-104,109.

作者:劉平 焦延杰