高性能計(jì)算范文

時(shí)間:2023-03-26 08:19:31

導(dǎo)語(yǔ):如何才能寫好一篇高性能計(jì)算,這就需要搜集整理更多的資料和文獻(xiàn),歡迎閱讀由公務(wù)員之家整理的十篇范文,供你借鑒。

高性能計(jì)算

篇1

“當(dāng)今全球高性能計(jì)算系統(tǒng)的計(jì)算能力正在飛速發(fā)展,這與處理器、編譯器和軟件等多方面綜合因素是密不可分的。英特爾在光互連方面以及硅光學(xué)方面都走在世界前沿,今后,英特爾會(huì)在南能計(jì)算市場(chǎng)有更多動(dòng)作?!庇⑻貭柟靖呒?jí)副總裁兼數(shù)字企業(yè)事業(yè)部總經(jīng)理帕特基辛格博士在今年4月上海IDF上曾經(jīng)明確了英特爾在高性能計(jì)算方面的方向。

時(shí)隔半年,當(dāng)11月1日,中國(guó)軟件行業(yè)協(xié)會(huì)數(shù)學(xué)軟件分會(huì)、國(guó)家863高性能計(jì)算機(jī)評(píng)測(cè)中心和中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專業(yè)委員會(huì)三家聯(lián)合正式對(duì)外《2008年中國(guó)高性能計(jì)算機(jī)性能TOP100排行榜》時(shí),帕特基辛格的“預(yù)言”實(shí)現(xiàn)了。

報(bào)告顯示,英特爾仍然是TOP100的最大家,基于英特爾處理器的系統(tǒng)數(shù)量占到了71%,這與英特爾在TOP500中的份額非常相似、在6月份的TOP500中,英特爾占據(jù)了73.5%的絕對(duì)優(yōu)勢(shì)。

與此同時(shí),“在高性能計(jì)算領(lǐng)域,英特爾的軟件同樣發(fā)揮著很重要的作用”。英特爾公司全球副總裁王文漢對(duì)軟件在高性能計(jì)算領(lǐng)域中的價(jià)值表示充分肯定。

背后的力量

與以往不同,在《2008年中國(guó)高性能計(jì)算機(jī)性能TOP100排行榜》中我們看到了聯(lián)想、浪潮、曙光、寶德等更多國(guó)產(chǎn)廠商的身影,而在這些廠商的背后有著一只強(qiáng)而有力的軟、硬件推手。

在四年前,當(dāng)時(shí)的聯(lián)想正欲在高性能計(jì)算領(lǐng)域有所突破,“當(dāng)時(shí)聯(lián)想要做一個(gè)非常大的打印機(jī),這部打印機(jī)需要一個(gè)很重要的測(cè)試程序叫l(wèi)inpack,這一程序?qū)Q定整部機(jī)器的效率。于是英特爾從美國(guó)調(diào)來(lái)了這一方面的專家?!蓖跷臐h講道。

鑒于在以往其他地區(qū)的經(jīng)驗(yàn),這樣的項(xiàng)目以這位博士的水平僅僅需要三天的時(shí)間,但是,當(dāng)他來(lái)到中國(guó)后才發(fā)現(xiàn)由于當(dāng)時(shí)中國(guó)的網(wǎng)格計(jì)算水平發(fā)展與國(guó)際還有一定的差距,在很多技術(shù)細(xì)節(jié)方面缺乏一定的環(huán)境支撐,他必須從每個(gè)細(xì)節(jié)開(kāi)始工作,于是他被“擱淺”在了中國(guó)。

有意思的是,這位博士很老實(shí),他出門的時(shí)候只向他妻子“請(qǐng)了三天的假”,可是過(guò)了三天,又過(guò)了幾個(gè)三天他還是回不去,由于“初來(lái)乍到”博士并不清楚如何在國(guó)內(nèi)給他的妻子掛電話“請(qǐng)假”,無(wú)奈之余只能求助。

電話通了,假也請(qǐng)了,博士塌實(shí)了,聯(lián)想的高性能計(jì)算機(jī)也完成了自己的關(guān)鍵測(cè)試。

“在高性能計(jì)算領(lǐng)域,我們與國(guó)內(nèi)的多家廠商都有合作,且合作的時(shí)間很久。”王文漢介紹到。“也許正是有了類似英特爾這樣國(guó)際企業(yè)的幫助與支持,國(guó)內(nèi)的高性能計(jì)算領(lǐng)域才有了長(zhǎng)足的進(jìn)步?!?/p>

在《2008年中國(guó)高性能計(jì)算機(jī)性能TOP100排行榜》公布的同時(shí),TOP100排行榜創(chuàng)始人之一、中科院軟件所研究員張?jiān)迫┦窟@樣感嘆:“盡管在核心部件上,我們對(duì)國(guó)外廠商的依賴性很強(qiáng),但在此次榜單中,國(guó)產(chǎn)機(jī)入圍數(shù)明顯增多?!狈e極與政府和教育合作

如同與聯(lián)想、曙光、浪潮等國(guó)內(nèi)的企業(yè)合作,英特爾在國(guó)內(nèi)的政府、教育等領(lǐng)域也從未停止過(guò)自己的腳步。

2002年,教育部發(fā)起建設(shè)“中國(guó)教育科研網(wǎng)格”(ChinaGrid)的工作,該項(xiàng)目在十五“211”二期支持下啟動(dòng)、得到國(guó)家科技部863南性能計(jì)算重大專項(xiàng)支持的公共服務(wù)體系。

2003年9月,英特爾(中國(guó))有限公司與中國(guó)教育部簽署了一份合作諒解備忘錄。雙方?jīng)Q定攜手構(gòu)建國(guó)家高等教育網(wǎng)格計(jì)算平臺(tái)和網(wǎng)格的研究和應(yīng)用。

隨后,ChinaGrid在公共中間件平臺(tái)(CGSP ChinaGrid suppoftPlatform)上取得突破性進(jìn)展,Intel在CGSP與GPE的互聯(lián)互通研究等方面與國(guó)內(nèi)的各高校展開(kāi)了更為廣泛的合作。

在中國(guó),短短的三年,從06年當(dāng)初五個(gè)大學(xué)參與,到今年08年8月份為止達(dá)到102個(gè)大學(xué)參與進(jìn)來(lái)。多核大學(xué)計(jì)劃的內(nèi)容,包括了英特爾給這些學(xué)校建立多核的實(shí)驗(yàn)室,包括教師培訓(xùn)。

在清華,在武漢大學(xué)還有在浙江大學(xué),英特爾分別舉辦了三期,這樣把今年60多個(gè)新學(xué)校教師培訓(xùn)都開(kāi)展了,在這個(gè)基礎(chǔ)上,英特爾將會(huì)繼續(xù)跟蹤學(xué)校課程的開(kāi)展情況。

8月份,在廈門,英特爾首次把這102所大學(xué)高校教師,大概132組的教師匯集在一起,讓這些優(yōu)秀的大學(xué),能把他們開(kāi)課的經(jīng)驗(yàn)和大家分享,也請(qǐng)英特爾工程師把最新的技術(shù)給教師做一些培訓(xùn)。這也是我們多核計(jì)劃的一個(gè)內(nèi)容。

8月20日,由中國(guó)教育科研網(wǎng)格ChinaGrid工作組主辦,蘭州大學(xué)信息學(xué)院承辦的“中國(guó)教育科研網(wǎng)格ChinaGrid第三屆學(xué)術(shù)年會(huì)(ChinaGrid 2008)”,在甘肅省敦煌市舉行,王文漢博士再次闡述了英特爾推動(dòng)我國(guó)高性能計(jì)算發(fā)展的決心,“除在系統(tǒng)優(yōu)化方面,英特爾還將為ChinaGrid提供更多的軟件工具以及更好的技術(shù)支持?!?/p>

硬件其實(shí)是軟件

“目前,國(guó)際上,英特爾、AMD已經(jīng)在多核、異構(gòu)方面進(jìn)行不斷的創(chuàng)新!”張?jiān)迫J(rèn)為,國(guó)內(nèi)目前的主要研發(fā)方向應(yīng)該向國(guó)際靠攏,與此同時(shí),硬件環(huán)境的不斷變遷為軟件的發(fā)展帶來(lái)了挑戰(zhàn),同樣也提供了不斷向前邁進(jìn)的動(dòng)力。

在提及高性能計(jì)算的多核架構(gòu)對(duì)軟件發(fā)展的影響時(shí),王文漢講起了自己的親身感受。1991年,王文漢到英特爾接到的第一個(gè)項(xiàng)目就是設(shè)計(jì)芯片,當(dāng)時(shí)叫超能奔騰。此時(shí)的王文漢已經(jīng)擁有了兩年的工作經(jīng)驗(yàn),這兩年中,王文漢始終認(rèn)為硬件就是硬件。

但經(jīng)過(guò)了這個(gè)項(xiàng)目后,他卻得到了一個(gè)很難理解的道理――硬件其實(shí)是軟件。在設(shè)計(jì)硬件的過(guò)程中,要用高級(jí)語(yǔ)言來(lái)編。

在編過(guò)之后,多大需要緩存,多長(zhǎng)CPU線程,作為研發(fā)人員要將這些一一匯總?!暗珜?shí)際上是我們可能幾百個(gè)工程師,每個(gè)人負(fù)責(zé)一塊一塊的弄,編程序一樣的編芯片,”王文漢認(rèn)為,硬件本身其實(shí)就是軟件,軟件可以輔助設(shè)計(jì)人員研發(fā)不一款硬件產(chǎn)品,同時(shí)這一硬件產(chǎn)品又為其上的軟件提供一個(gè)更好的開(kāi)發(fā)平臺(tái)。

篇2

走產(chǎn)業(yè)化道路

曙光創(chuàng)業(yè)初期,有哪些事情令你印象深刻?

當(dāng)年我們?nèi)ッ绹?guó)“洋插隊(duì)”、學(xué)習(xí)超算技術(shù)時(shí),條件很艱苦,就是租了當(dāng)?shù)乩习傩盏囊婚g普通住房,利用客廳當(dāng)工作間擺機(jī)器,大家每天工作十五六個(gè)小時(shí)。因?yàn)槲覀兌紱](méi)有做過(guò)機(jī)器,只是會(huì)使用計(jì)算機(jī),卻沒(méi)有制造過(guò)計(jì)算機(jī),很多東西都需要靠自己摸索。我們?cè)褭C(jī)器上Unix操作系統(tǒng)的數(shù)百萬(wàn)行的語(yǔ)言程序分給每人解讀,一人大概分幾十萬(wàn)行,要把算法和結(jié)構(gòu)圖都畫出來(lái),搞清楚超級(jí)計(jì)算機(jī)到底是怎么運(yùn)作的。這種從無(wú)到有的學(xué)習(xí)過(guò)程是非常大的挑戰(zhàn),還好我們不辱使命,完成了任務(wù)。

高性能計(jì)算機(jī)在今天的應(yīng)用情況如何?

和10年前相比,超算應(yīng)用已經(jīng)發(fā)生了天翻地覆的變化。10年前,只有專業(yè)人士才會(huì)用到高性能計(jì)算,但在今天,各行各業(yè)都會(huì)用到。比如飛機(jī)制造中要通過(guò)空氣動(dòng)力學(xué)測(cè)算來(lái)制作飛機(jī)外形,這就需要超算的幫助;電影《阿凡達(dá)》的制作,就是借助超級(jí)計(jì)算機(jī)來(lái)做虛擬與現(xiàn)實(shí)設(shè)計(jì);在醫(yī)藥領(lǐng)域和生物、基因研究方面,高性能計(jì)算也都起到十分重要的作用。據(jù)我了解,最近北京氣象局就新買了一套曙光機(jī),目的是去做PM2.5的預(yù)測(cè),這就說(shuō)明高性能計(jì)算其實(shí)和大眾生活息息相關(guān)。

在行業(yè)應(yīng)用方面,曙光超算做得很出色的領(lǐng)域是石油勘探。如果在勘探范圍內(nèi)找不到油田,就可以用曙光高性能計(jì)算做一遍測(cè)算,把油田“算”出來(lái)?,F(xiàn)在我們國(guó)家在非洲、南美洲等很多地方去打油田,很多時(shí)候都用曙光的機(jī)器幫忙。雖然曙光機(jī)器在國(guó)外市場(chǎng)銷售得并不多,但被我們自己的企業(yè)帶出去了很多,這從一個(gè)側(cè)面反映出了曙光超算的實(shí)力。

曙光的超算之路有怎樣的特點(diǎn)?

曙光是以產(chǎn)品化為目標(biāo),追求讓更多的人用上高性能計(jì)算機(jī),讓它真正在經(jīng)濟(jì)活動(dòng)、社會(huì)發(fā)展中發(fā)揮作用。所以,產(chǎn)業(yè)化是曙光選擇的道路。

逐步增加發(fā)言權(quán)

互聯(lián)網(wǎng)公司現(xiàn)在是高性能計(jì)算的重要客戶,曙光如何把握這個(gè)行業(yè)?

現(xiàn)在淘寶網(wǎng)在光棍節(jié)促銷那天要處理1.5億筆交易、350億元的交易額,達(dá)到了世界第一的水平,它的后臺(tái)則是按600億元的交易額在做準(zhǔn)備,這就需要強(qiáng)大的超算能力的支持。而我們這些國(guó)產(chǎn)廠商的高性能計(jì)算機(jī)在其中起到了重要的運(yùn)營(yíng)支撐作用,所以說(shuō)我們自己的超算能力已經(jīng)達(dá)到了國(guó)際領(lǐng)先水平。在節(jié)能、能耗方面也跟國(guó)外品牌沒(méi)有太多的差別,我們會(huì)繼續(xù)把技術(shù)和服務(wù)做好,為互聯(lián)網(wǎng)以及其他行業(yè)服務(wù)。

網(wǎng)絡(luò)大提速、移動(dòng)智能終端的普及,帶來(lái)海量數(shù)據(jù)、多樣化的信息服務(wù),以及復(fù)雜的數(shù)據(jù)聚合與交互等未來(lái)信息服務(wù)的巨大壓力,勢(shì)必會(huì)落在以高性能計(jì)算為基礎(chǔ)的互聯(lián)網(wǎng)、云數(shù)據(jù)中心和大數(shù)據(jù)上,這為高性能計(jì)算機(jī)發(fā)展帶來(lái)了新契機(jī)。但同時(shí)我想呼吁一下,互聯(lián)網(wǎng)公司要改變他們的一些思路和行為方式?,F(xiàn)在國(guó)內(nèi)的幾個(gè)大互聯(lián)網(wǎng)公司其實(shí)不缺錢,因?yàn)樗麄兠刻斓膹V告費(fèi)都會(huì)達(dá)到上億元,他們也有責(zé)任和義務(wù)來(lái)帶動(dòng)中國(guó)信息產(chǎn)業(yè)的發(fā)展,促進(jìn)信息消費(fèi)。然而我覺(jué)得他們這方面做得不太夠。在與互聯(lián)網(wǎng)公司客戶談生意時(shí),他們往往習(xí)慣性地拿出壓價(jià)做法,讓所有廠商展開(kāi)價(jià)格競(jìng)爭(zhēng),導(dǎo)致銷售價(jià)格比成本還要低10%、20%。這種做法如果成為普遍現(xiàn)象,將導(dǎo)致廠商沒(méi)有任何積極性去做創(chuàng)新,對(duì)產(chǎn)業(yè)的發(fā)展很有傷害,最終也將不利于互聯(lián)網(wǎng)公司本身的發(fā)展。

“棱鏡門”事件對(duì)曙光這樣的中國(guó)本土高科技企業(yè)而言是否是個(gè)好消息?

這是一個(gè)利好消息,但是要想贏得市場(chǎng),不能指望行政命令來(lái)要求用戶都使用國(guó)產(chǎn)機(jī)器,而是依靠市場(chǎng)競(jìng)爭(zhēng)來(lái)爭(zhēng)取自己的空間。比如在金融行業(yè),如果銀行說(shuō),出于國(guó)家信息安全的考慮不用外國(guó)的機(jī)器,這就很難辦到。因?yàn)楹芏嚆y行用國(guó)外著名品牌的機(jī)器已經(jīng)用了很多年,上面那些軟件跑了幾十年,當(dāng)時(shí)寫的語(yǔ)言改都沒(méi)法改,想把它們一下子全部換成國(guó)產(chǎn)設(shè)備顯然是不現(xiàn)實(shí)的,肯定需要一個(gè)過(guò)程。所以,當(dāng)我們說(shuō)自主可控,說(shuō)技術(shù)不能掌握在別人手里,是一個(gè)需要時(shí)間去實(shí)現(xiàn)的長(zhǎng)遠(yuǎn)目標(biāo),需要我們自己長(zhǎng)期的努力去不斷積累自己的知識(shí)產(chǎn)權(quán)和自身實(shí)力,來(lái)逐步增加自己的發(fā)言權(quán)和競(jìng)爭(zhēng)能力,而不是一蹴而就的事情。曙光就是靠一步步地往前走,逐步地去替代國(guó)外品牌,而只要我們不斷前行,目標(biāo)終有一天會(huì)實(shí)現(xiàn)。

篇3

高性能計(jì)算集群逐漸替代專用、昂貴的超級(jí)計(jì)算機(jī)對(duì)大規(guī)模并行應(yīng)用構(gòu)建原型、調(diào)試和運(yùn)行。

基于PCs或工作站的高性能計(jì)算快速部署及其可靠性和可管理性研究,對(duì)高性能計(jì)算集群在科學(xué)研究和工程計(jì)算等領(lǐng)域的應(yīng)用,促進(jìn)高性能計(jì)算技術(shù)的應(yīng)用方面具有深遠(yuǎn)的意義。

本文以O(shè)SCAR集群為實(shí)例,部署一個(gè)五結(jié)點(diǎn)的集群環(huán)境并運(yùn)行簡(jiǎn)單的并行測(cè)試?yán)印?/p>

關(guān)鍵詞:高性能計(jì)算;集群;OSCAR;MPI;并行計(jì)算

中圖分類號(hào):TP312文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2008)14-20971-03

1 引言

自20世紀(jì)90年代早期以來(lái),昂貴而特制的并行超級(jí)計(jì)算機(jī)逐漸向由單個(gè)或多個(gè)處理器的PCs或工作站[1]組成的價(jià)廉、通用、松耦合的系統(tǒng)轉(zhuǎn)換,而促成該轉(zhuǎn)換的主要驅(qū)動(dòng)力是高性能工作站和網(wǎng)絡(luò)部件的快速商品化。這些技術(shù)的發(fā)展使網(wǎng)絡(luò)化計(jì)算機(jī)(PCs或工作站)成為并行處理的理想工具,從而導(dǎo)致了普通商品化超級(jí)計(jì)算機(jī)的出現(xiàn)。

自1994年美國(guó)航空航天局(NASA)的Goddard航天中心采用16個(gè)66MHz 處理器的PCs和10Mbit/s 以太網(wǎng)組成了第一個(gè)計(jì)算機(jī)集群系統(tǒng)(Beowulf Cluster)[2]以來(lái),隨著計(jì)算機(jī)制造技術(shù)的飛速發(fā)展,硬件設(shè)備逐步實(shí)現(xiàn)商品化和標(biāo)準(zhǔn)化,PC機(jī)的性能越來(lái)越高而價(jià)格越來(lái)越低;同時(shí)開(kāi)源的Linux操作系統(tǒng)內(nèi)核及集群工具套件(Cluster Toolkit)也日趨成熟穩(wěn)定,高性能計(jì)算集群逐漸發(fā)展起來(lái),成為主流的高性能計(jì)算平臺(tái),在2007年11月Top500的分析報(bào)告中,采用集群架構(gòu)的超級(jí)計(jì)算機(jī)系統(tǒng)已占81.2%[3]。

使用高性能計(jì)算集群對(duì)并行應(yīng)用構(gòu)建原型、調(diào)試、運(yùn)行逐漸替代使用專用,特別是昂貴的并行計(jì)算平臺(tái)。一些集群軟件工具套件已經(jīng)具有很多的整合性、可管理性、易配置,例如OSCAR[4, 6]等工具套件。研究基于PCs或工作站的高性能計(jì)算集群快速部署及其可管理性和可靠性研究,對(duì)高性能計(jì)算集群在科學(xué)研究和工程計(jì)算等領(lǐng)域的應(yīng)用,促進(jìn)高性能計(jì)算技術(shù)的應(yīng)用方面具有深遠(yuǎn)的意義。

2 集群系統(tǒng)架構(gòu)

高性能計(jì)算集群是一種并行處理系統(tǒng),由多個(gè)連接在一起的獨(dú)立計(jì)算機(jī)組成,像一個(gè)單獨(dú)集成的計(jì)算資源一樣協(xié)同工作[5],用來(lái)解決具有重大挑戰(zhàn)的問(wèn)題。集群是全體計(jì)算機(jī)(結(jié)點(diǎn))的集合,這些計(jì)算機(jī)由高性能網(wǎng)絡(luò)或局域網(wǎng)物理互連。一般情況下,每個(gè)計(jì)算機(jī)結(jié)點(diǎn)是一臺(tái)PC機(jī)、工作站或SMP服務(wù)器。重要的是,所有集群結(jié)點(diǎn)能一起協(xié)同工作,如同一個(gè)單一集成的計(jì)算資源提供服務(wù)。集群概念帶來(lái)了許多好處,其中重要的是能用性、可用性、可擴(kuò)展性和性能價(jià)格比。

從硬件架構(gòu)看,集群結(jié)點(diǎn)可以是PCs、工作站、SMP服務(wù)器,甚至子集群。但集群各結(jié)點(diǎn)在保持本身計(jì)算機(jī)系統(tǒng)完備性的同時(shí),能夠相互協(xié)作,形成單一、集成的計(jì)算資源。典型集群系統(tǒng)包括下列結(jié)構(gòu)組件[5],如圖1所示。

多個(gè)高性能計(jì)算機(jī)(PCs、工作站或SMP);

分層或微內(nèi)核結(jié)構(gòu)的操作系統(tǒng);

高性能互連網(wǎng)絡(luò);

網(wǎng)絡(luò)接口卡;

快速通信協(xié)議與服務(wù);

含單一系統(tǒng)映像(SSI)、高可用性(HA)工具和資源管理與調(diào)度的集群中間件;

諸如消息傳遞接口(MPI)[8]等并行編程環(huán)境與工具;

串行、并行或分布式等應(yīng)用。

3 集群系統(tǒng)構(gòu)建

2001年,Open Cluster Group開(kāi)源集群應(yīng)用資源(Open Source Cluster Application Resources,OSCAR)。該集群工具套件具有以下特點(diǎn):統(tǒng)一框架中安裝、配置和管理集群;基于向?qū)В╓izard)的集群組件安裝;統(tǒng)一的結(jié)點(diǎn)映像。OSCAR集群工具套件提供了構(gòu)建和運(yùn)行一個(gè)高性能計(jì)算集群所需要的工具。在安裝OSCAR的同時(shí)也默認(rèn)安裝了并行編程環(huán)境MPI、PVM及作業(yè)調(diào)度系統(tǒng)PBS等軟件包。其中系統(tǒng)安裝套件 (SIS),集群控制工具套件(C3),環(huán)境切換器(switcher)和OSCAR向?qū)в糜诩合到y(tǒng)的安裝和配置。SIS是一個(gè)基于映像的安裝包,可通過(guò)使用SIS來(lái)引導(dǎo)節(jié)點(diǎn)的安裝:內(nèi)核引導(dǎo),磁盤分區(qū),和操作系統(tǒng)的安裝等。C3方便并行命令的執(zhí)行,使用戶輸入的命令可同時(shí)在所有的節(jié)點(diǎn)上運(yùn)行。用戶可以用環(huán)境切換器來(lái)定制環(huán)境變量。OSCAR向?qū)峁┝艘粋€(gè)圖形化界面來(lái)幫助用戶完成集群系統(tǒng)的安裝和配置。

本研究課題以5臺(tái)PCs結(jié)點(diǎn),100Mbit/s以太網(wǎng)互連網(wǎng)絡(luò)搭建一個(gè)OSCAR集群環(huán)境。

(1)硬件環(huán)境

管理結(jié)點(diǎn):一臺(tái)Intel Pentium3 2.0GHz處理器,256MB內(nèi)存,20GB硬盤存儲(chǔ)。

計(jì)算節(jié)點(diǎn):四臺(tái)Intel Pentium3 2.0GHz處理器,256MB內(nèi)存,20GB硬盤存儲(chǔ)。

互連網(wǎng)絡(luò):100Mbit/s 以太網(wǎng)交換機(jī)。

(2)軟件環(huán)境

操作系統(tǒng):Red Hat Enterprise Linux 4。

OSCAR版本:5.0,已集成以下軟件工具包:

Open MPI 1.1.1:并行編程環(huán)境;

Maui 3.2.6p14 + Torque 2.0.0p8:作業(yè)調(diào)度系統(tǒng);

SGE 6.0u8:作業(yè)調(diào)度系統(tǒng):

LAM/MPI 7.1.2:并行編程環(huán)境;

MPICH 1.2.7:并行編程環(huán)境;

Ganglia 3.0.3:集群狀態(tài)監(jiān)控系統(tǒng);

SC3:擴(kuò)展的C3集群管理工具;

Netbootmgr:管理結(jié)點(diǎn)PXE啟動(dòng);

sync_files 2.4:控制異構(gòu)集群中用戶的數(shù)據(jù)庫(kù);

packman 2.8:包抽象管理器;

systeminstaller-oscar 2.3.1:應(yīng)用packman創(chuàng)建映像image;

Systemconfigurator 2.2.7-12ef:安裝配置框架。

OSCAR安裝向?qū)7]提供了一個(gè)圖形化界面來(lái)幫助用戶完成集群系統(tǒng)的安裝和配置。如圖2所示。該向?qū)⒁龑?dǎo)用戶方便快捷地進(jìn)行集群的安裝和配置,用只需要按步驟點(diǎn)擊向?qū)О粹o,每一個(gè)步驟都會(huì)有按鈕,點(diǎn)擊顯示該步驟的目的。

按照此向?qū)е鸩綀?zhí)行,最后配置結(jié)點(diǎn)從網(wǎng)絡(luò)啟動(dòng),等待所有的結(jié)點(diǎn)從網(wǎng)絡(luò)啟動(dòng)并成功加載映像重啟之后,安裝向?qū)?zhí)行完畢,OSCAR集群系統(tǒng)的安裝完成。

4 簡(jiǎn)單并行例子

執(zhí)行下面一段并行C語(yǔ)言程序hello world,測(cè)試OSCAR集群環(huán)境。該程序打印參與運(yùn)算的結(jié)點(diǎn)主機(jī)名及進(jìn)程ID,存儲(chǔ)為hello.c,運(yùn)用mpi命令進(jìn)行編譯、運(yùn)行:

#mpicc Co hello hello.c

#mpirun Cnp 4 hello

Hello World! Process 1 of 4 on oscarnode1

Hello World! Process 3 of 4 on oscarnode2

Hello World! Process 2 of 4 on oscarnode3

Hello World! Process 0 of 4 on oscarnode4

#include "mpi.h"

#include

#include

int main(int argc,char *argv[])

{int myid, numprocs;

int namelen;

char processor_name[MPI_MAX_PROCESSOR_NAME];

MPI_Init(&argc,&argv);

MPI_Comm_rank(MPI_COMM_WORLD,&myid);

MPI_Comm_size(MPI_COMM_WORLD,&numprocs);

MPI_Get_processor_name(processor_name,&namelen);

fprintf(stderr,"Hello World! Process %d of %d on %s\n",

myid, numprocs, processor_name);

MPI_Finalize();

}

5 結(jié)論

本文在研究高性能計(jì)算集群的發(fā)展技術(shù)及體系結(jié)構(gòu)的基礎(chǔ)上,以O(shè)SCAR集群為實(shí)例,快速部署一個(gè)五結(jié)點(diǎn)的集群環(huán)境并運(yùn)行簡(jiǎn)單的并行測(cè)試?yán)印8咝阅苡?jì)算集群將逐漸替代專用、特別是昂貴的超級(jí)計(jì)算機(jī)對(duì)大規(guī)模并行應(yīng)用構(gòu)建原型、調(diào)試和運(yùn)行?;赑Cs或工作站的高性能計(jì)算快速部署及其可靠性和可管理性研究,對(duì)高性能計(jì)算集群在科學(xué)研究和工程計(jì)算等領(lǐng)域的應(yīng)用,促進(jìn)高性能計(jì)算技術(shù)的應(yīng)用方面具有深遠(yuǎn)的意義。接下來(lái)的工作將集中在集群環(huán)境的可靠性及可管理性研究,是高性能計(jì)算集群更好地為科學(xué)、工程計(jì)算服務(wù)。

參考文獻(xiàn):

[1] Thomas E. Anderson, David E.Culler, David A. Patterson et al., "A Case for NOW (Networks of Workstations),"IEEE Micro, February 1995,pp.54-64.

[2] Beowulf Project, /.

[3] TOP500 Report,available from/.

[4] OSCAR Project, /.

[5] 鄭緯民,等,譯.[美]Rajkumar Buyya,編.高性能集群計(jì)算:結(jié)構(gòu)與系統(tǒng)(第1卷),電子工業(yè)出版社,2001.

[6] Timothy G. Mattson,"High Performance Computing at Intel: The OSCAR software solution stack for cluster computing", IEEE Proceedings of the 1st International Symposium on Cluster Computing and the Grid (CCGRID’01).

[7] OSCAR Administrator’s Guide, /.

篇4

去年年會(huì)上公布的國(guó)內(nèi)高性能計(jì)算百?gòu)?qiáng)中,國(guó)產(chǎn)系統(tǒng)已經(jīng)雄踞前三名,而且第一名的天河一號(hào)系統(tǒng)位列當(dāng)年的全球高性能計(jì)算500強(qiáng)的第5位。在今年10月28日~29日舉辦的年會(huì)上,國(guó)產(chǎn)系統(tǒng)已經(jīng)囊括了前7名,而經(jīng)過(guò)優(yōu)化升級(jí)后的天河一號(hào)奪得將于今年11月的全球500強(qiáng)桂冠幾無(wú)懸念。

年會(huì)也給我們帶來(lái)一些思考。作為國(guó)家競(jìng)爭(zhēng)力組成部分,高性能計(jì)算不僅面臨著在性能上不斷突破的挑戰(zhàn),還面臨著把這種超級(jí)計(jì)算的能量在更多的應(yīng)用領(lǐng)域釋放出來(lái),以滿足各行各業(yè)用戶需求的壓力。

超級(jí)摩爾定律

在過(guò)去的30多年里,高性能計(jì)算的每秒浮點(diǎn)運(yùn)算性能以每10年提高1000倍的速度,幾近線性地完成了從百萬(wàn)億次(106)、10億次(109)、萬(wàn)億次(1012)到千萬(wàn)億次(1015)的跨越,預(yù)計(jì)在2020年之前,高性能計(jì)算將會(huì)再提高1000倍,從而突破百萬(wàn)萬(wàn)億次(1018)大關(guān)。

在高速發(fā)展中,高性能計(jì)算完成了從專用CPU到以x86通用CPU為主、從單核到多核、從向量機(jī)到集群、從由CPU組成的同構(gòu)系統(tǒng)到以CPU和GPU共同組成的異構(gòu)系統(tǒng)的提升。如今,系統(tǒng)中各節(jié)點(diǎn)間的通信網(wǎng)絡(luò)也正在完成從局域網(wǎng)向InfiniBand的過(guò)渡。

功耗問(wèn)題在性能不斷提高過(guò)程中變得日益突出,令普通的PC用戶難以想象。以天河一號(hào)為例,如果采用CPU的同構(gòu)架構(gòu),每天僅電費(fèi)開(kāi)支就會(huì)超過(guò)15萬(wàn)元,而如果采用CPU+GPU的混合架構(gòu),在同樣性能指標(biāo)下可以節(jié)省2/3的功耗。

作為混合架構(gòu)的新貴,GPU無(wú)疑成為本次年會(huì)報(bào)告中涉及范圍最廣的熱門技術(shù)。雖然GPU的浮點(diǎn)運(yùn)算能力是CPU的數(shù)十倍,但功耗相當(dāng),因此同樣存在因?yàn)榘l(fā)熱而引發(fā)的“0”“1”翻轉(zhuǎn)問(wèn)題。這在GPU圖形應(yīng)用中只是暫時(shí)影響一個(gè)像素,而在高性能計(jì)算中意味著整個(gè)計(jì)算的失敗,甚至用戶無(wú)法確認(rèn)每次運(yùn)算結(jié)果是否正確。記者注意到天河一號(hào)、星云等國(guó)產(chǎn)高端系統(tǒng)都采用了具有糾錯(cuò)功能(ECC)的GPU,從而確保了計(jì)算結(jié)果的可靠性。

高性能計(jì)算高速發(fā)展的背后是美、日、中三個(gè)高性能計(jì)算機(jī)強(qiáng)國(guó)之間的激烈競(jìng)爭(zhēng)。

“我國(guó)在高性能計(jì)算機(jī)研制方面取得了長(zhǎng)足進(jìn)展,在性能指標(biāo)上達(dá)到世界領(lǐng)先,但競(jìng)爭(zhēng)還是非常激烈。今后兩年,美國(guó)和日本將會(huì)有若干萬(wàn)萬(wàn)億次高性能計(jì)算系統(tǒng)投入使用,這將拉開(kāi)美日與我國(guó)的距離?!北本┖娇蘸教齑髮W(xué)教授錢德沛在談到我國(guó)高性能計(jì)算面臨的挑戰(zhàn)時(shí)表示:“我國(guó)在CPU、互連、I/O、系統(tǒng)軟件、算法等核心關(guān)鍵技術(shù)上還有很大差距,缺少跨學(xué)科的人才,多學(xué)科協(xié)作研發(fā)尚未形成風(fēng)氣,應(yīng)用與世界先進(jìn)水平差距較大,在可持續(xù)發(fā)展上需要政府持續(xù)投入和科技界與工業(yè)界的持續(xù)努力。”

應(yīng)用應(yīng)該無(wú)處不有

“高效能仿真技術(shù)可以研究已發(fā)生、尚未發(fā)生或設(shè)想的現(xiàn)象,可以研究難以達(dá)到的微觀、中觀或宏觀的世界,具有綜合、協(xié)同、繼承和互操作的特性,因而成為現(xiàn)代科學(xué)研究中求解高度復(fù)雜問(wèn)題的重要科學(xué)手段,并與理論研究、實(shí)驗(yàn)研究并列為認(rèn)識(shí)與改造世界的三種重要的科學(xué)研究手段?!敝袊?guó)工程院院士李伯虎表示。

高性能計(jì)算不僅在像宇宙起源這樣超長(zhǎng)超大時(shí)空環(huán)境下的模擬、深空探測(cè)這樣在地面無(wú)法進(jìn)行的模擬中發(fā)揮著獨(dú)到的作用,而且能用更少的時(shí)間與金錢代價(jià)和更高的效率來(lái)替代或者驗(yàn)證現(xiàn)實(shí)過(guò)程中的模擬和實(shí)驗(yàn)。

我國(guó)西部不僅蘊(yùn)藏著全國(guó)約80%的水力資源,同時(shí),近代82%的強(qiáng)震也集中在該地區(qū)。中國(guó)水利水電科學(xué)研究院不僅成功地將高性能計(jì)算用于高壩地震相應(yīng)分析,而且有的計(jì)算結(jié)果還修正了以往小尺度實(shí)物模擬時(shí)出現(xiàn)的較大偏差。

化工、制藥、冶金乃至沙塵暴這些風(fēng)馬牛不相及的領(lǐng)域,在中科院過(guò)程工程研究所研究員葛蔚看來(lái),在算法上同屬于多尺度數(shù)值模擬問(wèn)題,即在仿真模擬中既要研究可能小至分子原子個(gè)體的微小顆粒的運(yùn)動(dòng)規(guī)律,又要在數(shù)米乃至數(shù)千米尺度上研究微小顆粒個(gè)體之間的相互作用。這種多尺度的問(wèn)題沒(méi)有高性能計(jì)算是不可想象的,而高性能計(jì)算在過(guò)程工程上的應(yīng)用卻給人留下充分的想象空間:不必一爐接一爐地冶煉來(lái)獲取新的合金配方,也不必像神農(nóng)嘗百草那樣去尋找新的藥品,化學(xué)家也會(huì)用計(jì)算機(jī)取代實(shí)驗(yàn)室的瓶瓶罐罐和各色試劑。

美國(guó)應(yīng)用數(shù)學(xué)家Phillip Colell曾將涵蓋工程模擬問(wèn)題的算法歸納為7種。如今這些算法都可以移植到GPU上,區(qū)別只是移植難度和程度。換言之,高性能計(jì)算應(yīng)該或者說(shuō)未來(lái)應(yīng)該無(wú)處不在。

“1998年,美國(guó)一個(gè)化學(xué)家因計(jì)算化學(xué)的研究而獲得諾貝爾獎(jiǎng)。我國(guó)的化學(xué)界還比較扭捏,到現(xiàn)在還稱之為理論化學(xué),而不叫計(jì)算化學(xué),”中科院軟件所首席研究員孫家昶說(shuō),“我們與物理學(xué)家已經(jīng)很好地合作了,但與化學(xué)家的合作才剛剛開(kāi)始?!?/p>

只有相關(guān)行業(yè)的專家參與,高性能計(jì)算的應(yīng)用才能推廣,高性能計(jì)算自身進(jìn)而才能得到持續(xù)發(fā)展。

百萬(wàn)萬(wàn)億次的挑戰(zhàn)

按照高性能計(jì)算過(guò)去30多年的發(fā)展規(guī)律,每秒浮點(diǎn)運(yùn)算性能將在未來(lái)十年內(nèi)迎來(lái)百萬(wàn)萬(wàn)億次。這1000倍性能的提升帶來(lái)的挑戰(zhàn)是空前的。

聯(lián)想集團(tuán)首席科學(xué)家祝明發(fā)認(rèn)為,功耗將成為最大的挑戰(zhàn),假設(shè)按照現(xiàn)有的雙核CPU搭建,僅CPU的總運(yùn)行功率就高達(dá)500千千瓦,電費(fèi)即便按0.5元/千瓦時(shí)計(jì)算,也高達(dá)600萬(wàn)元/天。如何將系統(tǒng)總功率限制在20千千瓦將會(huì)是一個(gè)巨大的挑戰(zhàn)。此外,來(lái)自系統(tǒng)方面的主要挑戰(zhàn)有:10~100PB(1015字節(jié))內(nèi)存和EB(1018字節(jié))外部存儲(chǔ)帶來(lái)的帶寬與延時(shí)以及功耗限制的挑戰(zhàn),并發(fā)性和局部性的挑戰(zhàn),來(lái)自系統(tǒng)恢復(fù)的挑戰(zhàn)等。

祝明發(fā)認(rèn)為,應(yīng)對(duì)百萬(wàn)萬(wàn)億次的挑戰(zhàn)必須要全方位地創(chuàng)新,包括硬件與體系結(jié)構(gòu),體系結(jié)構(gòu)與編程方法,算法、工具、應(yīng)用和運(yùn)行系統(tǒng)的協(xié)同優(yōu)化設(shè)計(jì)以及低功耗高可靠、可恢復(fù)的體系結(jié)構(gòu)設(shè)計(jì)等方面。“1000倍的跨越,是靠?jī)杀丁?倍的跳躍積累而成”。

美國(guó)航天航空局(NASA)Langley研究中心Singleterry博士則提到了另一個(gè)問(wèn)題:“NASA高性能系統(tǒng)的內(nèi)核數(shù)每4年翻5倍,從2004年的10240個(gè)內(nèi)核、2008年的51200個(gè),到2012年預(yù)計(jì)將達(dá)256000個(gè),而到2016年將達(dá)到1280000個(gè)。而算法是否也能每4年翻5倍,從2008年的2000個(gè)增加到2016年的50000個(gè)?“未來(lái)是把錢花在更大和更好的硬件上,還是花在擴(kuò)展性更強(qiáng)的算法上?”

篇5

技術(shù)的進(jìn)步正在帶來(lái)資源的解放。在石油勘探領(lǐng)域,這絕不是一句空話。在高性能計(jì)算逐漸成為石油勘探海量數(shù)據(jù)分析的基礎(chǔ)保障后,每一次技術(shù)的演進(jìn)都會(huì)帶來(lái)勘探效率的提升及勘探技術(shù)革新的可能。所以,對(duì)于更強(qiáng)大的高性能計(jì)算技術(shù)的出現(xiàn),石油勘探行業(yè)甚至已經(jīng)從“需求”變成了“渴求”。業(yè)內(nèi)眾多研究機(jī)構(gòu)一直在期盼數(shù)年后才會(huì)成熟的、比目前全球最先進(jìn)高性能計(jì)算技術(shù)強(qiáng)大數(shù)百倍的百億億級(jí)(即每秒能實(shí)現(xiàn)百億億次浮點(diǎn)計(jì)算)高性能計(jì)算技術(shù)能夠更快到來(lái),為其所用。但在今年召開(kāi)的以石油行業(yè)應(yīng)用為核心的第七屆高性能計(jì)算(HPC)及企業(yè)解決方案研討會(huì)上,記者發(fā)現(xiàn),隨著國(guó)內(nèi)石油勘探難度的加大,用戶對(duì)更強(qiáng)、更先進(jìn)的高性能計(jì)算平臺(tái)和相關(guān)技術(shù)的需求也出現(xiàn)了新的變化。

開(kāi)源+節(jié)流 化解“找油難”

在今年的研討會(huì)上,東方地球物理公司研究院處理中心總工程師賴能和特別強(qiáng)調(diào)了石油勘探行業(yè)目前面臨的三大“計(jì)算”挑戰(zhàn):可控震源高效采集技術(shù)的快速發(fā)展和廣泛應(yīng)用,使日產(chǎn)數(shù)據(jù)采集量直線上升,計(jì)算壓力進(jìn)一步加大;高密度高覆蓋采集提高了勘探的精度,使精細(xì)化的數(shù)據(jù)分析成為可能,對(duì)計(jì)算能力的提升產(chǎn)生了更強(qiáng)烈的需求;高密度采集成為一種新趨勢(shì),數(shù)據(jù)體越來(lái)越大,導(dǎo)致了計(jì)算效能的降低。

和去年相比,東方地球物理公司研究院處理中心今年承接的高密度海量數(shù)據(jù)3D項(xiàng)目更多、數(shù)據(jù)體也更大。賴能和告訴記者,處理中心目前承載的薩科桑3D、塔里木哈7、新疆瑪湖、新疆大慶3D、博孜3D等30個(gè)寬方位資料和科研攻關(guān)項(xiàng)目共涉及19029平方公里、384.8TB的數(shù)據(jù)量,均是采用高密度海量數(shù)據(jù)處理。這對(duì)處理中心的軟硬件處理能力、技術(shù)和資源配置都帶來(lái)了巨大壓力。

事實(shí)上,東方地球物理公司研究院處理中心的壓力恰恰來(lái)自“找油難”。石油是不可再生資源,當(dāng)大區(qū)塊開(kāi)發(fā)告一段落后,石油勘探業(yè)一方面要用更精細(xì)化的手段在原有開(kāi)采區(qū)塊發(fā)掘新機(jī)會(huì),一方面則要積極向海洋拓展或到過(guò)去“看不上”的區(qū)域去找油。這種轉(zhuǎn)變帶來(lái)的直接影響正是賴能和所說(shuō)的因數(shù)據(jù)體量飛速增長(zhǎng)而產(chǎn)生的計(jì)算壓力?!暗刭|(zhì)結(jié)構(gòu)越來(lái)越復(fù)雜,對(duì)計(jì)算的需求也會(huì)越來(lái)越大。以海洋石油的開(kāi)采為例,其計(jì)算量往往要比陸地石油開(kāi)采大好幾倍。近年來(lái)主流軟件的演變從時(shí)間偏移到深度偏移再到逆時(shí)偏移,計(jì)算量越來(lái)越大。盡管集群?jiǎn)蝹€(gè)節(jié)點(diǎn)的計(jì)算性能在提升,但集群節(jié)點(diǎn)量的增速也并沒(méi)有降低?!庇⑻貭枺ㄖ袊?guó))企業(yè)解決方案部能源行業(yè)資深企業(yè)客戶經(jīng)理杭曉東認(rèn)為石油勘探行業(yè)產(chǎn)生的“開(kāi)源”需求,僅依靠提升CPU的計(jì)算能力已無(wú)法滿足,這也是讓英特爾改變產(chǎn)品發(fā)展方向,從異構(gòu)向微異構(gòu)調(diào)整的原因。今年,英特爾推出的Xeon Phi協(xié)處理器就是這樣的產(chǎn)品,在提升單點(diǎn)性能

得到大幅提升,從而讓高性能計(jì)算的效能提升。

在英特爾數(shù)據(jù)中心及互聯(lián)系統(tǒng)事業(yè)部技術(shù)計(jì)算和平臺(tái)應(yīng)用支持團(tuán)隊(duì)平臺(tái)架構(gòu)師何萬(wàn)青看來(lái),高性能計(jì)算技術(shù)不僅能幫用戶“開(kāi)源”,還能幫用戶“節(jié)流”,以提高產(chǎn)量。他說(shuō):“Xeon Phi的出現(xiàn)提供了一種可能性——用比較少的節(jié)點(diǎn)提供更高密度的計(jì)算能力。如野外的數(shù)據(jù)采集工作,就可以因?yàn)轱@卡被集成到處理器中的特性而實(shí)現(xiàn)現(xiàn)場(chǎng)粗粒度的計(jì)算處理工作,減輕數(shù)據(jù)總量負(fù)擔(dān)。”云與大數(shù)據(jù)應(yīng)用的可能

高性能計(jì)算與可視化應(yīng)用難以落實(shí)到云計(jì)算系統(tǒng)的現(xiàn)實(shí),曾一度讓業(yè)界認(rèn)為“云”將與石油勘探行業(yè)無(wú)緣。目前,對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析更有價(jià)值的Hadoop,對(duì)于幾乎沒(méi)有非結(jié)構(gòu)化數(shù)據(jù)的石油勘探行業(yè)似乎也是無(wú)用之物。云計(jì)算與大數(shù)據(jù)真的不適合石油勘探行業(yè)嗎?這個(gè)問(wèn)題已經(jīng)出現(xiàn)了新的答案。

在石油行業(yè),斯倫貝謝、蘭德馬克、Nice等服務(wù)公司正在提供功能較為完整的石油軟件云服務(wù)解決方案,并已被多家國(guó)際知名石油公司所采用。中石油也已經(jīng)啟動(dòng)了云技術(shù)平臺(tái)建設(shè)項(xiàng)目。

“三年前我們開(kāi)始探討虛擬化機(jī)制,嘗試勘探開(kāi)發(fā)上的一些應(yīng)用。去年正式立項(xiàng)做云計(jì)算的技術(shù)測(cè)試、跟蹤并組織隊(duì)伍,主要進(jìn)行四點(diǎn)應(yīng)用的實(shí)驗(yàn),今年?duì)幦〈钜粋€(gè)實(shí)用的環(huán)境?!敝袊?guó)石油大慶油田公司勘探開(kāi)發(fā)研究院總工程師張鐵剛?cè)缡墙榻B了中石油云計(jì)算平臺(tái)項(xiàng)目的進(jìn)展情況。他說(shuō),目前中石油總部的云計(jì)算平臺(tái)主要在考慮如何實(shí)現(xiàn)數(shù)據(jù)中心的整合、資源優(yōu)化、高效利用,結(jié)合能源應(yīng)用的特點(diǎn),讓云平臺(tái)在地學(xué)綜合研究、辦公經(jīng)營(yíng)管理業(yè)務(wù)以及生產(chǎn)管理方面發(fā)揮價(jià)值。

對(duì)于高密度采集這類應(yīng)用,中石油已經(jīng)完成了基于虛擬化技術(shù)的實(shí)驗(yàn),實(shí)驗(yàn)證明云平臺(tái)確實(shí)可以大幅降低地學(xué)應(yīng)用研究的成本。張鐵剛很看好云平臺(tái)在中石油生產(chǎn)管理效率提升和辦公運(yùn)維管理簡(jiǎn)化方面的前景。據(jù)他介紹,初期測(cè)試結(jié)果顯示,通過(guò)資源整合,中石油可以將各單位門戶服務(wù)器的利用率從20%提高到70%,將專業(yè)應(yīng)用服務(wù)器的利用率從20%提高到40%。他直言,在中石油云技術(shù)平臺(tái)建設(shè)項(xiàng)目中,英特爾提供了很多重要的技術(shù)支持,特別是將其為互聯(lián)網(wǎng)公司構(gòu)建云計(jì)算系統(tǒng)的經(jīng)驗(yàn),傳遞到了高性能計(jì)算領(lǐng)域。

在石油勘探業(yè),高性能計(jì)算集群規(guī)模越來(lái)越大,卻未必能帶給用戶最佳的投資回報(bào)。計(jì)算的高峰期資源不足,低谷期資源卻被閑置。特別是,在集群空載狀態(tài)下同樣要支付巨額電費(fèi)。與互聯(lián)網(wǎng)企業(yè)的需求一樣,不少高性能計(jì)算用戶也希望能彈性調(diào)配計(jì)算資源,分享低谷期的計(jì)算平臺(tái),用于日常生產(chǎn)、辦公。今天,中石油的嘗試已經(jīng)把云的設(shè)想變?yōu)楝F(xiàn)實(shí)。

石油勘探行業(yè)是個(gè)典型的海量數(shù)據(jù)行業(yè),但它對(duì)數(shù)據(jù)處理的需求與大數(shù)據(jù)目前的定義還存在很大差距。雖然目前石油勘探行業(yè)的典型應(yīng)用還沒(méi)有必須依賴Hadoop的需要,但賴能和認(rèn)為,這項(xiàng)新技術(shù)依舊值得他們長(zhǎng)期跟蹤。因?yàn)槿绻鸋adoop發(fā)展到了適合其應(yīng)用模型時(shí),就會(huì)成為大幅降低硬件采購(gòu)成本的一個(gè)選擇。

相關(guān)鏈接

跳出“石油”看高性能計(jì)算

篇6

近日,全球最快計(jì)算機(jī)性能排行榜――TOP500最新排名新鮮出爐。TOP500每年上下半年會(huì)分別推出兩次,已經(jīng)成為全球最快計(jì)算機(jī)的大檢閱,許多國(guó)家公司都以上榜為榮;另一方面,TOP500已經(jīng)成為業(yè)界觀察IT技術(shù)與產(chǎn)業(yè)發(fā)展的一個(gè)風(fēng)向標(biāo)。

2007年上半年公布的第29屆TOP500,重新排定了世界各國(guó)在高性能計(jì)算機(jī)方面的座次。實(shí)際上,各個(gè)國(guó)家所占的比例,與其國(guó)家的經(jīng)濟(jì)與科技發(fā)展水平基本相當(dāng),同時(shí)也預(yù)示著在未來(lái)發(fā)展中的潛力。業(yè)內(nèi)人士歷來(lái)把高性能計(jì)算機(jī)的應(yīng)用程度視為國(guó)家綜合實(shí)力的體現(xiàn)。

透過(guò)第29屆TOP500,我們依然可以看出IT技術(shù)與產(chǎn)業(yè)發(fā)展的幾大趨勢(shì)。

雙核處理器占據(jù)統(tǒng)治地位

自從多核技術(shù)出現(xiàn)以來(lái),對(duì)多核處理器的追求就成為業(yè)界一大看點(diǎn)。從單核到雙核,從雙核到4核,從4核到8核,甚至從8核到16核,多核處理器不斷推陳出新。從第29屆TOP500我們可以看出,雙核處理器占據(jù)絕對(duì)領(lǐng)先的地位。Intel公司的酷睿雙核處理器增長(zhǎng)最快,被205個(gè)系統(tǒng)所采用,而6個(gè)月前推出的第28屆TOP500中,采用酷睿雙核處理器的系統(tǒng)僅有31個(gè)。此外,有90個(gè)系統(tǒng)采用了AMD公司的雙核Opteron處理器,而6個(gè)月前采用該處理器的系統(tǒng)僅為75個(gè)。

采用四核處理器的系統(tǒng)并不如人們想像得那么多,這與雙核處理器日益成熟、用戶易于接受直接相關(guān)?,F(xiàn)在看來(lái),雙核處理器已經(jīng)成功入主主流市場(chǎng),而四核處理器則會(huì)在AMD四核處理器推出之后才會(huì)有上佳的表現(xiàn)。

x86服務(wù)器發(fā)展迅猛

在高性能計(jì)算中應(yīng)用的處理器多種多樣,其中包括Intel的Xeon、酷睿Dual Core、安騰,AMD的單核與多核Opteron,IBM的PowerPC、Power,HP的PA-RISC、Alpha,Sun與富士通的SPARC64等。在TOP500中,采用最多的還是x86架構(gòu)的處理器,Intel與AMD公司提供的x86處理成為采用最多的兩種處理器。TOP500中,采用Intel公司處理器的系統(tǒng)達(dá)到289個(gè),占所有系統(tǒng)的57.8%,而6個(gè)月前的數(shù)字分別為261個(gè)和52.5%; 采用AMD公司處理器的系統(tǒng)達(dá)到105個(gè),占所有系統(tǒng)的21%,而6個(gè)月前的數(shù)字分別為113個(gè)和22.6%; 采用IBM公司Power處理器的系統(tǒng)則降低到85個(gè),占所有系統(tǒng)的17%,6個(gè)月前的數(shù)字分別為93個(gè)和18.6%。

高性能計(jì)算采用的處理器的變化可以折射出服務(wù)器發(fā)展的一個(gè)方向:x86服務(wù)器發(fā)展迅猛,并且勢(shì)不可擋;非x86服務(wù)器發(fā)展勢(shì)頭減緩,成本增高。

巨頭對(duì)產(chǎn)業(yè)影響日漸突出

最新的TOP500,使入圍系統(tǒng)總數(shù)的廠商名次重新排定。在6個(gè)月前,入圍系統(tǒng)總數(shù)排名TOP500第一的公司是IBM,而現(xiàn)在列頭名的卻是HP。不過(guò),最新排名主要反映的趨勢(shì)是: 業(yè)界領(lǐng)頭企業(yè)HP和IBM占據(jù)絕對(duì)領(lǐng)先的地位,HP系統(tǒng)占所有系統(tǒng)的比列由6個(gè)月前的31.6%提高到了41.9%,而IBM所占的比例則由47.2%降到了38.4%。兩家企業(yè)的系統(tǒng)所占的比列超過(guò)了90%,其他任何一家企業(yè)所占的比列都不超過(guò)5%,這一變化是任何業(yè)內(nèi)專家都無(wú)法預(yù)料的。

在TOP500中,排名前10名的公司依次為HP、IBM、Dell、SGI、Cray、Linux Networx、Sun、日立、NEC與Atipa Technology。另外,在TOP500中,曙光公司制造的系統(tǒng)名列其中,是惟一一家中國(guó)公司。

資料顯示,在性能排行的前50位(TOP50)里,IBM系統(tǒng)占有率為46%,性能占前50位系統(tǒng)性能的49%,而HP則缺席TOP50。這從另一個(gè)側(cè)面反映出IBM在構(gòu)造頂級(jí)高性能計(jì)算機(jī)系統(tǒng)方面占據(jù)優(yōu)勢(shì),而HP則在利用工業(yè)標(biāo)準(zhǔn)技術(shù)構(gòu)建成本更低的系統(tǒng)方面具有優(yōu)勢(shì)。其實(shí),這一結(jié)果正是兩家公司發(fā)展策略的一個(gè)體現(xiàn)。

技術(shù)格局表現(xiàn)穩(wěn)定

在高性能計(jì)算發(fā)展中,集群結(jié)構(gòu)、千兆以太網(wǎng)互聯(lián)技術(shù)和InfiniBand技術(shù)占據(jù)主流地位,從最新的TOP500可以看出,這一格局沒(méi)有發(fā)生大的變化。

篇7

瞻博網(wǎng)絡(luò)在不久前正式了一項(xiàng)針對(duì)新一代數(shù)據(jù)中心的開(kāi)發(fā)計(jì)劃:“層云計(jì)劃”。此計(jì)劃的目標(biāo)是建立新一代的單一數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)架,不但能大幅提升數(shù)據(jù)中心的網(wǎng)絡(luò)擴(kuò)展能力、性能及簡(jiǎn)易度,同時(shí)也能靈活地支持未來(lái)整合式的、虛擬化的數(shù)據(jù)中心環(huán)境。

革新數(shù)據(jù)中心架構(gòu)

瞻博網(wǎng)絡(luò)希望通過(guò)云計(jì)算基礎(chǔ)設(shè)施的應(yīng)用來(lái)促進(jìn)云計(jì)算應(yīng)用的創(chuàng)新,這也可以說(shuō)是替未來(lái)的超級(jí)數(shù)據(jù)中心鋪路,超級(jí)數(shù)據(jù)中心可以利用其擴(kuò)展能力,在不影響任何性能的情況下,動(dòng)態(tài)地配置所有資源,包括路由服務(wù)、安全服務(wù)、存儲(chǔ)應(yīng)用及服務(wù)器等。舊有的網(wǎng)絡(luò)基礎(chǔ)設(shè)施架構(gòu),它們難以處理爆炸式增長(zhǎng)的應(yīng)用需求,限制了現(xiàn)代數(shù)據(jù)中心的運(yùn)作與管理。瞻博網(wǎng)絡(luò)本次所提出的層云網(wǎng)絡(luò)設(shè)計(jì)構(gòu)架除了具備支持超級(jí)數(shù)據(jù)中心所需的靈活性和性能以外,還能持續(xù)降低數(shù)據(jù)中心基礎(chǔ)設(shè)施的管理成本和復(fù)雜性。

據(jù)記者了解,瞻博網(wǎng)絡(luò)的層云計(jì)劃將由新成立的數(shù)據(jù)中心業(yè)務(wù)部門負(fù)責(zé),該部門執(zhí)行副總裁顏維倫博士表示:“瞻博網(wǎng)絡(luò)公司的層云計(jì)劃解決了現(xiàn)代化大型數(shù)據(jù)中心所面臨的問(wèn)題,使云計(jì)算能發(fā)揮最大潛力。瞻博網(wǎng)絡(luò)致力于開(kāi)發(fā)更具靈活性、效率更高的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,讓客戶能夠以前所未有的擴(kuò)展性與靈活性來(lái)提供各項(xiàng)服務(wù),與此同時(shí)大幅降低總體擁有成本?!?/p>

瞻博網(wǎng)絡(luò)其實(shí)在2008年11月就推出數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案,促進(jìn)數(shù)據(jù)中心整合、服務(wù)器虛擬化以及可持續(xù)性信息技術(shù)這些IT創(chuàng)新的發(fā)展。瞻博網(wǎng)絡(luò)數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案,包括最新的EX8200系列以太網(wǎng)交換機(jī)、MX系列以太網(wǎng)服務(wù)路由器、SRX系列服務(wù)網(wǎng)關(guān)以及配備單一強(qiáng)大的網(wǎng)絡(luò)操作系統(tǒng)JUNOS。

完善的云計(jì)算策略

透過(guò)數(shù)據(jù)中心和全球網(wǎng)絡(luò)幫助客戶實(shí)現(xiàn)云計(jì)算無(wú)疑是一個(gè)很美好的愿望。但云計(jì)劃并非一蹴而就,對(duì)此,瞻博網(wǎng)絡(luò)提出,用戶應(yīng)該根據(jù)自身的實(shí)際,從以下三個(gè)方面按步驟建構(gòu)自己的云端基礎(chǔ)架構(gòu)。

數(shù)據(jù)中心網(wǎng)絡(luò)化:今天的網(wǎng)絡(luò)技術(shù)發(fā)展讓用戶必須重新思考過(guò)去 20 多年來(lái)所建立的基本數(shù)據(jù)中心架構(gòu)。瞻博網(wǎng)絡(luò)的愿景是為數(shù)據(jù)中心發(fā)展單一的“邏輯交換機(jī)”。 瞻博網(wǎng)絡(luò)在幫助客戶從傳統(tǒng)三個(gè)層級(jí)以上的模式,簡(jiǎn)化成二個(gè)層級(jí)的模式。這樣,用戶將能夠?qū)崿F(xiàn)一個(gè)簡(jiǎn)化的交換環(huán)境,在這個(gè)環(huán)境中包括了虛擬化安全服務(wù),用以連接跨云端和云端之間的強(qiáng)大路由功能以及用以管理網(wǎng)絡(luò)的控制中心。未來(lái),瞻博網(wǎng)絡(luò)的層云計(jì)劃將提供扁平化、單層、無(wú)阻塞、整合的數(shù)據(jù)中心構(gòu)架。這個(gè)構(gòu)架的設(shè)計(jì),是為了在提供單一交換機(jī)既有的簡(jiǎn)單特性外,同時(shí)兼具擴(kuò)展性,能夠擴(kuò)展至更大規(guī)模的云數(shù)據(jù)中心中應(yīng)用。

啟動(dòng)更穩(wěn)定網(wǎng)絡(luò):連續(xù)運(yùn)作的基礎(chǔ)架構(gòu)是云計(jì)算的基本條件。此外,系統(tǒng)要具備靈活性,能根據(jù)流量、重要性、用戶和應(yīng)用程序動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)資源。同時(shí),系統(tǒng)還應(yīng)當(dāng)能夠提供控制和管理能力。為此,在瞻博網(wǎng)絡(luò)最新推出的路由產(chǎn)品中,已經(jīng)有效擴(kuò)展了設(shè)備的連接能力,滿足更大規(guī)模網(wǎng)絡(luò)的應(yīng)用需求,此外,產(chǎn)品還提供了先進(jìn)的網(wǎng)絡(luò)虛擬化模塊、智慧型服務(wù)模塊以及應(yīng)用層與用戶層的智能感知功能。

篇8

【關(guān)鍵詞】高性能計(jì)算;應(yīng)用;需求;發(fā)展

中圖分類號(hào): G623.58 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào):

一、前言

高性能計(jì)算的應(yīng)用為國(guó)內(nèi)的科技發(fā)展做出了諸多的貢獻(xiàn),因此,國(guó)內(nèi)也在致力于拓展高性能計(jì)算的應(yīng)用范圍,從而希望進(jìn)一步的促進(jìn)高性能計(jì)算的發(fā)展,為我國(guó)的科學(xué)技術(shù)的不斷發(fā)展提供技術(shù)支持。

二、高性能計(jì)算概述

高性能計(jì)算(HPC) 指通常使用很多處理器(作為單個(gè)機(jī)器的一部分)或者某一集群中組織的幾臺(tái)計(jì)算機(jī)(作為單個(gè)計(jì) 算資源操作)的計(jì)算系統(tǒng)和環(huán)境。有許多類型的HPC 系統(tǒng),其范圍從標(biāo)準(zhǔn)計(jì)算機(jī)的大型集群,到高度專用的硬件。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互連,比如那些來(lái)自 InfiniBand 或 Myrinet 的網(wǎng)絡(luò)互連?;镜木W(wǎng)絡(luò)拓?fù)浜徒M織可以使用一個(gè)簡(jiǎn)單的總線拓?fù)洌谛阅芎芨叩沫h(huán)境中,網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)在主機(jī)之間提供較短的潛伏期,所以可改善總體網(wǎng)絡(luò)性能和傳輸速率。

三、中國(guó)高性能計(jì)算的現(xiàn)狀與發(fā)展

20 世紀(jì) 90 年代以來(lái),隨著"神威"、"銀河"、"曙光"、"深騰"等一批知名產(chǎn)品的出現(xiàn),我國(guó)成為繼美國(guó)、日本之后的第三個(gè)具備高性能計(jì)算機(jī)系統(tǒng)研制能力的國(guó)家,被譽(yù)為世界未來(lái)高性能計(jì)算市場(chǎng)的"第三股力量"。我國(guó)在高性能計(jì)算機(jī)研制方面取得了較好的成績(jī),掌握了研制高性能計(jì)算機(jī)的一些關(guān)鍵技術(shù),參與研制的單位也由科研院發(fā)展到企業(yè)界,有力地推動(dòng)了高性能計(jì)算的發(fā)展。目前,我國(guó)的高性能計(jì)算環(huán)境已得到重大改善,總計(jì)算能力與發(fā)達(dá)國(guó)家的差距逐步縮小。我國(guó)的高性能計(jì)算技術(shù)拓寬了我國(guó)科學(xué)技術(shù)研究的深度和廣度,提高了我國(guó)工業(yè)的生產(chǎn)效率,同時(shí)也節(jié)約了很多生產(chǎn)成本。我國(guó)的高性能計(jì)算技術(shù)目前主要在石油行業(yè)、天氣預(yù)報(bào)、核能模擬、生物工程等領(lǐng)域得到了廣泛的應(yīng)用。

但是中國(guó)高性能計(jì)算的應(yīng)用還不夠廣、不夠深入,應(yīng)用水平和應(yīng)用效率都比較低下。我國(guó)對(duì)高性能計(jì)算應(yīng)用的投入還遠(yuǎn)遠(yuǎn)不夠,應(yīng)用研發(fā)力量薄弱且分散,缺乏跨學(xué)科的綜合型人才,從事高端應(yīng)用軟件研發(fā)的單位很少,企業(yè)界基本未介入,沒(méi)有良好的相互交流的組織渠道等。高性能應(yīng)用軟件的開(kāi)發(fā)和高效并行算法研究尚不能與高端計(jì)算機(jī)發(fā)展同步,在一定程度上存在為計(jì)算機(jī)"配"軟件的思想。我國(guó)高性能計(jì)算應(yīng)用的研究與發(fā)明明顯滯后于高性能計(jì)算機(jī)的發(fā)展。國(guó)外品牌還占領(lǐng)著很多關(guān)乎國(guó)計(jì)民生的關(guān)鍵領(lǐng)域和行業(yè),國(guó)產(chǎn)高性能服務(wù)器的市場(chǎng)份額仍然偏低。

四、高性能計(jì)算應(yīng)用需求

為滿足國(guó)民經(jīng)濟(jì)發(fā)展的需求,高性能計(jì)算的需求正在迅速增長(zhǎng)。尤其是在基礎(chǔ)科學(xué)領(lǐng)域,對(duì)計(jì)算的需求永無(wú)止境,而且性能越高的計(jì)算機(jī)越能產(chǎn)生高精度高時(shí)效的成果。目前,深騰6800一直處于滿負(fù)荷運(yùn)行狀態(tài),折射出下一步高性能計(jì)算環(huán)境建設(shè)的更大需求和更高目標(biāo)。2004年開(kāi)始,超級(jí)計(jì)算中心結(jié)合中科院“1+10”創(chuàng)新基地和重點(diǎn)學(xué)科的部署,重點(diǎn)對(duì)過(guò)程工程、空間科學(xué)、計(jì)算化學(xué)、藥物設(shè)計(jì)、材料科學(xué)、地球科學(xué)、環(huán)境科學(xué)、生物信息、流體力學(xué)、高能物理等11個(gè)應(yīng)用領(lǐng)域開(kāi)展了多次“十一五”高性能計(jì)算應(yīng)用需求調(diào)研,下面分別從研究方向需求、計(jì)算需求、應(yīng)用軟件需求和可視化需求方面對(duì)調(diào)研結(jié)果進(jìn)行具體分析。

1研究方向需求

“十一五”期間各領(lǐng)域用戶都對(duì)高性能計(jì)算提出了需求,例如化學(xué)工程中復(fù)雜系統(tǒng)的結(jié)構(gòu)研究、空間環(huán)境災(zāi)害性天氣變化規(guī)律的研究、有機(jī)發(fā)光材料的研究、禽流感、艾滋病等重要病毒及重要疾病的藥物篩選、納米電子器件的研究、地幔對(duì)流的數(shù)值模擬、大規(guī)模地震波的數(shù)值模擬、癌癥樣品相關(guān)基因的測(cè)序及突變分析等。這些項(xiàng)目的主要來(lái)源為國(guó)家自然科學(xué)基金、“八六三”計(jì)劃、“九七三”計(jì)劃及科學(xué)院項(xiàng)目。

2計(jì)算需求

計(jì)算需求調(diào)研包括用戶對(duì)內(nèi)存大小、存儲(chǔ)大小和CPU機(jī)時(shí)的需求。為統(tǒng)一表述用戶的計(jì)算需求,我們以深騰6800為參照對(duì)每個(gè)用戶的計(jì)算需求換算為每年所需CPU機(jī)時(shí)數(shù),并進(jìn)一步轉(zhuǎn)換為計(jì)算性能(Tflops)來(lái)表示。此外,還對(duì)用戶單個(gè)大作業(yè)對(duì)高性能計(jì)算機(jī)計(jì)算能力的需求進(jìn)行了調(diào)研。

根據(jù)目前的數(shù)據(jù)統(tǒng)計(jì),所有應(yīng)用領(lǐng)域計(jì)算機(jī)時(shí)需求每年約為3.3億CPU小時(shí),換算成計(jì)算性能約為198。6Tflops,用戶單次計(jì)算對(duì)計(jì)算能力的最大需求為67。6Tflops。目前,用戶的計(jì)算需求已遠(yuǎn)遠(yuǎn)超過(guò)現(xiàn)在超級(jí)計(jì)算中心能提供的計(jì)算能力,很多大型應(yīng)用都要求超級(jí)計(jì)算中心提供服務(wù)。

3應(yīng)用軟件需求

科學(xué)計(jì)算方面的軟件很多,超算中心在深騰6800上購(gòu)置和配備了大量的應(yīng)用軟件。如Intel的C、Fortran編譯器、Totalview,VTUNE調(diào)試工具、LAPACK,MKL等各種數(shù)學(xué)函數(shù)庫(kù),還有化學(xué)計(jì)算軟件Gaussian03、密度泛函計(jì)算軟件ADF2004及非線性動(dòng)力分析有限元程序ANSYS LS-DYNA等?!笆晃濉逼陂g各領(lǐng)域用戶除了對(duì)計(jì)算提出需求外,對(duì)計(jì)算過(guò)程中所需要的應(yīng)用軟件也提出了各自的需求,超級(jí)計(jì)算中心將根據(jù)用戶的具體需求,挑選、購(gòu)買并安裝用戶需求多的商用和開(kāi)源應(yīng)用軟件。

五、高性能計(jì)算應(yīng)用發(fā)展展望

高性能計(jì)算的最終目標(biāo)是應(yīng)用。為了更好地完成預(yù)定的大規(guī)??茖W(xué)計(jì)算任務(wù),不僅要有好的高性能計(jì)算機(jī),還要有與之相匹配的高質(zhì)量的高性能應(yīng)用。但是,目前我國(guó)高性能計(jì)算機(jī)的實(shí)用效率還停留在較低的水平,應(yīng)用水平低成為高性能計(jì)算的薄弱環(huán)節(jié)。我國(guó)的高性能計(jì)算事業(yè)要走可持續(xù)均衡發(fā)展的道路,如何使當(dāng)前的建設(shè)成果充分發(fā)揮其效益并可持續(xù)發(fā)展,改善應(yīng)用水平較低的現(xiàn)狀,是我們必須思考的問(wèn)題。我國(guó)對(duì)加強(qiáng)高性能計(jì)算環(huán)境和超級(jí)計(jì)算中心建設(shè)一直給予高度重視和大量投入,但是高性能計(jì)算環(huán)境建設(shè)不能盲目地以追求計(jì)算機(jī)峰值為目的,而是以應(yīng)用需求為向?qū)?以應(yīng)用水平為依據(jù),針對(duì)不同應(yīng)用的計(jì)算特點(diǎn),引進(jìn)不同體系結(jié)構(gòu)的計(jì)算機(jī)系統(tǒng)。

高性能計(jì)算機(jī)的問(wèn)世給科學(xué)研究及工農(nóng)業(yè)生產(chǎn)等帶來(lái)了前所未有的發(fā)展,同時(shí)對(duì)用戶使用計(jì)算機(jī)也提出了更高的要求。高性能計(jì)算機(jī)規(guī)模的不斷擴(kuò)大、多核處理器的出現(xiàn)都加大了用戶使用計(jì)算機(jī)的難度。針對(duì)擁有多處理器(核)的高性能計(jì)算機(jī)系統(tǒng),開(kāi)展操作系統(tǒng)多核版本的研究、多級(jí)并行編程模型、軟件工具和編譯器的開(kāi)發(fā)、現(xiàn)有MPI,OpenMP編程模型的優(yōu)化,并行算法的改進(jìn)等工作,對(duì)提高應(yīng)用軟件在多核(≥16核/節(jié)點(diǎn))、流計(jì)算(IBM Cell,GPU)等下一代計(jì)算機(jī)系統(tǒng)上的運(yùn)行效率至關(guān)重要。并行應(yīng)用的可擴(kuò)展性也是百萬(wàn)億次、千萬(wàn)億次大規(guī)模計(jì)算機(jī)系統(tǒng)面臨的一個(gè)很大的挑戰(zhàn)。

六、高性能計(jì)算的作用和地位

高性能計(jì)算已被公認(rèn)為繼理論科學(xué)和實(shí)驗(yàn)科學(xué)之后,人類認(rèn)識(shí)世界改造世界的第三大科學(xué)研究方法,是科技創(chuàng)新的重要手段。高性能計(jì)算相對(duì)于理論科學(xué)和實(shí)驗(yàn)科學(xué),有其獨(dú)特的優(yōu)越性。首先,高性能計(jì)算既免除了真實(shí)實(shí)驗(yàn)的昂貴代價(jià),而且不會(huì)對(duì)環(huán)境產(chǎn)生任何影響,即所謂無(wú)損傷研究。第二,高性能計(jì)算可以實(shí)現(xiàn)全過(guò)程全時(shí)空的研究,獲取研究對(duì)象發(fā)展變化的全部信息。第三,高性能計(jì)算可以低成本地反復(fù)進(jìn)行,獲得各種條件下全面系統(tǒng)的數(shù)據(jù)。

事實(shí)證明,有了高性能計(jì)算不再需要進(jìn)行核試驗(yàn),有了高性能計(jì)算可以預(yù)測(cè)海嘯和地震的危害,有了高性能計(jì)算可以通曉人類大腦的奧秘和生命的密碼。在我國(guó)為滿足國(guó)民經(jīng)濟(jì)發(fā)展的需要,高性能計(jì)算的需求正在迅速增長(zhǎng)。無(wú)論是國(guó)家安全、石油氣象等主要領(lǐng)域,還是以生物醫(yī)藥、微觀結(jié)構(gòu)研究為代表的新一代科技,都高度依賴高性能計(jì)算。

七、結(jié)束語(yǔ)

高性能計(jì)算的出現(xiàn)極大的提高了科技的創(chuàng)新能力,不論是在工業(yè)還是農(nóng)業(yè)領(lǐng)域,高性能計(jì)算都可以發(fā)揮其科學(xué)計(jì)算的優(yōu)勢(shì),很好的完成各項(xiàng)復(fù)雜的計(jì)算任務(wù),從而為工農(nóng)業(yè)的快速發(fā)展提供了技術(shù)保障。但是,對(duì)于高性能計(jì)算運(yùn)用,我們還需要進(jìn)一步的開(kāi)拓。

參考文獻(xiàn)

[1]戴建光,許軍才.高性能計(jì)算在水工上的應(yīng)用[J].科技廣場(chǎng). 2008(12)

[2]石云,陳蜀宇.論高性能計(jì)算與普適計(jì)算[J].六盤水師范高等??茖W(xué)校學(xué)報(bào). 2008(03)

篇9

通過(guò)湖南省招標(biāo)有限責(zé)任公司嚴(yán)格的招投標(biāo)程序,評(píng)標(biāo)專家就投標(biāo)方解決方案的性能、價(jià)格和服務(wù)等方面進(jìn)行綜合評(píng)估,最終,以AMD四核皓龍?zhí)幚砥鳛橛?jì)算核心的曙光5000高性能網(wǎng)格計(jì)算平臺(tái)系統(tǒng)解決方案勝出。該方案的服務(wù)器硬件平臺(tái)為曙光5000,體系結(jié)構(gòu)為混合式的集群(Cluster)架構(gòu)。平臺(tái)由78個(gè)4路4核刀片計(jì)算節(jié)點(diǎn)、3個(gè)8路4核SMP(Symmetrical Multi-Processing)胖節(jié)點(diǎn)、2個(gè)管理節(jié)點(diǎn)、2個(gè)I/O節(jié)點(diǎn)、1個(gè)Web 節(jié)點(diǎn)、存儲(chǔ)容量為20TB的存儲(chǔ)陣列組成,計(jì)算網(wǎng)絡(luò)采用Infiniband高速交換機(jī),管理網(wǎng)絡(luò)采用千兆以太網(wǎng)交換機(jī)。

目前,中南大學(xué)高性能網(wǎng)格計(jì)算平臺(tái)已經(jīng)建設(shè)完成,并投入試運(yùn)行。在2009年10月29日HPC China2009會(huì)議上公布的“2009年中國(guó)高性能計(jì)算機(jī)性能TOP100”中,中南大學(xué)這套高性能網(wǎng)格計(jì)算平臺(tái)憑借10214.40 Gflops的雙精度浮點(diǎn)運(yùn)算理論峰值,8273.68 Gflops的Linpack測(cè)試值和0.81的效率,國(guó)內(nèi)高校排名名列前茅。

中南大學(xué)10萬(wàn)億次高性能網(wǎng)格計(jì)算平臺(tái)自面向全校提供試運(yùn)行服務(wù)以來(lái),已有注冊(cè)用戶170余人,涉及國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973)、國(guó)家高技術(shù)研究發(fā)展計(jì)劃(863)和國(guó)家自然科學(xué)基金等項(xiàng)目數(shù)十個(gè),計(jì)算平臺(tái)日常平均CPU使用率達(dá)到60%~90%,內(nèi)存利用率40%以上,刀片服務(wù)器節(jié)點(diǎn)使用率高,運(yùn)行狀況良好,完全達(dá)到了預(yù)期的建設(shè)目標(biāo)。

篇10

關(guān)鍵詞:計(jì)算資源管理 遠(yuǎn)程虛擬化 協(xié)同應(yīng)用 OSGI

中圖分類號(hào):TP311.1 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-9416(2015)05-0000-00

1系統(tǒng)設(shè)計(jì)

通過(guò)對(duì)“集群、工作站、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用許可證”等計(jì)算機(jī)資源進(jìn)行統(tǒng)一管理和統(tǒng)計(jì)分析,實(shí)現(xiàn)計(jì)算機(jī)資源的監(jiān)控、應(yīng)用、管理、協(xié)同一體化。

(1)系統(tǒng)主體功能。集成開(kāi)發(fā)系統(tǒng)監(jiān)控、系統(tǒng)告警工具,實(shí)現(xiàn)軟件、硬件資源運(yùn)行狀態(tài)實(shí)時(shí)監(jiān)控,提高系統(tǒng)運(yùn)行維護(hù)效率和問(wèn)題發(fā)現(xiàn)處理及時(shí)性;建立計(jì)算資源管理數(shù)據(jù)庫(kù),實(shí)現(xiàn)計(jì)算機(jī)資源靜態(tài)資產(chǎn)信息和動(dòng)態(tài)分配信息的分析管理;建立了軟硬件資源的分配模型,實(shí)現(xiàn)了計(jì)算資源的按需動(dòng)態(tài)分配引進(jìn)虛擬化技術(shù),探索地震處理解釋專業(yè)軟件Web應(yīng)用模式,實(shí)現(xiàn)了石油勘探、開(kāi)發(fā)和設(shè)計(jì)等專業(yè)軟件的遠(yuǎn)程應(yīng)用與協(xié)同作業(yè)。(2)功能模型劃分。①計(jì)算資源信息管理,實(shí)現(xiàn)對(duì)所有軟硬件資源基礎(chǔ)信息的管理,主要包括硬件資源管理、軟件資源管理、網(wǎng)絡(luò)運(yùn)行管理、設(shè)備檔案、資料管理。通過(guò)對(duì)這些信息的收集、存儲(chǔ)為資源調(diào)度提供依據(jù)。②計(jì)算資源實(shí)時(shí)監(jiān)控,計(jì)算資源監(jiān)控模塊部署在各個(gè)集群節(jié)點(diǎn)及專業(yè)應(yīng)用服務(wù)器上,主要實(shí)現(xiàn)對(duì)計(jì)算機(jī)資源實(shí)時(shí)動(dòng)態(tài)監(jiān)控。③資源運(yùn)行與使用統(tǒng)計(jì)分析,以可視化方式展現(xiàn)計(jì)算機(jī)資源負(fù)載和運(yùn)行狀況,主要包括:負(fù)載分析:分析 CPU、內(nèi)存、交換區(qū)利用率和內(nèi)存換頁(yè)率。④遠(yuǎn)程應(yīng)用共享,遠(yuǎn)程應(yīng)用集成是采用web遠(yuǎn)程桌面技術(shù)對(duì)現(xiàn)有遠(yuǎn)程應(yīng)用接入的擴(kuò)展和功能增強(qiáng),通過(guò)部署遠(yuǎn)程Web桌面,為勘探開(kāi)發(fā)、數(shù)據(jù)管理等各種應(yīng)用提供基于Web的遠(yuǎn)程訪問(wèn)能力和用戶應(yīng)用定制能力。⑤統(tǒng)一用戶管理,通過(guò)部署目錄服務(wù)、身份管理,在用戶管理子系統(tǒng)中,對(duì)地震資料處理中心、一體化解釋決策中心、數(shù)據(jù)中心的各系統(tǒng)的用戶進(jìn)行統(tǒng)一管理,集中實(shí)現(xiàn)訪問(wèn)控制。(3)系統(tǒng)框架結(jié)構(gòu)。基于J2EE開(kāi)放的技術(shù)和平臺(tái),采用LDAP技術(shù),實(shí)現(xiàn)了用戶統(tǒng)一管理和認(rèn)證;采用OSGI規(guī)范,構(gòu)建了支持業(yè)務(wù)模塊的集成架構(gòu),降低了各業(yè)務(wù)模塊的耦合,實(shí)現(xiàn)了業(yè)務(wù)模塊的熱插拔。采用虛擬化技術(shù),實(shí)現(xiàn)了石油勘探、開(kāi)發(fā)和設(shè)計(jì)等專業(yè)軟件的遠(yuǎn)程應(yīng)用與協(xié)同作業(yè)。通過(guò)Agent、SNMP和SSH等技術(shù),實(shí)現(xiàn)了對(duì)集群節(jié)點(diǎn)、服務(wù)器、網(wǎng)絡(luò)等計(jì)算資源狀態(tài)的實(shí)時(shí)采集,建立了軟硬件資源的分配模型,實(shí)現(xiàn)了計(jì)算資源的按需動(dòng)態(tài)分配。

2系統(tǒng)實(shí)現(xiàn)

(1)身份認(rèn)證與單點(diǎn)登錄。目錄服務(wù)在網(wǎng)絡(luò)資源查找、用戶訪問(wèn)控制與認(rèn)證等方面得到廣泛應(yīng)用。目錄服務(wù)就是按照樹(shù)狀信息組織模式,實(shí)現(xiàn)信息管理和服務(wù)接口的一種方法。目錄服務(wù)系統(tǒng)一般由兩部分組成:第一部分是數(shù)據(jù)庫(kù),一種分布式的數(shù)據(jù)庫(kù),且擁有一個(gè)描述數(shù)據(jù)的規(guī)劃;第二部分則是訪問(wèn)和處理數(shù)據(jù)庫(kù)有關(guān)的詳細(xì)的訪問(wèn)協(xié)議。本平臺(tái)中采用目錄服務(wù)技術(shù)實(shí)現(xiàn)用戶統(tǒng)一管理,采用LDAP目錄服務(wù)。(2)遠(yuǎn)程接入?;赪EB遠(yuǎn)程桌面,能快速訪問(wèn)所有基于服務(wù)器的應(yīng)用,對(duì)每個(gè)用戶、部門、訪問(wèn)地點(diǎn)或工作職能來(lái)說(shuō),訪問(wèn)都是安全的、個(gè)性化的。集中化管理用戶訪問(wèn)的權(quán)限、控制速度和性能,不改變客戶端、網(wǎng)絡(luò)、應(yīng)用或服務(wù)器。不改變現(xiàn)有應(yīng)用部署下,用戶可通過(guò)一個(gè)統(tǒng)一、熟悉的web化界面簡(jiǎn)單的訪問(wèn)他們所有的應(yīng)用。(3)數(shù)據(jù)采集技術(shù)。包括動(dòng)態(tài)采集和靜態(tài)采集兩部分,靜態(tài)采集主要是一些硬件信息,如節(jié)點(diǎn)的名稱、CPU的標(biāo)志符、CPU的型號(hào)、CPU的頻率、CPU的頻率的單位、CPU個(gè)數(shù)、單個(gè)CPU核數(shù)、內(nèi)存大小、磁盤大小、SCSI控制器的型號(hào)、本地文件系統(tǒng)名。動(dòng)態(tài)采集包括CPU的負(fù)載(系統(tǒng)占用、用戶占用、空閑)、內(nèi)存使用(實(shí)際內(nèi)存大小、占用多少、空閑多少)、I/O(磁盤的I/O速度、網(wǎng)絡(luò)的I/O速度)信息。適用操作系統(tǒng)為Redhat Linux 內(nèi)核2.4和2.6,系統(tǒng)版本是4.3、4.4、4.6。

3運(yùn)行環(huán)境

(1)硬件環(huán)境:服務(wù)器端配置:WEB應(yīng)用服務(wù)器(CPU-雙CPU\4G以上,E-cache-2M以上,內(nèi)存-16G以上,硬盤-500G以上,光驅(qū)-普通光驅(qū));數(shù)據(jù)庫(kù)服務(wù)器(CPU-雙CPU\4G以上,E-cache-2M以上,內(nèi)存-16G以上,硬盤-1T以上,光驅(qū)-可刻錄DVD光驅(qū));客戶端,CPU: PIII733或celeron1G以上。內(nèi)存:512M。硬盤空間:30 G以上可用硬盤空間。(2)軟件環(huán)境。服務(wù)器端配置:WEB應(yīng)用服務(wù)器(操作系統(tǒng)- Redhat Enterprise Linux5,數(shù)據(jù)庫(kù)-,其他- Tomcat 6 及備份策略);數(shù)據(jù)庫(kù)服務(wù)器(操作系統(tǒng)- Redhat Enterprise Linux5,數(shù)據(jù)庫(kù)- ORACLE 11g數(shù)據(jù)庫(kù),其他-);客戶端,通訊環(huán)境:能夠登錄Internet,帶寬:1M以上。操作系統(tǒng):windows2000、windows2003、windowsXP等。瀏覽器:Internet Explorer8.0以上版本。

4結(jié)語(yǔ)

系統(tǒng)研究實(shí)現(xiàn)了計(jì)算資源的“用、看、管”,滿足了專業(yè)軟件應(yīng)用、系統(tǒng)維護(hù)管理、計(jì)算資源管理三方面的需求,取得了以下幾個(gè)方面的應(yīng)用效果:1)建立了軟硬件資源分配模型,改進(jìn)計(jì)算資源分配模式,提高資源應(yīng)用效率;2)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控,系統(tǒng)運(yùn)行安全性、時(shí)效性得到提升;3)提供資源統(tǒng)計(jì)分析數(shù)據(jù),為投資決策提供依據(jù);4)成功應(yīng)用軟件虛擬化應(yīng)用技術(shù),初步實(shí)踐云計(jì)算理念。

參考文獻(xiàn)

[1] 陳麗華,郭彤.Windows 2000/2003組策略在圖書館OPAC檢索機(jī)管理中的應(yīng)用[J].計(jì)算機(jī)與網(wǎng)絡(luò),2006年20期.