單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討,內(nèi)容大綱,并行計(jì)算,技,技術(shù),集群及相,關(guān),關(guān)技術(shù),網(wǎng)格計(jì)算,如何滿足,不,不斷增長(zhǎng),的,的計(jì)算力,需,需求？,用速度更,快,快的硬件,，,，也就是,減,減少每一,條,條指令所,需,需時(shí)間,優(yōu)化算法,（,（或者優(yōu),化,化編譯）,用多個(gè)處,理,理機(jī),(,器,),同時(shí)解決,一,一個(gè)問(wèn)題,并行計(jì)算,串行計(jì)算,與,與并行計(jì),算,算,并行的層,次,次,程序級(jí)并,行,行,子程序級(jí),并,并行,語(yǔ)句級(jí)并,行,行,操作級(jí)并,行,行,微操作級(jí),并,并行,并行粒度,粗,細(xì),共享內(nèi)存,與,與分布式,內(nèi),內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換,設(shè),設(shè)備,P,M,P,P,M,P,M,S,局部共享,內(nèi),內(nèi)存,S,P,M,P,P,M,P,Node,Node,實(shí)現(xiàn)并行,計(jì),計(jì)算的常,見(jiàn),見(jiàn)方法,1,、多線,程,程程序,2,、基于,OpenMP,的并行,程,程序,3,、基于,消,消息傳,遞,遞的并,行,行程序,PVM,MPI,XPVM,XPVM,并行計(jì),算,算環(huán)境,簡(jiǎn),簡(jiǎn)介,PVP,（,ParallelVectorProcessor,）,使用專(zhuān),用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個(gè),個(gè)處理,器,器可以,等,等同訪,問(wèn),問(wèn)共享,存,存儲(chǔ)器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,。,Cluster,由很多,連,連接在,一,一起的,獨(dú),獨(dú)立計(jì),算,算機(jī)組,成,成，像,一,一個(gè)單,獨(dú),獨(dú)的集,成,成的計(jì),算,算機(jī)一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點(diǎn)可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍(lán)色,基,基因。,。,。,在虛擬,天,天文臺(tái),中,中的應(yīng),用,用情形,處理實(shí),時(shí),時(shí)性要,求,求很高,的,的大量,觀,觀測(cè)數(shù),據(jù),據(jù),觀測(cè)數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,。,。,。,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀(jì),60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來(lái),來(lái)的高,性,性能工,作,作站或,PC,機(jī)組成,。,。集群,在,在工作,中,中像一,個(gè),個(gè)統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點(diǎn),點(diǎn)使用,單,單一界,面,面。,集群,NotaClusterCluster,集群計(jì),算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號(hào)技,術(shù),術(shù)等。,節(jié)點(diǎn)機(jī),及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負(fù)載,平,平衡、,并,并行,I/O,、安全,等,等。,應(yīng)用層,并行程,序,序開(kāi)發(fā),環(huán),環(huán)境、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,標(biāo),標(biāo)定位,于,于高性,能,能計(jì)算,市,市場(chǎng)的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進(jìn),的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢(shì),勢(shì)與強(qiáng),大,大的服,務(wù),務(wù)支持,。,。,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點(diǎn)硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 345(1),計(jì)算節(jié),點(diǎn),點(diǎn),IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開(kāi),發(fā),發(fā)，專(zhuān),門(mén),門(mén)用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。,。,CSM,的設(shè)計(jì),思,思想與,體,體系結(jié),構(gòu),構(gòu)來(lái)自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開(kāi),源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術(shù),術(shù)，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個(gè)集,群,群由單,一,一結(jié)點(diǎn),控,控制,所有結(jié),點(diǎn),點(diǎn)的,開(kāi)機(jī)、,關(guān),關(guān)機(jī)、,狀,狀態(tài)查,詢(xún),詢(xún),顯示遠(yuǎn),程,程控制,臺(tái),臺(tái),安裝操,作,作系統(tǒng),升級(jí),(,安裝,),各結(jié)點(diǎn),系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,。,一個(gè)完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤(pán)、,鼠,鼠標(biāo)、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,（,Multicomputer OperatingSystemfor UnIX,）,可以自,動(dòng),動(dòng)完成,節(jié),節(jié)點(diǎn)間,進(jìn),進(jìn)程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對(duì)用戶,來(lái),來(lái)說(shuō)是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中心開(kāi),發(fā),發(fā),為了達(dá)到集,群,群系統(tǒng)整體,上,上的負(fù)載平,衡,衡，對(duì)各個(gè),節(jié),節(jié)點(diǎn)上的任,務(wù),務(wù)進(jìn)行調(diào)度,，,，但不進(jìn)行,節(jié),節(jié)點(diǎn)間任務(wù),遷,遷移,不需要重新,編,編譯內(nèi)核,集群上的應(yīng),用,用程序（計(jì),算,算）開(kāi)發(fā),適于開(kāi)發(fā)基,于,于消息傳遞,的,的并行應(yīng)用,程,程序,可以使用,PVM/MPI,步驟：,配置并行計(jì),算,算的編譯與,運(yùn),運(yùn)行環(huán)境,主要是,rsh/ssh,設(shè)計(jì)、編寫(xiě),、,、編譯程序,使用,PVM/MPI,提供的程序,庫(kù),庫(kù)及編譯環(huán),境,境,部署應(yīng)用程,序,序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運(yùn)行程序,配置高可用,集,集群,最大程度地,減,減少服務(wù)中,斷,斷，而不是,容,容錯(cuò)。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟件,Heartbeat,集,集群,LVS集群,集群在虛擬,天,天文臺(tái)中的,角,角色,高性能計(jì)算,構(gòu)成虛擬天,文,文臺(tái)網(wǎng)格環(huán),境,境中強(qiáng)有力,的,的計(jì)算資源,高可用服務(wù),在網(wǎng)格環(huán)境,中,中提供穩(wěn)定,、,、可靠的數(shù),據(jù),據(jù)、計(jì)算、,調(diào),調(diào)度等服務(wù),網(wǎng)格計(jì)算,“,Resource sharing&coordinatedproblem solving indynamic,multi-institutional virtual organizations,”,”,On Demand,理想的網(wǎng)格,理想的網(wǎng)格,The picture above describes aDataGrid testbed with three sites and aCertification Authority.For spacereasons wedo not show all themachinesof each site.,The user requests acertificate tothe CertificateAuthoritywebfront-end.,The certificateis produced and signed by theCertificate Server.,The user gets the certificate.,Now that the user has his/hercertificate installed onhis/her User Interface,he/shecansubmit his/herjob requests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/her jobrequest to theResourceBroker.,Submitted,The Resource Brokerqueries the ReplicaCatalog and Information Indexto find suitable resources(storagespace,data and computing power).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The outputis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計(jì)算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語(yǔ),虛擬天文臺(tái),將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強(qiáng),強(qiáng)有力的計(jì),算,算與服務(wù)支,撐,撐平臺(tái),并行計(jì)算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,