《騰訊云數(shù)據(jù)庫(kù)CDB技術(shù)介紹課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《騰訊云數(shù)據(jù)庫(kù)CDB技術(shù)介紹課件（17頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、,9/1/2018,#,9/1/2018,#,騰訊云數(shù)據(jù)庫(kù),CDB,技,術(shù)介紹,技術(shù)創(chuàng)新，變革未來(lái),目錄,云數(shù)據(jù)庫(kù)概覽,CD,B,之存儲(chǔ)篇,CD,B,之復(fù)制篇,CD,B,之引擎篇,云數(shù)據(jù)庫(kù)概覽,-,什,么,是,云,數(shù),據(jù),庫(kù),N,I,S,T,關(guān)于云計(jì)算服務(wù)的,基,本特,征,定義,隨需應(yīng)變自助服務(wù),隨時(shí)隨地用任何網(wǎng)絡(luò)設(shè),備,訪問(wèn),多人共享資源池,快速重新部署靈活度,可被監(jiān)控與量測(cè)的服務(wù),云計(jì)算,滿足云計(jì)算特征的數(shù)據(jù)庫(kù)服務(wù),數(shù)據(jù)庫(kù)內(nèi)核,+,云化功能,云數(shù)據(jù)庫(kù)概覽,-,騰訊,的,云,數(shù),據(jù),庫(kù),SQL,NoSQL,C,D,B,云數(shù)據(jù)庫(kù)概覽,-,C,D,B,內(nèi),核,技,術(shù),棧,接入集群,實(shí)例集群,T,

2、X,S,Q,L,T,X,S,Q,L,T,X,S,Q,L,LogBus復(fù)制通道,存,儲(chǔ),集群,路由,安全,HA,數(shù)據(jù)庫(kù)引擎,多副本復(fù)制,數(shù)據(jù)存儲(chǔ),C,D,B,之存儲(chǔ)篇,-,三,次,存,儲(chǔ),革命,S,A,S,-,R,a,i,d,SSD-,Cluster1.0,SSD,SSD-,Cluster2.0,階段1,階段2,階段3,階段4,根據(jù)存儲(chǔ)介質(zhì)特性，進(jìn)行數(shù)據(jù)庫(kù),存,儲(chǔ)技術(shù),設(shè),計(jì),數(shù)據(jù)庫(kù)存儲(chǔ)的本質(zhì)：面向塊的存儲(chǔ),C,D,B,之存儲(chǔ)篇,-,第,一,次,革,命,SAS,Raid,存儲(chǔ)的主要矛盾,基于,S,A,S,陣列,的,數(shù),據(jù),庫(kù),存,儲(chǔ),性能問(wèn)題：隨機(jī)IO性,能,不高,擴(kuò)展性問(wèn)題：?jiǎn)螜C(jī)最大,存,儲(chǔ)容

3、,量,受限,成本問(wèn)題：價(jià)格貝佐斯,定,律帶,給,成,本,的,挑戰(zhàn),SSD,Raid,存儲(chǔ)可行性,選擇,SATA,SSD：2011年,PCI-E,SSD,剛剛興起,性能問(wèn)題：隨機(jī)IO性,能,有較,大,提升,擴(kuò)展性問(wèn)題：依舊存在,成本問(wèn)題：?jiǎn)挝淮鎯?chǔ)成,本,更高,SSD,使用的問(wèn)題：寫(xiě),放,大、,寫(xiě),性能,下,降,解決問(wèn)題的思路,基于,SSD,的存儲(chǔ)系統(tǒng),有,嗎？,分布式,KV,分布式,KV,解決了性能、擴(kuò),展,性,、,SSD,使,用問(wèn)題,分布式,KV,和數(shù)據(jù)庫(kù)存儲(chǔ)的,聯(lián),系,：block,塊,block,的數(shù)據(jù),模,型,(Disk,LBA,Value)(Key,Value),文件讀寫(xiě),文件系統(tǒng),S

4、,A,S,陣列,磁盤(pán)塊讀寫(xiě),CDB,之存儲(chǔ)篇,-,第,一,次,革,命,(Cont.1),SSD,Cluster1.0存儲(chǔ),虛擬塊設(shè)備,+IO,網(wǎng)絡(luò),化,塊讀,寫(xiě),轉(zhuǎn)化,為,KV,操作,適配,SSD,特性的,KV,存儲(chǔ),系,統(tǒng),MySQL,層優(yōu)化：,千,兆網(wǎng),絡(luò),瓶,頸,&,去double,write,文件系統(tǒng),&,塊設(shè)備調(diào)優(yōu),成本問(wèn)題：按需分配、,動(dòng),態(tài)伸,縮,、,文件讀寫(xiě),文件系統(tǒng),磁盤(pán)塊讀寫(xiě),虛擬塊設(shè)備,網(wǎng)絡(luò),K,V,讀寫(xiě),SSD-KV,基于,SSD,Cluster1.0,的,數(shù)據(jù),庫(kù),存儲(chǔ),運(yùn)營(yíng)中的故事,存儲(chǔ)集群的蝴蝶效應(yīng),C,D,B,之存儲(chǔ)篇,-,第,二,次,革,命,SSD,Clust

5、er1.0的主要,矛,盾,基于,PCI-E,SSD的數(shù)據(jù)庫(kù)存儲(chǔ),開(kāi)發(fā)商的變化：IO密,集,型核,心,應(yīng)用,上,云,存儲(chǔ)介質(zhì)的變化,：PCI-E,SSD,量大價(jià)低,性能不夠，性價(jià)比沒(méi)優(yōu)勢(shì),PCI-E,SSD,Cluster存儲(chǔ)可行性,IO性能：相比本地，,網(wǎng),絡(luò)和,分,布式,帶,來(lái)額,外,開(kāi)銷,擴(kuò)展性：?jiǎn)螜C(jī)最大本地,存,儲(chǔ),6T,SSD,使用的問(wèn)題,：SSD,FTL,的進(jìn)一步,優(yōu),化,成本問(wèn)題：相比本地，,優(yōu),勢(shì)有,，,但已,不,是主,要,矛盾,運(yùn)維成本：相比本地，,更,高,解決問(wèn)題的思路,選擇本地,PCI-E,SSD,選擇新的技術(shù)制高點(diǎn)：,數(shù),據(jù)庫(kù),引,擎本,身,的性,能,和穩(wěn),定,性,文件讀

6、寫(xiě),文件系統(tǒng),磁盤(pán)塊讀寫(xiě),C,D,B,之存儲(chǔ)篇,-,第,三,次,革,命,PCI-E,SSD,的主要矛盾,開(kāi)發(fā)商的變化：金融、,政,企等,數(shù),據(jù)庫(kù),上,云,DB,要求：兼容性、,RTO,、,RPO,、,擴(kuò),展性,四,個(gè)都,不,能少,擴(kuò)展性問(wèn)題：容量無(wú)法,和,SANNAS,專,有,存,儲(chǔ),相比,中間件,sharding,解決了擴(kuò)展,性,問(wèn)題,，,但兼,容,性有,問(wèn),題,解決問(wèn)題的思路,主要目標(biāo),：100TB,以,下,，SQL,完全,兼,容的,傳,統(tǒng)行,業(yè),DB,服務(wù),SDP：Shared,Disk,Parallel,數(shù)據(jù)庫(kù)節(jié)點(diǎn)和存儲(chǔ)分離,，,數(shù)據(jù),庫(kù),節(jié)點(diǎn),有,主從,之,分,盡量減少I(mǎi)O次數(shù)：主,

7、數(shù),據(jù)庫(kù),節(jié),點(diǎn)才,能,寫(xiě)存,儲(chǔ),集群，,從,節(jié)點(diǎn),不,會(huì)寫(xiě),C,D,B,之復(fù)制篇,-,三,種,復(fù),制,模式,異步復(fù)制,半同步復(fù)制,強(qiáng)一致復(fù)制,階段1,階段2,階段3,復(fù)制結(jié)合機(jī)房部署，靈活選擇，,達(dá),到最有,效,的容災(zāi),效,果,C,D,B,之復(fù)制篇,-,半,同,步,的,一,些,問(wèn)題,MySQL半同步的主要問(wèn)題,無(wú)法做到,強(qiáng)一致,：自動(dòng),降,級(jí)、,靈,活的,多,zone,部,署,下的,一,致性,要,求,半同步下,性能,下降多,MySQL,Native,Semi,Sync,Replication,C,D,B,之復(fù)制篇,-,性,能,優(yōu)化,性能關(guān)鍵因子,單個(gè)事務(wù)耗時(shí)：用戶層,面,的響,應(yīng),時(shí)間,，,

8、每個(gè),事,務(wù)耗,時(shí),多,少,ms,系統(tǒng)整體吞吐：服務(wù)層,面,的處,理,能力,，,一,臺(tái),機(jī),器,每,秒,能處,理,事務(wù),數(shù),(TPS,),單個(gè)事務(wù)耗時(shí),T,total,=T,sql,+T,engine,+T,replicate,T,sql,和,T,engine,在同步復(fù)制下不是,關(guān),鍵,瓶頸,T,replicate,=T,binlog,網(wǎng)絡(luò)傳輸,+,T,slave,落地binlog，,T,binlog網(wǎng)絡(luò)傳輸,取決于,RTT,值,測(cè)試數(shù)據(jù)：,全cache下,MySQL,異,步,單事,務(wù),耗,時(shí),3.37ms；,半同步單事務(wù)耗時(shí),8.33ms，,測(cè),試環(huán),境,RTT,值,2.6ms，T,slav

9、e,落地binlog,為,1.9ms,測(cè)試機(jī)器順序,512B,的,write+fsync,延時(shí),0.13ms，T,slave,落地binlog,優(yōu)化空,間,大,系統(tǒng)整體吞吐,吞吐,=,并發(fā)數(shù),/,單個(gè)事務(wù),耗,時(shí),并發(fā)數(shù)取決于各種資源,的,利用,率,，,如,master,的事,務(wù),線程,、,master,的,binlog,發(fā)送,/,響應(yīng) 線程、,slave,的,binlog,接收,線,程等,利,用,率,情況,CDB,之復(fù)制篇,-,性,能,優(yōu),化,(Cont.1),MySQL,slave,的,IO,線程接收,binlog,耗,時(shí),原因,鎖沖突：IO/SQL線,程,間的,鎖,沖突,，,如元,數(shù),據(jù)

10、文,件,鎖,小IO消耗：IO線程離,散,小磁,盤(pán),IO,消,耗過(guò),多,的,IOPS,串行化：IO線程接收,和,落盤(pán),操,作,串行,構(gòu)建獨(dú)立于MySQL的快速?gòu)?fù),制,通,道,logbus,基于,semisync,協(xié),議，,模,擬,slave,向,master,建立主,從,關(guān)系,，,同,步,binlog,避免原生相關(guān)耗時(shí)瓶頸,外置logbus，減少,對(duì),MySQL,的侵,入,，方,便,各種,分,支兼容,數(shù)據(jù)庫(kù)版本,同步類型,TPS,單事務(wù)耗時(shí),(ms),同步,RTT,性能基準(zhǔn)對(duì)比,MySQL5.7,異步,33193,3.82,2.60,100%,MySQL5.7,半同步,15395,8.32,2.

11、60,46.30%,MySQL5.7,logbus,22169,5.92,2.60,66.79%,CDB,之復(fù)制篇,-,性,能,優(yōu),化,(Cont.2),優(yōu)化,MySQL,5.6的,binlog,發(fā)送、響應(yīng),binlog,同步阻塞,傳,輸模,型,：master,binlog,dump,線程發(fā)送某個(gè),事,務(wù),binlog,后，等待,slave,回包,后,，再,發(fā),送下,一,個(gè)事,務(wù),binlog,。理,論,上最大,QPS=1000/RTT(ms),。一,般,情況,同,城跨,園,區(qū)之,間,RTT,為,3ms,左,右,，QPS,峰值,約330,方案：,master,binlog,發(fā)送和接收,異,步化,，dump,線,程負(fù),責(zé),發(fā)送,，ack,線程,負(fù)責(zé)處理回包，通知事,務(wù),線程,繼,續(xù)提交,ACK,Tx1,。,master,slave,master,slave,。,T,x,2,T,x,1,T,x,3,SND,Tx1,SND,Tx2,ACK,Tx2,。,A,C,K,1,A,C,K,2,A,C,K,3,CDB,之引擎篇,-TXSQL,面向運(yùn)維優(yōu)化,面向,b,u,g,優(yōu)化,面向性能優(yōu)化,深度定制,階段1,階段2,階段3,階段4,自研技術(shù),：20+,社區(qū)紅利,：30+,CDB,之引擎篇,-TXSQL,特,性,概,覽,