您好,歡迎來(lái)電子發(fā)燒友網(wǎng)! ,新用戶?[免費(fèi)注冊(cè)]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

師胡東旭談BDRP的底層設(shè)計(jì)以及核心模塊的研發(fā)

大小:0.3 MB 人氣: 2017-10-12 需要積分:1
  
  百度運(yùn)維部高級(jí)工程師 胡東旭
  百度運(yùn)維部高級(jí)工程師,主要負(fù)責(zé)地圖/糯米的基礎(chǔ)組件研發(fā)(redis,nginx等)。有豐富的cache運(yùn)維經(jīng)驗(yàn),曾主導(dǎo)百度BDRP(Baidu Distributed Redis Platform)的底層設(shè)計(jì)以及核心模塊的研發(fā)–目前BDRP已在整個(gè)百度公司內(nèi)得到廣泛使用。
  以下為CSDN的小編對(duì)胡東旭先生的個(gè)人專訪內(nèi)容,下面就讓他來(lái)告訴大家如何才能成為一名優(yōu)秀技術(shù)人。以下是專訪內(nèi)容:
  CSDN:首先請(qǐng)您簡(jiǎn)單介紹下自己、公司以及目前所負(fù)責(zé)的領(lǐng)域。
  胡東旭:我是百度運(yùn)維部高級(jí)工程師胡東旭,13年畢業(yè)于武漢理工大學(xué),加入百度運(yùn)維部后主要負(fù)責(zé)地圖以及糯米的cache存儲(chǔ)(redis、mognodb等)運(yùn)維以及研發(fā)、目前專注在產(chǎn)品線的前端接入方向(速度優(yōu)化、防劫持等)。
  CSDN:您擔(dān)任百度運(yùn)維部高級(jí)工程師期間,給您留下最深刻的人或事有哪些呢?
  胡東旭:糯米是14年Q1割接到百度機(jī)房,穩(wěn)定性由最開(kāi)始接手時(shí)候的兩個(gè)9都不到做到了現(xiàn)在4個(gè)9,當(dāng)中離不開(kāi)大家的努力。組織上成立了糯米運(yùn)維保障執(zhí)行團(tuán)隊(duì),每次大型活動(dòng),相關(guān)運(yùn)營(yíng)/RD/QA/OP都會(huì)齊心協(xié)力為活動(dòng)保駕護(hù)航。
  CSDN:據(jù)我了解,您曾主導(dǎo)百度BDRP( Baidu Distributed Redis Platform)的底層設(shè)計(jì)以及核心模塊的研發(fā),在研發(fā)期間遇到了哪些技術(shù)難點(diǎn)和挑戰(zhàn)?
  胡東旭:1. 技術(shù)難點(diǎn)其實(shí)也是由糯米活動(dòng)所引發(fā)的,背景是:糯米活動(dòng)組織越來(lái)越頻繁,并且流水也逐漸升高,那么在活動(dòng)期間的峰值流水很可能是平日期間的5-10倍,那么要在如此強(qiáng)度下仍然保障可靠的穩(wěn)定性,就需要服務(wù)有高效的止損手段/預(yù)案。而B(niǎo)DRP之前是沒(méi)有考慮到止損效率,而運(yùn)維部要求這一層的止損能力要在1分鐘內(nèi)完成,這一環(huán)如果不能完成,那么糯米的止損能力就相當(dāng)于缺了一條腿。
  2.因而對(duì)于BDRP而言,如何做到1分鐘止損,這本身就是一個(gè)不小的挑戰(zhàn)。
  CSDN:那么,您能具體和我們談?wù)凚DRP具體應(yīng)用在哪些場(chǎng)景下?他們實(shí)現(xiàn)的原理又是什么?
  胡東旭:1. BDRP應(yīng)用的場(chǎng)景十分之多,一般分為兩種類型,一種是cache類,例如地圖的索引信息則存放在redis內(nèi),另一類是當(dāng)作存儲(chǔ)類型使用,例如糯米的團(tuán)單詳情信息是存在redis內(nèi)的。
  2.當(dāng)作cache使用的,一般多為QPS高,數(shù)據(jù)頻繁更新的服務(wù),而且多半都會(huì)利用redis的key淘汰策略。
  3.而當(dāng)作存儲(chǔ)類型使用的,一般是看中redis較為輕量級(jí),易上手,比別的NoSQL支持的數(shù)據(jù)結(jié)構(gòu)類型更多,并且開(kāi)發(fā)模式比使用MySQL更加簡(jiǎn)易。
  CSDN:據(jù)我了解,您對(duì)Cache運(yùn)維有著豐富的經(jīng)驗(yàn),那么您能和我們具體談?wù)剢幔?br />   胡東旭:1.Cache運(yùn)維我主要還是說(shuō)redis。
  2.Redis的運(yùn)維其實(shí)主要需要關(guān)注這么幾個(gè)方向:
  (1)在RD調(diào)研cache/存儲(chǔ)選型的時(shí)候,就介入進(jìn)來(lái),或者說(shuō)你給RD有好的準(zhǔn)入標(biāo)準(zhǔn),可供評(píng)估。(好的準(zhǔn)入,是為了讓RD弄明白他的項(xiàng)目中需要哪種合適的cache/存儲(chǔ))
 ?。?)其次,對(duì)redis而言,所有的常用配置,基本原理,得做到心中有數(shù)。
 ?。?)cache運(yùn)維并不是無(wú)腦式操作,你要做到心中有數(shù),平日抽空多讀源碼。
  (4)除了原理以外,運(yùn)維上也有許多事情需要完成的,例如監(jiān)控以及預(yù)案。一定要確保監(jiān)控項(xiàng)覆蓋全面,但是從另外一個(gè)角度來(lái)說(shuō),想100%覆蓋所有監(jiān)控,這個(gè)的確不容易,所以就需要有應(yīng)對(duì)故障的策略/預(yù)案,并且定期頻繁演練,確保你的預(yù)案足夠健壯。
  CSDN:您近期還會(huì)關(guān)注哪些技術(shù)熱點(diǎn)?
  胡東旭:從底層而言,主要還會(huì)關(guān)注Docker等容器化技術(shù);從前端技術(shù)而言,還會(huì)關(guān)注用戶訪問(wèn)速度優(yōu)化等topic,例如google的AWP技術(shù)等等。當(dāng)然,這些需求其實(shí)都源于產(chǎn)品線。我更加推崇的是離業(yè)務(wù)更近一點(diǎn),帶著產(chǎn)品線的需求而做技術(shù)/架構(gòu)的變革,而不僅僅只是為了追求某項(xiàng)技術(shù)而研發(fā)。
  CSDN:您認(rèn)為作為一名優(yōu)秀的技術(shù)人應(yīng)該具備哪些素質(zhì)?
  胡東旭:1.嗅覺(jué)敏銳:你必須得時(shí)刻關(guān)注產(chǎn)品線需求,開(kāi)源社區(qū)的熱門技術(shù)/國(guó)外優(yōu)秀的技術(shù)前沿論文。
  2.自驅(qū)力:時(shí)刻給自己充電,要不就落后于他人。
  3.團(tuán)隊(duì)協(xié)助:很多項(xiàng)目是需要一個(gè)團(tuán)隊(duì),甚至多個(gè)團(tuán)隊(duì)一些協(xié)助完成的,一個(gè)單兵能力再?gòu)?qiáng)也有很大的局限性。
  4.共享信息與樂(lè)于助人:有好的idea/技術(shù),不要私藏,要學(xué)會(huì)分享,發(fā)揚(yáng)出來(lái)。
  5.敢于挑戰(zhàn)他人以及接受別人的挑戰(zhàn):在挑戰(zhàn)中不斷成長(zhǎng),才不會(huì)當(dāng)井底之蛙。
  6.不盲從:以數(shù)據(jù)說(shuō)話。
  CSDN:在本次SDCC數(shù)據(jù)庫(kù)峰會(huì)上分享的話題是?
  胡東旭:我本次在峰會(huì)上分享的題目是關(guān)于BDRP的架構(gòu)原理以及實(shí)際運(yùn)用場(chǎng)景。
  CSDN:您最期待在本次SDCC數(shù)據(jù)庫(kù)峰會(huì)上聽(tīng)到哪些內(nèi)容?
  胡東旭:我希望聽(tīng)到更多業(yè)內(nèi)對(duì)數(shù)據(jù)庫(kù)應(yīng)用方面的實(shí)踐,比如像阿里的RDS等等。
?

非常好我支持^.^

(1) 100%

不好我反對(duì)

(0) 0%

師胡東旭談BDRP的底層設(shè)計(jì)以及核心模塊的研發(fā)下載

相關(guān)電子資料下載

      發(fā)表評(píng)論

      用戶評(píng)論
      評(píng)價(jià):好評(píng)中評(píng)差評(píng)

      發(fā)表評(píng)論,獲取積分! 請(qǐng)遵守相關(guān)規(guī)定!

      ?