0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

騰訊云攻堅(jiān)技術(shù)難題,讓硬盤始終不下線

獨(dú)愛72H ? 來源:環(huán)球網(wǎng) ? 作者:環(huán)球網(wǎng) ? 2020-03-24 10:19 ? 次閱讀

(文章來源:環(huán)球網(wǎng))

硬盤作為服務(wù)器數(shù)據(jù)的載體、一旦出現(xiàn)故障,就會(huì)出現(xiàn)信息的缺失和遺漏。為了解決企業(yè)級場景下,硬盤對于精準(zhǔn)海量記憶的苛刻要求,騰訊云一方面與全球領(lǐng)先的數(shù)據(jù)存儲(chǔ)解決方案提供商希捷合作,率先在國內(nèi)引入定制化機(jī)制,保證硬盤質(zhì)量的源頭管理;另一方面,利用大數(shù)據(jù)分析技術(shù)對硬盤健康狀況作多維度 “體檢”,實(shí)現(xiàn)了對硬盤品質(zhì)和可靠性的有效管控,為騰訊云數(shù)百萬用戶的底層數(shù)據(jù)安全能力提供了強(qiáng)有力保障。

據(jù)了解,在當(dāng)前大數(shù)據(jù)應(yīng)用場景中,TB級的大容量機(jī)械式硬盤是最為廣泛的物理載體,其主流數(shù)據(jù)記錄方式普遍采用垂直磁記錄技術(shù),在該技術(shù)下主要依靠同等體積內(nèi)增加磁頭、磁碟的數(shù)量,以及增加單盤容量的方式來堆高容量。這不僅對硬盤的工藝、機(jī)械結(jié)構(gòu)、伺服系統(tǒng)、信號處理等帶來極大的挑戰(zhàn),也增加了硬盤數(shù)據(jù)管理的難題。

與此同時(shí),大數(shù)據(jù)業(yè)務(wù)場景下往往伴隨著長時(shí)間的高工作負(fù)載,即便硬盤本身有強(qiáng)大的自恢復(fù)機(jī)制,但在龐大的強(qiáng)負(fù)載壓力下,內(nèi)部的重試糾錯(cuò)機(jī)制也會(huì)影響到上層的數(shù)據(jù)讀寫,影響系統(tǒng)的穩(wěn)定性。為有效解決這樣的難題,騰訊云攜手希捷聯(lián)合開展獨(dú)家質(zhì)量提升項(xiàng)目,率先在國內(nèi)云廠商中引入定制化機(jī)制,實(shí)現(xiàn)了根據(jù)自身業(yè)務(wù)需求對硬盤可靠性的“量身定制”。

希捷根據(jù)騰訊云的業(yè)務(wù)需求開發(fā)了定制化內(nèi)部日志,建立新產(chǎn)品聯(lián)合導(dǎo)入測試機(jī)制,幫助硬盤加速進(jìn)入穩(wěn)定運(yùn)營期,提升產(chǎn)品的性能與穩(wěn)定性,保障用戶體驗(yàn)。經(jīng)過數(shù)月的運(yùn)營統(tǒng)計(jì)數(shù)據(jù)表明,騰訊云大數(shù)據(jù)業(yè)務(wù)中希捷12TB硬盤的可靠性表現(xiàn)得到了顯著提升。

據(jù)騰訊服務(wù)器供應(yīng)鏈總經(jīng)理劉裕勛介紹,硬盤的健康維護(hù)是一項(xiàng)綜合性工程,騰訊云在硬盤數(shù)據(jù)安全防護(hù)上做了大量的探索,除了和希捷在強(qiáng)化源頭管理的同時(shí),為最大程度保護(hù)云端用戶的安全和穩(wěn)定,騰訊云還借助最新的大數(shù)據(jù)AI技術(shù)優(yōu)化硬盤的健康管理。

例如,騰訊云開發(fā)的硬盤健康度打分系統(tǒng),不僅可以智能化對單盤本身的參數(shù)進(jìn)行健康評估,識別出參數(shù)惡化的硬盤。在實(shí)際業(yè)務(wù)中,運(yùn)維人員根據(jù)該打分情況,實(shí)時(shí)掌握重點(diǎn)客戶的硬盤健康狀況,對運(yùn)行著重要業(yè)務(wù)的機(jī)器提前進(jìn)行低分盤更換,保障業(yè)務(wù)系統(tǒng)和數(shù)據(jù)安全。

實(shí)際上,除了上述高負(fù)載給硬盤帶來的威脅以外,隨著硬盤本身容量的不斷上升,其自身可靠性的挑戰(zhàn)也在不斷加大。面對這樣的挑戰(zhàn),騰訊云通過不斷優(yōu)化自身業(yè)務(wù)架構(gòu),將單盤故障做到業(yè)務(wù)零感知。

例如,騰訊云對象存儲(chǔ)COS業(yè)務(wù)中就通過就近訪問的方式減少訪問延遲。在多副本架構(gòu)下,采用一寫多讀的讀寫策略,結(jié)合容錯(cuò)機(jī)制保證數(shù)據(jù)一致性。同時(shí),基于該讀寫策略,計(jì)算框架會(huì)根據(jù)硬盤位置信息采用離數(shù)據(jù)最近的機(jī)器存儲(chǔ)數(shù)據(jù),很好地規(guī)避了由于單盤故障和網(wǎng)絡(luò)讀寫導(dǎo)致的延遲和服務(wù)不可用情況,有效提升了服務(wù)的可靠性。

此外,當(dāng)出現(xiàn)單塊硬盤故障的時(shí)候,騰訊云對象存儲(chǔ)COS業(yè)務(wù)會(huì)將硬盤置臟處理,同時(shí),將請求分流至可用的硬盤上,并后端進(jìn)行無感的數(shù)據(jù)恢復(fù)措施,保障數(shù)據(jù)保持持久高可用狀態(tài)。

騰訊服務(wù)器供應(yīng)鏈總經(jīng)理劉裕勛表示:“大容量的機(jī)械硬盤仍然是當(dāng)前大數(shù)據(jù)業(yè)務(wù)的主力存儲(chǔ)設(shè)備。面對技術(shù)以及業(yè)務(wù)的雙重挑戰(zhàn),騰訊云除了加強(qiáng)與全球存儲(chǔ)巨頭之間的合作之外,還將進(jìn)一步依托領(lǐng)先的大數(shù)據(jù)分析技術(shù)和業(yè)務(wù)架構(gòu)的持續(xù)優(yōu)化,來全面降低硬盤故障對云端業(yè)務(wù)的影響,為數(shù)百萬用戶的數(shù)據(jù)安全保駕護(hù)航?!?br /> (責(zé)任編輯:fqj)

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 騰訊
    +關(guān)注

    關(guān)注

    7

    文章

    1634

    瀏覽量

    49356
  • 云技術(shù)
    +關(guān)注

    關(guān)注

    1

    文章

    188

    瀏覽量

    18799
收藏 人收藏

    評論

    相關(guān)推薦

    一庫打通所有平臺(tái)!合宙IoT_CLOUD之【騰訊

    ? 眾所周知,市面上有很多云平臺(tái),阿里、騰訊、中移OneNET、華為、百度、TLink
    的頭像 發(fā)表于 10-15 16:08 ?174次閱讀

    騰訊手動(dòng)下發(fā)遠(yuǎn)程升級指令到設(shè)備_OTA升級方案詳解

    1.打開騰訊API Explorer,Publish Msg https://console.cloud.tencent.com/api/explorer?Product
    的頭像 發(fā)表于 09-30 15:27 ?208次閱讀
    <b class='flag-5'>騰訊</b><b class='flag-5'>云</b>手動(dòng)下發(fā)遠(yuǎn)程升級指令到設(shè)備_OTA升級方案詳解

    騰訊手動(dòng)下發(fā)指令到設(shè)備_云端與設(shè)備聯(lián)調(diào)方案

    1.打開騰訊API Explorer,Publish Msg https://console.cloud.tencent.com/api/explorer?Product
    的頭像 發(fā)表于 09-30 15:25 ?233次閱讀
    <b class='flag-5'>騰訊</b><b class='flag-5'>云</b>手動(dòng)下發(fā)指令到設(shè)備_云端與設(shè)備聯(lián)調(diào)方案

    思爾芯攜手騰訊,以EDA服務(wù)賦能芯片設(shè)計(jì),共促數(shù)字經(jīng)濟(jì)

    2024年9月5日至6日,騰訊全球數(shù)字生態(tài)大會(huì)在深圳國際會(huì)展中心盛大召開,大會(huì)以“智啟新機(jī)驅(qū)增長”為核心議題,大會(huì)以“智啟新機(jī),驅(qū)增長”為主題,深入探討了數(shù)字化轉(zhuǎn)型下的產(chǎn)業(yè)新機(jī)遇,作為國內(nèi)首家
    的頭像 發(fā)表于 09-10 08:04 ?336次閱讀
    思爾芯攜手<b class='flag-5'>騰訊</b><b class='flag-5'>云</b>,以EDA<b class='flag-5'>云</b>服務(wù)賦能芯片設(shè)計(jì),共促數(shù)字經(jīng)濟(jì)

    騰訊與芯動(dòng)科技推出聯(lián)合解決方案,推動(dòng)芯片行業(yè)創(chuàng)新發(fā)展

    來源:騰訊工業(yè)與消費(fèi)電子 9月5日,騰訊與芯動(dòng)科技正式達(dá)成戰(zhàn)略合作,雙方將充分發(fā)揮各自在技術(shù)、資源及客戶方面的互補(bǔ)優(yōu)勢,聯(lián)合打造解決方案
    的頭像 發(fā)表于 09-09 10:53 ?300次閱讀
    <b class='flag-5'>騰訊</b><b class='flag-5'>云</b>與芯動(dòng)科技推出聯(lián)合解決方案,推動(dòng)芯片行業(yè)創(chuàng)新發(fā)展

    優(yōu)易通無線DTU騰訊通信實(shí)例

    優(yōu)易通無線DTU騰訊通信實(shí)例(基于MQTT)優(yōu)——產(chǎn)品優(yōu),服務(wù)優(yōu),價(jià)格優(yōu)易——安裝易,使用易,維護(hù)易通——通訊技術(shù)專家,精于通訊,萬物互通一、例程環(huán)境1.操作系統(tǒng)Windows10,64位操作系統(tǒng)
    的頭像 發(fā)表于 08-30 11:45 ?227次閱讀
    優(yōu)易通無線DTU<b class='flag-5'>騰訊</b><b class='flag-5'>云</b>通信實(shí)例

    獲50家芯片企業(yè)合作!加碼芯片賽道,騰訊靠什么?

    “目前,騰訊正在從傳統(tǒng)互聯(lián)網(wǎng)向產(chǎn)業(yè)互聯(lián)網(wǎng)轉(zhuǎn)變,我們在To B的場景里面做了不少的投入。無論是芯片的設(shè)計(jì)、芯片的制造,還是芯片的封測,我們都希望通過騰訊技術(shù)平臺(tái),推動(dòng)產(chǎn)業(yè)鏈創(chuàng)新需求的
    的頭像 發(fā)表于 08-26 18:20 ?5106次閱讀
    獲50家芯片企業(yè)合作!加碼芯片賽道,<b class='flag-5'>騰訊</b><b class='flag-5'>云</b>靠什么?

    英特爾攜手騰訊用CPU打造LLM時(shí)代數(shù)據(jù)中樞,共筑AGI基建

    英特爾攜手騰訊用CPU打造LLM時(shí)代數(shù)據(jù)中樞,共筑AGI基建
    的頭像 發(fā)表于 05-27 11:53 ?442次閱讀
    英特爾攜手<b class='flag-5'>騰訊</b><b class='flag-5'>云</b>用CPU打造LLM時(shí)代數(shù)據(jù)中樞,共筑AGI基建

    騰訊正式上線第八代服務(wù)器標(biāo)準(zhǔn)型實(shí)例S8和內(nèi)存型實(shí)例M8

    4月15日,騰訊正式上線第八代服務(wù)器標(biāo)準(zhǔn)型實(shí)例 S8和內(nèi)存型實(shí)例M8?;谧匝蟹?wù)器的高密設(shè)計(jì)與硬件升級,搭載第五代英特爾至強(qiáng)可擴(kuò)展處理器的騰訊
    的頭像 發(fā)表于 04-30 17:16 ?1894次閱讀
    <b class='flag-5'>騰訊</b><b class='flag-5'>云</b>正式上線第八代<b class='flag-5'>云</b>服務(wù)器標(biāo)準(zhǔn)型實(shí)例S8和內(nèi)存型實(shí)例M8

    騰訊與 IBM 共同打造“高性能計(jì)算服務(wù)解決方案”

    加以吞吐處理,以極高的速度提供新銳洞察,從而為復(fù)雜問題提供瞬間決策的能力。HPC 與 AI 的融合關(guān)系使得“高性能計(jì)算”成為重要?jiǎng)傂琛?緣此,近日 騰訊與 IBM 達(dá)成戰(zhàn)略合作,對優(yōu)勢產(chǎn)品及服務(wù)進(jìn)行深度集成,基于騰訊
    的頭像 發(fā)表于 12-22 18:55 ?536次閱讀
    <b class='flag-5'>騰訊</b><b class='flag-5'>云</b>與 IBM 共同打造“高性能計(jì)算服務(wù)解決方案”

    踏歌智行浴“雪”奮戰(zhàn)不下線 無人駕駛運(yùn)輸堅(jiān)守前線保生產(chǎn)

    運(yùn)行。 準(zhǔn)東礦區(qū)白雪皚皚為無人駕駛車輛感知與控制帶來挑戰(zhàn) 大雪紛飛,在作業(yè)路面上覆蓋厚厚一層,車輛來往,壓實(shí)了積雪,路面越來越滑,持續(xù)降雪也視野不清。為保障安全,礦區(qū)暫停了人工運(yùn)輸作業(yè)。如此的天氣環(huán)境易引發(fā)感知限停等難題,也對礦
    的頭像 發(fā)表于 12-19 19:05 ?564次閱讀

    【ELF 1開發(fā)板試用】+ 8.2 MQTT開發(fā)——連接騰訊【原創(chuàng)】

    MQTT開發(fā)——連接騰訊 前文我們基于文檔中提供的項(xiàng)目教程,復(fù)現(xiàn)ELF 1連接阿里物聯(lián)網(wǎng)平臺(tái),進(jìn)行了MQTT開發(fā),復(fù)現(xiàn)后,筆者就想“為何不試試其它平臺(tái)”,抱著整活學(xué)習(xí)的心,騰訊
    發(fā)表于 12-15 23:10

    明陽智能MySE18.X-20MW海上風(fēng)電機(jī)組下線

    MySE18.X-20MW機(jī)組的下線,是明陽堅(jiān)持技術(shù)創(chuàng)新,始終將推動(dòng)海上風(fēng)機(jī)容量大型化、高質(zhì)量發(fā)展視為己任的最好詮釋。明陽十年一劍,對大容量機(jī)組創(chuàng)新求索的腳步從未停歇,并一步一個(gè)腳印,始終
    的頭像 發(fā)表于 12-14 10:17 ?624次閱讀

    創(chuàng)新企業(yè)福利:騰訊 × NVIDIA 初創(chuàng)加速計(jì)劃

    助力生成式 AI、大模型訓(xùn)練與推理、自動(dòng)駕駛、圖像處理等場景初創(chuàng)企業(yè)加速成長,最高獲贈(zèng) 10 萬元扶持基金、NVIDIA 深度學(xué)習(xí)培訓(xùn)中心(DLI)優(yōu)惠課程,以及免費(fèi)的 GPU 技術(shù)支持。 騰訊
    的頭像 發(fā)表于 11-13 20:40 ?519次閱讀
    創(chuàng)新企業(yè)<b class='flag-5'>云</b>福利:<b class='flag-5'>騰訊</b><b class='flag-5'>云</b> × NVIDIA 初創(chuàng)加速計(jì)劃

    保姆級操作示例!騰訊MQTT功能的連接與實(shí)現(xiàn)

    本文將探討如何通過串口服務(wù)器實(shí)現(xiàn)與騰訊MQTT功能的連接,進(jìn)一步實(shí)現(xiàn)物聯(lián)網(wǎng)設(shè)備與云端的高效數(shù)據(jù)交互。騰訊的MQTT功能是一種基于發(fā)布/訂閱模式的消息傳輸協(xié)議,具有低帶寬占用、低耗電
    的頭像 發(fā)表于 11-03 08:21 ?1524次閱讀
    保姆級操作示例!<b class='flag-5'>騰訊</b><b class='flag-5'>云</b>MQTT功能的連接與實(shí)現(xiàn)