資料介紹
針對Spark數(shù)據(jù)集不可變,以及Java虛擬機(jī)(JVM)依賴環(huán)境引起的代碼執(zhí)行、內(nèi)存管理、數(shù)據(jù)序列化/反序列化等開銷過多的不足,采用C/C++語言,設(shè)計(jì)并實(shí)現(xiàn)了一種輕量級的大數(shù)據(jù)運(yùn)算系統(tǒng)-Helius。Helius支持Spark的基本操作,同時(shí)允許數(shù)據(jù)集整體修改;同時(shí),Helius利用C/C++優(yōu)化內(nèi)存管理和網(wǎng)絡(luò)傳輸,并采用stateless worker機(jī)制簡化分布式計(jì)算平臺的容錯(cuò)恢復(fù)過程。實(shí)驗(yàn)結(jié)果顯示:5次迭代中,Helius運(yùn)行PageRank算法的時(shí)間僅為Spark的25. 12% - 53. 14%,運(yùn)行TPCH Q6的時(shí)間僅為Spark的57. 37%;在PageRank迭代1次的基礎(chǔ)上,運(yùn)行在Helius系統(tǒng)下時(shí),master節(jié)點(diǎn)IP接收和發(fā)送數(shù)據(jù)量約為運(yùn)行于Spark系統(tǒng)的40%和15%,而且200 s的運(yùn)行過程中,Helius占用的總內(nèi)存約為Spark的25%。實(shí)驗(yàn)結(jié)果與分析表明,與Spark相比,Helius具有節(jié)約內(nèi)存、不需要序列化和反序列化、減少網(wǎng)絡(luò)交互以及容錯(cuò)簡單等優(yōu)點(diǎn)。
- 輕量級的SDN數(shù)據(jù)包轉(zhuǎn)發(fā)驗(yàn)證方案 10次下載
- 基于Feistel結(jié)構(gòu)的超輕量級分組密碼算法 4次下載
- 基于輕量級虛擬化的LDDoS仿真攻防方法 6次下載
- 輕量級分布式機(jī)器學(xué)習(xí)系統(tǒng)及算法 16次下載
- 基于YOLO改進(jìn)的輕量級交通標(biāo)識檢測模型 12次下載
- 一種逐層分組卷積并構(gòu)建輕量級網(wǎng)絡(luò)結(jié)構(gòu)SKASNet 10次下載
- 一種輕量級時(shí)間卷積網(wǎng)絡(luò)設(shè)計(jì)方案 6次下載
- 基于位重排變換的超輕量級RFID雙向認(rèn)證協(xié)議 2次下載
- Protothreads極輕量級系統(tǒng)的詳細(xì)資料簡介
- 輕量級協(xié)議棧LWIP如何進(jìn)行分析與改進(jìn) 5次下載
- 一種超輕量級群組射頻識別標(biāo)簽所有權(quán)轉(zhuǎn)移協(xié)議 1次下載
- 一種輕量級的大數(shù)據(jù)分析系統(tǒng) 10次下載
- 輕量級RFID安全協(xié)議 22次下載
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計(jì)
- 一種嵌入式Linux輕量級GUI系統(tǒng)設(shè)計(jì)
- 基于Openharmony輕量級操作系統(tǒng)的分布式數(shù)據(jù)管理開發(fā)案例 579次閱讀
- Linux輕量級工具集合Busybox的特點(diǎn)和使用 1181次閱讀
- 一個(gè)輕量級的權(quán)限認(rèn)證框架:Sa-Token 1521次閱讀
- 分享一個(gè)適合單片機(jī)的輕量級日志庫 1155次閱讀
- 一個(gè)純Python編寫的輕量級數(shù)據(jù)庫 700次閱讀
- 針對單片機(jī)開發(fā)的輕量級OTA組件 1198次閱讀
- TinyDB輕量級數(shù)據(jù)庫有哪些特點(diǎn)呢 1328次閱讀
- 一款適合初學(xué)者超輕量級C語言網(wǎng)絡(luò)庫—Dyad 1594次閱讀
- 輕量級Kubernetes-K3S工具介紹 2297次閱讀
- 一種基于智慧運(yùn)營平臺,將大數(shù)據(jù)技術(shù)和數(shù)據(jù)挖掘技術(shù)相結(jié)合 7275次閱讀
- 一種網(wǎng)絡(luò)大數(shù)據(jù)協(xié)作融合算法 4383次閱讀
- 全球首款輕量級機(jī)械臂已經(jīng)出現(xiàn)了! 7398次閱讀
- 谷歌開源TFGAN輕量級的工具庫 目的是讓訓(xùn)練和評估GAN變得更加簡單 4810次閱讀
- 谷歌開發(fā)一個(gè)輕量級的庫——TFGAN 它可以讓生成對抗網(wǎng)絡(luò)更易于實(shí)驗(yàn) 5411次閱讀
- 一種AES密碼算法的實(shí)現(xiàn) 2922次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費(fèi)下載
- 0.00 MB | 1490次下載 | 免費(fèi)
- 2單片機(jī)典型實(shí)例介紹
- 18.19 MB | 92次下載 | 1 積分
- 3S7-200PLC編程實(shí)例詳細(xì)資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關(guān)電源原理及各功能電路詳解
- 0.38 MB | 10次下載 | 免費(fèi)
- 6基于AT89C2051/4051單片機(jī)編程器的實(shí)驗(yàn)
- 0.11 MB | 4次下載 | 免費(fèi)
- 7藍(lán)牙設(shè)備在嵌入式領(lǐng)域的廣泛應(yīng)用
- 0.63 MB | 3次下載 | 免費(fèi)
- 89天練會電子電路識圖
- 5.91 MB | 3次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費(fèi)
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費(fèi)
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費(fèi)
- 5555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33562次下載 | 免費(fèi)
- 6接口電路圖大全
- 未知 | 30320次下載 | 免費(fèi)
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費(fèi)
- 8開關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21539次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537791次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233045次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191183次下載 | 免費(fèi)
- 7十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183277次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138039次下載 | 免費(fèi)
評論
查看更多