DataReporter數(shù)據(jù)上報(bào)框架

DataReporter?是一款跨平臺(tái)的數(shù)據(jù)上報(bào)框架，能夠保證對(duì)業(yè)務(wù)性能無影響。同時(shí)保證上報(bào)數(shù)據(jù)不丟失，即使上報(bào)過程 App 出現(xiàn)了crash，數(shù)據(jù)也不會(huì)丟失，App下次重啟會(huì)再次上報(bào)。

適用于 android 和 iOS 平臺(tái)。目前得到App在使用。每天百萬日活，沒有出現(xiàn)數(shù)據(jù)丟失問題。?

相比其他 log 上報(bào)軟件的設(shè)計(jì)，DataReporter 更適合的是用戶數(shù)據(jù)上報(bào)。因?yàn)橛脩魯?shù)據(jù)的上報(bào)是準(zhǔn)實(shí)時(shí)需求，有網(wǎng)情況要盡可能快的報(bào)到服務(wù)端，同時(shí)要保證數(shù)據(jù)不丟失。而 log 上報(bào)框架對(duì)于數(shù)據(jù)實(shí)時(shí)性上報(bào)要求并不高，所以對(duì)于數(shù)據(jù)的準(zhǔn)實(shí)時(shí)上報(bào)，使用DataReporter上報(bào)框架更適合一些。

特點(diǎn)：

1. 跨平臺(tái)，DataReporter是跨平臺(tái)實(shí)現(xiàn)，適用于Android和iOS。
2. 準(zhǔn)實(shí)時(shí)上報(bào)，網(wǎng)絡(luò)狀態(tài)好，直接上報(bào)，網(wǎng)絡(luò)狀態(tài)不好在網(wǎng)絡(luò)轉(zhuǎn)好后上報(bào)，同時(shí)上報(bào)順序不亂序。
3. 不丟數(shù)據(jù)，采用mmap實(shí)現(xiàn)緩沖區(qū)。即使發(fā)生應(yīng)用crash或者進(jìn)程被殺，數(shù)據(jù)不會(huì)丟失，下次啟動(dòng)會(huì)再次上報(bào)。
4. 低功耗，采用c++實(shí)現(xiàn)，整個(gè)上報(bào)共用一個(gè)線程，多實(shí)例多業(yè)務(wù)場景共用同一線程，當(dāng)數(shù)據(jù)全部上報(bào)完成后，線程休眠。
5. 高效率，可配置一次上報(bào)數(shù)據(jù)條數(shù)。增加上報(bào)效率。有效利用網(wǎng)絡(luò)。減少鏈接次數(shù)。同時(shí)采用native方式實(shí)現(xiàn)，性能方面更優(yōu)秀。

原理

數(shù)據(jù)通過調(diào)用接口進(jìn)入DataReporter，先緩存到數(shù)據(jù)緩沖區(qū)，緩沖區(qū)實(shí)現(xiàn)是mmap，即使發(fā)生crash數(shù)據(jù)不丟失。然后啟動(dòng)線程進(jìn)行上報(bào)。上報(bào)開始調(diào)用上報(bào)接口。成功后調(diào)用者通知上報(bào)完成，開始進(jìn)行下一批數(shù)據(jù)上報(bào)。當(dāng)上層調(diào)用過快，緩沖區(qū)數(shù)據(jù)達(dá)到指定閾值，數(shù)據(jù)開始下沉寫入文件。寫文件緩沖區(qū)同樣采用mmap實(shí)現(xiàn)，防止數(shù)據(jù)丟失。上報(bào)優(yōu)先級(jí)是先取文件數(shù)據(jù)，然后再取內(nèi)存數(shù)據(jù)。保證數(shù)據(jù)順序與調(diào)用順序相同。