0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

可快速閱讀、查看Nginx日志的工具Rhit

Linux愛好者 ? 來源:開源前哨 ? 作者:開源前哨 ? 2021-04-04 18:01 ? 次閱讀

【導(dǎo)語】:一個格式化 Nginx 日志,可快速閱讀、查看 Nginx 日志的工具。

簡介

Rhit 可以從標(biāo)準(zhǔn)文件夾中讀取 Nginx 的日志文件(gzipped 的壓縮文件也可以),并進(jìn)行分析統(tǒng)計,在控制臺中以可視化的表格形式展示,并且不會產(chǎn)生任何多余的臨時文件或數(shù)據(jù)。

可以按照日期、響應(yīng)值、請求來源等進(jìn)行過濾匹配,并進(jìn)行分析,Rhit 具有很高的效率,每秒可以處理百萬行日志數(shù)據(jù)。

以下是在一月份的日志中查找狀態(tài)碼為 1xx、2xx 的結(jié)果:

6d59dc34-8d80-11eb-8b86-12bb97331649.png

安裝

直接下載使用編譯好的二進(jìn)制文件,但是需要確保shell能夠找到rhit二進(jìn)制文件,一個比較容易的處理方式就是把它放到/usr/local/bin目錄下,并且為它添加可執(zhí)行權(quán)限。

chmod +x rhit

從crates.io安裝,依賴Rust環(huán)境,使用以下命令安裝:

cargo install rhit

源碼安裝,依賴Rust環(huán)境,將github源碼clone之后,進(jìn)入到rhit文件夾,運(yùn)行以下命令:

cargo install --path 。

顯示字段

rhit可以自動打開默認(rèn)目錄下的nginx日志文件,也可以在命令行參數(shù)中指定日志路徑:

rhit my/archived/logs

nginx常見的日志行是這樣的:

178.133.125.122 - - [21/Jan/202149:52 +0000] “HEAD /broot/download/x86_64-pc-windows-gnu/broot.exe HTTP/1.1” 200 0 “-” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”

它由幾個字段組成:日期、遠(yuǎn)程IP地址、路徑、發(fā)送的字節(jié)等。rhit可以執(zhí)行對表格進(jìn)行排序的字段列表,如果未指定,默認(rèn)按照日期、狀態(tài)碼、來源和路徑來顯示,如果要制定多個字段,使用逗號進(jìn)行分割,如-f date,status;顯示所有字段,使用-f all。

基于日期。使用--field date,或者縮寫為-f date。默認(rèn)情況下,條形圖的長度基于命中數(shù)量進(jìn)行統(tǒng)計,也可以修改排序鍵以基于發(fā)送字節(jié)數(shù)進(jìn)行統(tǒng)計。

6d7a8204-8d80-11eb-8b86-12bb97331649.png

基于IP。默認(rèn)情況下不顯示遠(yuǎn)程IP,可以使用rhit -f ip進(jìn)行顯示。

6d9fddec-8d80-11eb-8b86-12bb97331649.png

基于請求方法。默認(rèn)不顯示HTTP請求方法,可以使用rhit -f method進(jìn)行顯示。

6dde7624-8d80-11eb-8b86-12bb97331649.png

基于路徑。命令為rhit -f path

6e011a94-8d80-11eb-8b86-12bb97331649.png

基于Referer。命令為rhit -f ref

6e3b15aa-8d80-11eb-8b86-12bb97331649.png

基于狀態(tài)碼。命令為rhit -f status

6e750616-8d80-11eb-8b86-12bb97331649.png

篩選

Rhit提供了一些過濾器,用于篩選結(jié)果列表,展示自己想看到或者不想看到的一些數(shù)據(jù)。

按日期篩選。精確到天,日期格式是年/月/日,如篩選2021/2/15到2021/2/20的數(shù)據(jù),也可以篩選大于某個時間、小于某個時間或不包含某個時間(使用‘》’,‘《’,‘!’符號):

6eade396-8d80-11eb-8b86-12bb97331649.png

按遠(yuǎn)程IP篩選。參數(shù)為-i,篩選特定的IP,或者排除某個特定的IP(使用‘!’符號)。

按請求方法篩選。參數(shù)為-m,篩選特定方法,或者排除特定的方法。

按請求路徑篩選,參數(shù)為-p,可以精確匹配,也可以使用正則表達(dá)式(例如所有路徑均以“download”開頭且以“exe”:結(jié)尾,參數(shù)為 -p ‘download.*exe$’):

6ee1c2ba-8d80-11eb-8b86-12bb97331649.png

按Referer篩選。參數(shù)為-r,與按路徑篩選的語法一致:

6f16c406-8d80-11eb-8b86-12bb97331649.png

按狀態(tài)碼篩選。參數(shù)為-s,篩選特定狀態(tài)碼,或者排除特定的狀態(tài)碼。

組合篩選。以上方式可以任意組合。

排序鍵

默認(rèn)情況下,所有表都按照hits進(jìn)行排序,這就是排序鍵,排序鍵的所有值都以粉紅色顯示,包括直方圖。如果對發(fā)送字節(jié)數(shù)更感興趣,可以將排序鍵修改為bytes,使用-k b進(jìn)行更改:

6f6d39c6-8d80-11eb-8b86-12bb97331649.png

原文標(biāo)題:Rhit:高效可視化 Nginx 日志查看工具,每秒處理百萬行日志數(shù)據(jù)

文章出處:【微信公眾號:Linux愛好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    6760

    瀏覽量

    88616
  • nginx
    +關(guān)注

    關(guān)注

    0

    文章

    141

    瀏覽量

    12146

原文標(biāo)題:Rhit:高效可視化 Nginx 日志查看工具,每秒處理百萬行日志數(shù)據(jù)

文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    Jtti:如何查看yum命令的錯誤日志來診斷問題?

    在Linux系統(tǒng)中,當(dāng)yum命令無法正常工作時,查看錯誤日志是診斷問題的重要步驟。以下是一些方法,可以幫助你查看和分析yum命令的錯誤日志查看
    的頭像 發(fā)表于 10-14 15:51 ?92次閱讀

    Jtti:美國VPS開啟nginx狀態(tài)監(jiān)控,查看web服務(wù)器的并發(fā)連接數(shù)

    Nginx的ngx_http_stub_status_module提供能夠獲取Nginx自上次啟動以來的工作狀態(tài)的功能。如果需要啟用此功能的話,需要在編譯的過程中添加如下參數(shù)
    的頭像 發(fā)表于 08-26 15:42 ?166次閱讀

    更強(qiáng)的無線(雙)串口數(shù)據(jù)記錄 調(diào)試工具

    ,通過網(wǎng)絡(luò)可在線查看歷史日志(無需斷電),實(shí)時日志,無線調(diào)試;設(shè)計此工具的初心是希望可以替代傳統(tǒng)的usb轉(zhuǎn)串口工具,方便設(shè)備數(shù)據(jù)采集和串口數(shù)
    的頭像 發(fā)表于 08-02 08:11 ?430次閱讀
    更強(qiáng)的無線(雙)串口數(shù)據(jù)記錄 調(diào)試<b class='flag-5'>工具</b>

    InDTU300系列產(chǎn)品如何輸出實(shí)時日志?

    電腦連接InDTU維護(hù)串口/串口2,登錄后在配置工具設(shè)置界面,選擇高級模式。 找到“其他配置(應(yīng)用擴(kuò)展配置)”,”是否為調(diào)試模式“項選擇“是(串口2)”,調(diào)試模式等級選擇顯示詳細(xì)日志。 點(diǎn)擊右下角
    發(fā)表于 07-25 06:05

    nginx重啟命令linux步驟是什么?

      1、驗證nginx配置文件是否正確   方法一:進(jìn)入nginx安裝目錄sbin下,輸入命令./nginx -t   看到如下顯示nginx.conf syntax is ok
    發(fā)表于 07-11 17:13

    nginx重啟命令linux步驟是什么?

      1、驗證nginx配置文件是否正確   方法一:進(jìn)入nginx安裝目錄sbin下,輸入命令./nginx -t   看到如下顯示nginx.conf syntax is ok
    發(fā)表于 07-10 16:40

    什么是Apache日志?Apache日志分析工具介紹

    Apache Web 服務(wù)器在企業(yè)中廣泛用于托管其網(wǎng)站和 Web 應(yīng)用程序,Apache 服務(wù)器生成的原始日志提供有關(guān) Apache 服務(wù)器托管的網(wǎng)站如何處理用戶請求以及訪問您的網(wǎng)站時經(jīng)常遇到的錯誤的重要信息。
    的頭像 發(fā)表于 01-04 10:09 ?732次閱讀

    西門子博途數(shù)據(jù)日志的使用

    數(shù)據(jù)日志文件以 CSV 格式存儲在永久性閃存中??梢允褂靡韵聝煞N方法管理、查看數(shù)據(jù)日志。
    的頭像 發(fā)表于 12-20 10:37 ?3380次閱讀
    西門子博途數(shù)據(jù)<b class='flag-5'>日志</b>的使用

    oracle數(shù)據(jù)庫alert日志作用

    Oracle數(shù)據(jù)庫alert日志的作用、結(jié)構(gòu)和重要內(nèi)容。 一、alert日志的作用 異常檢測和排查:alert日志能夠記錄數(shù)據(jù)庫引擎和實(shí)例發(fā)生的異常情況,如啟動、關(guān)閉、崩潰和重啟等。當(dāng)數(shù)據(jù)庫出現(xiàn)問題時,通過分析alert
    的頭像 發(fā)表于 12-06 10:08 ?1094次閱讀

    redis容器內(nèi)怎么查看redis日志

    redis是一款流行的開源內(nèi)存數(shù)據(jù)庫,常用于緩存、消息隊列、任務(wù)管理等場景。在使用redis時,了解如何查看redis日志對于排查問題、監(jiān)控性能和分析應(yīng)用程序行為非常重要。在本文中,我們將介紹在
    的頭像 發(fā)表于 12-05 10:10 ?3216次閱讀

    logcat命令抓取日志方法

    命令抓取日志 logcat -b main -b system -b crash -r 1024 -n 5 -f android.log -v threadtime -b:加載可供查看的緩沖區(qū)的日志
    的頭像 發(fā)表于 11-23 17:31 ?963次閱讀
    logcat命令抓取<b class='flag-5'>日志</b>方法

    kernel日志寫入logd介紹

    kernel獲取kernel日志,依賴于如下屬性值,具體查看源碼xxx/system/logging/logd/main.cpp中有體現(xiàn)。 2.3.3 詳細(xì)總結(jié)流程 2.3.3.1 logd的日志流程
    的頭像 發(fā)表于 11-23 17:11 ?555次閱讀
    kernel<b class='flag-5'>日志</b>寫入logd介紹

    Nginx 如何實(shí)現(xiàn)高性能低消耗

    Nginx 是一個輕量級的HTTP 服務(wù)程序,相比其他服務(wù)器程序如Apache,Nginx占用內(nèi)存少,穩(wěn)定性高,并發(fā)處理能力強(qiáng)。同時Nginx 還是一個反向代理服務(wù)程序,和郵件代理服務(wù)程序
    的頭像 發(fā)表于 11-11 11:31 ?523次閱讀
    <b class='flag-5'>Nginx</b> 如何實(shí)現(xiàn)高性能低消耗

    Nginx目錄結(jié)構(gòu)有哪些

    什么是Nginx? Nginx是一個 輕量級/高性能的反向代理Web服務(wù)器,他實(shí)現(xiàn)非常高效的反向代理、負(fù)載平衡,他可以處理2-3萬并發(fā)連接數(shù),官方監(jiān)測能支持5萬并發(fā),現(xiàn)在中國使用nginx網(wǎng)站用戶有
    的頭像 發(fā)表于 11-11 11:27 ?567次閱讀
    <b class='flag-5'>Nginx</b>目錄結(jié)構(gòu)有哪些

    C++異步日志實(shí)踐

    一個高效拓展的異步C++日志庫:RING LOG,本文分享了了其設(shè)計方案與技術(shù)原理等內(nèi)容 導(dǎo)論 同步日志與缺點(diǎn) 傳統(tǒng)的日志也叫同步日志,每
    的頭像 發(fā)表于 11-09 10:29 ?592次閱讀
    C++異步<b class='flag-5'>日志</b>實(shí)踐