億級ES數(shù)據(jù)搜索性能優(yōu)化

1

背景

2020年以來內(nèi)容標(biāo)注結(jié)果搜索就是社區(qū)中后臺業(yè)務(wù)的核心高頻使用場景之一，為了支撐復(fù)雜的后臺搜索，我們將社區(qū)內(nèi)容的關(guān)鍵信息額外存了一份到Elasticsearch中作為二級索引使用。隨著標(biāo)注業(yè)務(wù)的細(xì)分、迭代和時間的推移，這個索引的文檔數(shù)和搜索的RT開始逐步上升。 下面是這個索引當(dāng)前的監(jiān)控情況。

本文介紹社區(qū)利用IndexSorting，將億級文檔搜索性能由最開始2000ms優(yōu)化到50ms的過程。如果大家遇到相似的問題和場景，相信看完之后一定能夠一行代碼成噸收益。

2

探索過程

2.1 初步優(yōu)化

最開始需求很簡單，只需要取最新發(fā)布的動態(tài)分頁展示。這時候?qū)崿F(xiàn)也是簡單粗暴，滿足功能即可。查詢語句如下：

GET /content-alias/_search
{
  "track_total_hits": true,
  "sort": [
    {
      "publish_time": {
        "order": "desc"
      }
    }
  ],
  "size": 10
}

由于首頁加載時沒加任何篩選條件，于是變成了從億級內(nèi)容庫中找出最新發(fā)布的10條內(nèi)容。

針對這個查詢很容易發(fā)現(xiàn)問題出現(xiàn)在大結(jié)果集的排序，要解決問題，自然的想到了兩條路徑：

去掉sort

縮小結(jié)果集

經(jīng)過用戶訴求和開發(fā)成本的權(quán)衡后，當(dāng)時決定“先扛住，再優(yōu)化”：在用戶打開首頁的時候，默認(rèn)增加“發(fā)布時間在最近一周內(nèi)”的篩選條件，這時語句變成了：

GET /content-alias/_search
{
  "track_total_hits": true,
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "publish_time": {
              "gte": 1678550400,
              "lt": 1679155200
            }
          }
        }
      ]
    }
  },
  "sort": [
    {
      "publish_time": {
        "order": "desc"
      }
    }
  ],
  "size": 10
}

這個改動上線后，效果可以說是立竿見影，首頁加載速度立馬降到了200ms以內(nèi)，平均RT60ms。這次改動也為我們減小了來自業(yè)務(wù)的壓力，為后續(xù)的優(yōu)化爭取了不少調(diào)研的時間。

雖然搜索首頁的加載速度明顯快了，但是并沒有實(shí)際解決根本問題——ES大結(jié)果集指定字段排序還是很慢。對業(yè)務(wù)來說，結(jié)果頁上的一些邊界功能的體驗(yàn)依舊不能盡如人意，比如導(dǎo)出、全量動態(tài)的搜索等等。這一點(diǎn)從監(jiān)控上也能夠較明顯的看出：慢查詢還是存在，并且還伴隨著少量的接口超時。

老實(shí)說這個時期我們對于ES的了解還比較基礎(chǔ)，只能說會用、知道分片、倒排索引、相關(guān)性打分，然后就沒有了?？傊覀冇辛朔较颍_始奮起直追。

2.2 細(xì)致打磨

2.2.1 知識積累

帶著之前遺留的問題，我們開始開始重新出發(fā)，從頭學(xué)習(xí)ES。要優(yōu)化搜索性能，首先我們要知道的是搜索是怎么做的。下面我們就以一個最簡單的搜索為例，拆解一下整個搜索請求的過程。

（1）搜索請求

GET /content-alias/_search
{
  "track_total_hits":false,
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "category_id.keyword": "xxxxxxxx"
          }
        }
      ]
    }
  }, 
  "size": 10
}

精確查詢category_id為"xxxxxxxx"的文檔，取10條數(shù)據(jù)，不需要排序，不需要總數(shù)

總流程分3步：

客戶端發(fā)起請求到Node1

Node1作為協(xié)調(diào)節(jié)點(diǎn)，將請求轉(zhuǎn)發(fā)到索引的每個主分片或副分片中，每個分片在本地執(zhí)行查詢。

每個節(jié)點(diǎn)返回各自的數(shù)據(jù)，協(xié)調(diào)節(jié)點(diǎn)匯總后返回給客戶端

如圖可以大致描繪這個過程：

我們知道ES是依賴Lucene提供的能力，真正的搜索發(fā)生在Lucene中，還需要繼續(xù)了解Lucene中的搜索過程。

（2）Lucene

Lucene中包含了四種基本數(shù)據(jù)類型，分別是：

Index：索引，由很多的Document組成。

Document：由很多的Field組成，是Index和Search的最小單位。

Field：由很多的Term組成，包括Field Name和Field Value。

Term：由很多的字節(jié)組成。一般將Text類型的Field Value分詞之后的每個最小單元叫做Term。

在介紹Lucene index的搜索過程之前，這里先說一下組成Lucene index的最小數(shù)據(jù)存儲單元——Segment。

Lucene index由許許多多的Segment組成，每一個Segment里面包含著文檔的Term字典、Term字典的倒排表、文檔的列式存儲DocValues以及正排索引。它能夠獨(dú)立的直接對外提供搜索功能，幾乎是一個縮小版的Lucene index。

（3）Term字典和倒排表

上圖是Term字典和其倒排表的大致樣子 當(dāng)然這里還有些重要數(shù)據(jù)結(jié)構(gòu)，比如：

FST：term索引，在內(nèi)存中構(gòu)建?？梢钥焖賹?shí)現(xiàn)單Term、Term范圍、Term前綴和通配符查詢。

BKD-Tree：用于數(shù)值類型(包括空間點(diǎn))的快速查找。

SkipList：倒排表的數(shù)據(jù)結(jié)構(gòu)

這里面的細(xì)節(jié)比較多，感興趣的可以單獨(dú)了解，這里不影響我們的整體搜索流程，不過多贅述。 有了Term字典和倒排表我們就能直接拿到搜索條件匹配的結(jié)果集了，接下來只需要通過docID去正排索引中取回整個doc然后返回就完事兒了。 這是ES的基本盤理論上不會慢，我們猜測慢查詢發(fā)生在排序上。那給請求加一個排序會發(fā)生什么呢？比如：

GET /content-alias/_search
{
  "track_total_hits":false,
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "category_id.keyword": "xxxxxxxx"
          }
        }
      ]
    }
  }, 
  "sort": [
    {
      "publish_time": {
        "order": "desc"
      }
    }
  ],
  "size": 10
}

通過倒排表拿到的docId是無序的，現(xiàn)在指定了排序字段，最簡單直接的辦法是全部取出來，然后排序取前10條。這樣固然能實(shí)現(xiàn)效果，但是效率卻是可想而知。那么Lucene是怎么解決的呢？

（4）DocValues

倒排索引能夠解決從詞到文檔的快速映射，但需要對檢索結(jié)果進(jìn)行分類、排序、數(shù)學(xué)計算等聚合操作時需要文檔號到值的快速映射。而正排索引又過于臃腫龐大，怎么辦呢？

這時候各位大佬可能就直接想到了列式存儲，沒有錯，Lucene就引入了基于docId的列式存儲結(jié)構(gòu)——DocValues

文檔號	列值	列值映射
0	2023-01-13	2
1	2023-01-12	1
2	2023-03-13	3

比如上表中的DocValues=[2023-01-13, 2023-01-12,2023-03-13]

如果列值是字符串，Lucene會把原來的字符串值按照字典排序生成數(shù)字ID，這樣的預(yù)處理能進(jìn)一步加快排序速度。于是我們得到了DocValues=[2, 1, 3]

Docvalues的列式存儲形式可以加快我們的遍歷的速度。到這里一個常規(guī)的搜索取前N條記錄的請求算是真正的拆解完成。這里不討論詞頻、相關(guān)性打分、聚合等功能的分析，所以本文對整個過程和數(shù)據(jù)結(jié)構(gòu)做了大幅簡化。如果對這部分感興趣，歡迎一起討論。

此時排序慢的問題也逐漸浮出了水面：盡管Docvalues又是列式存儲，又是將復(fù)雜值預(yù)處理為簡單值避免了查詢時的復(fù)雜比較，但是依舊架不住我們需要排序的數(shù)據(jù)集過大。

看起來ES盡力了，它好像確實(shí)不擅長解決我們這個場景的慢查詢問題。

不過有靈性的各位讀者肯定想到了，如果能把倒排表按照我們預(yù)先指定的順序存儲好，就能省下整個排序的時間。

2.2.2 IndexSorting

很快ES官方文檔《How to tune for search speed》中提到了一個搜索優(yōu)化手段——索引排序(Index Sorting)出現(xiàn)在了我們的視野中。

從文檔上的描述我們可以知道，索引排序?qū)τ谒阉餍阅艿奶嵘饕趦蓚€方面：

對于多條件并列查詢（a and b and ...），索引排序可以幫助我們把不符合條件的文檔存在一起，跳過大量的不匹配的文檔。但是此技巧僅適用于經(jīng)常用于篩選的低基數(shù)字段。

提前中斷：當(dāng)搜索排序和索引排序指定的順序一樣時，只需要比較每個段的前 N 個文檔，其他的文檔僅需要用于總數(shù)計算。比如：我們的文檔中有一個時間戳，而我們經(jīng)常需要按照時間戳來搜索和排序，這時候如果指定的索引排序和搜索排序一致，通常能夠極大的提高搜索排序的效率。

提前中斷?。?！簡直是缺什么來什么，于是我們開始圍繞這一點(diǎn)展開調(diào)研。

（1）開啟索引排序

PUT /content
{
    "settings": {
        "index": {
            "sort.field": "publish_time", // 可指定多個字段
            "sort.order": "desc"
        }
    },
    "mappings": {
        "properties": {
            "content_id": {
                "type": "long"
            },
            "publish_time": {
                "type": "long"
            },
            ...
        }
    }
}

如上面的例子，文檔在寫入磁盤時會按照 publish_time 字段的遞減序進(jìn)行排序。

在前面的段落中我們反復(fù)提到了docID和正排索引。這里我們順帶簡單介紹下他們的關(guān)系，首先Segment中的每個文檔，都會被分配一個docID，docID從0開始，順序分配。在沒有IndexSorting時，docID是按照文檔寫入的順序進(jìn)行分配的，在設(shè)置了IndexSorting之后，docID的順序就與IndexSorting的順序一致。

下圖描述了docID和正排索引的關(guān)系:

那么再次回頭來看看我們最開始的查詢：

GET /content-alias/_search
{
  "track_total_hits":true,
  "sort": [
    {
      "publish_time": {
        "order": "desc"
      }
    }
  ],
  "size": 10
}

在Lucene中進(jìn)行查詢時，發(fā)現(xiàn)結(jié)果集的倒排表順序剛好是publish_time降序排序的，所以查詢到前10條數(shù)據(jù)之后即可返回，這就做到了提前中斷，省下了排序開銷。那么代價是什么呢？

（2）代價

IndexSorting和查詢時排序不一樣，本質(zhì)是在寫入時對數(shù)據(jù)進(jìn)行預(yù)處理。所以排序字段只能在創(chuàng)建時指定且不可更改。并且由于寫入時要對數(shù)據(jù)進(jìn)行排序，所以也會對寫入性能也會有一定負(fù)面影響。

之前我們提到了Lucene本身對排序也有各種優(yōu)化，所以如果搜索結(jié)果集本身沒有那么多的數(shù)據(jù)，那么就算不開啟這個功能，也能有不錯的RT。

另外由于多數(shù)時候還是要計算總數(shù)，所以開啟索引排序之后只能提前中斷排序過程，還是要對結(jié)果集的總數(shù)進(jìn)行count。如果能夠不查總數(shù)，或者說通過另外的方式獲取總數(shù)，那么能夠更好的利用這個特性。

小結(jié)：

針對大結(jié)果集的排序取前N條的場景下，索引排序能顯著提高搜索性能。

索引排序只能在創(chuàng)建索引時指定，不可更改。如果你有多個指定字段排序的場景，可能需要慎重選擇排序字段。

不獲取總數(shù)能更好的利用索引排序。

開啟索引排序會一定程度降低寫性能。這里貼一條ElaticsearchBenchmarks的數(shù)據(jù)截圖供大家參考。

見：Elasticsearch Benchmarks

2.3 效果

由于我們的業(yè)務(wù)遠(yuǎn)遠(yuǎn)沒有達(dá)到ES的寫入瓶頸，而且也少有頻繁變更排序字段的場景。在經(jīng)過短暫的權(quán)衡之后，確定索引排序正是我們需要的，于是開始使用線上真實(shí)數(shù)據(jù)對索引排序的效果進(jìn)行簡單的性能測試。

（1）性能測試：首頁

（2）性能測試：其他

這里開啟索引排序后，隨機(jī)幾個常規(guī)條件和時間窗口的搜索組合測試

可以看到效果非常明顯，沒有以前的那種尖刺，RT也很穩(wěn)定，于是我們決定正式上線這個功能。

（3）線上效果

慢查詢

整體前后對比

和我們預(yù)期的基本一樣，搜索RT大幅降低，慢查詢完全消失。

2.4后續(xù)優(yōu)化

在探索過程中，其實(shí)還發(fā)現(xiàn)了一些其他的優(yōu)化手段，鑒于開發(fā)成本和收益，有些我們并沒有完全應(yīng)用于生產(chǎn)環(huán)境。這里列出其中幾點(diǎn)，希望能給大家一些啟發(fā)。

不獲取總數(shù): 大部分場景下，不查詢總數(shù)都能減少開銷，提高性能。ES 7.x之后的搜索接口默認(rèn)不返回總數(shù)了，由此可見一斑。

自定義routing規(guī)則: 從上文的查詢過程我們可以看到，ES會輪詢所有分片以獲取想要的數(shù)據(jù)，如果我們能控制數(shù)據(jù)的分片落點(diǎn)，那么也能節(jié)省不少開銷。比如說：如果我們將來如果有大量的場景都是查某個用戶的動態(tài)，那么可以控制按照用戶分片，這樣就避免了分片輪詢，也能提升搜索效率。

keyword: 不是所有的數(shù)字都應(yīng)該按照數(shù)值字段來存，如果你的數(shù)字值很少用于范圍查詢，但是經(jīng)常被用作term查詢，并且對搜索rt很敏感。那么keyword才是最適合的存儲方式。

數(shù)據(jù)預(yù)處理：就像IndexSoting一樣，如果我們能夠在寫入時預(yù)處理好數(shù)據(jù)，也能節(jié)省搜索時的開銷。這一點(diǎn)配合_ingest/pipeline 也許能發(fā)揮意想不到的效果。

3

寫在最后

相信看到這里的大家都能看出，我們的優(yōu)化中也沒有涉及到十分高深的技術(shù)難點(diǎn)，我們只是在解決問題的過程中，逐步從小白轉(zhuǎn)變成了一個初學(xué)者。來一個大牛也許從一開始就能直接繞過我們的彎路，不過萬里之行始于足下，最后這里總結(jié)一點(diǎn)經(jīng)驗(yàn)和感受分享給大家，希望能給與我們一樣的初學(xué)者一些參考。

ES在大結(jié)果集指定字段排序的場景下性能不佳，我們使用時應(yīng)該盡量避免出現(xiàn)這種場景。如果無法避免，合適的IndexSorting設(shè)置能大幅提升排序性能。