谷歌搜索算法究竟是怎么工作的？為什么谷歌不做搜索結(jié)果個(gè)性化？

谷歌搜索算法究竟是怎么工作的？谷歌如何調(diào)整和改變其搜索算法，依據(jù)的標(biāo)準(zhǔn)和進(jìn)行的測(cè)試是怎樣的？為什么谷歌不做搜索結(jié)果個(gè)性化？本文告訴你全部答案。

自特朗普總統(tǒng)指責(zé)谷歌操縱搜索結(jié)果以來(lái)，谷歌一直否認(rèn)其搜索系統(tǒng)存在任何政治偏見(jiàn)。

Google一下，凈說(shuō)我壞話！

盡管谷歌的個(gè)別員工在政治領(lǐng)域傾向于自由派，但沒(méi)有證據(jù)表明搜索引擎的結(jié)果故意偏向任何特定的意識(shí)形態(tài)。

監(jiān)管機(jī)構(gòu)和Yelp等競(jìng)爭(zhēng)對(duì)手批評(píng)谷歌通過(guò)其他網(wǎng)站的信息增強(qiáng)自己的服務(wù)，如地圖，職位發(fā)布，商業(yè)評(píng)論和旅游信息等。去年，歐盟對(duì)谷歌的購(gòu)物搜索結(jié)果開(kāi)出了27億美元的反托拉斯罰單，美國(guó)司法部副部長(zhǎng)Jeff Sessions則公開(kāi)調(diào)查包括谷歌在內(nèi)的科技企業(yè)是否正在扼殺競(jìng)爭(zhēng)。

為了揭開(kāi)它如何運(yùn)行其搜索引擎的神秘面紗，谷歌邀請(qǐng)CNBC參加了一個(gè)內(nèi)部會(huì)議，會(huì)上搜索業(yè)務(wù)的主管們討論是否要進(jìn)行一項(xiàng)變動(dòng)：在某些搜索結(jié)果旁邊放上圖片。

提議的更改很小，而且非常具體，谷歌的這項(xiàng)更改決定是數(shù)據(jù)驅(qū)動(dòng)的。會(huì)議表明了谷歌是如何實(shí)現(xiàn)搜索產(chǎn)品的巨大復(fù)雜性和漸進(jìn)式簡(jiǎn)潔的統(tǒng)一。

先來(lái)點(diǎn)基本知識(shí)：谷歌搜索的工作原理究竟是怎樣的？

人們有時(shí)會(huì)對(duì)Google搜索進(jìn)行擬人化，認(rèn)為搜索引擎“理解”了他們的查詢(xún)請(qǐng)求，比如用戶輸入“電影 排球島”，Google返回了湯姆·漢克斯的電影《荒島求生》的相關(guān)結(jié)果。

但是，搜索引擎其實(shí)并不知道這些詞是什么意思：而只是在搜索那些詞及其同義詞，甚至是常見(jiàn)的拼寫(xiě)錯(cuò)誤出現(xiàn)的頁(yè)面，以及和這些頁(yè)面相關(guān)度最高的頁(yè)面。

谷歌的程序（稱(chēng)為網(wǎng)絡(luò)抓取工具）會(huì)搜索互聯(lián)網(wǎng)，從數(shù)千億個(gè)網(wǎng)頁(yè)中收集信息。然后將這些數(shù)據(jù)存儲(chǔ)在一個(gè)巨大的、不斷變化的索引中，記錄信息的新鮮度和頁(yè)面創(chuàng)建位置等信號(hào)。當(dāng)用戶在搜索欄中輸入內(nèi)容時(shí)，會(huì)通過(guò)所謂Google搜索“算法”的一系列規(guī)則和流程提供這些信息和信號(hào)。在此過(guò)程中，將用戶的查詢(xún)請(qǐng)求與索引中的信息進(jìn)行比較，并確定出現(xiàn)在搜索結(jié)果頂部的頁(yè)面，這些過(guò)程都在幾分之一秒內(nèi)完成。

20年前，谷歌剛剛成立時(shí)，其中一個(gè)搜索排名指標(biāo)是PageRank，以谷歌聯(lián)合創(chuàng)始人拉里·佩奇的名字命名。PageRank根據(jù)有多少用戶鏈接到某頁(yè)面，判斷該頁(yè)面的與搜索內(nèi)容相關(guān)性。也就是說(shuō)，如果網(wǎng)上很多人發(fā)現(xiàn)一個(gè)頁(yè)面足夠有用，與其建立了鏈接，這個(gè)頁(yè)面就可能比大家都忽略的頁(yè)面的相關(guān)性更高。今天，PageRank仍然是Google算法尚在使用的排名因素之一。

谷歌故意沒(méi)有透露排名系統(tǒng)的全部指標(biāo)，部分原因是它不希望人們利用這些信息來(lái)玩弄搜索系統(tǒng)，因?yàn)槌霈F(xiàn)在搜索頁(yè)面頂部可以帶來(lái)大量的流量和經(jīng)濟(jì)利益。

對(duì)這些指標(biāo)保密，也有助于谷歌領(lǐng)先潛在的競(jìng)爭(zhēng)對(duì)手。

如何提升谷歌搜索排名？關(guān)注頁(yè)面的專(zhuān)業(yè)知識(shí)、權(quán)威性和可靠性

當(dāng)谷歌考慮改變搜索的算法時(shí)，會(huì)組建一個(gè)團(tuán)隊(duì)對(duì)一小部分真實(shí)用戶進(jìn)行測(cè)試，了解他們的搜索習(xí)慣，也會(huì)與名為“搜索質(zhì)量評(píng)估者”的承包商團(tuán)隊(duì)一起調(diào)查。

Google在全球范圍內(nèi)約有10000名評(píng)估者，雖然他們無(wú)法直接影響搜索結(jié)果，但他們的意見(jiàn)有助于Google的搜索小組評(píng)估是否應(yīng)該實(shí)施調(diào)整。評(píng)估者通常會(huì)同時(shí)查看新舊搜索結(jié)果，并確定哪個(gè)更好。

“更好”并不是一個(gè)純粹主觀的判斷。而是會(huì)由過(guò)去發(fā)布的搜索質(zhì)量評(píng)估指南文檔來(lái)定義，該文檔描述評(píng)估者應(yīng)如何判斷顯示在其結(jié)果中的頁(yè)面的好壞。文檔內(nèi)容特別關(guān)注頁(yè)面的專(zhuān)業(yè)知識(shí)、權(quán)威性和可信賴(lài)性。

“你可以將評(píng)估指南中的內(nèi)容視為我們希望搜索算法的發(fā)展方向?！盙oogle搜索、智能助理和新聞副總裁Ben Gomes表示?！八麄冸m然沒(méi)有告訴你算法如何對(duì)結(jié)果進(jìn)行排名，但從根本上說(shuō)明了算法應(yīng)該做什么。”

改不改，怎么改？一切由數(shù)據(jù)驅(qū)動(dòng)

谷歌在今年7月份對(duì)該指南進(jìn)行了一些重大更改，其中包括要求評(píng)估者考慮頁(yè)面作者的聲譽(yù)。因此，作者不明的頁(yè)面現(xiàn)在可能被評(píng)為低質(zhì)量頁(yè)面。

2017年，谷歌與其評(píng)估者共同進(jìn)行了31584次實(shí)驗(yàn)，并推出了2453次搜索規(guī)則更改。雖然這些更改會(huì)對(duì)任何給定網(wǎng)站的排名產(chǎn)生巨大影響，但普通谷歌搜索用戶通常根本不會(huì)注意到這些更改。

在CNBC本次受邀參加的會(huì)議中，測(cè)試團(tuán)隊(duì)測(cè)試了一種新的移動(dòng)搜索格式，在搜索結(jié)果旁邊顯示網(wǎng)頁(yè)上的照片及鏈接。他們假定這樣做可以幫助用戶更好地確定要點(diǎn)擊哪個(gè)鏈接，找到與搜索內(nèi)容最相關(guān)的頁(yè)面。

最終評(píng)估數(shù)據(jù)顯示，91％的情況下，評(píng)估者發(fā)現(xiàn)展示圖像很有用。在實(shí)時(shí)實(shí)驗(yàn)中，真實(shí)用戶也點(diǎn)擊了圖片。在權(quán)衡了增加圖片導(dǎo)致延遲增加與用戶體驗(yàn)的正反饋之后，Gomes和Nayak批準(zhǔn)了這次調(diào)整。

這次調(diào)整并沒(méi)有激烈的辯論或哲學(xué)上的探索，是數(shù)據(jù)推動(dòng)了這一決定。

“對(duì)此我們有嚴(yán)格的測(cè)試過(guò)程，” Gomes說(shuō)?！拔覀兊母膭?dòng)是數(shù)據(jù)指標(biāo)驅(qū)動(dòng)的，這是我們運(yùn)營(yíng)方式的核心?！?/p>

谷歌為什么不做個(gè)性化搜索？

谷歌會(huì)傾聽(tīng)用戶的反饋意見(jiàn)，包括一些由于結(jié)果錯(cuò)誤導(dǎo)致的丑聞事件，比如用戶曾發(fā)現(xiàn)谷歌將白人至上主義網(wǎng)站鏈接為“大屠殺是否發(fā)生？”的第一個(gè)搜索結(jié)果。如果出現(xiàn)明顯問(wèn)題，谷歌不僅要去掉糟糕的搜索結(jié)果。更常見(jiàn)的情況是，谷歌要試圖弄清楚如何更改其算法及其評(píng)估指南，以避免類(lèi)似的錯(cuò)誤。

通過(guò)不對(duì)搜索結(jié)果進(jìn)行個(gè)性化，谷歌擺脫了大部分Facebook和Twitter所遭受的批評(píng)——?jiǎng)?chuàng)建“過(guò)濾圈”（filter bubbles），也即用戶只看到他們?cè)揪蛢A向于相信或喜歡的信息。（谷歌的視頻產(chǎn)品YouTube則無(wú)法躲開(kāi)這種批評(píng)，尤其是它對(duì)于相關(guān)視頻的推薦算法。這兩種算法是完全獨(dú)立的，不是由同一個(gè)團(tuán)隊(duì)創(chuàng)建或維護(hù)。）

個(gè)性化也可能導(dǎo)致人們對(duì)谷歌失去信任。雖然谷歌沒(méi)有對(duì)其大部分搜索排名進(jìn)行個(gè)性化，但由于其收集的大量數(shù)據(jù)（Google允許用戶關(guān)于其收集的數(shù)據(jù)管理進(jìn)行隱私設(shè)置，但其方法在過(guò)去一直存在誤導(dǎo)性），其廣告非常個(gè)性化。

對(duì)于所有用戶測(cè)試，谷歌知道錯(cuò)誤不可避免，有時(shí)是因?yàn)橛腥斯室馄茐?，有時(shí)是則是因?yàn)樗惴ù嬖趩?wèn)題，還有的時(shí)候是因?yàn)榻Y(jié)果反映了社會(huì)偏見(jiàn)。

“我們并不認(rèn)為搜索是完美的，”Nayak說(shuō)：“但我們絕對(duì)致力于應(yīng)對(duì)我們所面臨的挑戰(zhàn)并繼續(xù)改進(jìn)。這就是人們?cè)谶@里做的事情?！?/p>

其他時(shí)候，算法更改的想法來(lái)自公司內(nèi)部的廣泛意見(jiàn)。 Nahak表示，一些員工長(zhǎng)期以來(lái)一直認(rèn)為谷歌搜索結(jié)果應(yīng)該更加個(gè)性化。目前，谷歌搜索個(gè)性化的內(nèi)容很少，現(xiàn)有的搜索重點(diǎn)是用戶的位置或先前搜索的直接上下文。 （例如，如果你搜索了與棒球有關(guān)的東西，然后是“巨人隊(duì)”，那么結(jié)果就不會(huì)影響到足球隊(duì)。）