基于大型網(wǎng)站的搜索引擎網(wǎng)頁(yè)更新方法研究

大型網(wǎng)站是網(wǎng)絡(luò)信息的核心，其信息規(guī)模之大，更新速度之快是中小型網(wǎng)站不可比擬的，對(duì)大型網(wǎng)站網(wǎng)頁(yè)搜索的好壞直接影響搜索引擎的整體性能。本文在分析分類網(wǎng)頁(yè)更新策略的基礎(chǔ)上，根據(jù)大型網(wǎng)站本身的特點(diǎn)提出了一種增量式信息更新方法。實(shí)驗(yàn)分析表明，這種增量式信息更新方法很大程度上提高了大型網(wǎng)站搜索引擎網(wǎng)頁(yè)的更新效率。
關(guān)鍵詞：大型網(wǎng)站；搜索引擎；更新
互聯(lián)網(wǎng)的飛速發(fā)展使網(wǎng)絡(luò)成為人們獲取信息的一個(gè)不可或缺的重要來(lái)源，基于Internet 的各類信息檢索服務(wù)應(yīng)運(yùn)而生并得到了迅速發(fā)展，據(jù)統(tǒng)計(jì)，搜索已經(jīng)成為第二大網(wǎng)絡(luò)應(yīng)用[1]。網(wǎng)絡(luò)信息的快速增長(zhǎng)和網(wǎng)頁(yè)動(dòng)態(tài)變化的特性使因信息更新或網(wǎng)址變動(dòng)造成的搜索引擎信息缺失日益增加，導(dǎo)致搜索引擎整體性能下降。因此，如何快速有效地對(duì)搜索引擎網(wǎng)頁(yè)進(jìn)行更新，保證索引信息的有效性，成為一個(gè)重要的研究課題。大型網(wǎng)站是提供網(wǎng)絡(luò)信息的核心，與中小型網(wǎng)站信息相比，大型網(wǎng)站具有信息量大、結(jié)構(gòu)化程度高、時(shí)效性強(qiáng)、更新速度快、更新周期不一致等特點(diǎn)。CNNIC 2003 年報(bào)告[2]顯示，排名前100 位的大型網(wǎng)站只占網(wǎng)站總數(shù)的1/6000，而網(wǎng)頁(yè)總數(shù)和網(wǎng)頁(yè)總字節(jié)數(shù)則占到1/10，可見對(duì)大型網(wǎng)站搜索的好壞直接影響搜索引擎的整體效果。
本文針對(duì)大型網(wǎng)站的特點(diǎn)提出了一種增量式搜索引擎網(wǎng)頁(yè)動(dòng)態(tài)更新方法。該方法根據(jù)大型網(wǎng)站網(wǎng)頁(yè)特征對(duì)其進(jìn)行分類，具有相同屬性的網(wǎng)頁(yè)組成一個(gè)子網(wǎng)站，不同的子網(wǎng)站采用不同的更新機(jī)制。對(duì)子網(wǎng)站的劃分充分體現(xiàn)了大型網(wǎng)站信息量大、結(jié)構(gòu)化程度高的特點(diǎn)，不同子網(wǎng)站采用不同的更新周期則適應(yīng)了不同類型網(wǎng)頁(yè)更新周期不一致的特征。