??? 摘 要：通過實驗對網頁結構和特點進行綜合分析，給出對網頁分塊的原則和方法，在分塊的基礎上根據網頁中噪音的出現規則提出了一種消除網頁噪音的方法，使搜索引擎對網頁的預處理階段有效消除網頁中的無關項和間接項的超連接，從而大大提高了搜索引擎的檢索質量。
??? 關鍵詞：檢索質量；分塊模型；搜索引擎

?

??? 隨著Internet的快速發展，大量的信息呈現在用戶面前，據統計，國內Web網頁數量達3億以上^[1]，上網用戶總人數達8 700萬，將獲取信息作為上網最主要目的網民所占比例最多，達到42.3%^[2]。數據表明，Internet已成為人們獲取信息的重要資源，而Google、Yahoo、百度、新浪、天網等中英文搜索引擎是人們徜徉信息海洋、獲取信息的工具。然而，人們面對如此豐富的Web資源，使用搜索引擎發現自己真正需要的信息卻并非容易。一方面，各搜索引擎不斷改進檢索技術來提高返回結果的精度，在一定程度上解決了人們獲取信息的問題；另一方面，由于搜索引擎自身的問題，返回的結果與用戶的要求仍有一定的距離，用戶對搜索引擎的滿意度不太高。主要表現為查詢結果中普遍存在大量的無關項和不含具體內容的間接項，造成搜索結果數量大、結果不精確、有用的結果淹沒在無用的結果之中的局面。用戶不得不花費大量的時間在查詢結果中尋找相關項，使得用搜索引擎來查找信息的目的難以達到。這種結果的原因之一是目前的搜索引擎沒有對網頁進行處理或只做了簡單的處理。
??? 目前的搜索引擎采用以關鍵字檢索為基礎的檢索技術^[3-4]，即搜索引擎按關鍵字對整個網頁進行索引和檢索。在這種處理方法中，所有出現在網頁中的字詞都被用作索引項，但實際的網頁中常常包含大量的與網頁主題無關的文字。例如，圖1和圖2是以“河北人民出版社”為關鍵字的檢索結果。圖1所示網頁的主要內容是關于2004十大印象圖書介紹，其中包括上海人民出版社出版的《達芬奇密碼》，在網頁中注明的出處是新華網河北頻道。在這個網頁中包含了“河北”和“人民出版社”，搜索引擎誤把它當做“河北人民出版社”的相關項。圖2所示網頁的主要內容是一些圖書的介紹，在左邊的導航欄中出現了河北人民出版社的連接，真正提供具體信息的應該是它指向的那個頁面，而那個頁面也應該能被檢索到，因此，圖2所示網頁是多余的間接項。

?

?

??? 如果搜索引擎在對網頁標引時，把整個網頁上不同主題、不同作用的文字混合在一起進行處理，那么，在檢索過程中根本無法排除如圖1所示的無關項。使用站點聚類技術，把出現在同一個站點上的結果項進行合并，雖然可以排除大部分如圖2所示的間接項，但是耗費了查詢時間。本文提出一種在標引前對網頁進行預處理的方法，能夠排除上述的無關項和間接項。
??? 目前的搜索引擎對網頁的預處理較簡單，幾乎保留了HTML網頁上所有的文字，這樣固然可以保證查全率，但從目前的網絡資源巨大豐富的角度來看，提高查準率對用戶更具有實際意義。在研究領域里，有人提出了基于HTML標記結構的規律對特定網站進行信息抽取^[5]，但不滿足搜索引擎對多種多樣的網站進行處理的要求；有人提出“語義塊”的概念對網頁內容分層，但沒有具體的實現方案^[6]；對于超連接的研究主要集中在對它所指向的頁面在檢索中的作用[7]，但很少有人研究超連接對網頁的負面影響。
1 HTML網頁的塊結構模型和解析方法
1.1 HTML網頁的塊結構模型
??? 通過對大量的網頁進行分析，發現人們在設計網頁時通常是把網頁設計成幾個區域，把不同主題、不同作用的文字安排在不同的區域。結合HTML標記的特點，認為網頁是由塊組成的，塊中可以再嵌套塊。因此，HTML網頁的塊結構模型是：{<塊起始標記><塊內容><塊結束標記>[，<塊起始標記><塊內容><塊結束標記>，…]}。其中，塊內容中可以再包含塊。實際的網頁大多是由多層的塊嵌套構成的。
1.2 分塊原則及算法
??? HTML塊標記有