什么是并行搜索技術

并行搜索引擎(又稱集成搜索引擎、元搜索引擎、大型搜索引擎)是一種可同時檢索多個搜索引擎，并以統一的檢索界面返回檢索結果的檢索工具，其結構模型如圖1 所示。Metacrawler 是世界上第1 個并行搜索引擎，它使用幾大頂級搜索引擎(Google, hoo, About 等)進行并行搜索，返回最相關的檢索結果，從而使網頁檢索更容易。并行搜索引擎通過其轉換功能，將檢索用詞轉換為搜索引擎可接受的形式，并提交給搜索引擎，用于查找匹配記錄、進行記錄去重及檢索結果整合。由于并行搜索引擎能協同檢索多個搜索引擎，忽略其數據來源的結構差異，剔除相互之間的重復記錄，并檢驗檢索結果信息的有效性，因此可獲得高質量的檢索效果。

圖1 并行搜索引擎的基本結構模型
與獨立搜索引擎相比，并行搜索引擎有4 個優勢：
(1)檢索信息擴大對Internet 的覆蓋范圍。研究表明，Internet 數據增長速度比獨立引擎索引網絡數據的速度快很多，導致主流的獨立搜索引擎對Internet 的覆蓋范圍逐步下降，而并行搜索引擎可以緩解該矛盾。
(2)提高信息檢索的擴展性。使用并行搜索引擎檢索網絡信息比使用集中化的獨立搜索引擎更容易得到擴展。
(3)并行檢索可以同時使用多個搜索引擎。用戶只需要提交一次查詢就可以使用多個獨立引擎，不必熟悉每個獨立引擎的檢索界面，且并行搜索引擎可以對檢索結果進行排序和冗余處理。
(4)提高檢索效率。有時并行搜索的檢索速度低于單個獨立搜索引擎，但并行檢索可以獲得較大的結果集，為用戶提供更有效的檢索信息。一些學者認為未來的網絡檢索服務將由許多各自覆蓋的小部分互連網的專業引擎協同提供。通用大型檢索系統的任務將由并行搜索引擎代替。相對一些成熟的獨立搜索引擎而言，并行搜索引擎仍然
存在缺陷。由于并行搜索引擎基本沒有自己管理的檢索信息，因此無法獲得檢索信息的描述信息，且其檢索質量還部分依賴于為其提供服務的獨立搜索引擎，具體體現在：
(1)并行搜索引擎可能不支持某些高級檢索功能，比如高級布爾檢索等。
(2)并行搜索引擎不會返回所有檢索結果，例如，它只是將每個搜索引擎最相關的檢索結果返回給用戶，若某個獨立搜索引擎在規定時間內沒有響應，則忽略它的檢索結果。
(3)因為獨立搜索引擎之間一般都有重復紀錄出現，所以并行搜索引擎必須面對信息冗余問題。文獻[4]提出基于Agent 的方法，包含自然語言分析器、查詢定制、網頁收回、網頁過濾、網頁排序和用戶選項Agent來解決上述問題。本文基于網格的并行搜索引擎，參考文獻的思想來解決并行搜索引擎的一些問題。