基于主題的Deep Web搜索引擎研究與探索.pdf

1、Internet的飛速發展，為我們提供了海量的信息資源。但目前傳統的搜索引擎能夠檢索的僅僅是World Wide Web中的一小部分，大量的Deep Web信息對這些搜索引擎是不可見的。這些信息隱藏在Web頁面的搜索表單后面，保存在大型的動態數據庫中。用戶必須通過查詢表單在線訪問其后端的Web數據庫才能獲得這些信息。有效地把Deep Web信息加以利用是一個比較富有挑戰性的課題。 本文首先介紹了通用搜索引擎的一般原理，定量地分析

2、了Deep Web的概況，并在此基礎上對構建基于某一主題的Deep Web搜索引擎所涉及到的三個主要模塊(表單抽取、查詢處理、結果抽取)進行了分析研究，同時闡述了相關算法。本文的主要研究內容包括： 1.討論了Deep Web的定義，在分析Deep Web工作原理的基礎上給出了基于某一主題Deep Web搜索引擎的總體設計思路和實現技術。 2.研究了表單抽取模塊中的Deep Web站點發現策略，通過對不同結構表單頁面的分析

3、，提出了查詢表單元素的統一表示方法。 3.分析了目前存在查詢表單抽取方法，結合同一主題元素模板視覺的相似性，采用競爭分類法對表單元素值進行抽取，實驗證明抽取效果比較理想。 4.研究了元素間的相似度算法，通過計算表單元素之間的相似度，排列數據源與用戶查詢的相關性，從而選擇出該領域內與用戶查詢最相關的數據源。 5.設計了一個查詢轉換器，有效地解決了用戶查詢接口與數據源之間的元素映射問題。 6.分析了目前存在的