大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關于主流搜索引擎有哪些的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

創(chuàng)意嶺作為行業(yè)內優(yōu)秀的企業(yè)，服務客戶遍布全球各地，相關業(yè)務請撥打電話：175-8598-2043，或添加微信：1454722008

本文目錄:

• 1、幾個主流搜索引擎蜘蛛的名稱

• 2、常用的搜索引擎有哪些？

• 3、國內搜索引擎排名?

• 4、十大搜索引擎是什么

一、幾個主流搜索引擎蜘蛛的名稱

1.Google蜘蛛名稱

1）Googlebot：從Google的網站索引和新聞索引中抓取網頁

2）Googlebot-Mobile針對Google的移動索引抓取網頁

3）Googlebot-Image：針對Google的圖片索引抓取網頁

4）Mediapartners-Google：抓取網頁確定AdSense的內容。只有在你的網站上展示AdSense廣告的情況下，Google才會使用此漫游器來抓取您的網站。

5）Adsbot-Google：抓取網頁來衡量AdWords目標網頁的質量。只有在你使用GoogleAdWords為你的網站做廣告的情況下，Google才會使用此漫游器。

2.百度蜘蛛名稱：

Baiduspider首字母B大寫，其余為小寫

3.雅虎（Yahoo!）蜘蛛名稱：

1）Yahoo!搜索蜘蛛名稱：Yahoo!Slurp.

2）Yahoo!搜索引擎廣告蜘蛛：Yahoo!-AdCrawler.用來抓取Yahoo!搜索引擎廣告登陸頁網頁

4.有道蜘蛛名稱：

YodaoBot

5.騰訊搜搜soso蜘蛛名稱：

Sosospider首字母S大寫，其余為小寫

6.搜狗（sogou）蜘蛛名稱：

sogouspider

7.Live蜘蛛名稱

1）MSNBot：Mainwebcrawler（www.live.com）

2）MSNBot-Media：Images&allothermedia（images.live.com）

3）MSNBot-NewsBlogs：Newsandblogs（search.live.com/news）

4）MSNBot-Products：Products&shopping（products.live.com）

5）MSNBot-Academic：Academicsearch（academic.live.com）

拓展閱讀：搜索引擎蜘蛛抓取網頁規(guī)則分析

一、爬蟲框架

我們可以將網頁當作是蜘蛛的晚餐，晚餐包括：

已下載的網頁。已經被蜘蛛抓取到的網頁內容，放在肚子里了。

已過期網頁。蜘蛛每次抓取的網頁很多，有一些已經壞在肚子里了。

待下載網頁?？吹搅耸澄?，蜘蛛就要去抓取它。

可知網頁。還沒被下載和發(fā)現，但蜘蛛能夠感覺到他們，早晚會去抓取它。

不可知網頁?；ヂ摼W太大，很多頁面蜘蛛無法發(fā)現，可能永遠也找不到，這部份占比很高。

通過以上劃分，我們可以很清楚的理解搜索引擎蜘蛛的工作及面臨的挑戰(zhàn)。大多數蜘蛛是按照這樣的框架去爬行。但也不完全一定，凡事總有特殊，根據職能的'不同，蜘蛛系統存在一些差異。

二、爬蟲類型

1、批量型蜘蛛。

這類蜘蛛有明確的抓取范圍和目標，當蜘蛛完成目標和任務后就停止抓取。具體目標是什么?可能是抓取網頁數量，網頁大小，抓取時間等。

2、增量型蜘蛛

這類蜘蛛和批量型蜘蛛不同，他們會持續(xù)不斷的抓取，對于抓取到的網頁會定期抓取更新。因為互聯網中的網頁是隨時處于更新狀態(tài)中，增量型蜘蛛需要能夠反映出這種更新。

3、垂直性蜘蛛

這種蜘蛛只關注特定主題或者特定的行業(yè)網頁。以健康網站為例子，這類專門的蜘蛛會只抓取健康相關主題，其它主題內容的網頁則不抓取?？简炦@只蜘蛛的難點是如何去更精準的識別內容所屬于行業(yè)。目前來看，很多垂直類行業(yè)網站是需要這種蜘蛛去抓取的。

三、抓取策略

蜘蛛通過種子URL進行爬行拓展，列出大量待抓取URL。但是待抓取URL數量龐大，蜘蛛如何確定抓取順序先后呢?蜘蛛抓取的策略有很多種，但最終目的是一個：優(yōu)先抓取重要的網頁。評價頁面是否重要，蜘蛛會根據頁面內容原創(chuàng)程度，鏈接權重分析等眾多方式來進行計算。比較有代表性的抓取策略如下：

1、寬度優(yōu)先策略

寬度優(yōu)先是指：蜘蛛在抓取一個網頁后，繼續(xù)將該網頁所包含的其它頁面按順序進行進一步抓取。這種思想看似簡單，其實卻很實用。因為大多數網頁都是按優(yōu)先級進行排序，重要的頁面會優(yōu)先在頁面上進行推薦。

2、PageRank策略

PageRank是一種非常著名的鏈接分析方法，主要是用來衡量網頁權重。如谷歌的PR，就是典型的PageRank算法。通過PageRank算法我們可以找出哪些頁面是更重要的，然后蜘蛛優(yōu)先去抓取這些重要性的頁面。

3、大站優(yōu)先策略

這個很容易理解，大網站通常擁有更多的`內容頁面，并且質量也會更高。蜘蛛會先分析網站歸類與屬性。如果這個網站已經收錄很多，或者在搜索引擎系統中權重很高，則優(yōu)先考慮收錄。

四、網頁更新

互聯網中的頁面大多會保持更新，這樣就要求蜘蛛所存儲的頁面也能及時更新，保持一致性。打個比喻：一個網頁之前排名很好，如果頁面已經被刪，卻還有排名，那體驗就很不好。因此搜索引擎需要隨時了解這些并更新頁面，將最新的頁面提供給用戶。常用的網頁更新策略在三種：歷史參考策略，用戶體驗策略。聚類抽樣策略。

1、歷史參考策略

這是建立在一種假設基礎上的更新策略。比如，若你的網頁之前按規(guī)律一直更新，那搜索引擎也認為你的頁面將來也會經常更新，蜘蛛也會按這個規(guī)律定期來網站進行抓取網頁。這也是為什么點水一直強調網站內容需要有規(guī)律更新的原因。

2、用戶體驗策略

一般來說，用戶只會查看搜索結果前三頁的內容，后面的頁面很少有人去看。用戶體驗策略就是搜索引擎根據用戶的這個特點來進行更新。例如，一個網頁可能發(fā)布時間較早，一段時間沒更新，但是用戶依然覺得有用，點擊瀏覽它，那么搜索引擎先不去更新這些過時的網頁也是可以的。這就是為什么搜索結果中，并不一定最新的頁面排名一定靠前的原因。排名更多的是取決于這個頁面的質量，而完全不是更新時間先后。

3、聚類抽樣策略

上兩種更新策略主要是參考了網頁的歷史信息。但存儲大量歷史信息對搜索引擎來說是一種負擔，另外如果收錄的是新網頁則是沒有歷史信息可以參考的，那怎么辦?聚類抽樣策略是指：根據網頁所展現出來的一些屬性，來將很多相似網頁進行歸類，被歸類的頁面按照相同的規(guī)律去進行更新。

從了解搜索引擎蜘蛛工作原理的過程中，我們會知道：網站內容之間的相關性，網站與網頁內容更新規(guī)律，網頁上鏈接分布以及網站權重高低等因素都會影響到蜘蛛的抓取效率。知已知彼，讓蜘蛛來得更猛烈些吧！

二、常用的搜索引擎有哪些？

索引擎（search engines）是對互聯網上的信息資源進行搜集整理，然后供你查詢的系統，它包括信息搜集、信息整理和用戶查詢三部分。 搜索引擎是一個為你提供信息“檢索”服務的網站，它使用某些程序把因特網上的所有信息歸類以幫助人們在茫茫網海中搜尋到所需要的信息。 早期的搜索引擎是把因特網中的資源服務器的地址收集起來，由其提供的資源的類型不同而分成不同的目錄，再一層層地進行分類。人們要找自己想要的信息可按他們的分類一層層進入，就能最后到達目的地，找到自己想要的信息。這其實是最原始的方式，只適用于因特網信息并不多的時候。隨著因特網信息按幾何式增長，出現了真正意義上的搜索引擎，這些搜索引擎知道網站上每一頁的開始，隨后搜索因特網上的所有超級鏈接，把代表超級鏈接的所有詞匯放入一個數據庫。這就是現在搜索引擎的原型。 隨著yahoo!的出現，搜索引擎的發(fā)展也進入了黃金時代，相比以前其性能更加優(yōu)越?，F在的搜索引擎已經不只是單純的搜索網頁的信息了，它們已經變得更加綜合化，完美化了。以搜索引擎權威yahoo!為例，從1995年3月由美籍華裔楊致遠等人創(chuàng)辦yahoo!開始，到現在，他們從一個單一的搜索引擎發(fā)展到現在有電子商務、新聞信息服務、個人免費電子信箱服務等多種網絡服務，充分說明了搜索引擎的發(fā)展從單一到綜合的過程。 然而由于搜索引擎的工作方式和因特網的快速發(fā)展，使其搜索的結果讓人越來越不滿意。例如，搜索“電腦”這個詞匯，就可能有數百萬頁的結果。這是由于搜索引擎通過對網站的相關性來優(yōu)化搜索結果，這種相關性又是由關鍵字在網站的位置、網站的名稱、 標簽等公式來決定的。這就是使搜索引擎搜索結果多而雜的原因。而搜索引擎中的數據庫因為因特網的發(fā)展變化也必然包含了死鏈接。 這篇文章中，我們介紹了google，它是一個大型的搜索引擎（of a large-scale search engine）的原型，搜索引擎在超文本中應用廣泛。Google的設計能夠高效地抓網頁并建立索引，它的查詢結果比其它現有系統都高明。這個原型的全文和超連接的數據庫至少包含24‘000‘000個網頁。我們可以從http://google.stanford.edu/ 下載。 設計搜索引擎是一項富有挑戰(zhàn)性的工作。搜索引擎為上億個網頁建立索引，其中包含大量迥然不同的詞匯。而且每天要回答成千上萬個查詢。在網絡中，盡管大型搜索引擎非常重要，但是學術界卻很少研究它。此外由于技術的快速發(fā)展和網頁的大量增加，現在建立一個搜索引擎和三年前完全不同。 本文詳細介紹了我們的大型搜索引擎，據我們所知，在公開發(fā)表的論文中，這是第一篇描述地如此詳細。除了把傳統數據搜索技術應用到如此大量級網頁中所遇到的問題，還有許多新的技術挑戰(zhàn)，包括應用超文本中的附加信息改進搜索結果。 本文將解決這個問題，描述如何運用超文本中的附加信息，建立一個大型實用系統。任何人都可以在網上隨意發(fā)布信息，如何有效地處理這些無組織的超文本集合，也是本文要關注的問題。 關鍵詞 World Wide Web，搜索引擎，信息檢索，PageRank, Google 1 緒論 Web 給信息檢索帶來了新的挑戰(zhàn)。Web上的信息量快速增長，同時不斷有毫無經驗的新用戶來體驗Web這門藝術。人們喜歡用超級鏈接來網上沖浪，通常都以象Yahoo這樣重要的網頁或搜索引擎開始。大家認為List(目錄)有效地包含了大家感興趣的主題，但是它具有主觀性，建立和維護的代價高，升級慢，不能包括所有深奧的主題?；陉P鍵詞的自動搜索引擎通常返回太多的低質量的匹配。使問題更遭的是，一些廣告為了贏得人們的關注想方設法誤導自動搜索引擎。 我們建立了一個大型搜索引擎解決了現有系統中的很多問題。應用超文本結構，大大提高了查詢質量。我們的系統命名為google，取名自googol的通俗拼法，即10的100次方，這和我們的目標建立一個大型搜索引擎不謀而合。 1.1網絡搜索引擎—升級換代（scaling up）：1994-2000 搜索引擎技術不得不快速升級（scale dramatically）跟上成倍增長的web數量。1994年，第一個Web搜索引擎，World Wide Web Worm(WWWW)可以檢索到110，000個網頁和Web的文件。到1994年11月，頂級的搜索引擎聲稱可以檢索到2‘000’000（WebCrawler）至100‘000’000個網絡文件（來自 Search Engine Watch）?？梢灶A見到2000年，可檢索到的網頁將超過1‘000’000‘000。同時，搜索引擎的訪問量也會以驚人的速度增長。在1997年的三四月份，World Wide Web Worm 平均每天收到1500個查詢。 在1997年11月，Altavista 聲稱它每天要處理大約20’000’000個查詢。隨著網絡用戶的增長，到2000年，自動搜索引擎每天將處理上億個查詢。我們系統的設計目標要解決許多問題，包括質量和可升級性，引入升級搜索引擎技術（scaling search engine technology），把它升級到如此大量的數據上。 1.2 Google：跟上Web的步伐（Scaling with the Web）建立一個能夠和當今web規(guī)模相適應的搜索引擎會面臨許多挑戰(zhàn)。抓網頁技術必須足夠快，才能跟上網頁變化的速度（keep them up to date）。存儲索引和文檔的空間必須足夠大。索引系統必須能夠有效地處理上千億的數據。處理查詢必須快，達到每秒能處理成百上千個查詢（hundreds to thousands per second.）。隨著Web的不斷增長，這些任務變得越來越艱巨。然而硬件的執(zhí)行效率和成本也在快速增長，可以部分抵消這些困難。 還有幾個值得注意的因素，如磁盤的尋道時間（disk seek time），操作系統的效率（operating system robustness）。在設計Google的過程中，我們既考慮了Web的增長速度，又考慮了技術的更新。Google的設計能夠很好的升級處理海量數據集。它能夠有效地利用存儲空間來存儲索引。優(yōu)化的數據結構能夠快速有效地存?。▍⒖?.2節(jié)）。進一步，我們希望，相對于所抓取的文本文件和HTML網頁的數量而言，存儲和建立索引的代價盡可能的?。▍⒖几戒汢）。對于象Google這樣的集中式系統，采取這些措施得到了令人滿意的系統可升級性（scaling properties）。 1. 3設計目標 1.3.1提高搜索質量我們的主要目標是提高Web搜索引擎的質量。1994年，有人認為建立全搜索索引（a complete search index）可以使查找任何數據都變得容易。根據Best of the Web 1994 -- Navigators ，“最好的導航服務可以使在Web上搜索任何信息都很容易（當時所有的數據都可以被登錄）”。然而1997年的Web就迥然不同。近來搜索引擎的用戶已經證實索引的完整性不是評價搜索質量的唯一標準。用戶感興趣的搜索結果往往湮沒在“垃圾結果Junk result”中。實際上，到1997年11月為止，四大商業(yè)搜索引擎中只 有一個能夠找到它自己（搜索自己名字時返回的前十個結果中有它自己）。導致這一問題的主要原因是文檔的索引數目增加了好幾個數量級，但是用戶能夠看的文檔數卻沒有增加。用戶仍然只希望看前面幾十個搜索結果。因此，當集合增大時，我們就需要工具使結果精確（在返回的前幾十個結果中，有關文檔的數量）。由于是從成千上萬個有點相關的文檔中選出幾十個，實際上，相關的概念就是指最好的文檔。高精確非常重要，甚至以響應（系統能夠返回的有關文檔的總數）為代價。令人高興的是利用超文本鏈接提供的信息有助于改進搜索和其它應用 。尤其是鏈接結構和鏈接文本，為相關性的判斷和高質量的過濾提供了大量的信息。Google既利用了鏈接結構又用到了anchor文本（見2.1和2.2節(jié)）。 1.3.2搜索引擎的學術研究隨著時間的流逝，除了發(fā)展迅速，Web越來越商業(yè)化。1993年，只有1.5%的Web服務是來自.com域名。到1997年，超過了60%。同時，搜索引擎從學術領域走進商業(yè)。到現在大多數搜索引擎被公司所有，很少技公開術細節(jié)。這就導致搜索引擎技術很大程度上仍然是暗箱操作，并傾向做廣告（見附錄A）。Google的主要目標是推動學術領域在此方面的發(fā)展，和對它的了解。另一個設計目標是給大家一個實用的系統。應用對我們來說非常重要，因為現代網絡系統中存在大量的有用數據（us because we think some of the most interesting research will involve leveraging the vast amount of usage data that is available from modern web systems）。例如，每天有幾千萬個研究。然而，得到這些數據卻非常困難，主要因為它們沒有商業(yè)價值。我們最后的設計目標是建立一個體系結構能夠支持新的關于海量Web數據的研究。為了支持新研究，Google以壓縮的形式保存了實際所抓到的文檔。設計google的目標之一就是要建立一個環(huán)境使其他研究者能夠很快進入這個領域，處理海量Web數據，得到滿意的結果，而通過其它方法卻很難得到結果。系統在短時間內被建立起來，已經有幾篇論文用到了Google建的數據庫，更多的在起步中。我們的另一個目標是建立一個宇宙空間實驗室似的環(huán)境，在這里研究者甚至學生都可以對我們的海量Web數據設計或做一些實驗。 2. 系統特點 Google搜索引擎有兩個重要特點，有助于得到高精度的搜索結果。 第一點，應用Web的鏈接結構計算每個網頁的Rank值，稱為PageRank，將在98頁詳細描述它。 第二點，Google利用超鏈接改進搜索結果。 2.1 PageRank:給網頁排序 Web的引用（鏈接）圖是重要的資源，卻被當今的搜索引擎很大程度上忽視了。我們建立了一個包含518‘000’000個超鏈接的圖，它是一個具有重要意義的樣本。這些圖能夠快速地計算網頁的PageRank值，它是一個客觀的標準，較好的符合人們心目中對一個網頁重要程度的評價，建立的基礎是通過引用判斷重要性。因此在web中，PageRank能夠優(yōu)化關鍵詞查詢的結果。對于大多數的主題，在網頁標題查詢中用PageRank優(yōu)化簡單文本匹配，我們得到了令人驚嘆的結果（從google.stanford.edu可以得到演示）。對于Google主系統中的全文搜索，PageRank也幫了不少忙。 2.1.1計算PageRank 文獻檢索中的引用理論用到Web中，引用網頁的鏈接數，一定程度上反映了該網頁的重要性和質量。PageRank發(fā)展了這種思想，網頁間的鏈接是不平等的。 PageRank定義如下: 我們假設T1…Tn指向網頁A（例如，被引用）。參數d是制動因子，使結果在0，1之間。通常d等于0.85。在下一節(jié)將詳細介紹d。C（A）定義為網頁A指向其它網頁的鏈接數，網頁A的PageRank值由下式給出： PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn)) 注意PageRank的形式，分布到各個網頁中，因此所有網頁的PageRank和是1。 PageRank或PR（A）可以用簡單的迭代算法計算，相應規(guī)格化Web鏈接矩陣的主特征向量。中等規(guī)模的網站計算26‘000’000網頁的PageRank值要花費幾小時。還有一些技術細節(jié)超出了本文論述的范圍。 2.1.2直覺判斷 PageRank被看作用戶行為的模型。我們假設網上沖浪是隨機的，不斷點擊鏈接，從不返回，最終煩了，另外隨機選一個網頁重新開始沖浪。隨機訪問一個網頁的可能性就是它的PageRank值。制動因子d是隨機訪問一個網頁煩了的可能性，隨機另選一個網頁。對單個網頁或一組網頁，一個重要的變量加入到制動因子d中。這允許個人可以故意地誤導系統，以得到較高的PageRank值。我們還有其它的PageRank算法，見98頁。 另外的直覺判斷是一個網頁有很多網頁指向它，或者一些PageRank值高的網頁指向它，則這個網頁很重要。直覺地，在Web中，一個網頁被很多網頁引用，那么這個網頁值得一看。一個網頁被象Yahoo這樣重要的主頁引用即使一次，也值得一看。如果一個網頁的質量不高，或者是死鏈接，象Yahoo這樣的主頁不會鏈向它。PageRank處理了這兩方面因素，并通過網絡鏈接遞歸地傳遞。 & nbsp; 2.2鏈接描述文字（Anchor Text）我們的搜索引擎對鏈接文本進行了特殊的處理。大多數搜索引擎把鏈接文字和它所鏈向的網頁（the page that the link is on）聯系起來。另外，把它和鏈接所指向的網頁聯系起來。這有幾點好處。 第一，通常鏈接描述文字比網頁本身更精確地描述該網頁。 第二，鏈接描述文字可能鏈向的文檔不能被文本搜索引擎檢索到，例如圖像，程序和數據庫。有可能使返回的網頁不能被抓到。注意哪些抓不到的網頁將會帶來一些問題。在返回給用戶前檢測不了它們的有效性。這種情況搜索引擎可能返回一個根本不存在的網頁，但是有超級鏈接指向它。然而這種結果可以被挑出來的，所以此類的問題很少發(fā)生。鏈接描述文字是對被鏈向網頁的宣傳，這個思想被用在World Wide Web Worm 中，主要因為它有助于搜索非文本信息，能夠用少量的已下載文檔擴大搜索范圍。我們大量應用鏈接描述文字，因為它有助于提高搜索結果的質量。有效地利用鏈接描述文字技術上存在一些困難，因為必須處理大量的數據?，F在我們能抓到24‘000’000個網頁，已經檢索到259‘000’000多個鏈接描述文字。 2.3其它特點除了PageRank和應用鏈接描述文字外，Google還有一些其它特點。 第一,所有hit都有位置信息，所以它可以在搜索中廣泛應用鄰近性（proximity）。 第二，Google跟蹤一些可視化外表細節(jié)，例如字號。黑體大號字比其它文字更重要。 第三，知識庫存儲了原始的全文html網頁。 3有關工作 Web檢索研究的歷史簡短。World Wide Web Worm（）是最早的搜索引擎之一。后來出現了一些用于學術研究的搜索引擎，現在它們中的大多數被上市公司擁有。與Web的增長和搜索引擎的重要性相比，有關當今搜索引擎技術的優(yōu)秀論文相當少。根據Michael Mauldin（Lycos Inc的首席科學家）) ，“各種各樣的服務（包括Lycos）非常關注這些數據庫的細節(jié)?！彪m然在搜索引擎的某些特點上做了大量工作。具有代表性的工作有，對現有商業(yè)搜索引擎的結果進行傳遞，或建立小型的個性化的搜索引擎。最后有關信息檢索系統的研究很多，尤其在有組織機構集合（well controlled collections）方面。在下面兩節(jié)，我們將討論在信息檢索系統中的哪些領域需要改進以便更好的工作在Web上。 3.1信息檢索信息檢索系統誕生在幾年前，并發(fā)展迅速。然而大多數信息檢索系統研究的對象是小規(guī)模的單一的有組織結構的集合，例如科學論文集，或相關主題的新聞故事。實際上，信息檢索的主要基準，the Text Retrieval Conference（），用小規(guī)模的、有組織結構的集合作為它們的基準。 大型文集基準只有20GB，相比之下，我們抓到的24000000個網頁占147GB。在TREC上工作良好的系統，在Web上卻不一定產生好的結果。例如，標準向量空間模型企圖返回和查詢請求最相近的文檔，把查詢請求和文檔都看作由出現在它們中的詞匯組成的向量。在Web環(huán)境下，這種策略常常返回非常短的文檔，這些文檔往往是查詢詞再加幾個字。例如，查詢“Bill Clinton”，返回的網頁只包含“Bill Clinton Sucks”，這是我們從一個主要搜索引擎中看到的。網絡上有些爭議，用戶應該更準確地表達他們想查詢什么，在他們的查詢請求中用更多的詞。我們強烈反對這種觀點。如果用戶提出象“Bill Clinton”這樣的查詢請求，應該得到理想的查詢結果，因為這個主題有許多高質量的信息。象所給的例子，我們認為信息檢索標準需要發(fā)展，以便有效地處理Web數據。 3.2有組織結構的集合（Well Controlled Collections）與Web的不同點 Web是完全無組織的異構的大量文檔的集合。Web中的文檔無論內在信息還是隱含信息都存在大量的異構性。例如，文檔內部就用了不同的語言（既有人類語言又有程序），詞匯（[email]地址，鏈接，郵政編碼，電話號碼，產品號），類型（文本，HTML，PDF，圖像，聲音），有些甚至是機器創(chuàng)建的文件（log文件，或數據庫的輸出）。可以從文檔中推斷出來，但并不包含在文檔中的信息稱為隱含信息。隱含信息包括來源的信譽，更新頻率，質量，訪問量和引用。不但隱含信息的可能來源各種各樣，而且被檢測的信息也大不相同，相差可達好幾個數量級。例如，一個重要主頁的使用量，象Yahoo 每天瀏覽數達到上百萬次，于此相比無名的歷史文章可能十年才被訪問一次。很明顯，搜索引擎對這兩類信息的處理是不同的。 Web與有組織結構集合之間的另外一個明顯區(qū)別是，事實上，向Web上傳信息沒有任何限制。靈活利用這點可以發(fā)布任何對搜索引擎影響重大的信息，使路由阻塞，加上為牟利故意操縱搜索引擎，這些已經成為一個嚴重的問題。這些問題還沒有被傳統的封閉的信息檢索系統所提出來。它關心的是元數據的努力，這在Web搜索引擎中卻不適用，因為網頁中的任何文本都不會向用戶聲稱企圖操縱搜索引擎。甚至有些公司為牟利專門操縱搜索引擎。 4 系統分析（System Anatomy）首先，我們提供高水平的有關體系結構的討論。然后 ，詳細描述重要的數據結構。最后，主要應用：抓網頁，索引，搜索將被嚴格地檢查。 Figure 1. High Level Google Architecture 4.1Google體系結構概述這一節(jié)，我們將看看整個系統是如何工作的（give a high level），見圖1。本節(jié)不討論應用和數據結構，在后幾節(jié)中討論。為了效率大部分Google是用c或c++實現的，既可以在Solaris也可以在Linux上運行。 Google系統中，抓網頁（下載網頁）是由幾個分布式crawlers完成的。一個URL服務器負責向crawlers提供URL列表。抓來的網頁交給存儲服務器storeserver。然后，由存儲服務器壓縮網頁并把它們存到知識庫repository中。每個網頁都有一個ID，稱作docID，當新URL從網頁中分析出時，就被分配一個docID。由索引器和排序器負責建立索引index function。索引器從知識庫中讀取文檔，對其解壓縮和分析。每個文檔被轉換成一組詞的出現情況，稱作命中hits。Hits紀錄了詞，詞在文檔中的位置，最接近的字號，大小寫。索引器把這些hits分配到一組桶barrel中，產生經過部分排序后的索引。索引器的另一個重要功能是分析網頁中所有的鏈接，將有關的重要信息存在鏈接描述anchors文件中。該文件包含了足夠的信息，可以用來判斷每個鏈接鏈出鏈入節(jié)點的信息，和鏈接文本。 URL分解器resolver閱讀鏈接描述anchors文件，并把相對URL轉換成絕對URL，再轉換成docID。為鏈接描述文本編制索引，并與它所指向的docID關聯起來。同時建立由docID對組成的鏈接數據庫。用于計算所有文檔的PageRank值。用docID分類后的barrels，送給排序器sorter，再根據wordID進行分類，建立反向索引inverted index。這個操作要恰到好處，以便幾乎不需要暫存空間。排序器還給出docID和偏移量列表，建立反向索引。一個叫DumpLexicon的程序把這個列表和由索引器產生的字典結合在一起，建立一個新的字典，供搜索器使用。這個搜索器就是利用一個Web服務器，使用由DumpLexicon所生成的字典，利用上述反向索引以及頁面等級PageRank來回答用戶的提問。 4.2主要數據結構經過優(yōu)化的Google數據結構，能夠用較小的代價抓取大量文檔，建立索引和查詢。雖然近幾年CPU和輸入輸出速率迅速提高。磁盤尋道仍然需要10ms。任何時候Google系統的設計都盡可能地避免磁盤尋道。這對數據結構的設計影響很大。 4.2.1大文件大文件BigFiles是指虛擬文件生成的多文件系統，用長度是64位的整型數據尋址。多文件系統之間的空間分配是自動完成的。BigFiles包也處理已分配和未分配文件描述符。由于操縱系統不能滿足我們的需要，BigFiles也支持基本的壓縮選項。 4.2.2知識庫 Figure 2. Repository Data Structure 知識庫包含每個網頁的全部HTML。每個網頁用zlib（見RFC1950）壓縮。壓縮技術的選擇既要考慮速度又要考慮壓縮率。我們選擇zlib的速度而不是壓縮率很高的bzip。知識庫用bzip的壓縮率接近4：1。而用zlib的壓縮率是3：1。文檔一個挨著一個的存儲在知識庫中，前綴是docID，長度，URL，見圖2。訪問知識庫不需要其它的數據結構。這有助于數據一致性和升級。用其它數據結構重構系統，我們只需要修改知識庫和crawler錯誤列表文件。 4.2.3文件索引文件索引保存了有關文檔的一些信息。索引以docID的順序排列，定寬ISAM（Index sequential access mode）。每條記錄包括當前文件狀態(tài)，一個指向知識庫的指針，文件校驗和，各種統計表。如果一個文檔已經被抓到，指針指向docinfo文件，該文件的寬度可變，包含了URL和標題。否則指針指向包含這個URL的URL列表。這種設計考慮到簡潔的數據結構，以及在查詢中只需要一個磁盤尋道時間就能夠訪問一條記錄。還有一個文件用于把URL轉換成docID。它是URL校驗和與相應docID的列表，按校驗和排序。要想知道某個URL的docID，需要計算URL的校驗和，然后在校驗和文件中執(zhí)行二進制查找，找到它的docID。通過對這個文件進行合并，可以把一批URL轉換成對應的docID。URL分析器用這項技術把URL轉換成docID。這種成批更新的模式是至關重要的，否則每個鏈接都需要一次查詢，假如用一塊磁盤，322‘000’000個鏈接的數據集合將花費一個多月的時間。 4.2.4詞典詞典有幾種不同的形式。和以前系統的重要不同是，詞典對內存的要求可以在合理的價格內?，F在實現的系統，一臺256M內存的機器就可以把詞典裝入到內存中?，F在的詞典包含14000000詞匯（雖然一些很少用的詞匯沒有加入到詞典中）。它執(zhí)行分兩部分—詞匯表（用null分隔的連續(xù)串）和指針的哈希表。不同的函數，詞匯表有一些輔助信息，這超出了本文論述的范圍。 4.2.5 hit list hit list是一篇文檔中所出現的詞的列表，包括位置，字號，大小寫。Hit list占很大空間，用在正向和反向索引中。因此，它的表示形式越有效越好。我們考慮了幾種方案來編碼位置，字號，大小寫—簡單編碼（3個整型數），緊湊編碼（支持優(yōu)化分配比特位），哈夫曼編碼。Hit的詳細信息見圖3。我們的緊湊編碼每個hit用2字節(jié)。有兩種類型hit，特殊hit和普通hit。特殊hit包含URL，標題，鏈接描述文字，meta tag。普通hit包含其它每件事。它包括大小寫特征位，字號，12比特用于描述詞在文檔中的位置（所有超過4095的位置標記為4096）。字號采用相對于文檔的其它部分的相對大小表示，占3比特(實際只用7個值，因為111標志是特殊hit)。特殊hit由大小寫特征位，字號位為7表示它是特殊hit，用4比特表示特殊hit的類型，8比特表示位置。對于anchor hit八比特位置位分出4比特用來表示在anchor中的位置，4比特用于表明anchor出現的哈希表hash of the docID。短語查詢是有限的，對某些詞沒有足夠多的anchor。我們希望更新anchor hit的存儲方式，以便解決地址位和docIDhash域位數不足的問題。

三、國內搜索引擎排名?

.2010國內搜索引擎排行榜,最新中文搜索引擎排名

1、百度百度是中國互聯網用戶最常用的搜索引擎，每天完成上億次搜索；也是全球最大的中文搜索引擎.

2、谷歌 Google 的使命是整合全球范圍的信息，使人人皆可訪問并從中受益。

3、SOGOU搜狗是搜狐公司于2004年8月3日推出的全球首個第三代互動式中文搜索引擎。搜狗以搜索技術為核心，致力于中文互聯網信息的深度挖掘，幫助中國上億網民加快搜索速度.

4、SOSOQQ推出的獨立搜索網站。提供綜合、網頁、圖片、論壇、音樂、搜吧等搜索服務。

5、微軟必應2009年6月1日，微軟新搜索引擎Bing(必應)中文版上線。測試版必應提供了六個功能：頁面搜索、圖片搜索、資訊搜索、視頻搜索、地圖搜索以及排行榜。

6、YAHOO中國 Yahoo! 全球性搜索技術（YST，Yahoo! Search Technology）是一個涵蓋全球120多億網頁（其中雅虎中國為12億）的強大數據庫，擁有數十項技術專利、精準運算能力，支持38種語言，近10,000臺服務器，服務全球50%以上互聯網用戶的搜索需求。

7、網易有道搜索網易自主研發(fā)的搜索引擎。目前有道搜索已推出的產品包括網頁搜索、博客搜索、圖片搜索、新聞搜索、海量詞典、桌面詞典、工具欄和有道閱讀。

8、新浪搜索 全球最大的中文網絡門戶新浪匯集技術精英、耗時一年多完全自主研發(fā)完成，采用了目前最為領先的智慧型互動搜索技術，充分體現了人性化應用理念，將給網絡搜索市場帶來前所未有的挑戰(zhàn)。

9、中國搜索 中搜在2002年進入中文搜索引擎市場，為全球最大的中文搜索引擎技術供應和服務商之一，曾為新浪、TOM、網易等國內主流門戶網站以及各地區(qū)、各行業(yè)上千家中國搜索聯盟網站提供搜索引擎技術服務。2004年中搜進入個人門戶，2006年推出個人門戶IG（Internet Gateway），完成了互聯網從傳統搜索引擎到個人門戶的跨越，中搜一舉從搜索引擎的推動者轉變?yōu)閭€人門戶領導者

10、TOM搜索 TOM最早建立的中國門戶網站之一,與谷歌合作建立中文搜索引擎.

四、十大搜索引擎是什么

全球十大搜索引擎 Google 全球最大的 （機器）搜索引擎。主要搜索結果將列入AOL, Netscape, iwon和Go. Google在對網站進行排名時不僅衡量關鍵詞與頁面的匹配度，也考慮外部鏈接。某個網站擁有越多的外部鏈接，說明它越受歡迎。于是，Google將其作主要因素來考慮，并發(fā)明了PageRank來專門衡量該外部鏈接。>> Yahoo 世界最早的分類目錄，也是最大的門戶網站。它的搜索結果最初來自于Google，后采用Inktomi（已被雅虎收購）提供的結果。Yahoo現在開發(fā)了自己的搜索技術，稱為Yahoo Search Technology (YST)。搜索結果個數與Google相當，>> 更多 MSN 錄屬于微軟 公司。MSN提供的Hotmail和MSN Message極受歡迎。但MSN沒有自己的搜索引擎，一直采用其他搜索引擎的結果。比如，MSN主要搜索結果來自于Inktomi，競價廣告原由LookSmart提供，但于2004年初改由Overture提供。 AOL 即美國在線，是美國也是世界上最早的門戶網站之一，幾年前已與時代公司合并，成為美國在線-時代華納公司。AOL目前的主營業(yè)務是ISP。其搜索結果 全部來自于Google 提供。也就是說，有良好的Google排名也有良好的AOL排名。 Lycos 西班牙公司，全稱為Terry Lycos，是全世界最早的搜索引擎之一。但目前，Lycos已放棄自己開發(fā)的搜索技術，而主要搜索結果來自于Alltheweb。另外，其競價排名結果來自于Google的右側廣告。 Ask Jeeves 規(guī)模不大，但很有特色的搜索搜索。Ask是DirectHit的母公司，于2001年收購Teoma搜索引擎，并全部采用其搜索結果。奇怪的是，Ask的競價排名結果卻仍然來自于Google的右側廣告。 Overture 最早的付費搜索引擎（競價排名搜索引擎）。搜索結果被Yahoo, MSN等采用。Overture收購了Google的對手Inktomi后被Yahoo收購，是Google AdWords目前最大的競爭對手。 如何在Overture做競價排名廣告 MrDou 即豆子先生公司，MrDou最初被廣大用戶認知是因為它的音樂搜索。并全部采用其搜索結果。有證據表明，MrDou正在開發(fā)一種叫做"MrDou Hot"的自己的搜索引擎 >> AltaVista 全世界最古老的搜索引擎之一，中國網民很難訪問。該搜索引擎已于2003年被Yahoo收購。同時被Yahoo收購的還有AllTheWeb。 微迪認為，AltaVista不久可能銷聲匿跡，因為Yahoo并沒有采用AltaVista、Alltheweb或者Inktomi的搜索結果，而是重新開發(fā)全新的搜索技術。 Inktomi 不向終端用戶開放，只對搜索引擎提供搜索結果。于2003年被Overture收購（Overture后又被Yahoo收購）。在2004年Yahoo開發(fā)自己全新的搜索引擎技術之前，Inktomi還是全球第二大搜索引擎，其搜索結果被Hotbot, MSN等著名的網站采用。 國內十大主流的搜索引擎 1，百度。全球最大的中文搜索引擎。擁有自己的核心技術--超鏈接分析技術。通過分析的鏈接的多少和質量來評價被鏈接網站的網站質量。這保證了用戶在百度搜索的時候，越受歡迎的網站排名越前。所以我想讓廣州seo的網站排名好的話，增加多點高質量帶網站關鍵字鏈接："廣州網站優(yōu)化""廣州網站推廣"。作為最大的中文搜索引擎，對網頁的收錄數量，收錄速度，收錄范圍自然最具優(yōu)勢的。另外遍布全國各地的服務器，也能以最快的速度，將用戶所要尋找的信息展示給用戶。另外百度是非常符合中國人的使用習慣的。為中文用戶度身定做百度深刻理解中文用戶搜索習慣，開發(fā)出關鍵詞自動提示：用戶輸入拼音，就能獲得中文關鍵詞正確提示。 百度還開發(fā)出中文搜索自動糾錯；如果用戶誤輸入錯別字，可以自動給出正確關鍵詞提示。百度還有其它多項體貼普通用戶的功能，包括相關搜索、中文人名識別、簡繁體中文自動轉換、網頁預覽等。 百度已增加了專業(yè)的MP3搜索、Flash搜索、新聞搜索、信息快遞搜索，并正在快速發(fā)展其它用戶喜歡的搜索功能。百度搜索引擎，將發(fā)展為最全面的搜索引擎，為所有中文用戶打開互聯網之門。另外 www.xy539.com 的“廣州百度推廣”排名還不錯。 2、谷歌。谷歌雖然已經推出中國大陸，但是還是有一定數量的用戶。這里只是提一句，谷歌自創(chuàng)的“pagerank”技術目前認識很多站長評價網站的一種重要標準，雖然有傳言說谷歌要取消pr值。 3、中國雅虎。中國雅虎開創(chuàng)性地將全球領先的互聯網技術與中國本地運營相結合，成為中國互聯網界位居前列的搜索引擎社區(qū)與資訊服務提供商。中國雅虎一直致力于以創(chuàng)新、人性、全面的網絡應用，為億萬中文用戶帶來最大價值的生活體驗，成為中國互聯網的“生活引擎”。 4、搜狗。 搜狗搜索是由國內著名的門戶網站搜狐SOHU.COM運作的，搜狐是國內最早提供搜索服務的站點。互聯網概念在國內的普及，搜狐功不可沒。在2001年年初由CNAZ（中文網站評估認證網）舉辦的搜索引擎網絡專項功能排名調查中，搜狐名列第一。搜狗設有獨立的目錄索引，并采用百度搜索引擎技術，提供網站、網頁、類目、新聞、黃頁、中文網址、軟件等多項搜索選擇。搜狐搜索范圍以中文網站為主，支持中文域名。 5、中搜。 中國搜索聯盟成立于2002年9月，由中國互聯網新聞中心、慧聰國際共同發(fā)起的一個以搜索引擎應用為核心的開放型聯合體，聯盟號召各成員網站使用共同的搜索引擎，通過搜索引擎技術應用尋求共同有效的經營模式，整合優(yōu)勢資源真正實現資源共通共享，進而推動各成員的網站發(fā)展。 6、騰訊搜搜。搜搜的主要優(yōu)勢在于他有龐大的即時通訊客戶，可以用qq號碼直接登錄搜搜進行問答等一些列活動，所以搜搜推出之始就有1.5億用戶了。另外搜搜更加注重年輕網民的需要。 7、有道搜索。 自2007年7月，網易搜索正式由網易自主研發(fā)的“有道搜索”提供服務，希望提供給用戶更多樣的產品，更創(chuàng)新的體驗，更優(yōu)質的服務。 8、新浪愛問?！皭蹎杋Ask”是新浪完全自主研發(fā)的搜索產品，采用了目前最為領先的智慧型互動搜索技術，充分體現人性化應用的產品理念，為廣大網民提供全新搜索服務。作為首個中文智慧型互動搜索引擎，“愛問”突破了由GOOGLE、百度為代表的算法致勝的搜索模式。 9、bing，中文反映“必應”，有求必應之意。2009年正式在中國開放。是微軟取代live search的搜索引擎。 10、tom搜索引擎，主要提供網頁，網站，圖片，mp3，新聞搜索，以及其他網頁的搜索服務。

以上就是關于主流搜索引擎有哪些相關問題的回答。希望能幫到你，如有更多相關問題，您也可以聯系我們的客服進行咨詢，客服也會為您講解更多精彩的知識和內容。

推薦閱讀：

免費好用的crm軟件（國內主流的crm軟件有哪些）

主流營銷平臺有哪些（主流營銷平臺有哪些品牌）

主流的app營銷模式主要包括（主流的app營銷模式主要包括哪四種）

游戲策劃師需要什么技能（游戲策劃師需要什么技能和能力）

沒學歷可以學什么技術（女生沒學歷可以學什么技術）