什么是搜索引擎蜘蛛、機器人發布者：本站     時間：2020-05-14 16:05:54

在了解搜素引擎蜘蛛的之前，我們先回顧下之前介紹過什么是互聯網，通俗可以理解成互聯網就像一張非常大的蜘蛛網，然而搜索引擎是如何發現并收錄互聯網中過億的網頁呢？這就是我們今天所要介紹的，搜索引擎蜘蛛或機器人（網絡爬蟲），當大家看一些SEO文章或教程的時候就會經常發現我們做SEO的講解引蜘蛛等方法，那么就是指它了。

我們來看看搜索引擎蜘蛛字面含義：

搜索引擎蜘蛛是一個自動提取網頁的程序，它為搜索引擎從Internet網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。被搜索引擎蜘蛛抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；

國內常見搜索引擎蜘蛛名稱：

google蜘蛛：googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

soso蜘蛛：sosospider

msn蜘蛛：msnbot

有道蜘蛛：YodaoBot和OutfoxBot

搜狗蜘蛛：sougouspider