在了（le）解搜素（sù）引擎蜘蛛的（de）之前，我们先回顾下之前介绍过什么是互联（lián）网（wǎng），通俗可（kě）以理解成互联网就像一张非常大的蜘（zhī）蛛（zhū）网，然而搜索引擎是如何发现并收录互联网中过亿（yì）的网（wǎng）页呢（ne）?这就是我们今天所（suǒ）要介绍的，搜索引（yǐn）擎蜘蛛（zhū）或（huò）机器人(网络（luò）爬（pá）虫（chóng）)，当大（dà）家看（kàn）一些（xiē）SEO文章或教（jiāo）程的（de）时候就会经常发（fā）现我们做SEO的讲解引蜘蛛等方（fāng）法，那么就是指它了。

我们来看看搜索（suǒ）引（yǐn）擎蜘蛛字（zì）面含义：

搜索引（yǐn）擎蜘蛛是一个自动提（tí）取网页的（de）程序，它为（wéi）搜索（suǒ）引擎从Internet网上下载（zǎi）网页，是搜（sōu）索引擎的（de）重要组成。传统爬虫从一个或（huò）若干初始网页的URL开始，获（huò）得初始网页上的URL，在抓取网页（yè）的（de）过程中（zhōng），不（bú）断从当前页面上抽取（qǔ）新的URL放入（rù）队列,直（zhí）到满足系统的一（yī）定停止条件。被搜索引擎蜘（zhī）蛛（zhū）抓取的网页将会被系统（tǒng）存贮，进行一（yī）定的分析、过滤，并建立索引，以便（biàn）之后的查询和检（jiǎn）索;

国内（nèi）常见搜（sōu）索引擎蜘蛛名称：

google蜘蛛：googlebot

百度蜘蛛（zhū）：baiduspider

yahoo蜘蛛：slurp

soso蜘（zhī）蛛：sosospider

msn蜘蛛：msnbot

有道（dào）蜘蛛：YodaoBot和OutfoxBot

搜狗蜘蛛：sougouspider