深度优先和广度优先通常是混合使用的。这样既可以照顾到尽量多的网站，也可以照顾到一部分网站的内页，同时也会考虑页面权重、网站规模、外链、更新等因素。而且搜索引擎为了提高爬行和抓取的速度。都是用多个蜘蛛并发分布爬行。

　　一些互联网中的网站被蜘蛛格外看重， 蜘蛛的爬行也往往以这些网站作为起始站点。通常情况下，这类站点具有一定的权威性和导航性，如新浪、hao123 等。这些具有权威性和导航性的网站称为种子站点。因此，在优化网站时，可以在种子站点中添加自己网站的链接，增加线 蛛抓取的入口。

　　蜘蛛每次爬行都会把页面数据存储起来，如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，多次抓取后蜘蛛会对页面更新频率有所了解。不常更新的页面，蜘蛛也就没有必要经常抓取。如果页面内容经常更新，蜘蛛就会更加频繁地访问这种页面，页面上出现的新链接，也自然会被统蛛更快地抓取。