事实上，我们都是一全知全能的位置，像seo网站优化，因为有太多的因素影响优化做排名。例如，如果我们不分析理解蜘蛛的爬行路径，我们今天要讨论的主题是日志 分析
IIS日志的目的是观察蜘蛛[/k31/]持有的网站我们爬取并靠近分析和联系蜘蛛。爬取次、爬取时间点、爬取高峰时段、爬取由爬取反映的HTTP状态代码为我们带来了清晰分析的便利。
一，主要搜索引擎的索引名称:
百度(百度)爬虫名称(百度百科)
谷歌机器人爬虫名称
雅虎爬虫名称
有道(Yodao)蜘蛛姓名(YodaoBot)
搜狗蜘蛛名称(搜狗)
MSN 蜘蛛名称:msnbot
二、IIS分析:
案例日志:61 . 135 . 168 . 22-[11/JAN/2009:04:02:45+0800]“GET/thread-7303-1-1.12008450-& quot；"baiduspider(+http:-www-Baidu-com/search/spider . htm)& quot。
分析:
1.61.135.168.22访问了服务器IP 网站。
2.2009年1月11日:04:02:45表示蜘蛛爬行时间
3.这意味着蜘蛛抓取这页面。
4.200状态码表示蜘蛛抓取页面成功；404表示蜘蛛抓取页面失败。
5.8450表示这次抓取有8450字节
6.baiduspider(+http:-www-Baidu-com/search/spider . htm)表示百度蜘蛛
三，基本状态码:
200:请求已完成，并且蜘蛛访问页面正常
301:移动，永久重定向
302:临时重定向
304:蜘蛛爬取发现页面未被修改
305:使用代理
400:请求错误
404:找不到页面
四，IIS详细状态代码含义:
100-表示请求的一部分已收到，其余部分正在发送。
101-切换协议。
2XX-成功的服务器成功接受客户端请求。(只要是2XX，就意味着成功)
200-好的。客户端请求成功。
201-创建。
202-接受。
203-非权威信息。
204-无内容。