网站IIS日志是一件非常重要的事情一，因为可以找到机器人搜索的爬行情况索引，也可以知道自己的网站一，可以分析找到一些用户的路线，而不是一使用流量统计代码来计算。但是看看网站IIS日志也有空间的业务限制，你必须通知开通，或者有些不支持，你也可以下载一一些代码来安装，网站IIS日志存根也分空间，网站容量不是很大，会一子过剩，所以我们需要找一个更好的/]
一，了解搜索索引和蜘蛛爬网时间
蜘蛛是由文章发送到抓取内容的机器人。只有当我们知道蜘蛛的爬行时间，我们才能知道我们的网站是否是索引喜欢的。相反，这个网站没什么可继续的抓取可以比较时代。与之前的四周相比，操作比较可以知道蜘蛛有多少是更新的网站外链或网站造成的，从而调整网页，蜘蛛喜欢原创内容。如果所有一被直接复制和粘贴内容，也许蜘蛛下次不会再出现。
对于有害蜘蛛有多种屏蔽(屏蔽蜘蛛 ip)蜘蛛。如果发现未知蜘蛛知识产权网站被降级或K，则我们必须禁止此蜘蛛知识产权访问。
大量访问蜘蛛可以增加服务器的资源。频繁访问蜘蛛对网站很有帮助，但是资源消耗也很大，因此请找一个好的空间供应商来安装。否则，如果子服务器折叠在一下，可能不会通知您删除网站。
百度俱乐部:查看假的身份蜘蛛(以便窃取其他数据)。最重要的是百度蜘蛛都显示了北京另一边的知识产权。如果其他地方不是真实的蜘蛛，他们也有权投降和成为蜘蛛的K。请仔细看。
二，网站页面抓取
如果您喜欢抓取第一页，那么快照每隔一天拍摄一次，如果内部页面频繁出现，这也是第二次关闭的情况。如果页面的某个部分不是抓取，则检查蜘蛛是否禁止爬行。如果在做外链的时候你不能做大部分的第一页，你也应该做好内部页面，否则收录很低。我们还可以知道我们遇到了哪些问题网站，哪些蜘蛛主要是页面或者哪些页面更频繁地进行了爬网，哪些页面没有进行爬网，我们应该合并分析，哪个目录收录比其他目录更多(寻找空间供应商来提供IIS日志)，并检查更改。搜索索引在不同的时间搜索不是一喜欢，因为重印，或者因为外链。
三，http状态代码分析
蜘蛛抓取完成后一，http状态代码将保留。如果返回200，并不意味着它将被直接释放。有些人在一周更新后获释，有些人在一月后获释。一旦返回该代码，将释放一和页面。