今天小编要分享的内容就是文件优化。做网站优化的人应该都知道Robots.txt吧，我们可以通过它直接与搜索引擎蜘蛛对话，告诉蜘蛛哪些内容可以抓取，哪些内容不能抓取。这和我们今天要说的文件优化相关。
一、[/k34/]优化
机器人的使用细节和总结
(1)为什么是Robots。txt设置？
在SEO操作期间，我们需要告诉search 索引哪个页面重要页面不重要，重要页面让蜘蛛执行抓取，不重要页面屏蔽可以减轻网站服务器的负担。
(2)一一些常见问题和知识要点
蜘蛛当一 网站被发现时，是抓取网站 Robots。txt文件
建议将all 网站设为Robots。txt文件。如果您认为所有内容开网站都很重要，您可以将一设为空robots。txt文件；
(3)Set网站地图inrobots。txt文件
您可以将地图 网站添加到地图 txt，并告知蜘蛛网站地图地址。
(4)Robots。txt订单
在蜘蛛协议中，不允许和允许是按顺序排列的，这是一非常重要的问题。如果设置错误，可能会导致抓取错误。
发动机蜘蛛程序将根据“允许”或“不允许”行的成功匹配来确定是否访问a URL、一示例，以使您更加清楚:
用户代理:* 2。允许:/seojc/ BBS3。不允许:/seoJC/在这种情况下，蜘蛛seo JC/BBS目录可以正常抓取，但是/seoJC/目录文件不能抓取。这样，可以允许蜘蛛访问特定目录中的一些网址。
我们在开关位置一下观察。
用户代理:*2。根目录下不允许:/folder文件/3。Allow:/seoJC/bbs/seoJC/目录出现在该行中，并且抓取目录下的所有文件被禁止，那么二行中的ALLOW无效，因为该行中的所有抓取seojc目录被禁止，并且BBS目录正好在文件中，因此匹配不成功。
(5)Robots。txt路径问题
在蜘蛛协议中，允许和不允许后面有两种路径形式，即链接、相对链接。链接是完整的URL形式，而相对链接仅用于根目录。这是要记住的。
(6)斜线问题
不允许:/seojc表示禁止抓取seo目录下的所有文件，如:seojc.1.html、seojc/rmjc.php不允许抓取；
不允许:/seojc/意味着禁止抓取seojc 文件，即允许抓取seojc.1.html，但不允许抓取seo JC/rmjc.php。