搜索引擎的蜘蛛或机器人（Googlebot）爬取网站是按照从按照网站的层级关系，从首页开始，一个层级到一个层级上，直到爬取完所有页面。所以如果要开始网站结构优化的话，第一个要优化的就是网站的首页。
简单来说，谷歌大叔想给一些新上的文章加些权重，那么就在首页的添加了新上的文章的链接，这种做法就是告诉搜索引擎，这些页面比较重要。
如果你在你的网站上首页找不到重要页面的链接，那么就需要对首页的页面结构进行优化了。
设置合理的网页结构，可以方便搜索引擎理解、抓取和收录网站上的每个页面。
如果只在首页设置搜索框的话，没有合理的网页结构的话，这种操作相当于给Googlebot设置了爬行障碍，因为Googlebot没有办法在首页进行搜索框搜索，而只能是从首页设置的框架结构逐步爬取网页。
02 结构合理、层级分明的网站布局
为了满足搜索引擎爬取的要求，网站的结构应当具备以下特点：网站结构优化布局应该是结构合理、层次分明。
Googlebot在访问网站时会按照一定的顺序从一个网页跳转到另一个网页，一直遍历整个网站。为了确保顺利的爬行，网站的结构应当具备独立的主要类别，并且每个主要类别下面应有相应的子类别。这样，谷歌的爬虫才能按照有序的方式从一个类别转到下一个子类别进行爬取。
扁平化的网站布局有利于用户快速找到所需的内容，也不会让Googlebot迷路。下图是结构合理、层级分明的网站布局：
要确保在点击网站上的任何一个网页的时候，只要点击几下就可以了，所以网站结构化越扁平越好找网页，特别值得注意的是，这个网站的结构不宜过深，一般超过五个层级的框架就有点过深了，不利于用户和搜索引擎发现你的网页。
清晰合理、扁平化的网站结构的特点大概如下：
每个主类别（Main topic pages）都是独立的页面存在，具有清晰的主题和内容聚焦。这些主类别可以是导航菜单中的链接或主页上的主要部分。
每个主类别下应有相应的子类别（subtopic pages），形成层次结构。子类别应与主类别相关联，使得搜索引擎能够沿着主类别往下按顺序爬取子类别的页面。
通过建立清晰的主类别和子类别的结构，可以帮助搜索引擎的机器人更有效地浏览和理解网站的内容。这种有序的网站结构能够提升搜索引擎对网站的索引能力，有助于网站在搜索结果中获得更好的展示和排名。
举例：假如Googlebot要爬取谷歌大叔官网的某一篇博客的页面，这个爬取的层级路径是这样的：
首先，Googlebot先爬行到首页sdwebseo.com，
其次，Googlebot从首页爬行到博客页面
然后：从博客页面再爬行到谷歌SEO优化教程分类页面。
最后一步：这一步Googlebot就逐步地最终爬取到了某一篇博客的页面。
另外很重要的一点是，网站上每一个层级都有自己的权重，首页权重最大，其次是二级分类页面，然后再是三级分类页面，通过网站结构优化把重要的网页放在权重较大的层级上，比如说首页或者是二级页面，这样就会给重要的网页分配到高一些的权重。
这样就要求在涉及网站布局的时候，考虑以下把重要的页面往一二级分类页面上布置。
03 关键词布局
我们承接上一个话题，在网站布局优化好了之后，来看一下页面权重（PageRank）等级和关键词的布局问题：
整站关键词布局：页面排序
PageRank是谷歌的拉里佩奇用来计算页面重要性的权重值，一般页面的权重越高，排名就会越高：把关键词布局到权重高的页面上，有助于获得排名。
首页是权重最高的页面，我们就可以把网站的核心关键词布局到首页上，比如说你的核心关键词是glass bottle manufacturer，就可以把这个词布局到首页上。
其次的权重较高的页面是二级（main topic pages）栏目页面：例如产品分类页面、或者应用案例页面，还是拿glass bottles举例，你就可以把产品分类的关键词，例如带有容量的玻璃瓶关键词和带有用途这类关键词布局到二级页面上。
权重最小的页面是三级页面（subtopic pages），例如具体的产品页面（product pages）或者博客页面（posts），我们就可以利用这些页面来做搜索量小一些的具体产品关键词和话题关键词的排名了。
04 面包屑导航
面包屑导航一般在网站的顶部或者底部位置，可以让用户快速的返回上一层或者首页，
优化网站的导航，不仅方便Googlebot抓取到所有的网页，也可以使用户可以轻松的浏览和找到网站上的内容，提升网站的用户体验度和实用性。
导航建议使用面包屑导航，面包屑导航显示用户当前页面的位置和导航路径。这对于用户返回上一步和理解网站结构非常有帮助。
比如说一个用户是通过一个外链访问到你的网站上，这个用户到的不一定是首页，但是他能够通过导航栏判断自己所处的网页在哪个层级上。
05 简洁的文字网址
文字链接更容易被搜索引擎发现和收录，精简的文字链接不仅用户体验要好，也容易被搜索引擎发现。
在网址中使用字词也就是URL链接使用文字，为搜索引擎设置可抓取的文字链接，，比如说：
这里要说一下文字链接要精简，不用使用太多的关键词，太长的网址会让用户望而却步。
使用文字链接的URL不仅跟网页相关度好，用户或者搜索引擎通过文字就能明白网页的大概内容是什么，有助于用户体验。
06 使用锚文本anchortext
Anchor text是指锚文本，也就是链接中可以点击的单词或者短语，它的作用是将文本和网页建立链接。锚文本提供了关于链接目标的描述文本，也是链接目标内容的提示文本，锚文本可以让用户和搜索引擎知道点击链接就到达什么样主题的页面。
锚文本可以优化网站的内部链接；在网站内部合理的使用锚文本，可以改变网站内部的链接结构，增强网页之间的相关性和有效传递网页内部链接的权重。
比如说，你想某款跑步鞋的网页在搜索引擎上的排名更高，就可以在首页给这个网页做一个锚文本链接：
因为首页是整个网站权重最高的网页，这样就可以把首页的页面权重有效的传递到这个锚文本链接的某款跑鞋的网页上，从而可以有效的提高这个页面的排名。
以下是使用锚文本的建议：
07 站长地图（sitemap）
站长地图（sitemap）是一种xml、RSS、mRSS 和 Atom 1.0或者文本文件形式的文件，我们可以用站长地图里面提高网站中的网页、视频或者其他文件的关于网站结构和链接的信息，站长地图还列出了网站上所有可供爬取的网页，还提供了网页更新时间、相对优先级等，搜索引擎会读取这个站长地图文件，从而更高效的抓取我们的网站。
使用站长地图可以优化搜索引擎的爬行路径，站长地图可以引导Googlebot按照优先级和网站的层级结构进行有顺序的爬取，从而提高了网站的索引效率。
如果你网站使用的wordpress、Wix或者Blogger这样的网站内容管理系统，就不用再向搜索引擎提供站长地图了，因为这些网站系统已经自带了站长地图功能，它们会为你自动提交站长地图。
08 网站链接URL
URL是网站的网址，一个好的URL不仅与网页内容有关，易被用户理解、也方便搜索引擎抓取和索引。以下是优化URL的一些因素：
URL里面包含关键词：好的URL结构要包含关键词而不是一堆乱码，这样要易被搜索引擎和用户理解。
比如说一篇博客的域名是：，从URL这个域名中我们就能明白内容是关于谷歌SEO的。
URL使用短域名：简洁的URL，不仅方便用户记忆，在谷歌搜索结果中可以完全展示，有助于提示网页的点击率。短的URL包含四到五个关键词就可以了，太长了用户也记不住。
使用HTTPS安全协议：安全性一直是网络的关键要求，谷歌就要求网页必须采用https协议才有资格在Google搜索中获得良好的网页体验状态，没有使用HTTPS安全协议的网站，在Google上很难获得一个好的排名。
