上面介绍了影响Baidu spider正常抓取的原因，下面介绍Baidu spider的一些判断原则。在建库环节前，Baidu spider会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取—一分析是否建库&发现新链接的流程。理论上，Baidu spider会将新页面上所有能“看到”的链接都抓取回来。那么，面对众多新链接，Bartender根据以下两个方面判断哪个更重要。