当你去看一个网站的时候，无论你是为了你自己的项目还是为了客户的项目，很重要的一个方面就是希望网站能够被爬行。在这篇文章中，我希望能够讨论几个这方面的问题并且诊断一些爬行的问题。

　　首先我们要进行查询的第一步就是进行一个简单的[site:example.com]的搜索并且比较一下你的网站到底有多少个页面和谷歌认为你有多少个压面。现在，你需要记住的就是，这个数字只是一个估算。你需要去做的就是进行足够的估算谷歌知道你有多少页面。

　　如果你有几百个甚至上千个页面，但是谷歌只知道其中的100个的话，那么你就会出现这样的一个问题。这是由你网站的规模所决定的，百分之10-30的准确性还是有的。

　　你要做的第二件事就是要关注站长中心。如果你提交一个网站地图，谷歌会告诉你你提交了多少的页面和多少个页面被索引了。数量越接近的话，那么就更好。如果不是百分之一百的匹配的话，有事你的网站就会被锁定。从这一点来看，你只需要去考虑整体的数量。

　　如果这件事从根本上来说是正常的话，那么你就可以从站长重心直接下载很多的页面的索引。虽然这是用来检查一些死链接的，在这个过程中它就会来爬行我们的网站。如果你是一个大的网站的话，那么你就会想去做一些爬行的限制。

　　我想用的另一个产品就是网站审计员。有关网站审计员的一个很有趣的是将都是你可以限制爬行的深度问题，那就是你希望搜索引擎蜘蛛爬多深。是由首页开始的，只会上升一个阶层。在运行一次，这次就会是两个层面，然后就是3个层面。除此之外，站长中心会有很多的报告，你将会出现一些问题。说句实在话，你网站的权威性还是很重要的。

　　拥有链接数量最多的网站往往是被爬行的最频繁的。最受信任和权重高的页面也是被爬得最频繁的。

　　所以，你需要做的是拥有不同层面的页面的样本然后去判断它们的爬行概率。那些像网站编辑的那些工具将会为你做这些事。第二个方法就是使用一个外包服务。那么你怎么知道你自己是否出现了麻烦了呢?下面就是对这篇文章的一个总结：

　　我们要准确的去估计你网站的爬行情况

　　使用站长中心去看你的页面的索引情况

　　识别你网站上的链接

　　试着去测试对不同深度的爬行情况