如何診斷和提高網(wǎng)站的爬行

　　當(dāng)你去看一個(gè)網(wǎng)站的時(shí)候，無論你是為了你自己的項(xiàng)目還是為了客戶的項(xiàng)目，很重要的一個(gè)方面就是希望網(wǎng)站能夠被爬行。在這篇文章中，我希望能夠討論幾個(gè)這方面的問題并且診斷一些爬行的問題。

　　首先我們要進(jìn)行查詢的第一步就是進(jìn)行一個(gè)簡單的[site:example.com]的搜索并且比較一下你的網(wǎng)站到底有多少個(gè)頁面和谷歌認(rèn)為你有多少個(gè)壓面?，F(xiàn)在，你需要記住的就是，這個(gè)數(shù)字只是一個(gè)估算。你需要去做的就是進(jìn)行足夠的估算谷歌知道你有多少頁面。

　　如果你有幾百個(gè)甚至上千個(gè)頁面，但是谷歌只知道其中的100個(gè)的話，那么你就會(huì)出現(xiàn)這樣的一個(gè)問題。這是由你網(wǎng)站的規(guī)模所決定的，百分之10-30的準(zhǔn)確性還是有的。

　　你要做的第二件事就是要關(guān)注站長中心。如果你提交一個(gè)網(wǎng)站地圖，谷歌會(huì)告訴你你提交了多少的頁面和多少個(gè)頁面被索引了。數(shù)量越接近的話，那么就更好。如果不是百分之一百的匹配的話，有事你的網(wǎng)站就會(huì)被鎖定。從這一點(diǎn)來看，你只需要去考慮整體的數(shù)量。

　　如果這件事從根本上來說是正常的話，那么你就可以從站長重心直接下載很多的頁面的索引。雖然這是用來檢查一些死鏈接的，在這個(gè)過程中它就會(huì)來爬行我們的網(wǎng)站。如果你是一個(gè)大的網(wǎng)站的話，那么你就會(huì)想去做一些爬行的限制。

　　我想用的另一個(gè)產(chǎn)品就是網(wǎng)站審計(jì)員。有關(guān)網(wǎng)站審計(jì)員的一個(gè)很有趣的是將都是你可以限制爬行的深度問題，那就是你希望搜索引擎蜘蛛爬多深。是由首頁開始的，只會(huì)上升一個(gè)階層。在運(yùn)行一次，這次就會(huì)是兩個(gè)層面，然后就是3個(gè)層面。除此之外，站長中心會(huì)有很多的報(bào)告，你將會(huì)出現(xiàn)一些問題。說句實(shí)在話，你網(wǎng)站的權(quán)威性還是很重要的。

　　擁有鏈接數(shù)量最多的網(wǎng)站往往是被爬行的最頻繁的。最受信任和權(quán)重高的頁面也是被爬得最頻繁的。

　　所以，你需要做的是擁有不同層面的頁面的樣本然后去判斷它們的爬行概率。那些像網(wǎng)站編輯的那些工具將會(huì)為你做這些事。第二個(gè)方法就是使用一個(gè)外包服務(wù)。那么你怎么知道你自己是否出現(xiàn)了麻煩了呢?下面就是對這篇文章的一個(gè)總結(jié)：

　　我們要準(zhǔn)確的去估計(jì)你網(wǎng)站的爬行情況

　　使用站長中心去看你的頁面的索引情況

　　識別你網(wǎng)站上的鏈接

　　試著去測試對不同深度的爬行情況