首先是蜘蛛來到網(wǎng)站:大家都知道,搜索引擎來到一個網(wǎng)站靠的是外部鏈接,如果你沒有和其它網(wǎng)站有外部鏈接,那么蜘蛛就不能順著這些網(wǎng)狀結(jié)構的鏈接爬行到你的網(wǎng)站,就無從談起抓取收錄,也就不會有排名,因為你的網(wǎng)站在搜索引擎的大門外。當蜘蛛來到你的網(wǎng)站首頁時(一般的外部鏈接都是鏈到首頁),最好讓他沿著首頁繼續(xù)爬行更加深的內(nèi)容和產(chǎn)品頁,這樣才能最大化的進行收錄,因此網(wǎng)站需要不錯的外部鏈接來引誘蜘蛛,同時網(wǎng)站內(nèi)部需要良好的網(wǎng)站結(jié)構,盡量達到扁平化或者樹狀結(jié)構。讓蜘蛛不但能來到你的網(wǎng)站,也能順著這些合理的結(jié)構進行爬行。一般情況下,網(wǎng)頁之間最好用文字鏈接,不建議使用JS、Flash或者圖片,現(xiàn)在搜索引擎還無法完全理解這些腳本里邊包含的內(nèi)容是什么。另外,我們可以制作網(wǎng)站地圖,把所有重要的頁面都以鏈接的方式顯示出來,這樣蜘蛛就能順著網(wǎng)站地圖順利的爬行你的網(wǎng)站。最后和大家說的是,最好所有的頁面能在三四次點擊內(nèi)達到,如果點擊次數(shù)太多的話,收錄很困難。
接著是蜘蛛抓取網(wǎng)站:在收錄和抓取上,建議大家盡量使用靜態(tài)頁面。雖然現(xiàn)在蜘蛛已經(jīng)完全能讀懂動態(tài)頁面的意思,并且也能很順利的進行爬行和抓取,但是通過研究我們可以發(fā)現(xiàn),往往的靜態(tài)頁面排名要優(yōu)先于動態(tài)頁面。在外部條件相同的情況下,一般靜態(tài)網(wǎng)頁的權重稍微高于動態(tài)。有時候動態(tài)網(wǎng)頁由于設計的問題容易讓蜘蛛進入無限循環(huán),所以搜索引擎會遠離這類URL。另外有些企業(yè)網(wǎng)站是全Flash設計的,在讀取上非常困難,一般不太容易實現(xiàn)收錄。另外就是避免框架結(jié)構,剛開始出現(xiàn)網(wǎng)頁設計時,框架曾經(jīng)很流行,現(xiàn)在還有很多網(wǎng)站在采用框架結(jié)構,但這個是讓搜索引擎很頭痛的東西。搜索引擎基本不對框架里邊的東西進行抓取。除了框架之外,還有的就是音頻文件,圖片,廣告代碼,彈窗等都不利于蜘蛛爬行。蜘蛛喜歡文字性的內(nèi)容。因此我們有了足夠的外部鏈接來引誘蜘蛛時,要注意的就是合理的使用網(wǎng)頁設計的元素,這樣才能讓搜索引擎順利抓取你的網(wǎng)頁和內(nèi)容。
最后是被搜索引擎提煉:我們的網(wǎng)頁中包含圖片,包含文字,同時也包含很多其它文件,搜索引擎并不會抓取不相關的文件,只會抓取文字內(nèi)容。所以Html代碼需要進行優(yōu)化才能讓搜索引擎以最快的速度提煉出最重要的信息?傮w要符合以下六個原則,一是格式標簽占的比例越低越好,文字內(nèi)容占的越多越好;二是把css、js等文件放在外部,需要時進行調(diào)用;三是把關鍵詞放在合理的標簽中,比如標題常常放在H1標簽中。四是檢查網(wǎng)頁的兼容性,使用不同的瀏覽器進行測試;五是盡量符合W3C標準,雖然這個不容易,但是盡量把代碼標準化;六是只有蜘蛛順利爬行你的網(wǎng)頁并提取有用的信息,才是比較友好的設計。以上六個原則是進行設計是必須要注意的,有很多網(wǎng)頁里邊包含了大量的CSS以及JS代碼,就會影響蜘蛛的爬行,如果重要內(nèi)容在這些內(nèi)容下,那么很可能不會被搜索引擎爬行到。
我們做網(wǎng)站的時候需要照顧到用戶體驗,但是用戶體驗并不和友好搜索引擎的代碼相互沖突。如果你的網(wǎng)站一定要使用Flash或者Ajax才能達到效果,那么也可以用,但盡量少用。很多網(wǎng)站導航喜歡用圖片,其實純CSS的代碼也能設計出漂亮的菜單,同時也利于搜索引擎抓取。我們在設計網(wǎng)頁的時候,首先要考慮的是如何服務用戶,但同時記得不要把搜索引擎的蜘蛛拒之門外就可以了。不必苛求兩者中的任何一個方面。