第一,針對空白的網頁內容需要及時的填充。我們在建設網站時,往往會將框架內容搭建好,可是在日常運營期間,這些已經搭建的框架內容因為疏忽會忘記增添內容,此時最好的方法就是通過工具搜索網站是否存在著空白內容的網頁,然后再進行手工填充,當然填充的內容一定要具有一定的質量新,要知道百度蜘蛛在長期爬行到這樣的網頁上時沒有看到內容,可是如果你填充的內容質量很差,那么百度蜘蛛重新抓取內容時,發(fā)現(xiàn)原來是垃圾內容時,這就很容易給你網站打上負面分,所以重新填充的內容一定要具有一定的高質量。
第二,如果是死鏈接這樣的無效頁面,這時處理的方法就會相對簡單,只需要建設一個404頁面,并且在該頁面上提供一些內容,讓用戶覺得具有親和性,同時也會讓百度認為這個頁面不是簡單的一個404頁面鏈接,同時也包括了一定的內容,所以網站也會給百度蜘蛛帶來好印象。
第三,針對一些特殊無效頁面的處理。在網站運營時,往往會存在著一些頁面僅僅對用戶存在著一定的用處,可是對百度蜘蛛卻沒有絲毫意義,比如一些注冊頁面,訂單頁面,博客留言以及商城的購物車等。這些頁面的存在不會給網站排名帶來多大利益,而且還會增加網站無效頁面的占比,要知道無效頁面占比越高,那么百度蜘蛛對于網站的認可度就會越低,最終的結果就會給網站帶來極差的評價。所以對于這些用戶有用,搜索引擎無用的頁面,則可以通過nofollow屬性設置,規(guī)避百度蜘蛛的抓取,這樣就可以有效減低網站上的無效頁面。
第四,對于一些廣告頁面,或者灌水頁面,因為往往內容相對較多,可是對于用戶和搜索引擎都具有一定的垃圾屬性,此時完全可以使用Robots命令進行屏蔽,徹底取消百度等搜索引擎的抓取,這么做的好處就是一次處理的量相對較大,在處理效率上能夠適當?shù)母咭稽c。而且畢竟在網站上勢必會出現(xiàn)各種垃圾頁面,我們不可能一一的進行處理,所以直接使用Robots將某個欄目進行屏蔽,處理的效果就會提升很多。