一、網(wǎng)站層次結(jié)構(gòu)
要利于蜘蛛爬行,首先得有一個(gè)清晰的層次結(jié)構(gòu)。樹(shù)形結(jié)構(gòu)是比較理想的網(wǎng)站結(jié)構(gòu),蜘蛛能夠很好的理解并爬行。采用首頁(yè)-索引頁(yè)-內(nèi)容頁(yè)的形式有利于用戶在最短的時(shí)間內(nèi)找到需求的信息。而且由于相關(guān)性極強(qiáng)的內(nèi)容在同一欄目下,提高了聚合度,這樣更有利于蜘蛛的爬行整合。同時(shí),樹(shù)形結(jié)構(gòu)應(yīng)該遵循層數(shù)盡可能少的原則。
二、網(wǎng)站導(dǎo)航、次導(dǎo)航、面包屑
網(wǎng)站導(dǎo)航是網(wǎng)站不可或缺的重要組成部分。采用統(tǒng)一的導(dǎo)航欄不僅有助于用戶體驗(yàn),更有助于蜘蛛識(shí)別。由于蜘蛛能有效識(shí)別并爬行css。因此,對(duì)于導(dǎo)航欄字體屬性是有效的。但切勿因?yàn)樽非笮Ч捎胘s、ajax、inframe、flash等蜘蛛無(wú)法有效爬行的技術(shù)。次導(dǎo)航同樣可以使用font-weight屬性表明重要性,而面包屑導(dǎo)航也是必不可少的,要注意盡量避免使用url鏈接,而更多采用錨文本鏈接。
三、內(nèi)容頁(yè)
新的內(nèi)容應(yīng)盡量出現(xiàn)在蜘蛛頻繁更新的地方。因此,內(nèi)容頁(yè)應(yīng)按ID或發(fā)布時(shí)間排序。而每篇內(nèi)容頁(yè)應(yīng)和其他頁(yè)面有效鏈接。