首先我们的网站的新内容应尽量呈此刻蜘蛛经常爬行的处所。而且内容页也应该按照文章发布时刻来排序，而每篇内容页应有锚文本与其他其他页面有链接。可以在内容竣事后插手上一篇、下一篇窜连上下篇文章。同时可以增添相关内容、举荐阅读，周排行等栏目，这样更有助于蜘蛛抓取网站的内容。而统一内容页下不异关头系不要呈现分歧的链接，文章也要依据自身的质量以及长度设置锚文本密度，专题栏目下要呈现相关的方针环节。当使用超链接链接到网站的其他页面时，超链接文字要精练而适当。用一些能描述页面内容的相关枢纽词来作为超链接文本时很主要的，样不仅有利于seo，而且人们也可以轻松地知道即将打开的链接的年夜致内容。词网站导航、次导航、面包屑网站导航是网站不成或缺的重要组成部门。合理的导航有助于蜘蛛识别并爬行收录，并且对用户体验也有莫大的益处。还有一点就是网站地图了，网站地图文件对于蜘蛛爬行我们的网站长短常重要的。一般的建站轨范都有生成网站地图的功能，要么就可以下载一个插件来实现这样的一个功能，在次导航放一个网站地图的链接有利于蜘蛛更周全深切的爬行我们的网站，操作很简单，意义却很重大。
总之网站条理结构要利于蜘蛛爬行，首先得有一个清楚的树形机关。树形结构是斗劲理想的网站结构，蜘蛛能够很好的理解并爬行。
内容页的形式有利于用户在最短的时间内找到需求的信息。而且因为相关性极强的内容在同一栏目下，这样有利于蜘蛛的爬行收录，也有利于用户快速的找到所需求的内容。同时，树形网站结构应该遵循层数尽可能少的原则，能经由两次或三次点击能达到的网页，就不要点四下才能进入。