首先，我们在建设网站之前，我们都是需要去很好了解蜘蛛爬行的模式与规律，因为我们都知道搜索引擎是通过蜘蛛这款小机器人来游览我们网站源代码进行抓取链接，从而很好搜集资料，从而提交到搜索引擎数据库，然后达成网站页面收录的效果，并且蜘蛛根据一定的算法规律来进行生成目录排列，这些都是需要我们简单的了解。
蜘蛛如果能够很好的的扫描、爬行、抓取我们的网站内容，必然的对我们网站的权重排名会有很大的提升，那么为了确保我们的网站能够让蜘蛛很好的抓取，小编建议各位切勿为网站太多的模式以及结构布局，从而导致我们的网站内容不能够很好的抓取，下面小编列举我手下站点五个常见的导致蜘蛛不喜欢我们网站原因供大家参考：
(一)导航过于复杂。相信很多的网站设计师与小编在导航设计这一块特别的头痛，因为导航向导设置太过于复杂，而且在网站又属于全站式链接，对于网站整体的权重以及用户体验都是极为重要的，并且蜘蛛对于较为复杂的代码爬行通常都是比较困难或者说不易于抓取，所以复杂的导航无疑会让蜘蛛走很多弯路导致我们的网站收录不够理想，而且让用户一层层的点击，无疑对他们来讲是一种浪费时间体验，不能够很直接找到自己想要的内容，所以复杂的导航无论是对于蜘蛛还是用户都是极为不利的。
解决方法：为网站设计一个简单导航结构，能够让用户快速的找到自己想要的主题内容，并且我们可以再主导航下方加入下拉导航，这样就可以很好的体现3级、4级栏目了。
(二)网站过多内容显示图片和脚本文件上。搜索引擎蜘蛛的爬行是通过一些虚拟的工具来进行辩解以文本、脚本为主的内容，然而对于那些flash、图片内容蜘蛛是没有办法进行抓取的，所以这无疑也是网站UI设计者的一大烦恼问题。http://www.yixiin.com/sell/
解决方法：通过一些转换内容的形式使其网站代码可以让搜索引擎蜘蛛识别，并且我们也可以利用一些搜索引擎蜘蛛模拟抓取器来进行爬行我们的网站并进行观察，如若发现在抓取当中有过多的内容丢失或者屏蔽的话，这时候我们就需要向办法重新来设置向导从而引诱蜘蛛抓取。
(三)切勿不连贯的链接操作。在我们建立网站链接的时候，我们一定要很小心的去命名，因为我们都知道搜索引擎蜘蛛是不可能和人有着一样的判断思维标准的，它通常是通过我们的URL为标准进行评判，有时候两段不一样的代码内容确链接着相同的URL，那么这么时候蜘蛛肯定会迷糊，到底哪个内容是你链接页面所想表达的内容，虽然很多时候我们人可以明白这些逻辑，但是毕竟搜索引擎蜘蛛还不足够的人性化，所以很多时候我们还是需要按照蜘蛛喜爱的形式来进行链接。
为了避免引导蜘蛛不能够判断的内容，所以我们必须要使用连贯相同的代码进行指向链接，让我们的指向链接所表达的内容唯一性。
(四)网站错误的重定向。这点就设计到我们网站的301重定向，也就是说用该301重定向的形式进行页面与页面之间的跳转。那么什么时候我们会用到301重定向呢?首先我们需要明白它的作用是蜘蛛在爬行页面的时候，进行跳转到了我们指向的那个页面，通常我们都用于域名重定向，把不带WWW的重定向到带WWW的上面，其实不然，很多时候我们在发布内容的时候，一不小心就会发布重复的内容，并且搜索引擎将其页面全部收录，这个时候我们删除肯定是不行的，那么我们就可以利用301重定向，把一个页面跳转到另一个页面之上，这样不仅仅不算是重复的内容，并且还能把权重进行累计，这无疑是一种很好的方法。
(五)错误的网站地图。如果想要网站收录好，网站地图是一个能够让蜘蛛快速爬行抓取的一个重要渠道，但是如果说一个错误的地图反而对我们的网站抓取是极为不利的，所以说我们必须要确保地图的指示准确性，当然现在一般的CMS后台都是自带地图生成的，所以一般我们都是一键生成即可。当然如果说你的网站是运行在一些平台之上的话，那么我们就需要下载一些自动生成网站地图的插件了，如果还不行话，我们可以利用HTML代码进行手动的建设一个地图页面，并且在建成之后提交给搜索引擎即可。
http://www.yixiin.com/sitemap/index-htm-mid-5-letter-r.html
http://www.yixiin.com/sitemap/index-htm-mid-5-letter-t.html
http://www.yixiin.com/sitemap/index-htm-mid-5-letter-y.html