A5站长网8月28日消息，昨日360综合搜索宣布正式推出搜索蜘蛛(也叫爬虫)——360Spider。360综合搜索新浪官方微博称如果站长希望自己的网站被360综合搜索收录，请检查一下网站robots.txt 文件是否允许360搜索蜘蛛抓取您的网站内容。如果网站还没有允许360搜索蜘蛛抓取，只要在robots.txt 文件中添加360Spider相关代码即可。
robots.txt 文件中添加360Spider相关代码
根据最新数据显示，360综合搜索在上线仅仅一周多时间内，依靠安全卫士、浏览器、网址导航等360旗下产品入口已经获得了巨大的流量，流量超过此前排名第二的搜狗。在搜索业务上直接与百度展开正面竞争。360综合搜索在产品并未成熟时并没有急于开发自己的独立搜索引擎，而是将用户的搜索需求同时提交给百度、谷歌等，对多个搜索引擎的结果进行优化后再将结果展示在同一个页面上。通过其多年积累的入口优势吸引流量，进而完善自身的搜索引擎技术，开发更成熟的产品。推出360搜索蜘蛛，将更加完善其搜索引擎算法和排名系统，吸引更多站长关注360综合搜索，并针对其展开相应的优化获取流量。
从以往百度、谷歌的成功来看，搜索引擎在获得巨大的流量后，搜索竞价广告将是最好的流量变现方式。此前360也已经推出针对其网址导航等产品的推广营销平台。《第一财经周刊》爆料称奇虎360内部已经开发出自己的搜索竞价排名广告系统，也在招募搜索广告渠道代理商。A5悦怀营销（）也表示360综合搜索在获得一定流量的同时，势必会在原有网址导航竞价系统的基础上开发自己的竞价排名系统与百度展开竞争，在争夺普通网民用户的同时，抢占个人站长和企业用户市场。
相关资料：
什么是搜索引擎蜘蛛
由于搜索引擎专门用于检索信息的“机器人”程序象蜘蛛一样在网络间爬来爬去，因此，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。
搜索引擎抓取网站页面主要靠的是蜘蛛程序也就是我们常说的爬虫。不同的爬虫分工意义不一样，常见的爬虫有批量爬虫、增量爬虫和垂直爬虫，这三者都有所区别。
搜索引擎主要是由蜘蛛程序(网页爬行器爬虫)、切词器、索引器、查询器几个部分组成。蜘蛛程序主要负责页面的抓取，与切词器、索引器一起共同对网页内容进行分词处理，建立索引数据库。查询器主要是根据用户的查询条件检索索引数据库，并对索引结构进行计算和排名，并提取简要摘要反馈给用户。
