Spider译为蜘蛛，但是这里石家庄网络公司要讲的蜘蛛并非自然界的节肢动物，而是搜索引擎机器人。他们在整个互联网世界中负责网站数据的搜集、保存、更新的任务。对于搜索引擎市场，我们经常会接触到的的spider有：Baiduspdier、Googlebot、Sogou Web Spider、360Spider等，对于这些Spider你知道多少呢？

    作为seoer我们经常会进行网站的数据更新，其目的就是为了吸引spider的爬行。为了吸引spider，各站长可谓是无法不用其所用，但是效果究竟如何就不得而知了。对于spider,我们是“谄媚”的，要获得它的亲睐就要投其所好。知己知彼，方能百战百胜，对于spider也是一样的。那么下面我们就先了解一下spider搜索定律。

    Spider的工作过程被认为是有向图遍历。从一些重要的种子URL开始，通过页面上的超链接关系，不断的发现新URL并抓取，尽最大可能抓取到更多的有价值网页。对于大型的spider系统，因为每时每刻都存在网页被修改、删除或出现新的超链接的可能，要对spider过去抓取过的页面保持更新，维护一个URL库和页面库。

    Spider抓取系统的基本框架图，其中包括链接存储系统、链接选取系统、Dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。spider抓取系统直接涉及互联网资源提供者的利益，为了使搜素引擎与站长能够达到双赢，在抓取过程中双方必须遵守一定的规范准则，以便于双方的数据处理及对接。spider抓取的流程为：Dns解析→Tcp链接→发送HttpGet请求→读取、解析httpheader信息→提取出页面内超链接，处理放入待抓队列→读取页面数据。