石家庄网站建设方案报价

百度针对网站爬行原理探究

来源:www.wangzhan.net.cn 作者:笔者小丹 时间:2018-11-23 14:59:24 浏览:2531次

    正常情况下网站上线后,百度通过对网站核查后就会对网站进行收录,之后会根据网站的质量对网站进行爬行评分,然后匹配排名。而如果网站的某些页面或者针对某些搜索引擎的特殊要求不希望被其爬行收录的话,我们也可使用robot文件等操作方式来屏蔽搜索引擎蜘蛛的爬行。那么,搜索引擎之于网站的爬行是依照什么原理来进行的呢?这就是今天笔者小丹和大家一起来探究的问题了。

    robots.txt文件是为了告诉百度哪些页面你可以爬行但是不可以留存快照,或者说你不可以爬行。而收录快照则是百度需要对网站页面进行评分,且用如果我们的网站打不开了,用户也可以通过快照打开。正确的理解就是百度快照就是百度抓取网站页面后,保存在自己数据库中的我们的网站数据。为了减少百度资源浪费,抓取的快照有时候无法完全保存你的整个页面,例如大图和动态特效位置就无法保存。

    百度爬行网站,更新的捏快照,其实并不百分百是爬行了网站页面,也有可能是爬行了百度的数据库快照索引,这样可以增加百度爬行速度,减少百度蜘蛛资源浪费。那么不允许百度保存你的快照的作用就是每一次来人,每一次百度评分你的页面,那么百度都必须去完全的分析你的页面,而不是去分析你的百度数据库保存的老页面,这样帮助你的网站页面实时获得最新的评分。告诉百度不允许爬行某个页面的命令来源于robots文件,百度爬到这个文件的时候不会给这个页面权重,但是如果百度从别的页面进入这个网站这个页面依然可以获得权重。

    同样的,第二个可以达到屏蔽抓取的就是nofollow标签,当我们在网站中任何位置给某一个链接添加了nofollow标签属性的时候,就是告诉百度这个链接将不会获得我的网站的任何权重。如,首页域名的带www域名本身极少内容页和栏目页,所有栏目做二级域名,首页的外部指向链接做nofollow不给其权重而自己的二级域名不做nofollow则本身带www页面无栏目、无内容、权重有限,就一个单独的网站页面,所有的二级域名网站整站传递权重给带www的页面,则带www页面只给部分二级域名站内容页和二级域名站首页传递权重,这样带www的网站首页依然获得比传出去多得多的权重,累计权重排名。

    当然上面讲到的操作方式适合大型网站站点的集权操作,而小型站点则不必。因为小型网站尤其是普通的企业站点栏目分类本来就很少,如果我们做成网站二级域名的形式则我们二级站点域名传递给主站的权重就会很少,这样不但不能够帮助主站提上权重排名,还会影响二级域名站点的独立成长,得不偿失。

    (转载请注明转自:www.wangzhan.net.cn,谢谢!珍惜别人的劳动成果,就是在尊重自己!)

上一篇:错误友情链接对网站的危害有哪些

下一篇:网站不同优化时期的友链交换注意事项

返回列表

网站建设知识

石家庄网站建设 石家庄网站优化 石家庄网站建设报价 石家庄网站推广
石家庄网站建设方案 石家庄网站建设推广 石家庄网站制作维护

更多 +联系我们

24小时服务热线:400-1180-360

业务 QQ:  444961110电话: 0311-80740308

渠道合作:  444961110@qq.com

更多 +关于我们

河北供求互联信息技术有限公司(河北供求网)诞生于2003年4月,是康灵集团旗下子公司,也是河北省首批从事网站建设、电子商务开发,并获得国家工业和信息化部资质认证的企业。公司自成立以来,以传播互联网文化为已任, 以高科技为起点,以网络营销研究与应用为核心,致力于为各企事业单位提供网络域名注册、虚拟主机租用、网站制作与维护、网站推广和宣传、网站改版与翻译、移动互联网营销平台开发与运营、企业邮局、网络支付、系统集成、软件开发、电子商务解决方案等优质的信息技术服务,与中国科学院计算机网络信息中心、腾讯、百度、阿里巴巴、搜狗、360、电信、联通、中国数据、万网、中资源、阳光互联、点点客、北龙中网、电信通等达成战略合作伙伴关系。

版权所有 © 河北供求互联信息技术有限公司-优秀的石家庄网站建设公司,为您提供石家庄网站建设、网站推广等优质服务.   
服务热线:400-1180-360 增值电信业务经营许可证:冀B2-20105159 冀ICP备09010972号

在线留言
免费试用
扫一扫

扫一扫
赠送神秘大礼

全国免费服务热线
400-1180-360

返回顶部