石家庄网络公司:为网站保驾护航,严格遵守Robots协议

时间:2014-8-8 14:09:57 浏览:1348次

      Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。该协议尊重信息提供者的意愿,并维护其隐私权;保护其使用者的个人信息和隐私不被侵犯。而日前,百度以奇虎360违反Robots协议为由一纸诉状将其告上法庭,一审要求360赔付百度相关损失70万元。

      我们做SEO时,为了让网站更好的运行经常会应用robots文件,它相当于给网站加上一层保护网,对网站而言绝对的有利的。而本次Robots协议事件,让我们不得不再次将Robots提上网站安全的文案。

      有法律专家表示,Robots协议如果被破坏,对整个行业可谓灭顶之灾。然而,作为行业惯例的robots协议却因为并非白纸黑字的法律条文,成了一些无节操互联网公司恶意违反robots协议搞不正当竞争的借口。那么,不是法律条文的robots协议,在全行业普遍遵守的习惯下,违反者难道不应该为此承担法律责任吗?

      “惯例也好,习惯也好,都是一种行为模式,是为了要达到一定的利益诉求。通常它是既有利于自己的利益,同时又与其他利益攸关者的正当利益不相冲突。在这个前提下,惯例是一种经济上节约,法律上又合法的行为模式。这样一种行为模式,只要符合前面说的这两条就是合法的。”

      由此来看,我们只需要搞清楚Robots协议是不是一种切切实实存在的行业惯例或习惯,就可以对违反Robots协议如何定性这个问题做到至少心中有数。

      robots协议由荷兰籍网络工程师Martijn Koster 于1994年首次提出,robots协议是国际互联网界通行的道德规范,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。有统计资料显示,目前国内设置robots协议的网站超过4亿,中国大的网站也均都设置了robots协议:淘宝网、腾讯、CCTV、人民网、网易、新浪、太平洋在线、优酷等,百度和360也都在各自站点中设置了robots协议。

     不仅如此,国际排名前1000左右的网站中,Facebook、Twitter、Alexa、 LinkedIn 等国际知名网站,均采用白名单制设置robots,只允许robots.txt文件中声明的搜索引擎抓取,禁止其他搜索引擎抓取,例如Facebook网站允许baiduspider、Googlebot、msnbot、naverbot、 Eznambot、Slurp、teoma、Yandex等搜索引擎爬虫收录使用网站特定内容,禁止包含360等在内的其他搜索引擎抓取。TWITTER网站部分内容只允许Googlebot、Slurp、Yandex 、msnbot搜索引擎爬虫抓取,对于其他搜索引擎不允许抓取。

      实际上,不可计数的中小网站也大多在使用robots文件来保护后台登陆地址、数据存档目录等敏感信息,以保护网站及其用户的隐私安全。

      综合这些情况来看,robots协议确实一种行业惯例,是全行业用来保护知识产权、信息安全和隐私内容的一种惯用方法。

      然而,在实际的行业市场中,却偏偏存在不按常规出牌的公司,比如360公司自2012年8月推出独立搜索以来,一直无视robots协议这一国际通行规范,在未获得百度等公司允 许的情况下,违反业内公认的Robots协议,擅自抓取网站Robots文件中明文禁止的内容,即便在互联网协会出面调解,签署了《互联网搜索引擎服务自律公约》后,仍然明知故犯,实乃不把行业惯例放在眼里。

      有专家指出,Robots协议代表一种契约精神,互联网企业只有遵守这一规则,才能保证网站及用户的隐私数据不被侵犯。可以说,无论从保护网民隐私还是尊重版权内容的角度,遵守robots协议都应该是正规互联网公司的默之举,任何违反robots协议的行为都应该为此付出代价。

     Robots协议为网站安全保驾护航,一旦违反协议要求很多商业性网站可能会蒙受巨大损失。我们不想知道如此惯例是否有罪,重要的是维护网络环境和谐让网络User可以放心是每位站长的共同心愿。

 

上一篇:网络营销三个值得注意的问题

下一篇:移动互联时代,网络营销迈向新纪元

返回列表

网站建设知识

品牌创意网站建设 上市公司网站建设 大型门户类网站建设 全方位网站运营代理
企业官方网站建设 B2C电子商务网站建设 专题活动网站(MINISITE)

更多 +联系我们

24小时服务热线:400-1180-360

业务 QQ:  444961110传真: 0311-80979256

渠道合作:  444961110@qq.com

更多 +关于我们

河北供求互联信息技术有限公司(河北供求网)诞生于2003年4月,是康灵集团旗下子公司,也是河北省首批从事网站建设、电子商务开发,并获得国家工业和信息化部资质认证的企业。公司自成立以来,以传播互联网文化为已任, 以高科技为起点,以网络营销研究与应用为核心,致力于为各企事业单位提供网络域名注册、虚拟主机租用、网站制作与维护、网站推广和宣传、网站改版与翻译、移动互联网营销平台开发与运营、企业邮局、网络支付、系统集成、软件开发、电子商务解决方案等优质的信息技术服务,与中国科学院计算机网络信息中心、腾讯、百度、阿里巴巴、搜狗、360、电信、联通、中国数据、万网、中资源、阳光互联、点点客、北龙中网、电信通等达成战略合作伙伴关系。

版权所有 © 河北供求互联信息技术有限公司-最优秀的石家庄网站建设公司,为您提供石家庄网站建设、网站推广等优质服务.   
服务热线:400-1180-360 传真:0311-80979256 增值电信业务经营许可证:冀B2-20105159 冀ICP备09010972号

在线留言
免费试用
扫一扫

扫一扫
赠送神秘大礼

全国免费服务热线
400-1180-360

返回顶部