座机:0512-66174565

  • 找商品
  • 找商家
请输入产品名称 搜商家名称
您所在的位置秒速时时彩 > 网站秒速时时彩 > 新闻资讯 > 新闻详细

如何发现并避免网站被劫持百度搜索引擎工作原理

发布日期:2017-4-13  浏览次数:2

  Baiduspider在抓取过程中面对的是一个超级复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略。以下做简单介绍:

1、抓取友好性

互联网资源庞大的数量级,这就要求抓取系统尽可能的高效利用带宽,在有限的硬件和带宽资源下尽可能多的抓取到有价值资源。这就造成了另一个问题,耗费被抓网站的带宽造成访问压力,如果程度过大将直接影响被抓网站的正常用户访问行为。因此,在抓取过程中就要进行一定的抓取压力控制,达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。

通常情况下,最基本的是基于ip的压力控制。这是因为如果基于域名,可能存在一个域名对多个ip(很多大网站)或多个域名对应同一个ip(小网站共享ip)的问题。实际中,往往根据ip及域名的多种条件进行压力调配控制。同时,站长平台也推出了压力反馈工具,站长可以人工调配对自己网站的抓取压力,这时百度spider将优先按照站长的要求进行抓取压力控制。

对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整。对于不同站点,也需要不同的抓取速度。

2、常用抓取返回码示意

简单介绍几种百度支持的返回码:

1)最常见的404代表“NOT FOUND”,认为网页已经失效,通常将在库中删除,同时短期内如果spider再次发现这条url也不会抓取;

2)503代表“Service Unavailable”,认为网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况。对于网页返回503状态码,百度spider不会把这条url直接删除,同时短期内将会反复访问几次,如果网页已恢复,则正常抓取;如果继续返回503,那么这条url仍会被认为是失效链接,从库中删除。

3)403代表“Forbidden”,认为网页目前禁止访问。如果是新url,spider暂时不抓取,短期内同样会反复访问几次;如果是已收录url,不会直接删除,短期内同样反复访问几次。如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条url也会被认为是失效链接,从库中删除。

4)301代表是“Moved Permanently”,认为网页重定向至新url。当遇到站点迁移、域名更换、站点改版的情况时,我们推荐使用301返回码,同时使用站长平台网站改版工具,以减少改版对网站流量造成的损失。

3、多种url重定向的识别

互联网中一部分网页因为各种各样的原因存在url重定向状态,为了对这部分资源正常抓取,就要求spider对url重定向进行识别判断,同时防止作弊行为。重定向可分为三类:http 30x重定向、meta refresh重定向和js重定向。另外,百度也支持Canonical标签,在效果上可以认为也是一种间接的重定向。

4、抓取优先级调配

由于互联网资源规模的巨大以及迅速的变化,对于搜索引擎来说全部抓取到并合理的更新保持一致性几乎是不可能的事情,因此这就要求抓取系统设计一套合理的抓取优先级调配策略。主要包括:深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指导策略等等。每个策略各有优劣,在实际情况中往往是多种策略结合使用以达到最优的抓取效果。

5、重复url的过滤

spider在抓取过程中需要判断一个页面是否已经抓取过了,如果还没有抓取再进行抓取网页的行为并放在已抓取网址集合中。判断是否已经抓取其中涉及到最核心的是快速查找并对比,同时涉及到url归一化识别,例如一个url中包含大量无效参数而实际是同一个页面,这将视为同一个url来对待。

6、暗网数据的获取

互联网中存在着大量的搜索引擎暂时无法抓取到的数据,被称为暗网数据。一方面,很多网站的大量数据是存在于网络数据库中,spider难以采用抓取网页的方式获得完整内容;另一方面,由于网络环境、网站本身不符合规范、孤岛等等问题,也会造成搜索引擎无法抓取。目前来说,对于暗网数据的获取主要思路仍然是通过开放平台采用数据提交的方式来解决,例如“百度站长平台”“百度开放平台”等等。



新闻资讯
推荐新闻
联系我们
推荐企业
  • 苏州路路顺机电设备有限公司VIP

    苏州路路顺机电设备有限公司,成立于2005年,是经营进口贸易的专业内销公司,开展国内贸易,等方式的经营业务,2005年正式挂牌营业。 主要专业代理,京瓷刀具、东芝刀具、三菱刀具,株洲钻石刀具,YG,大昭和,数控机床配件、机床夹具等,成立之初即为日本京瓷刀具(KYOCERA)产品苏州区域代理商,等产品的内销业务。路路顺公司主营业务为进口金属切削刀具及相关机械设备的市场推广、技术服务及销售,市场对象主要为从事机械制造加工的三资企业,国营大中型企业和私营企业。路路顺公司的销售理念是以技术服务为基础,建立良好和稳定的用户关系。公司为了更好地服务用户出资500万人民币建立了日本京瓷刀具库存,常用产品均为现货,今天订货明天到货已成为现实。 路路顺公司作为先进刀具及设备的供应商,以其完善的技术服务、充足的库存、良好的信誉正与越来越多的企业发展合作关系。

  • 苏州乐搜网络科技有限公司VIP

    苏州乐搜网络科技有限公司(简称乐搜科技)于2016年坐落于珠江路211号金枫城市产业园内,是一家新兴的集互联网营销、电商运营及众多互联网软硬件设备于一体的大型互联网综合服务提供商。2016年年中,公司快速发展成立第二家分公司,中邦天下(苏州)信息技术有限公司,苏州彩虹在线网络技术有限公司。公司现拥有一支专业、实战经验丰富的核心管理团队。致力于企业网络营销搜索推广,B2B、B2C平台运营,电子商务三大领域。公司下设:销售部、技术部、运营部、美工部、孵化部、行政部等众多部门。乐搜科技始终坚持“与客户共赢,与员工共存”的发展理念,专注于为企业提供更高效,更实战的网络营销服务,为“乐搜人”收获更多、成长更快而奋斗!

热门推荐

友情链接
|
01社交营销
以人为中心,建立信任和可 靠的社交营销平台。
02三端同步
WEB端、PC端、手机端 实现三位一体信息推广。
03搜索引擎优化
专业的SEO团队,四大搜索 引擎平台合作,服务企业商 铺搜索优化。
期待您的加入!

[ 入驻热线 ]

13812622617
关于中邦
关于我们
联系我们
产品展示
产品展示
优秀商家
新闻资讯
秒速时时彩
行业新闻
最新公告

中邦全国统一热线

13812622617

工作时间:周一至周五 8:30-18:00

© 2017-2027 技术技持:中邦天下(苏州)信息科技有限公司 版权所有
分享到:QQ空间新浪微博腾讯微博人人网微信