loading请求处理中...

百度官方网站抓取建设课程,有哪些值得关注?

2021-12-03 06:33:16 阅读 11753次 标签: 营销 作者: yipinweike01

  1、百度爬虫工作原理

  本节内容基于搜索引擎的工作原理,百度搜索团队讲述了搜索爬虫一个基础性的抓取流程与策略,如下图:

  通常来讲搜索爬虫:

  ①优先抓取网站的首页元素。

  ②提取页面所有的链接,并且分析页面质量,页面主题内容被记录相关元素,反映在搜索结果中,而页面中的链接,会进一步的进行二次抓取。

  ③基于整站URL地址的提取,根据搜索策略,进行二次筛选,选择有价值的目标链接,进行再次抓取,反复循环操作,以最大限度的抓取整站有价值的页面。

  其中值得说明的一个过程就是:

  在反馈给搜索页面的时候,在这个过程中,搜索引擎是需要对网站的结构,网站的类型,网站的主题相关性进行识别。

  因此,我们在建立新网站的时候,当我们试图提交给百度搜索时,我们需要确保:

  ①网站结构完整,简洁,具有较高的逻辑相关性。

  ②网站首页内容丰富,最好具有明显的时间标识。

  2、如何确保网站正常抓取

  根据百度搜索团队的课程,我们认为,主要包括如下几点因素:

  ①网站URL规范化

  所谓的URL规范化,通常来讲,主要就是指我们常见的一些URL基础性形态,一般来讲,我们通常建议大家选择伪静态的形式,一般可以是.html结尾。

  常见的URL层级理论上越简单越好,比如:domain/mulu/123*.html

  在这个过程中,我们尽量确保URL路径不要过长,尽量不要超过100个字符为最佳。

  同时避免采用不友好的URL形态,比如:中文字符嵌入的形态,如下图:

  当然,这里面需要强调的就是一个参数的问题,很多网站经常会有一些广告代码追踪,亦或是访问统计的后缀标识,这对于搜索引擎来讲,虽然是相同内容,但经常会自动添加不同的来路URL地址标识,很容易被识别成重复性内容。

  官方建议在使用统计数据的时候,尽量规范化标识,适当采用“?”等相关的形式。

  但根据实战经验来讲,合理的使用“?”同样会造成大量恶意的理由,比如:

  domain/mulu/?123*.html?【URL地址】

  因此,我们建议,如果非必须启用相关的动态参数,我们尽量在robots.txt中屏蔽“?”。

  ②合理发现链路

  什么是链路?

  简单的理解:所谓的链路就是从目标索引页,所展现的相关性页面超链接,搜索爬虫基于这些链接,可以更好的,更全面的抓取整站的页面内容。

  一般来讲:一个网站的索引页面,主要包括:首页、列表页、Tag标签聚合页面。

  这些类型的页面,每天都会进行大量的页面内容更新与调用。

  也就是说,随着不断的运营,这些页面就像是一个种子页面,在固定周期内,每天特定时间吸引搜索引擎不断的来访抓取最新页面。

  而一个良好的索引页,通常需要具备,定期更新的策略,最新的内容与文章,一般建议采用最新时间排序的策略进行展现。

  这样可以辅助搜索引擎更快地发现新内容。

  这里面值得强调的一个细节就是,我们新发布的内容,最好是实时同步在索引页面,这里一些需要静态手动更新,亦或是采用CDN加速的页面经常会遇到相关问题。

  同时,官方建议,我们尽量不要建立大量的索引页面,这里我们给到的理解就是:

  基于更新频率的策略,我们只需要保持核心索引页可以频繁地保持更新频率即可,如果大量启用不同的索引页面,而没有进行有效的内容展现,也是一种抓取资源的浪费。

  ③访问友好性

  通常来讲,所谓的网站访问友好性,主要是指:

  1)页面的访问速度,尽量控制在2秒以内。个人觉得可以合理启用百度CDN云加速。

  2)确保DNS解析的稳定性,一般我们建议大家选择主流的DNS服务商。

  3)避免页面产生大量的跳转,比如:索引页展现的链接,大量启用301,302,404类型页面。

  4)避免只用技术手段,亦或是错误的操作策略封禁百度爬虫。

  5)避免错误的使用防火墙,导致百度不能友好的抓取目标页面,特别是在购买一些虚拟主机的时候,需要格外注意。

  6)注意网站的负载压力,比如:高质量站点,短期大量更新内容,导致同一时间节点,大量的蜘蛛访问,造成服务器加载延迟甚至卡顿的情况。

  ④提高抓取频率

  我们知道想要试图提高网站的收录率,抓取频率的提升显得格外重要,通常来讲:

  新站:搜索引擎更多的是在乎页面内容质量度的覆盖率。

  老站:更多的是体现在页面的更新频率上。

  这里面值得注意的就是:

  对于企业新站而言,搜索引擎会在1-2个月的时间周期中,给予一定的流量倾斜与扶植,因此,在这个过程中,我们需要尽可能的提升内容输出质量。

  从而获得较高的质量评估,这样在后期的运营过程中,才能够获得更好的展现。

  一般新站上线,长期不收录的原因,主要可能是因为:内容质量不佳,内容增量覆盖行业的广度不够,为此,我们尽量避免采用伪原创和采集内容。

  3、常见问题解答

  ①资源提交是越多越好吗?

  答:早期蝙蝠侠IT就强调,我们在使用相关数据提交渠道的时候,尽量选择优质内容提交,而尽量减少低质量页面的数据提交,如果这些页面的比例大幅度增加,很容易影响站点质量的评估。

  ②普通页面提交就会收录吗?

  答:链接提交给百度搜索资源平台,还需要一定时间周期的去响应排序与抓取,并不是说提交了就一定会在短期内抓取,根据不同网站的状态,一般普通收录,可能出现隔天收录的情况。

  ③外网服务器的抓取有区别对待吗?

  答:基于外网的服务器存在一定服务器稳定性的因素,以及网站ICP备案识别的情况,理论上抓取策略是存在一定区别的。

  ④新站用老域名的话,是否更有优势?

  答:如果老域名选择的目标网站与旧网站内容是相关性的,在初期运营阶段是存在一定帮助的,如果内容不相关,并且这个域名历史记录,出现大量不同类型的建站记录,往往可能会事的而反。

  ⑤网站蜘蛛是否有降权的蜘蛛?

  答:百度蜘蛛IP端,并没有降权或者高权重一说。

  ⑥新网站不收录的主要因素有哪些?

  答:企业新站如果发布的大量内容与搜索结果中现有的内容高度同质化,我们可能会降低抓取频率,甚至不收录。

  今天一品威客小编就和大家分享到这里。阅读本文之后,或许对您有一定的帮助,了解更多app开发资讯,请关注一品威客网,一个新型创意托付式服务平台!如果你有网络百度推广、app开发、小程序开发,装修,营销策划等需要,欢迎到一品威客网发布任务,让广大服务商为您服务

Tag: 百度

营销公司推荐

成为一品威客服务商,百万订单等您来有奖注册中

留言( 展开评论