账号注册找回密码
  微信登录

奇瑰网社区

搜索引擎爬行过程简介

[复制链接]

0

主题

5

帖子

2

积分

普通会员

Rank: 1

G币
2
信用
0
体力
0
发表于 2020-7-22 21:03:33 | 显示全部楼层 |阅读模式
1、搜索引擎程序是通过网页之间的链接,不分昼夜的爬行来获取信息,收录标准主要由URL的权重、网站规模大小等因素决定;
2、搜索引擎进入服务器时,第一时间查看robots.txt(控制搜索引擎收录的标准)文件,如果robots.txt文件不存在,则返回404错误代码,但依然会继续爬行,如果定义了某些规则,则遵守索引。
3、建议必须有一个robot .txt文件(推荐阅读:robots.txt的写法https://www.ymzj.cn/thread-74526-1-1.html)。
搜索引擎抓取数据的方式
1、垂直抓取策略:指搜索引擎顺着一条链接爬行,直到设定的任务完成。
思路如下:垂直抓取策略—A链接—A网页链接—A网页链接的链接 ,一直垂直抓取到最底。
2、平行抓取策略:指先把网页山的链接全部抓取一次,然后接着从每条链接牌型。
总结:在实际应用中,这两种策略会同时发生,抓取的深度和广度取决于页面的权重、结构和网站规模大小以及新鲜内容数量和频率,当然这里面包含了很多的seo的策略。




上一篇:如何保持网站稳定的排名
下一篇:网站在百度里找不到了怎么办?
使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 账号注册   微信登录

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
关闭

网站最新推荐 上一条 /1 下一条

Powered by Discuz! X3.4 ( 粤ICP备20013252号-1  
Copyright © 2014-2020 奇瑰网 All Rights Reserved.
快速回复 返回顶部 返回列表