账号注册找回密码
  微信登录

奇瑰网社区

什么是robots.txt的写法

[复制链接]

0

主题

20

帖子

14

积分

普通会员

Rank: 1

G币
2
信用
0
体力
2
发表于 2020-7-22 21:01:14 | 显示全部楼层 |阅读模式
robots.txt的写法是做seo的人员必须知道的(什么是robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。
  百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中robots.txt就是最重要也是最开始和百度“对话”的内容。
  当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。
  我们的网站起初的robots.txt写法如下:
  User-agent: *
  Disallow: /wp-admin/
  Disallow: /wp-includes/
  User-agent: * 的意思是,允许所以引擎抓取。
  而Disallow: /wp-admin/和Disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既保护了我们的隐私,也让百度蜘蛛的抓取最大化。
  如果,你想禁止百度蜘蛛抓取某一个页面,比如123.html,那就加一句代码“Disallow: /123.html/”即可。
  robots.txt写好后,只需要上传到网站的根目录下即可。




上一篇:你学习了网站被K是什么意思
下一篇:什么是锚文本链接你学习了吗
使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 账号注册   微信登录

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
关闭

网站最新推荐 上一条 /1 下一条

Powered by Discuz! X3.4 ( 粤ICP备20013252号-1  
Copyright © 2014-2020 奇瑰网 All Rights Reserved.
快速回复 返回顶部 返回列表