奇瑰网

你学习了如何拒绝搜索引擎收录网站?

[复制链接]
发表于 2020-7-22 21:01:58 | 显示全部楼层 |阅读模式
一个新的网站建好之后,只要搜索引擎蜘蛛抓取到的、网站内容不是很差劲那么搜索引擎就很有可能收录我们的网站,如果因为某种原因不想让搜索引擎收录网站,要如何操作?
  事实上拒绝搜索引擎收录网站可以利用robots.txt(什么是robots.txt)屏蔽搜索引擎蜘蛛,仅供参考
  Robots是搜索引擎都要遵守的国际互联网协议,所以可以通过robots拒绝所有搜索引擎的收录,代码如下:
  User-agent:*
  Disallow:/
  上面两行代码就是说禁止所有搜索引擎(User-agent:*)抓取所有内容(Disallow:/)。
  当然你也可以使用以下代码禁止百度收录:(如果想拒绝其他搜索引擎,则将user-agent:后面的内容替换成其他搜索引擎蜘蛛的名称,各大搜索引擎蜘蛛的名称可参照:
  http://seo.aizhan.com/term/124.html )
  User-agent:baiduspider
  Disallow:/
  如果你不想让搜索引擎建立快照可以这样:
  将这段代码加入head中去。
  如下想让搜索引擎建立索引而禁止跟踪网页上的链接可以这样:
  所以我们要清楚是禁止搜索引擎收录网站还是拒绝搜索引擎建立快照,然后选择相应的方法。




上一篇:站长入门从整体上来说,企业站应该如何优化?
下一篇:教你php如何生成静态网页?
使用高级回帖 (可批量传图、插入视频等)

发表回复

您需要登录后才可以回帖 登录 | 账号注册   微信登录

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
Powered by Discuz! X3.4 ( 粤ICP备20013252号-1
Copyright © 2014-2021 奇瑰网 粤公网安备44130302100219号
快速回复 返回顶部 返回列表