robots.txt 之robots优化设定指南
发布时间：2022-01-06 13:26:51 所属栏目：搜索优化 来源：互联网
导读：1。你是否知道robots.txt中文的意思? 2。你是否知道404页面应该屏蔽? 3。你的企业站，每个页面是否都有关于我们，并且还得没屏蔽掉? 4。你是否知道设置好robots.txt，是有利于提升网站整体权重? 5。你想知道robots.txt基本写法? 6。robots.txt该如何写，才
|
1。你是否知道robots.txt中文的意思? 2。你是否知道404页面应该屏蔽? 3。你的企业站，每个页面是否都有“关于我们”，并且还得没屏蔽掉? 4。你是否知道设置好robots.txt，是有利于提升网站整体权重? 5。你想知道robots.txt基本写法? 6。robots.txt该如何写，才优化最佳。 1。robots.txt的中文意思是：搜索引擎公共协议。搜索引擎到你的网站，是先看robots.txt，按照上面写好的协议再抓取你的网页。 2。每个网站都应该要有404页面，假如没有，会导致 1)减少网站PV 2)减少流量 3)搜索引擎对你的网站不有好，因为你的网站用户体验度不好。 每个网站都有很多错误页面，每个错误页面都应该做一个404页面，那么每个404页面都是一样的。一旦你的404页面太多，你还让搜索引擎去收录，就会导致网站把权重分给这些404页面，这值得吗?因此我们必须要屏蔽掉404页面。 简而概之，就是网站被这些垃圾页面所拖累了。 5。robots.txt的基本写法。 在桌面上建立一个叫robots.txt文档 以下内容按顺序写： User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /feed Disallow: /comments/feed Disallow: /trackback Disallow: /guestbook User-agent: #表示允许的搜索引擎。*代表允许所有，如果仅允许百度蜘蛛，就写baiduspider Disallow: #是禁止收录的意思 Disallow: / #表示禁止所有收录。直接再Disallow:后面加一个斜杠。 Disallow: /网站后台目录/ #屏蔽目录的格式 Disallow: /404.html #屏蔽404页面 robots.txt里面，任何空格，换行都是被忽略的。robots.txt只看命令的顺序，空格、换行都是为了我们看的方便。 6。robots.txt该如何写，才优化最佳? 看完了前面5点，相信你对如何优化最佳应该有一个很好的理解了。 1)屏蔽掉对网站没用的垃圾页面，比如404 2)思考一下，你的哪些页面虽然必须出现，但是你觉得没必要让用户“从搜索引擎过来看”。比如福州SEO的“关于我们”。那么就不必被收录。 （编辑：汉中站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐