当前位置: 首页 > 学习笔记, 分享, 博客里 > 正文

关于wordpress下的robots.txt

好一阵子在博客后台把禁止搜索引擎的的选项勾上了,还挺管用的,谷歌和度娘的收录唰唰唰的直降,没了。前几天,解禁了这个选项,想着引擎蜘蛛爬行的事,于是学习了一下robots.txt的知识,记录下来,以便需要的时候更方便的回忆起来。

其实这个文本的目的很简单,概括的说来就是放置于网站的根目录下,引导搜索引擎蜘蛛爬行或不爬行预先设置好了的内容,因为蜘蛛爬行一个站点时首先就会检索是否有这个文件的存在。wordpress是虚拟robots.txt的,所以很多朋友在根目录下无论是用FTP软件或者是面板带的文件管理器中都找不到这个文件,但是通过浏览器却又能实实在在的访问并看见这个文件的内容。然后大家就迷茫了,不知道要去什么地方修改,自己写一个上传到根目录吧,这是最直观的想法,我不知道这个方法是不是100%的行得通,至少我在我自己的空间服务器试了下不行,上传后的结果就是浏览器无法访问到这个文件,删除后又可以正常访问虚拟的;网上也有朋友说上传后访问打开的仍然是WP虚拟的带有默认规则的那个robots.txt,那么牵扯出的问题就是还需要针对不同主机,修改或是添加http.ini或是htaccess的伪静态内容以放行,所以不推荐此法。

鉴于这个原因我查阅了更多的资料,综合众多网友的选择最后留下两个方法是直接有效并很简单的:
1.插件法 安装像KB ROBOTS.TXT插件这类的,可以在后台直接建立虚拟通道编辑wp虚拟的robots.txt文档,记得修改了点保存哦,有的sitemap类的插件也带有近似于修改此文本里规则内容的选项。

2.代码修改法 因为wordpress的插件越添越多,代码复杂化,资源占用增大,很多朋友都不喜欢用插件,除非没得选了,所以能直接修改WP的源代码是最好的。那么在哪里呢,打开的你源代码文件夹,在wp-includes目录下找到functions.php文件,用个能编辑文本的工具打开它,随便什么工具都行,搜索关键词robots,看到function_do_robots()没,再看这个function下的if,else的else里面有几行$output.=”******”;有什么感想了吗?你想对了,就是这里,请按照例句把你想要写进robots.txt的内容添加进去,然后打开浏览器看看吧,是不是满意了。

这两种方法任选其一,wordpress的robots你就会修改了。当然robots的写法很多,网上有很多大神都介绍了,我就不转帖了,谷歌和百度的站长工具也有检测工具,自己可以充分的利用他们就不一一赘述了。

本文固定链接: http://exsbn.com/post/448 | 御剑独舞

该日志由 xizi 于2013年12月04日发表在 学习笔记, 分享, 博客里 分类下, 你可以发表评论,并在保留原文地址及作者的情况下引用到你的网站或博客。
原创文章转载请注明: 关于wordpress下的robots.txt | 御剑独舞
关键字: , , , , ,

关于wordpress下的robots.txt:等您坐沙发呢!

发表评论


CommentLuv badge

NO SPAMS Time limit is exhausted. Please reload the CAPTCHA.

快捷键:Ctrl+Enter