WordPress蜘蛛爬虫记录插件wp-log-robots使用方法

  • A+
所属分类:网站seo

今天给大家介绍一款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots。该插件就是记录各大搜索引擎爬虫抓取网站的记录,避免去看空间日志的麻烦,在蜘蛛访问过你的网站之后,会在网站的根目录出现robots_log.txt这个文件,它把蜘蛛访问的记录都记录到这个文件里面,我们只要在域名的后面加一个robots_log.txt就可以直接查看蜘蛛的来访记录了,非常的方便。不管你是做SEO的还是运营网站的,这款wordpress搜索引擎蜘蛛爬虫插件wp-log-robots都有必要,我们大多数网站空间并不支持记录蜘蛛抓取日志的功能,即使有这个功能我们也不是很容易看懂,他记录的东西很多,需要借助专业的工具进行分析才能看懂。一些新站没有收录总感觉百度坑人不收自己的,借助此插件看一看每天百度的蜘蛛是不是来过,心里多少有个底不是吗。

wp-log-robots

安装方法:

到插件处搜索  wp-log-robots 第一个便是,点击安装或下载此插件到电脑,在插件处选上传安装选择下载的插件安装即可。安装好后启用就  ok!了无需任何设置。

下载地址:

官网下载http://wordpress.org/extend/plugins/wp-log-robots/

查看日志的方法很简单,直接在浏览器地址栏:你的域名/robots_log.txt    这样你就会看到蜘蛛抓取的记录了,刚安装可能不会马上生效,需要等到蜘蛛抓取你网站的时候才会在你的空间根目录生成一个robots_log.txt。

演示:大家可以看一下我的博客的抓取记录:http://www.feiyu2.com/robots_log.txt

7月21题更新,现在发现可以用代码实现这个插件,需要的移步-不用插件,用代码生成wordpress蜘蛛爬行记录