• 欢迎访问Young Free!,欢迎加入 跨境电商交流 QQ群
  • Young Free 博客正在改版,A/B测试期间可能会遇到访问不正常,敬请谅解。联系QQ:444933144

WordPress蜘蛛爬行记录代码(非插件)

分享转载 Young Free! 712次浏览 1个评论 扫描二维码

很多做WordPress博客的人都不知道怎么监测蜘蛛爬行的记录呢?其实很简单,今天Young Free!告诉你只要添加以下代码,然后再调用文件代码就OK了,是不是很方便呢?那就开始行动吧。搜索引擎不收录博客内容,有时候我们只能干着急,原因很多很复杂。不过我们可以通过下边的代码来记录搜索引擎对你的网站的访问记录,可以从中找出问题所在,于便于解决问题。
用插件固然可以实现,不过插件也有弊端,太多的会造成载入速度的下降,插件间的冲突等,所以能使用代码实现的就一定要用代码来实现。
这个监测搜索引擎蜘蛛爬行记录的代码,其实很简单的一段代码

< ?php function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, ‘googlebot’) !== false){ return ‘Googlebot’; } if (strpos($useragent, ‘msnbot’) !== false){ return ‘MSNbot’; } if (strpos($useragent, ‘slurp’) !== false){ return ‘Yahoobot’; } if (strpos($useragent, ‘baiduspider’) !== false){ return ‘Baiduspider’; } if (strpos($useragent, ‘sohu-search’) !== false){ return ‘Sohubot’; } if (strpos($useragent, ‘lycos’) !== false){ return ‘Lycos’; } if (strpos($useragent, ‘robozilla’) !== false){ return ‘Robozilla’; } return false; } function nowtime(){ $date=gmdate(“Y-n-j H:i:s”,time()+8*3600); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $file=”robotslogs.txt”; $time=nowtime(); $data=fopen($file,”a”); fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispagen”); fclose($data); } ?>

原理:各大搜索引擎的蜘蛛爬行程序都有自己的标识符,例如谷歌的是googlebot,百度的是 baiduspider,它们可以通过查询_SERVER变量中的HTTP_USER_AGENT参数来获取,再结合HTTP_REFERER记录下 URL的来源,最后用 nowtime()函数取得当前的系统时间,就形成了一条简单的擎蜘蛛爬行记录。

看不明白的朋友可以跳过,其实代码许多年前网上就有人共享出来了,我们重点学会如何使用就可以了。
使用: 然后将上面贴出来的代码另存为robots.php,当然你可以任意给它取个名字,例如aaa.php或者111.php 都行,只要保证扩展名是php,让它能够正常执行即可;然后上传到你的网站程序的模板目录中(例如Wordpress的是/wp-content /themes/xiao目录);最后在你的模板文件中调用它,例如在Wordpress博客中,你可以在footer.php文件中添 加< ?php include(’robots.php’) ?>代码。
接下来就是等待搜索引擎蜘蛛到你的网站来爬行了,爬行的结果记录在网站根目录的robotslogs.txt中,你直接打开 http://bbs.hnzzz.net/robotslogs.txt就能看到了。当然你也可以修改robots.php文件的第50行,把robotslogs.txt换成任意你想要的名字。

通过一段时间的监测,你就可以发现搜索引擎蜘蛛在你的网站上爬行的频率了,一般来说,蜘蛛爬行得越勤快越好。另外,如果你的robotslogs.txt记录的内容太多了的话,你可以清空它重新开始记录


Young Free , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明WordPress蜘蛛爬行记录代码(非插件)
喜欢 (0)
[alien01@163.com]
分享 (0)
关于作者:
欢迎来吐槽,也欢迎一起交流。如果无法在本文下评论,可以点击信封按钮,给我发送邮件。
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
(1)个小伙伴在吐槽
  1. 这个不错!!!
    大白SEO2013-08-21 10:06 Reply 未知操作系统 | 未知浏览器