更新時間：2025-09-15 01:56:01
網站建設
890
WordPress搜索引擎seo網站優化爬行記錄代碼
我寫了一段時間的博客，(北京網站建設) 為什么搜索引擎不收錄你的頁面？想知道每天有哪些蜘蛛“訪問”您的網站嗎？作為一個wordpress用戶（北京網站制作），有必要知道每天有哪些蜘蛛爬取了你的網站，這樣才能了解各個搜索引擎蜘蛛的爬取頻率，從而進行針對性的SEO網站優化。
其實很簡單，只需要添加下面的代碼，然后調用文件代碼就OK了。是不是很方便？然后開始吧。
之前也找過幾個PHP版本的蜘蛛爬行記錄工具，但效果都不盡如人意。而且這些PHP程序大部分都需要安裝，在MYSQL中加入蜘蛛爬行記錄也太麻煩了。那就找一個簡單的蜘蛛爬行記錄器吧~
谷歌機器人
1.首先，在wordpress主題根目錄建立一個robots.php文件，寫入以下內容：
<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, ’googlebot’) !== false){
return ’Googlebot’;
}
if (strpos($useragent, ’msnbot’) !== false){
return ’MSNbot’;
}
if (strpos($useragent, ’slurp’) !== false){
return ’Yahoobot’;
}
if (strpos($useragent, ’baiduspider’) !== false){
return ’Baiduspider’;
}
if (strpos($useragent, ’sohu-search’) !== false){
return ’Sohubot’;
}
if (strpos($useragent, ’lycos’) !== false){
return ’Lycos’;
}
if (strpos($useragent, ’robozilla’) !== false){
return ’Robozilla’;
}
return false;
}
function nowtime(){
$date=gmdate(”Y-n-j H:i:s”,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=”robotslogs.txt”;
$time=nowtime();
$data=fopen($file,”a”);
fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n”);
fclose($data);
}
?>
將其上傳于你的主題目錄內。
2.在Footer.php或header.php的適當位置添加以下代碼調用robots.php。
<?php include(’robots.php’) ?>
程序原理：通過對蜘蛛標識符（如Baiduspider、Googlebot）的判斷，記錄蜘蛛爬行時間，并生成日志文件robotslogs.txt于根目錄。
程序缺點：無法記錄蜘蛛爬行的頁面，功能較為簡單。
我們專注高端建站，小程序開發、軟件系統定制開發、BUG修復、物聯網開發、各類API接口對接開發等。十余年開發經驗，每一個項目承諾做到滿意為止，多一次對比，一定讓您多一份收獲！
