行業(yè)動(dòng)態(tài)
已解決:百度蜘蛛導(dǎo)致CPU使用率100%滿載的問(wèn)題
發(fā)布日期:2020-02-29 閱讀次數(shù):2949 字體大小:

近日服務(wù)器占用率經(jīng)常占到100%,導(dǎo)致很多客戶網(wǎng)站受到影響。經(jīng)技術(shù)排查發(fā)現(xiàn)為某個(gè)客戶站點(diǎn)導(dǎo)致。

經(jīng)過(guò)查看服務(wù)器日志發(fā)現(xiàn),每秒有很多訪問(wèn),訪問(wèn)數(shù)據(jù)統(tǒng)計(jì)為百度蜘蛛。后通過(guò)網(wǎng)站查詢相關(guān)資料說(shuō):為可能是假蜘蛛頻繁訪問(wèn)導(dǎo)致的。

經(jīng)過(guò)站長(zhǎng)工具真假百度蜘蛛查詢,發(fā)現(xiàn)訪問(wèn)IP為百度。突然沒(méi)有解決辦法了,如果屏蔽百度訪問(wèn)那么網(wǎng)站排名就沒(méi)有了,這樣得不償失。

仔細(xì)查看訪問(wèn)日志,百度蜘蛛訪問(wèn)的URL地址很多是不存在的URL參數(shù)。但為什么百度會(huì)一直訪問(wèn)這些不存在的URL呢,事情還需要回到幾個(gè)月前

用戶站點(diǎn)為DZ論壇核心,是通過(guò)其他網(wǎng)絡(luò)公司制作,轉(zhuǎn)用易天科技的空間。DZ論壇自身有很多BUG 導(dǎo)致2019年9月-10月期間被人入侵過(guò),入侵后把多出來(lái)很多無(wú)用頁(yè)面。而百度也已經(jīng)收錄了這些頁(yè)面如:

 forum.php?mid=1147516246
portal.php?mid=94020070192 

百度收錄數(shù)量上升到16萬(wàn)多,而正常值只有2萬(wàn)個(gè)收錄量左右。在網(wǎng)站中把這兩個(gè)文件臨時(shí)刪除后發(fā)現(xiàn)CPU恢復(fù)正常,導(dǎo)致問(wèn)題的原因就兩個(gè)文件。原因是百度一直收錄這些文件,因網(wǎng)站權(quán)重較高百度經(jīng)常訪問(wèn)站點(diǎn)。

問(wèn)題原因:訪問(wèn)站點(diǎn)頁(yè)面時(shí),先輸出論壇的模板格式文件等,然后再判斷ID是否存在。

解決思路:訪問(wèn)無(wú)效ID直接屏蔽。不需要判斷

解決辦法在所有代碼文件前文假入代碼

if($_GET['tid']>10000) {
//    echo $_GET['fid'];
    die('停止訪問(wèn)');
}
 

if($_GET['mid']>10000) {
//    echo $_GET['fid'];
    die('停止訪問(wèn)');
}

if($_GET['fid']>25000) {
//    echo $_GET['fid'];
    die('停止訪問(wèn)');
}

保存問(wèn)題解決

 

亳州互聯(lián)網(wǎng)公司易天科技在此提示用戶盡量不要貪圖便宜選擇開(kāi)源模板建站,開(kāi)源程序會(huì)帶來(lái)很多不安全的因素,因?yàn)楹芏嗑W(wǎng)絡(luò)公司選擇開(kāi)源程序以后不會(huì)再給客戶更新和排查bug。盡可能選擇有開(kāi)發(fā)能力或者強(qiáng)大的售后能力的公司制作站點(diǎn)。