行業(yè)動(dòng)態(tài)
已解決:百度蜘蛛導(dǎo)致CPU使用率100%滿載的問題
發(fā)布日期:2020-02-29 閱讀次數(shù):3057 字體大小:

近日服務(wù)器占用率經(jīng)常占到100%,導(dǎo)致很多客戶網(wǎng)站受到影響。經(jīng)技術(shù)排查發(fā)現(xiàn)為某個(gè)客戶站點(diǎn)導(dǎo)致。

經(jīng)過查看服務(wù)器日志發(fā)現(xiàn),每秒有很多訪問,訪問數(shù)據(jù)統(tǒng)計(jì)為百度蜘蛛。后通過網(wǎng)站查詢相關(guān)資料說(shuō):為可能是假蜘蛛頻繁訪問導(dǎo)致的。

經(jīng)過站長(zhǎng)工具真假百度蜘蛛查詢,發(fā)現(xiàn)訪問IP為百度。突然沒有解決辦法了,如果屏蔽百度訪問那么網(wǎng)站排名就沒有了,這樣得不償失。

仔細(xì)查看訪問日志,百度蜘蛛訪問的URL地址很多是不存在的URL參數(shù)。但為什么百度會(huì)一直訪問這些不存在的URL呢,事情還需要回到幾個(gè)月前

用戶站點(diǎn)為DZ論壇核心,是通過其他網(wǎng)絡(luò)公司制作,轉(zhuǎn)用易天科技的空間。DZ論壇自身有很多BUG 導(dǎo)致2019年9月-10月期間被人入侵過,入侵后把多出來(lái)很多無(wú)用頁(yè)面。而百度也已經(jīng)收錄了這些頁(yè)面如:

 forum.php?mid=1147516246
portal.php?mid=94020070192 

百度收錄數(shù)量上升到16萬(wàn)多,而正常值只有2萬(wàn)個(gè)收錄量左右。在網(wǎng)站中把這兩個(gè)文件臨時(shí)刪除后發(fā)現(xiàn)CPU恢復(fù)正常,導(dǎo)致問題的原因就兩個(gè)文件。原因是百度一直收錄這些文件,因網(wǎng)站權(quán)重較高百度經(jīng)常訪問站點(diǎn)。

問題原因:訪問站點(diǎn)頁(yè)面時(shí),先輸出論壇的模板格式文件等,然后再判斷ID是否存在。

解決思路:訪問無(wú)效ID直接屏蔽。不需要判斷

解決辦法在所有代碼文件前文假入代碼

if($_GET['tid']>10000) {
//    echo $_GET['fid'];
    die('停止訪問');
}
 

if($_GET['mid']>10000) {
//    echo $_GET['fid'];
    die('停止訪問');
}

if($_GET['fid']>25000) {
//    echo $_GET['fid'];
    die('停止訪問');
}

保存問題解決

 

亳州互聯(lián)網(wǎng)公司易天科技在此提示用戶盡量不要貪圖便宜選擇開源模板建站,開源程序會(huì)帶來(lái)很多不安全的因素,因?yàn)楹芏嗑W(wǎng)絡(luò)公司選擇開源程序以后不會(huì)再給客戶更新和排查bug。盡可能選擇有開發(fā)能力或者強(qiáng)大的售后能力的公司制作站點(diǎn)。