蜘蛛過多，導(dǎo)致負(fù)載狀態(tài)一直100%，又不想升級(jí)服務(wù)器，怎么辦？360和頭條的蜘蛛同時(shí)來，但是過幾個(gè)小時(shí)蜘蛛不來了又恢復(fù)了。

來歸來啊，你是一條收錄都沒有，站長平臺(tái)也沒有看到索引量和收錄，但是基本天天來，導(dǎo)致服務(wù)器一直負(fù)載狀態(tài)一直100%。

這個(gè)有沒有辦法解決？難道禁止他們來嗎？還是讓他一直這樣，還還還還是是是有其他的解決方法？

遇到這個(gè)問題我們可以嘗試通過搜索引擎站長平臺(tái)來調(diào)節(jié)蜘蛛的抓取頻次。

百度站長平臺(tái)-抓取頻次-當(dāng)前抓取頻次過大如何解決？-抓取頻次上限調(diào)整

360搜索站長平臺(tái)-蜘蛛壓力-手動(dòng)調(diào)整最大抓取頻率

頭條搜索站長平臺(tái)-抓取頻次-抓取頻次上限調(diào)整

調(diào)整后等個(gè)一兩天看看，是不是恢復(fù)正常了，如果還是這樣，建議屏蔽掉一些搜索引擎蜘蛛，比如360和頭條搜索引擎蜘蛛，往往都會(huì)給服務(wù)器帶來非常大的壓力，可以通過網(wǎng)站請求日志查看一些訪問較為頻繁的IP，然后用防火墻進(jìn)行攔截。

有條件的話，可以考慮用CDN進(jìn)行抓取緩解。相關(guān)鏈接