-
實(shí)操使用百度云防護(hù)攔截網(wǎng)頁(yè)爬蟲(chóng)抓取
最近,有位客戶聯(lián)系上主機(jī)幫,咨詢網(wǎng)站服務(wù)器CPU經(jīng)常滿了需要怎么處理? 主機(jī)幫首先讓客戶提供下近期的網(wǎng)站日志給我,這邊給他分析情況。 我們打開(kāi)kimi AI工具,把客戶發(fā)來(lái)的網(wǎng)站日志上傳至AI分析。 然后咨詢:幫分析下哪個(gè)時(shí)間段訪問(wèn)高 還有最高的是哪個(gè)UA 得出答案如下圖: 可以看出,訪問(wèn)最高的除了百度和谷歌的UA外,其它的都是一些惡意的網(wǎng)頁(yè)爬蟲(chóng),這些爬蟲(chóng)的訪問(wèn)并發(fā)非常高,會(huì)使服務(wù)器資源占滿,為了…- 141
- 0