-
利用百度云防護(hù)攔截gptbot amazonbot PanguBot BLEXBot DataForSeoBot SemrushBot等爬蟲
最近，一位做文庫(kù)的站長(zhǎng)反饋，網(wǎng)站服務(wù)器經(jīng)常無(wú)緣無(wú)故的宕機(jī)，CPU被占滿。 主機(jī)邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲訪問(wèn)，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個(gè)訪問(wèn)最多，一天能請(qǐng)求進(jìn)來(lái)幾十萬(wàn)次，簡(jiǎn)直瘋狂。 這些爬蟲大多是一些AI爬蟲或者數(shù)據(jù)分析網(wǎng)站的爬蟲，對(duì)網(wǎng)站沒(méi)有任何用處，因此，可以利用百度云防護(hù)進(jìn)行攔截。 操…- 196
- 0
