最近，一位做文庫的站長反饋，網(wǎng)站服務(wù)器經(jīng)常無緣無故的宕機(jī)，CPU被占滿。

主機(jī)邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲訪問，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個(gè)訪問最多，一天能請求進(jìn)來幾十萬次，簡直瘋狂。

這些爬蟲大多是一些AI爬蟲或者數(shù)據(jù)分析網(wǎng)站的爬蟲，對網(wǎng)站沒有任何用處，因此，可以利用百度云防護(hù)進(jìn)行攔截。

操作方法如下：

1.登陸Web防護(hù)規(guī)則-創(chuàng)建Web防護(hù)規(guī)則

2.開啟自定義防護(hù)策略，并添加策略

3.策略如

User-Agent 包含 gptbot 攔截并追加封禁 1440分鐘

把上面的爬蟲名字全添加上去

然后保存，并關(guān)聯(lián)相關(guān)域名。

我們再來看效果：

成功攔截，客戶服務(wù)器恢復(fù)穩(wěn)定！