近日，烏克蘭一家專(zhuān)注于人體3D模型的網(wǎng)站 Trilegangers 遭遇了嚴(yán)重的流量攻擊，導(dǎo)致其服務(wù)器癱瘓。該網(wǎng)站為3D藝術(shù)家和游戲開(kāi)發(fā)者提供豐富的人體3D模型數(shù)據(jù)，但因 OpenAI 的爬蟲(chóng) GPTBot 的頻繁抓取而陷入困境。 據(jù) Trilegangers 的工作人員透露，盡管網(wǎng)站在使用協(xié)議中明確禁止未經(jīng)授權(quán)的抓取和使用，但由于未正確設(shè)置 robots.txt 文件來(lái)阻止爬蟲(chóng)的訪問(wèn)，最終導(dǎo)致服…

最近，一位做文庫(kù)的站長(zhǎng)反饋，網(wǎng)站服務(wù)器經(jīng)常無(wú)緣無(wú)故的宕機(jī)，CPU被占滿。 主機(jī)邦查詢后發(fā)現(xiàn)客戶網(wǎng)站出現(xiàn)大量爬蟲(chóng)訪問(wèn)，最多的是gptbot、amazonbot、PanguBot、BLEXBot、DataForSeoBot、SemrushBot這幾個(gè)訪問(wèn)最多，一天能請(qǐng)求進(jìn)來(lái)幾十萬(wàn)次，簡(jiǎn)直瘋狂。 這些爬蟲(chóng)大多是一些AI爬蟲(chóng)或者數(shù)據(jù)分析網(wǎng)站的爬蟲(chóng)，對(duì)網(wǎng)站沒(méi)有任何用處，因此，可以利用百度云防護(hù)進(jìn)行攔截。 操…