-
Claude AI網(wǎng)絡(luò)爬蟲大量抓取某公司網(wǎng)站惹眾怒
最近，主機邦一直在說攔截惡意爬蟲的事情，最近有一家AI公司，就因為大量爬取別人網(wǎng)站而惹眾怒。 起因是Claude的AI爬蟲不僅無視網(wǎng)站的禁止抓取協(xié)議，而且還大量爬蟲該網(wǎng)站上百萬次，導(dǎo)致該網(wǎng)站直接癱瘓了。這家“受害者”公司其實有盡力防御了，但阻止失敗，內(nèi)容數(shù)據(jù)還是被Claude強行抓取了。 因此，該網(wǎng)站負責(zé)為此還怒噴Claude。 被抓取的這家公司叫做iFixit，是一家美國電子商務(wù)和操作指南網(wǎng)站。…- 120
- 0
-
全球約 42% 的網(wǎng)站流量來自爬蟲機器人
根據(jù) Akamai Technologies 最新的報告，機器人占據(jù)了整體網(wǎng)站流量的42%，其中65% 的機器人屬于惡意類型。 報告指出，隨著對盜取網(wǎng)站數(shù)據(jù)的需求增加，電子商務(wù)行業(yè)受到了高風(fēng)險機器人流量的嚴重影響。盡管一些機器人對業(yè)務(wù)有利，但網(wǎng)頁抓取機器人被用于競爭情報和間諜活動，庫存囤積，冒名網(wǎng)站創(chuàng)建等惡意行為，這對企業(yè)的利潤和客戶體驗產(chǎn)生了負面影響。 報告還發(fā)現(xiàn)，企業(yè)面臨著來自惡意或有益目的的…- 110
- 0
