根據(jù) Akamai Technologies 最新的報(bào)告，機(jī)器人占據(jù)了整體網(wǎng)站流量的42%，其中65% 的機(jī)器人屬于惡意類(lèi)型。

報(bào)告指出，隨著對(duì)盜取網(wǎng)站數(shù)據(jù)的需求增加，電子商務(wù)行業(yè)受到了高風(fēng)險(xiǎn)機(jī)器人流量的嚴(yán)重影響。盡管一些機(jī)器人對(duì)業(yè)務(wù)有利，但網(wǎng)頁(yè)抓取機(jī)器人被用于競(jìng)爭(zhēng)情報(bào)和間諜活動(dòng)，庫(kù)存囤積，冒名網(wǎng)站創(chuàng)建等惡意行為，這對(duì)企業(yè)的利潤(rùn)和客戶(hù)體驗(yàn)產(chǎn)生了負(fù)面影響。

報(bào)告還發(fā)現(xiàn)，企業(yè)面臨著來(lái)自惡意或有益目的的抓取所帶來(lái)的技術(shù)影響，如網(wǎng)站性能下降、網(wǎng)站指標(biāo)污染、來(lái)自釣魚(yú)網(wǎng)站的憑證受損攻擊、計(jì)算成本增加等。

報(bào)告還提供了對(duì)抗網(wǎng)頁(yè)抓取機(jī)器人的緩解策略，并展示了一個(gè)案例研究，說(shuō)明一旦建立對(duì)抗這些機(jī)器人的防御措施，網(wǎng)站運(yùn)行得更快、更有效。

主機(jī)吧之前的網(wǎng)站就是一堆的爬蟲(chóng)機(jī)器人，時(shí)不時(shí)就來(lái)一下，導(dǎo)致服務(wù)器CPU經(jīng)常飆升100%，為此還利用百度云防護(hù)進(jìn)行了惡意搜索攔截，現(xiàn)在服務(wù)器清凈很多，也快很多。