3 月 21 日消息，隨著AI時(shí)代的來(lái)臨，AI爬蟲(chóng)也越來(lái)越多，很多網(wǎng)站的服務(wù)器資源也越來(lái)越不夠用，原因是大量的AI爬蟲(chóng)爬取網(wǎng)站內(nèi)容，占用了大量的服務(wù)器資源，主機(jī)幫的一個(gè)客戶就是爬蟲(chóng)問(wèn)題，原本只需5M的帶寬，結(jié)果被爬蟲(chóng)爬取使得服務(wù)器帶寬長(zhǎng)期運(yùn)行在15M以上，為此，需要利用Web應(yīng)用防火墻攔截，國(guó)內(nèi)一些服務(wù)商還開(kāi)發(fā)了bot防護(hù)功能，不過(guò)價(jià)格并不便宜，比如百度云防護(hù)需要企業(yè)版才支持Bot防護(hù)，而阿里云、騰訊云也有類似的功能，不過(guò)是按攔截次數(shù)收費(fèi)，價(jià)格非常昂貴。

相比之下國(guó)外網(wǎng)絡(luò)服務(wù)商 Cloudflare非常良心，當(dāng)?shù)貢r(shí)間本月 19 日發(fā)布了一項(xiàng)名為 AI Labyrinth 的有趣功能：利用 AI 生成內(nèi)容以非禁止的方式干擾不遵守“禁止爬取”聲明的 AI 爬蟲(chóng)和其它惡意內(nèi)容爬取機(jī)器人。

Labyrinth 一詞的含義即“迷宮”。

根據(jù) Cloudflare 的觀察，直接硬性禁止惡意爬蟲(chóng)容易激起爬取和反爬兩方無(wú)休止的“軍備競(jìng)賽”，與其陷入一場(chǎng)漫長(zhǎng)的對(duì)抗中不如讓爬蟲(chóng)“以為”得到了真實(shí)的內(nèi)容實(shí)際上卻一無(wú)所獲。

AI Labyrinth 的具體運(yùn)作方式是在頁(yè)面中設(shè)置人類使用者無(wú)法看到或點(diǎn)擊的隱藏鏈接，僅有惡意爬蟲(chóng)才會(huì)注意到它們。而這些鏈接指向一系列由 AI 生成的頁(yè)面，爬蟲(chóng)的時(shí)間和資源會(huì)浪費(fèi)在這些非真實(shí)網(wǎng)站中。

這一功能也意味僅有惡意 AI 爬蟲(chóng)才會(huì)陷入到 AI Labyrinth 編織的內(nèi)容迷宮中，Cloudflare 能更好了解這些爬蟲(chóng)的行為特征，從而為機(jī)器人識(shí)別提供數(shù)據(jù)基礎(chǔ)。

Cloudflare 表示 AI Labyrinth 向包括免費(fèi)客戶在內(nèi)的全部使用者提供。

不過(guò)，Cloudflare雖然良心，但其的網(wǎng)絡(luò)在國(guó)內(nèi)體驗(yàn)并不好，不僅訪問(wèn)慢，而且長(zhǎng)期被屏蔽狀態(tài)，所以并不適合給國(guó)內(nèi)用戶訪問(wèn)。