如果您的業(yè)務(wù)存在因自動(dòng)化工具（例如腳本、模擬器等）造成網(wǎng)站數(shù)據(jù)被爬取、業(yè)務(wù)作弊或欺詐、撞庫或垃圾注冊(cè)、惡意秒殺或薅羊毛、短信接口濫刷等情況，您可以開通Web 應(yīng)用防火墻 WAF（Web Application Firewall）百度云防護(hù) WAF 企業(yè)版，制定有針對(duì)性的Bot防護(hù)策略，緩解核心數(shù)據(jù)資產(chǎn)泄露和業(yè)務(wù)營(yíng)銷活動(dòng)風(fēng)險(xiǎn)，降低服務(wù)器帶寬費(fèi)用和負(fù)載。
功能介紹
Bot規(guī)則為您提供如下功能，盡可能的幫助您快速識(shí)別機(jī)器流量，防御爬蟲風(fēng)險(xiǎn)，避免您的業(yè)務(wù)數(shù)據(jù)被爬取。
風(fēng)險(xiǎn)識(shí)別：
Web應(yīng)用防火墻（WAF）配備了內(nèi)建的手機(jī)號(hào)信譽(yù)數(shù)據(jù)庫，旨在防范垃圾賬號(hào)注冊(cè)、營(yíng)銷活動(dòng)作弊等行為。WAF可以根據(jù)配置，在HTTP請(qǐng)求中檢測(cè)手機(jī)號(hào)或其Sha1加密信息，并將其與信譽(yù)庫進(jìn)行對(duì)比。如果發(fā)現(xiàn)與異常行為相關(guān)的標(biāo)簽，WAF將采取相應(yīng)的措施，例如啟動(dòng)滑塊驗(yàn)證、觀察、攔截等處置動(dòng)作
Bot行為識(shí)別：
AI智能防護(hù)：基于百度搜索等全系場(chǎng)景多年防爬規(guī)則應(yīng)用，對(duì)訪問流量進(jìn)行分析和自動(dòng)學(xué)習(xí)，生成針對(duì)性的防護(hù)規(guī)則或黑名單。
自定義限速：支持IP和會(huì)話自定義限速，可自定義訪問頻率限制條件，有針對(duì)性地對(duì)訪問頻率過高的爬蟲請(qǐng)求進(jìn)行過濾，有效緩解Bot攻擊。
自定義Bot策略：
支持自定義多種復(fù)雜策略配置，包括 IP地域情報(bào)庫、IP動(dòng)態(tài)情報(bào)庫、設(shè)備情報(bào)庫、Referer、Cookie、User Agent、IP等多種條件Bot策略配置，對(duì)多個(gè)用戶有多次惡意爬取行為的攻擊源IP進(jìn)行處置。
Bot特征識(shí)別：
支持JavaScript校驗(yàn)和動(dòng)態(tài)令牌挑戰(zhàn)。JavaScript校驗(yàn)在用戶提交表單之前，對(duì)輸入的數(shù)據(jù)進(jìn)行格式檢查、范圍驗(yàn)證等，從而確保數(shù)據(jù)的準(zhǔn)確性和合法性。這有助于減少服務(wù)器端的處理負(fù)擔(dān)，提高應(yīng)用程序的響應(yīng)速度和用戶體驗(yàn)。動(dòng)態(tài)令牌挑戰(zhàn)通過定期更換令牌或要求用戶輸入一次性令牌來增強(qiáng)系統(tǒng)的安全性。
前提介紹
- 在Web應(yīng)用防火墻控制臺(tái)，購買百度云防護(hù) WAF企業(yè)版
- 已在接入配置頁面完成Web業(yè)務(wù)接入
Bot規(guī)則配置
1.創(chuàng)建Bot規(guī)則模板
在Web應(yīng)用防火墻控制臺(tái)左側(cè)導(dǎo)航欄，【防護(hù)配置】-【Bot管理】-【創(chuàng)建Bot規(guī)則模板】 每個(gè)域名支持配置多個(gè)多個(gè)模板
2.防護(hù)場(chǎng)景定義
| 配置項(xiàng) | 說明 |
|---|---|
| 模板名稱 | 1~40位字符，支持中文，英文及數(shù)字，符號(hào)僅限/_-，不能為空 |
| Web SDK集成 | 采用基于JavaScript的Web SDK，提升Web瀏覽器場(chǎng)景下的防護(hù)效果，避免部分不兼容問題。開啟該功能后，WAF將自動(dòng)在防護(hù)對(duì)象的HTML頁面中引用SDK。采集相關(guān)的瀏覽器信息、特定攻防探針、操作行為等（不涉及個(gè)人敏感信息）后，WAF將根據(jù)獲取的信息請(qǐng)求風(fēng)險(xiǎn)識(shí)別和攔截。 手動(dòng)集成（默認(rèn)）：適合于無法滿足自動(dòng)集成的場(chǎng)景，或當(dāng)前站點(diǎn)與組件產(chǎn)生沖突的情況，手動(dòng)集成必須滿足以下條件： 1.所有依賴配置了防護(hù)場(chǎng)景的 API 接口所在的頁面，都必須接入特定組件 2.在頁面使用組件功能之前，必須先完成組件script代碼的注入 自動(dòng)集成：可在配置網(wǎng)頁防爬場(chǎng)景化的防護(hù)場(chǎng)景定義時(shí)，選擇自動(dòng)集成，此時(shí)網(wǎng)站HTML頁面由WAF接管，WAF會(huì)在頁面請(qǐng)求響應(yīng)時(shí)，向頁面注入組件script標(biāo)簽，客戶網(wǎng)頁無需進(jìn)行代碼改造即可完成部署，同時(shí)享受線上組件的熱更新。 更多配置信息，請(qǐng)參見Web應(yīng)用集成SDK |
| 防護(hù)目標(biāo)特征 | 添加目標(biāo)流量的HTTP請(qǐng)求字段及其規(guī)則，即訪問該防護(hù)目標(biāo)時(shí)，HTTP請(qǐng)求報(bào)文中生成的有關(guān)該防護(hù)業(yè)務(wù)場(chǎng)景的字段內(nèi)容。最多可以添加5個(gè)條件特征，且各條件之間為與關(guān)系。 |
3.配置相關(guān)Bot防護(hù)能力
| 配置項(xiàng) | 說明 |
|---|---|
| 業(yè)務(wù) 安全 | 風(fēng)險(xiǎn)識(shí)別：?jiǎn)⒂靡?guī)則后，配置后可實(shí)現(xiàn)針對(duì)黃牛等異常手機(jī)號(hào)的訪問阻斷。 1、賬號(hào)提取：最多添加5個(gè)條件，條件之間為“或”關(guān)系 賬號(hào)類型- 手機(jī)號(hào)，手機(jī)號(hào) sha1，默認(rèn)填寫手機(jī)號(hào) 賬號(hào)位置：Cookie名稱、Query參數(shù)、Body參數(shù)，默認(rèn)填寫Cookie名稱 2、風(fēng)險(xiǎn)標(biāo)簽：最多添加5個(gè)條件，條件之間為“或”關(guān)系 詐騙風(fēng)險(xiǎn)：疑似歷史上存在欺詐行為，默認(rèn)高風(fēng)險(xiǎn)，可選中高、低風(fēng)險(xiǎn) 機(jī)器注冊(cè)：疑似使用非法工具進(jìn)行用戶注冊(cè)，用于后續(xù)的營(yíng)銷活動(dòng)等。默認(rèn)高風(fēng)險(xiǎn)，可選中高、低風(fēng)險(xiǎn) 營(yíng)銷作弊：疑似使用非法工具參與營(yíng)銷活動(dòng)，如批量注冊(cè)領(lǐng)取優(yōu)惠券等。默認(rèn)高風(fēng)險(xiǎn)，可選中高、低風(fēng)險(xiǎn)。 風(fēng)險(xiǎn)賬號(hào)：疑似使用非法工具參與搶票或其他秒殺類活動(dòng)。默認(rèn)高風(fēng)險(xiǎn)，可選中高、低風(fēng)險(xiǎn) |
| Bot行為識(shí)別 | AI智能防護(hù)：勾選AI智能防護(hù)后，需要設(shè)置識(shí)別的Bot行為為觀察、滑塊或回源標(biāo)記。如果設(shè)置為回源標(biāo)記，您還需要設(shè)置回源時(shí)標(biāo)記的Header名稱、Header內(nèi)容。 勾選后策略將生效，防爬規(guī)則會(huì)通過AI智能防護(hù)引擎對(duì)訪問流量進(jìn)行分析和自動(dòng)學(xué)習(xí)，自動(dòng)對(duì)常見典型的異常爬蟲流量做檢出。 自定義限速：開啟此開關(guān)后，可自定義訪問頻率限制條件，有針對(duì)性地對(duì)訪問頻率過高的爬蟲請(qǐng)求進(jìn)行過濾，可以按需對(duì)特定的請(qǐng)求來源做訪問頻率限制。 IP限速：（默認(rèn)）在統(tǒng)計(jì)時(shí)長(zhǎng)（秒）內(nèi)，來自同一IP地址的訪問次數(shù)超過指定閾值（次）時(shí)，在限速時(shí)間（秒）內(nèi)，對(duì)來自該IP的訪問請(qǐng)求執(zhí)行觀察、滑塊或攔截的限速動(dòng)作。最多可以設(shè)置3個(gè)限制規(guī)則，且規(guī)則之間為或關(guān)系。 自定義會(huì)話限速：在統(tǒng)計(jì)時(shí)長(zhǎng)（秒）內(nèi)，對(duì)指定的會(huì)話類型的訪問次數(shù)超過指定閾值（次）時(shí)，在限速時(shí)間（秒）內(nèi)，對(duì)該會(huì)話的請(qǐng)求執(zhí)行觀察、滑塊或攔截的限速動(dòng)作。最多可以設(shè)置3個(gè)限制規(guī)則，且規(guī)則之間為或關(guān)系。會(huì)話類型支持自定義header、自定義參數(shù)、自定義cookie、Session。 |
| Bot特征識(shí)別 | 簡(jiǎn)單腳本過濾（JavaScript校驗(yàn)）：開啟規(guī)則后，對(duì)訪問防爬防護(hù)目標(biāo)的客戶端進(jìn)行JS校驗(yàn)，過濾不支持JS校驗(yàn)的來自非瀏覽器類工具的流量，阻斷簡(jiǎn)單腳本類攻擊。 高級(jí)Bot防御（動(dòng)態(tài)令牌挑戰(zhàn)）：開啟規(guī)則后，對(duì)每一次請(qǐng)求數(shù)據(jù)進(jìn)行簽名驗(yàn)證，不能通過驗(yàn)簽的請(qǐng)求將被攔截。可選項(xiàng)： 簽名驗(yàn)證異常（必選）：指未攜帶簽名或者簽名非法時(shí)，請(qǐng)求將被攔截。 簽名時(shí)間戳異常：指簽名時(shí)間戳異常時(shí)，請(qǐng)求將被攔截。 WebDriver攻擊：指遭遇WebDriver攻擊時(shí)，請(qǐng)求將被攔截。 |
| 處置 動(dòng)作 | 選擇當(dāng)請(qǐng)求命中該規(guī)則時(shí)，要執(zhí)行的防護(hù)動(dòng)作?？蛇x項(xiàng)： 攔截：表示攔截命中規(guī)則的請(qǐng)求，并向發(fā)起請(qǐng)求的客戶端返回?cái)r截響應(yīng)頁面。說明WAF默認(rèn)使用統(tǒng)一的攔截響應(yīng)頁面，您可以通過自定義響應(yīng)功能，自定義攔截響應(yīng)頁面。 觀察：表示不攔截命中規(guī)則的請(qǐng)求，只通過日志記錄請(qǐng)求命中了規(guī)則。您可以通過WAF日志，查詢命中當(dāng)前規(guī)則的請(qǐng)求，分析規(guī)則的防護(hù)效果（例如，是否有誤攔截等）。觀察模式方便您試運(yùn)行首次配置的規(guī)則，待確認(rèn)規(guī)則沒有產(chǎn)生誤攔截后，再將規(guī)則設(shè)置為攔截模式。 滑塊：表示W(wǎng)AF向客戶端返回滑動(dòng)驗(yàn)證頁面。如果客戶端成功執(zhí)行滑動(dòng)驗(yàn)證，則WAF在一段時(shí)間（默認(rèn)30分鐘）內(nèi)放行該客戶端的所有請(qǐng)求（不需要重復(fù)驗(yàn)證），否則攔截請(qǐng)求。 嚴(yán)格滑塊：表示W(wǎng)AF向客戶端返回滑動(dòng)驗(yàn)證頁面。如果客戶端成功執(zhí)行滑動(dòng)驗(yàn)證，則WAF放行本次請(qǐng)求，否則攔截請(qǐng)求。嚴(yán)格滑塊驗(yàn)證模式下，客戶端的每次請(qǐng)求都需要驗(yàn)證。 回源標(biāo)記：用戶可以自定義Header及內(nèi)容，WAF不會(huì)直接處理，而是會(huì)通過新增Header的方式將命中信息返回給源站，用戶可以與后端風(fēng)控系統(tǒng)結(jié)合做業(yè)務(wù)側(cè)處理。 |
自定義Bot策略
支持自定義多種復(fù)雜BOT高級(jí)防護(hù)策略配置，包括 IP地域情報(bào)庫、IP動(dòng)態(tài)情報(bào)庫、IDC設(shè)備情報(bào)庫、Referer、Cookie、User Agent、IP等多種復(fù)雜條件Bot策略配置，多個(gè)用戶有多次惡意爬取行為的攻擊源IP進(jìn)行處置。
- 情報(bào)策略：情報(bào)策略支持『IP情報(bào)』和『設(shè)備情報(bào)』。
IP情報(bào)：包括 IP地域情報(bào)庫 和 IP動(dòng)態(tài)情報(bào)庫。
1）IP地域情報(bào)包括：海外IP情報(bào)、IDC IP情報(bào)、基站IP情報(bào)。
2）IP動(dòng)態(tài)情報(bào)包括：高危IP情報(bào)、爬蟲IP情報(bào)、NAT出口IP情報(bào)。
3）當(dāng)同個(gè)域名配置多個(gè)自定義策略特征時(shí)，優(yōu)先首次配置策略生效。
設(shè)備情報(bào)：用戶唯一設(shè)備指紋，持續(xù)維護(hù)跟蹤。
多條基礎(chǔ)策略的組合，支持語法，支持與或，支持條件嵌套。
| 匹配條件 | 說明 | 邏輯符 |
|---|---|---|
| P地域及靜態(tài)情報(bào)庫 | 收錄一段時(shí)間內(nèi)在百度云上對(duì)多個(gè)用戶不同地域多次惡意爬取行為的攻擊源IP，并對(duì)其執(zhí)行觀察、攔截、滑塊、嚴(yán)格滑塊或回源標(biāo)記處置。 海外IP：來自海外攻擊源IP 基站IP：來自基站攻擊源IP IDC內(nèi)IP：來自IDC內(nèi)部攻擊源IP | 屬于、不屬于 |
| IP動(dòng)態(tài)情報(bào)庫 | 公共出口 IP：這些 IP 普遍有較多的正常用戶共享的出口，如小區(qū)運(yùn)營(yíng)商、辦公網(wǎng)絡(luò)、活躍基站等共享 NAT 或代理的出口。這些 IP 建議站長(zhǎng)做一定的多維度策略，防止對(duì)正常用戶的打擾。 搜索引擎：搜索引擎的請(qǐng)求來源。如果客戶是希望各搜索引擎來抓取的場(chǎng)景，建議針對(duì)此情報(bào)命中的請(qǐng)求加白。 高危 IP：根據(jù)歷史行為存在高安全風(fēng)險(xiǎn)的IP地址，這些IP地址可能與惡意活動(dòng)、網(wǎng)絡(luò)攻擊、釣魚網(wǎng)站或其他不安全的行為有關(guān)。多數(shù)場(chǎng)景下這些請(qǐng)求來源的流量可以直接做處置 | 屬于、不屬于 |
| 設(shè)備情報(bào) | 對(duì)不同時(shí)間段的新舊的設(shè)備進(jìn)行異常行為，對(duì)其執(zhí)行觀察、攔截、滑塊、嚴(yán)格滑塊或回源標(biāo)記處置。包括： 1小時(shí)以內(nèi)的新設(shè)備 1天以上的舊設(shè)備 7天以上的舊設(shè)備 | 屬于、不屬于 |
| IP | 請(qǐng)求的來源IP，即發(fā)起請(qǐng)求的客戶端的IP地址。 匹配內(nèi)容填寫要求如下： 支持使用IPv4地址（例如，1.XX.XX.1）、IPv6地址（例如，2001:db8:ffff:ffff:ffff:ffff:ffff:ffff）。 支持使用IP網(wǎng)段格式（例如，1.XX.XX.1/16）。 | 屬于、不屬于； 等于、不等于； 包含、不包含； 前綴匹配、后綴匹配 |
| Referer | 請(qǐng)求的來源網(wǎng)址，即該請(qǐng)求從哪個(gè)頁面跳轉(zhuǎn)產(chǎn)生。 | 等于、不等于； 包含、不包含； 前綴匹配、后綴匹配 |
| User-Agent | 發(fā)起請(qǐng)求的客戶端的瀏覽器標(biāo)識(shí)、渲染引擎標(biāo)識(shí)和版本信息等瀏覽器相關(guān)信息。 | 同上 |
| Cookie | 請(qǐng)求中的Cookie信息。 | 同上 |
| Get Patam | 在編程和軟件開發(fā)中獲取所需參數(shù)的過程或操作 | 同上 |
| 處置動(dòng)作 | 選擇當(dāng)請(qǐng)求命中該規(guī)則時(shí)，要執(zhí)行的防護(hù)動(dòng)作?？蛇x項(xiàng)： 攔截：表示攔截命中規(guī)則的請(qǐng)求，并向發(fā)起請(qǐng)求的客戶端返回?cái)r截響應(yīng)頁面。說明WAF默認(rèn)使用統(tǒng)一的攔截響應(yīng)頁面，您可以通過自定義響應(yīng)功能，自定義攔截響應(yīng)頁面。 觀察：表示不攔截命中規(guī)則的請(qǐng)求，只通過日志記錄請(qǐng)求命中了規(guī)則。您可以通過WAF日志，查詢命中當(dāng)前規(guī)則的請(qǐng)求，分析規(guī)則的防護(hù)效果（例如，是否有誤攔截等）。觀察模式方便您試運(yùn)行首次配置的規(guī)則，待確認(rèn)規(guī)則沒有產(chǎn)生誤攔截后，再將規(guī)則設(shè)置為攔截模式。 滑塊：表示W(wǎng)AF向客戶端返回滑動(dòng)驗(yàn)證頁面。如果客戶端成功執(zhí)行滑動(dòng)驗(yàn)證，則WAF在一段時(shí)間（默認(rèn)30分鐘）內(nèi)放行該客戶端的所有請(qǐng)求（不需要重復(fù)驗(yàn)證），否則攔截請(qǐng)求。 嚴(yán)格滑塊：表示W(wǎng)AF向客戶端返回滑動(dòng)驗(yàn)證頁面。如果客戶端成功執(zhí)行滑動(dòng)驗(yàn)證，則WAF放行本次請(qǐng)求，否則攔截請(qǐng)求。嚴(yán)格滑塊驗(yàn)證模式下，客戶端的每次請(qǐng)求都需要驗(yàn)證。 回源標(biāo)記：用戶可以自定義Header及內(nèi)容，WAF不會(huì)直接處理，而是會(huì)通過新增Header的方式將命中信息返回給源站，用戶可以與后端風(fēng)控系統(tǒng)結(jié)合做業(yè)務(wù)側(cè)處理。 | / |
4.查看Bot統(tǒng)計(jì)報(bào)表
Bot統(tǒng)計(jì)報(bào)表
1、防護(hù)總覽
通過折線圖，展示在指定時(shí)間范圍內(nèi)，Bot管理防護(hù)策略中已配置的【規(guī)則動(dòng)作】和【規(guī)則命中】情況。 
單擊具體的規(guī)則動(dòng)作或規(guī)則，顯示或隱藏該折線圖。將光標(biāo)放置在折線圖上的某一點(diǎn)，可以查看該時(shí)刻的具體數(shù)據(jù)。縱軸為次，橫軸為時(shí)間可拖動(dòng)縮放時(shí)間線。
規(guī)則動(dòng)作包括：請(qǐng)求次數(shù)、攔截、觀察、滑塊、嚴(yán)格滑塊、回源標(biāo)記
命中規(guī)則包括：自定義Bot策略、業(yè)務(wù)安全、AI智能防護(hù)、IP限速、會(huì)話限速
2、規(guī)則命中統(tǒng)計(jì)
通過列表，展示已配置的防護(hù)規(guī)則的規(guī)則ID、防護(hù)域名、包含觀察模式的命中次數(shù)情況。 列表每頁最多展示5條，超過翻頁顯示。
通過切換tap展示被攔截、滑塊、嚴(yán)格滑塊、回源標(biāo)的Top 10攻擊源IP及其攻擊次數(shù)。
3、攻擊詳情
通過列表，展示在指定時(shí)間范圍內(nèi)（時(shí)間同Bot報(bào)表頂部時(shí)間保持一致），命中Bot管理防護(hù)規(guī)則的IP情況，包括攻擊IP、IP所屬區(qū)域、URL、規(guī)則ID、規(guī)則名稱、規(guī)則動(dòng)作等信息。
絡(luò)服務(wù)商&site=cntaobao&s=1&charset=utf-8)
