2025 年 2 月 6 日，Cloudflare 試圖阻止 R2 對(duì)象存儲(chǔ)平臺(tái)上的一個(gè)網(wǎng)絡(luò)釣魚(yú) URL，結(jié)果事與愿違，引發(fā)了大范圍中斷，導(dǎo)致諸多服務(wù)癱瘓了近一個(gè)小時(shí)。

Cloudflare R2 是一種類似于 Amazon S3 的對(duì)象存儲(chǔ)服務(wù)，專為可擴(kuò)展、持久、低成本的數(shù)據(jù)存儲(chǔ)而設(shè)計(jì)。它提供免費(fèi)的數(shù)據(jù)檢索、S3兼容、跨多個(gè)位置的數(shù)據(jù)復(fù)制以及 Cloudflare 服務(wù)集成。

一名員工在回應(yīng)關(guān)于 Cloudflare R2 平臺(tái)上的網(wǎng)絡(luò)釣魚(yú) URL 的濫用報(bào)告時(shí)，中斷發(fā)生了。

然而，這名員工并沒(méi)有攔截那個(gè)特定的端點(diǎn)，而是誤關(guān)閉了整個(gè) R2 Gateway 服務(wù)。

Cloudflare 在事后分析報(bào)告中解釋道：“在常規(guī)的濫用補(bǔ)救過(guò)程中，工作人員接到投訴后采取行動(dòng)，卻無(wú)意中禁用了 R2 Gateway 服務(wù)，而不是禁用報(bào)告的那個(gè)特定端點(diǎn)/存儲(chǔ)桶?！?/p>

“這是多個(gè)系統(tǒng)級(jí)別控制失效和操作人員培訓(xùn)不到位所致，前者是最主要的因素?！?/p>

這起事件持續(xù)了 59 分鐘，發(fā)生在 08 點(diǎn) 10 分到 09 點(diǎn) 09 分之間。除了影響 R2 對(duì)象存儲(chǔ)本身，該事件還影響了以下服務(wù)：

（1）Stream（視頻流）：視頻上傳和視頻流分發(fā)失敗率 100%。

（2）Images（圖片）：圖片上傳/下載失敗率 100%。

（3）Cache Reserve（緩存保留）：操作失敗率 100%，導(dǎo)致源端請(qǐng)求增加。

（4）Vectorize（向量化）：查詢失敗率 75%，插入、修改和刪除操作失敗率 100%。

（5）Log Delivery（日志交付）——延遲和數(shù)據(jù)丟失：R2 相關(guān)的日志其數(shù)據(jù)丟失率高達(dá)13.6%，非 R2 交付作業(yè)的數(shù)據(jù)丟失率高達(dá) 4.5%。

（6）Key Transparency Auditor（密鑰透明度審計(jì)器）——簽名發(fā)布和讀取操作失敗率 100%。

也有一些受到間接影響的服務(wù)遭遇了局部失敗，比如 Durable Objects（持久對(duì)象），由于恢復(fù)后的重新連接，其錯(cuò)誤率增加了 0.09%；比如 Cache Purge（緩存清除），錯(cuò)誤增加了 1.8%（HTTP 5xx）、延遲峰值增加了 10 倍；比如 Workers & Pages，部署失敗率為 0.002%，僅影響使用 R2 綁定的項(xiàng)目。

服務(wù)可用性示意圖：

Cloudflare 特別指出，人為錯(cuò)誤和缺乏安全措施（比如針對(duì)影響很大的操作的驗(yàn)證檢查）是這次事件的主因。

這家互聯(lián)網(wǎng)巨頭現(xiàn)在已立即實(shí)施了修復(fù)機(jī)制，比如取消了在濫用審查界面中關(guān)閉系統(tǒng)的功能，以及在 Admin API 中設(shè)置限制，以防止內(nèi)部帳戶禁用服務(wù)。

將來(lái)會(huì)實(shí)施的其他措施包括改進(jìn)帳戶配置、實(shí)施更嚴(yán)格的訪問(wèn)控制以及針對(duì)高風(fēng)險(xiǎn)操作的雙方審批流程。

2024 年 11 月，Cloudflare 曾遇到了持續(xù) 3 個(gè)半小時(shí)的另一起重大停機(jī)，導(dǎo)致服務(wù)中 55% 的日志永久性丟失。

那起事件是由 Cloudflare 的自動(dòng)緩解系統(tǒng)出現(xiàn)連鎖反應(yīng)式的故障引起的，背后原因是將錯(cuò)誤的配置推送到了該公司日志管道中的一個(gè)關(guān)鍵組件。