重點摘要
66% 爬蟲被擋門外,但剩下的 34% 已學會留住 cookie 永久入場
Anubis 的 PoW 防線存在根本缺陷:一次解題後持有 cookie 即可永久繞過,爬蟲早已掌握此技巧,使連續防禦意義大幅縮水。
git.kernel.org 每日 600 萬次請求中 66% 被攔截,但 14 顆 CPU core 全天為爬蟲渲染頁面的算力,已超過所有合法 git clone 請求的總和。
防禦思路正從「驗證挑戰」轉向「提高抓取成本」,記憶體硬化 PoW、蜜罐陷阱、Cloudflare 付費爬取機制相繼登場。
前情提要
Anubis 與 PoW 防線:一次解題、永久通行的漏洞
Anubis 是 Xe Iaso 於 2025 年 1 月開源的防爬蟲工具,現由 Techaro 維護,採用 SHA-256 工作量證明挑戰。瀏覽器必須算出符合特定難度的雜湊值,才能取得訪問許可,設計上用以區隔真實人類瀏覽器與批量取頁的無頭爬蟲。
名詞解釋
SHA-256 PoW(工作量證明):要求瀏覽器反覆計算雜湊函數,直到找到符合「難度」條件的結果,藉此製造算力門檻。難度越高,計算越費時。
HN 用戶 kristianp 點出核心漏洞:PoW 只需解一次,持有 cookie 即可無限通行。爬蟲學會保存並重用 token 後,這道防線的連續防禦意義已所剩無幾。
git.kernel.org 每天面對 600 萬次請求,其中 66% 被 Anubis 攔截,但仍有近三分之一繞過——這個「成功率」與核心開發者的防禦預期相去甚遠。
防禦成本不對稱——算力對人類更貴、對機器更便宜
HN 用戶 semiquaver 實測以最佳化 ARM SHA256 實作,在毫秒內解開 Anubis 難度 6 挑戰,並指出一台 5,000 美元的 ASIC 可達 200TH/s——任何難度對機器而言皆是零負擔。
反觀行動裝置上的真實用戶,難度 4 或 5 都會帶來可感知的等待延遲與電池消耗,讓防禦工具反而優先「懲罰」到誠信使用者。
chr15m 指出更深層的矛盾:許多爬蟲農場使用的是受害者設備的算力(如受控的智慧電視、手機),對攻擊者幾乎不需要額外成本。
當計算 PoW 對機器比對人類更便宜,「讓機器人不舒服」的防禦邏輯就從根本上失效——這不是難度調參能解決的問題,而是賽局結構本身的不對稱。
反爬蟲工具真的有效嗎?社群的實戰數據辯論
git.kernel.org 的案例是目前最具代表性的實測:Anubis 攔截了 66% 的惡意流量。持肯定立場的 nneonneo 指出,住宅代理網路的末梢設備(智慧電視、手機)無多餘 CPU,反覆解 PoW 對資源有限的爬蟲節點確實構成摩擦點。
然而 2025 年 8 月,Codeberg 公開確認許多 AI 爬蟲已「學會解開 Anubis 挑戰」並重用 token 繞過後續檢查,顯示防線正在被系統性突破。
tptacek 從賽局理論角度補充:爬蟲每次請求都換來有價值的訓練資料,PoW 計算成本遠不足以抵消這個回報。只要邊際成本低於預期價值,攻擊就永遠值得繼續。
這場辯論的本質不是「Anubis 有沒有用」,而是「短暫有效的摩擦點能否演化為持久防線」——目前的答案似乎偏向否定。
下一代防禦策略:從驗證到行為分析的可能出路
社群正探索超越 PoW 的多層防禦方案。記憶體硬化 PoW 要求解題過程佔用 4GB RAM,使分散式輕量爬蟲難以低成本並行,從算力門檻轉向記憶體門檻。
「蜜罐無限路徑」搭配極慢速圖片傳輸(每位元組 15 分鐘)的設計,讓爬蟲陷入曠日廢時的陷阱,而非試圖在閘口阻擋它。開發者 robotmay 實作此方案並加設管理介面追蹤被「填充」的機器人 IP,實際效果令人印象深刻。
Cloudflare 亦推出付費爬取機制 beta,試圖以商業手段讓 AI 公司為取用內容支付對價。這標誌著防禦思路的根本轉向:從「怎麼阻止機器人」演進為「怎麼讓抓取行為有真實成本」,將戰場從技術層面延伸至商業與法律層面。
多元觀點
正方立場
Anubis 等 PoW 工具確實提供了有意義的摩擦。git.kernel.org 成功擋下 66% 的惡意流量,對資源有限的住宅代理爬蟲(末梢設備無多餘 CPU)仍具實質阻礙效果。
如 nneonneo 所言,安全防禦從來不是「一勞永逸」,而是拉高攻擊成本。即便不完美,Anubis 讓許多低階爬蟲碰壁,減少了伺服器負擔,就已達成部分目標。
更重要的是,目前沒有更好的現成替代方案——批評者提出的 memory-hard PoW 或行為分析尚未成熟落地,在此之前 Anubis 仍是最務實的選擇。
反方立場
PoW 防禦存在根本性的賽局理論缺陷:爬蟲每次請求都換來有價值的訓練資料,計算成本遠不足以抵消回報。tptacek 明確指出,只要邊際成本低於預期價值,攻擊就永遠值得。
Anubis 的「一次解題、永久通行」設計讓這個問題更嚴重——爬蟲保存 cookie 後,後續所有請求幾乎零成本。semiquaver 更示範毫秒內以 ARM 最佳化實作解開難度 6,ASIC 則讓任何難度形同不存在。
當攻擊者能以巴西單一 ASN 部署 10 萬個不重複 IP,IP 封鎖亦失效。所有現行技術手段都面臨「攻防不對稱」的根本困境。
中立/務實觀點
爭論「Anubis 有沒有用」可能是偽問題——真正的問題是「什麼樣的防禦架構在經濟上可持續」。
短期看,分層防禦(PoW + 蜜罐 + 行為分析)比單一工具更有效;中期看,商業機制(Cloudflare 付費爬取)可能比技術對抗更持久;長期看,法律框架(EU AI Act 對訓練資料的規範)才是根本解。
FOSS 社群不應獨自承擔訓練資料爭奪戰的防禦成本——這是整個 AI 生態鏈的結構性問題,需要產業與監管共同介入。
實務影響
對開發者的影響
維護任何有公開 URL 結構的開源專案,都需要正視 AI 爬蟲的現實衝擊。Anubis 等 PoW 工具仍值得部署,但不能作為唯一防線;搭配蜜罐路徑、token 重用偵測與速率限制,才能構成多層防禦。
更重要的思維轉變是:從「擋住爬蟲」改為「讓爬蟲消耗自己的資源」——慢速傳輸、無限迷宮路徑等設計,讓攻擊者付出時間成本而非計算成本。
對團隊/組織的影響
防禦 AI 爬蟲已不是一次性設定,而是持續的運維工作。需要有人定期檢查攔截率、分析繞過模式,並評估是否值得升級難度或引入新工具。
使用 Cloudflare 的組織應評估其付費爬取機制 beta;非 Cloudflare 的 FOSS 專案則需要社群資源共享防禦成本,如 GNOME、Linux 核心、FFmpeg 等已在共用 Anubis 部署經驗。
短期行動建議
- 部署 Anubis 並啟用 token 重用偵測,監控實際繞過率
- 在敏感路徑下設置蜜罐頁面,追蹤並記錄爬蟲行為模式
- 評估 memory-hard PoW 方案的可行性(需要 4GB RAM 的解題機制)
- 訂閱 Cloudflare 付費爬取機制的公告,了解商業授權路徑
社會面向
產業結構變化
AI 訓練資料的爭奪戰正在將防禦成本強加給沒有商業利益的 FOSS 社群。git.kernel.org 用 14 顆 CPU core 全天渲染爬蟲頁面,這些算力本可服務真實開發者,卻被迫用於防禦——這是 AI 公司將外部成本轉嫁給開源維護者的典型案例。
Linux 核心 repo 之所以成為爬蟲目標,正是因為其「無 AI 污染」的純淨訓練資料價值。這形成了一個諷刺的悖論:AI 的成功造就了對高品質人類撰寫內容的需求,而這些內容的提供者卻要自掏腰包防禦 AI 的掠奪。
倫理邊界
誰該承擔 AI 訓練資料收集的成本?目前的默認答案是「內容提供者」,但這個答案越來越站不住腳。
爬蟲無視 robots.txt 是已知現象;住宅代理網路的使用等同於徵用他人設備的計算資源。這兩者都指向一個核心問題:AI 公司在數據收集過程中,系統性地外部化了本應由自身承擔的成本。
長期趨勢預測
純技術防禦的軍備競賽可能沒有終點——每次防禦升級都會被更聰明的爬蟲繞過,如 Codeberg 所見。真正的平衡點可能來自三個方向的交匯:
- 商業授權機制(Cloudflare 付費爬取)讓數據有明確定價
- 法律框架(EU AI Act、版權法)讓未授權抓取有法律風險
- 技術標準(如機器可讀的授權聲明)讓合規爬取有明確路徑
唱反調
66% 的攔截率在現實防禦中已屬顯著成效——對資源有限的 FOSS 專案而言,能擋掉三分之二的惡意流量,本身就是值得的。
即使 PoW 被繞過,它仍然提高了「大量並行爬取」的邊際成本,對使用消費級設備的住宅代理爬蟲仍有實質摩擦,不宜完全否定其價值。
社群風向
Anubis 的問題在於,只要解一次 PoW,保住 cookie 就夠了。爬蟲大概早就學會了。Anubis 在被廣泛採用之前沒那麼有效。
如果機器人農場用的是別人設備的算力,計算 PoW 對他們的成本比對人類用戶還低——那你就是在懲罰合法使用者,卻沒有真正提高攻擊者的門檻。
你沒有回應一個關鍵點:許多人反映 Anubis 這類技巧確實有用。如果這些想法根本不可能奏效,為什麼它們看起來確實達到了預期效果?
Cloudflare 推出了一鍵封鎖 AI 機器人、爬蟲和抓取器的新功能,而且免費。隨著 AI 爬蟲持續吞噬網路內容,這個工具有助於保護你的內容不被未授權使用。許多 AI 爬蟲會無視 robots.txt。
你的 robots.txt 寫著「允許」,但 AI 機器人仍然無法訪問你的網站?在客戶審計中我一再看到這種矛盾——網站在 CDN 或防火牆層封鎖 AI 爬蟲,robots.txt 卻又歡迎它們。所以我建了一個工具,測試實際發生了什麼,而不只是你的意圖。
炒作指數
行動建議
若你維護非 Cloudflare 的開源專案,評估部署 Anubis 搭配蜜罐路徑作為第一道防線,並監控 token 重用率以判斷 PoW 實際攔截效果。
設計記憶體硬化 PoW 或行為分析中介層(而非依賴單一 SHA-256 挑戰),將防禦層次從「一次驗證」升級為「持續行為評分」。
追蹤 Cloudflare 付費爬取機制的 beta 進展,以及 EU AI Act 對訓練資料抓取的合規要求——商業與法律層面的解法可能比技術手段更持久。