Engineerkiwi-walk一個月兩萬次 AI 爬蟲:kiwi-walk 的 Cloudflare 數據觀察
kiwi-walk 一個月被 AI 和搜尋爬蟲請求約 2.4 萬次,成功的不到一半。Meta 一家佔了成功請求的 44%,真正的文章只佔 2% 的請求;失敗的 4xx 有 94% 是 404,來源是主題設定檔沒換掉的範例文字、舊的 favicon 路徑,以及冒充 AI 助理來找 .env 的漏洞掃描。最後的決定是 AI 爬蟲全部放行,只用 WAF 擋掃描。
Engineerkiwi-walk 一個月被 AI 和搜尋爬蟲請求約 2.4 萬次,成功的不到一半。Meta 一家佔了成功請求的 44%,真正的文章只佔 2% 的請求;失敗的 4xx 有 94% 是 404,來源是主題設定檔沒換掉的範例文字、舊的 favicon 路徑,以及冒充 AI 助理來找 .env 的漏洞掃描。最後的決定是 AI 爬蟲全部放行,只用 WAF 擋掃描。