https://kiwi-walk.com/tags/ai%E6%90%9C%E5%B0%8B/ Recent content in AI搜尋 on kiwi-walk https://cdn.kiwi-walk.com/static/images/og-default.png https://cdn.kiwi-walk.com/static/images/og-default.png Hugo -- 0.140.1 zh-TW Sun, 25 Oct 2026 22:00:00 +0800 https://kiwi-walk.com/blogs/engineer/ai-crawlers-cloudflare/ Sun, 25 Oct 2026 22:00:00 +0800 https://kiwi-walk.com/blogs/engineer/ai-crawlers-cloudflare/ kiwi-walk 一個月被 AI 和搜尋爬蟲請求約 2.4 萬次，成功的不到一半。Meta 一家佔了成功請求的 44%，真正的文章只佔 2% 的請求；失敗的 4xx 有 94% 是 404，來源是主題設定檔沒換掉的範例文字、舊的 favicon 路徑，以及冒充 AI 助理來找 .env 的漏洞掃描。最後的決定是 AI 爬蟲全部放行，只用 WAF 擋掃描。