Engineerkiwi-walk一個月兩萬次 AI 爬蟲:kiwi-walk 的 Cloudflare 數據觀察
kiwi-walk 一個月被 AI 和搜尋爬蟲請求約 2.4 萬次,成功的不到一半。Meta 一家佔了成功請求的 44%,真正的文章只佔 2% 的請求;失敗的 4xx 有 94% 是 404,來源是主題設定檔沒換掉的範例文字、舊的 favicon 路徑,以及冒充 AI 助理來找 .env 的漏洞掃描。最後的決定是 AI 爬蟲全部放行,只用 WAF 擋掃描。

Engineerkiwi-walk 一個月被 AI 和搜尋爬蟲請求約 2.4 萬次,成功的不到一半。Meta 一家佔了成功請求的 44%,真正的文章只佔 2% 的請求;失敗的 4xx 有 94% 是 404,來源是主題設定檔沒換掉的範例文字、舊的 favicon 路徑,以及冒充 AI 助理來找 .env 的漏洞掃描。最後的決定是 AI 爬蟲全部放行,只用 WAF 擋掃描。
,每次部署時 hook 查有沒有文章的 front matter 寫著 wiki 主動休閒;還沒有就顯示虛線加「即將發布」,發布之後變成正常連結](https://cdn.kiwi-walk.com/content/posts/engineer/forward-links/images/flow.png)
Engineer部落格裡有一批連結刻意指向還沒發布的文章,好讓舊文日後自動連上新文,但在那之前它們都是 404。這篇記錄怎麼用 Hugo 的 render hook 把連結改成 build 時才解析:用 llm-wiki 的頁名而不是網址當鍵,找得到就是連結,找不到就顯示「即將發布」。也記錄全形逗號讓網址 404、macOS 上 git add 靜悄悄沒加到檔案,以及連結檢查怎麼放進 CI。

Engineerkiwi-walk 之前只掛了 GA,SEO 幾乎沒碰過。這次第一次完整健檢:先把網路上的 SEO 說法拆成可驗證的主張、對照官方文件,再回頭改網站。結果是標籤與分類頁不收錄但連結照跟,sitemap 從 294 個網址降到 137;結構化資料改成以作者本人為主體;修好一張壞掉的分享圖和一個填錯的驗證標籤。也記錄為什麼保留未來日期的文章、不用 git 推算修改日期。
![之前標題是「Day31 [llm-wiki] 模型換了…」,之後標題只有內容句;系列頁卡片右上角顯示 Day 31,llm-wiki 成為標題前的淡色字](https://cdn.kiwi-walk.com/content/posts/engineer/titles-without-day/images/before-after.png)
Engineer每日連載的標題一直以 DayN [專案名] 開頭,這兩段直接進了 <title> 和搜尋結果。這篇記錄怎麼把它們從標題拿掉,又不弄丟系列裡的 Day 編號:不用 Hugo 的 tags、不從日期推算,而是讀每篇早就有的 day 與 project 欄位,在系列頁卡片的右上角顯示 Day、在列表上以淡色字顯示專案名;順便把列表的分類改成 logo 徽章、重排 archives。也記錄 archives 標籤被 flex 撐開、dev server 吐舊 CSS、專案名沒對齊標題,以及拿掉編號後搜尋找不到 Day35 的問題。

Engineer/claude-doctor 交出 7 條應改、17 條建議之後,接著是照單修。這篇記錄修正輪裡的三個取捨:報告原本不在 repo 裡、接手時得回 GitHub 去撈,改成一次健檢一個檔;與其修好沒在用的 skill,不如直接刪掉 6 個;vault-maintain 每次在暫存區重寫掃描腳本、每筆修補都派 agent 覆核,改成一支常駐的 lint.py,修完重跑它就是驗證。也記錄 lint.py 第一次跑全 vault 時數字三次都不對的原因。