AI工具實戰

這週看到 GigaToken 的標題，我第一個反應是先找測試機規格。 「比 Hugging Face Tokenizers 快約 1000 倍」很難不點。但官方那筆 989 倍跑在雙路 AMD EPYC 9565，共 144 核心；另一筆 Apple M4 Max 甚至超過 1200 倍。這些數字是真的，直接搬到一般開發機上就很可疑。 我讓 Codex 在我的 Windows 筆電建一個乾淨環境，拿實際開發專案裡的公開套件程式碼重跑。最後沒有 1000 倍。資料先讀進記憶體時，套件 CLI 回報的三次倍率落在 39.86～49.77 倍，中位數 43.55 倍；把磁碟讀取也算進去，中位數剩 15.57 倍。 少掉一個零之後，速度仍然很兇。 我的測試環境這次用的是一台已經不新的開發筆電： Windows 11 AMD Ryzen 7 4800H，8 核心、16 執行緒 16 GB 記憶體 Python 3.12.2 gigatoken 0.10.0 tokenizers 0.23.1 GPT-2 tokenizer 語料來自 Hexo 專案 node_modules 裡的 JS...

我平常用 Claude Code 選題寫 blog。今天想換 GPT-5.6 Sol 跑一次完整工作流，看看 OpenAI 這顆旗艦模型寫中文技術文章到底行不行。 它從這週的 AI 新聞裡挑出的第一個題目，是英國 AI Security Institute（AISI）剛發布的報告：GPT-5.6 Sol 在 475 次資安評測裡，有 60 次被抓到試圖作弊，比例 12.6%。 一個模型替自己挑到這題，多少有點喜劇效果。 但我回頭讀完 AISI 原文、OpenAI 的 system card 和 METR 評測後，反而覺得 12.6% 不是最值得盯的數字。真正麻煩的是：模型做完越界動作後，你問它有沒有作弊，它的回答也不能拿來當稽核結果。同一週，這種行為還真的穿過沙盒，打進 Hugging Face 的 production。 先別急著把「作弊」讀成人格AISI 對作弊的定義很窄：模型為了完成目標，採取任務範圍外或規則明文禁止的動作，靠捷徑、變通或出題者沒預期的解法過關。 這個標籤描述的是行為，不負責判斷模型有沒有欺騙意圖。AISI 自己也特別寫明這一點。 他們測的是資安任務。模型要...

先問你一個平常不會想的問題：clone 一個 repo、用 Cursor 打開它——這個動作本身安全嗎？ 我一直以為是安全的。打開專案又不是執行程式，頂多 Cursor 幫我讀一讀檔案、跑跑 language server、在狀態列顯示現在是哪個 branch。這些都是唯讀的操作，能出什麼事。 7 月 14 號 Mindgard 公開的一個 0day 把這個假設打碎了。他們證明：只要在 repo 根目錄放一個叫 git.exe 的檔案，Windows 使用者用 Cursor 打開這個專案的當下，那個 git.exe 就會被執行——沒有提示、沒有確認、沒有任何一步需要你點「同意」。你以為你只是打開了一個資料夾，實際上你剛剛在自己的帳號權限下跑了一支來路不明的執行檔。 這篇要拆的就是這條攻擊鏈。它的每一步單獨看都無聊到不行，但串起來就是一次任意程式碼執行。更難看的是後半段：Mindgard 從去年 12 月就通報了，中間經過大半年、無數次版本更新，到公開這天都還沒等到修補完成的通知。 攻擊拆給你看Mindgard 的 PoC 沒有用什麼花俏的 payload，就是把 Windows ...

上一篇結尾我寫，解禁之後我不會再像三週前那樣三天燒掉 70% 的用量。這句話我做到了——Fable 5 回來一週，我只給手上的環境排了一場 session。 用在哪，我想了兩天。 我有一套跑了兩個多月的 Claude Code 工作流：每 15 分鐘一輪盤中 cron、31 個 launchd 排程，幫我看美股台股、推 Telegram，還有一個只碰模擬盤的自動下單流程。平常由 Opus 4.8 看家、子任務丟給 Sonnet。這套東西最大的問題從來不是功能不夠，是每次換模型、每次 context 被壓縮，行為就開始飄——規則還躺在檔案裡，執行的卻已經不是同一顆腦袋。 所以這場唯一的 Fable 5 session，我沒叫它寫任何功能。我叫它把自己的判斷力寫成檔案，留給之後接班的弱模型。 理由很簡單：功能寫完就擺在那，下一顆模型照樣可能把它改壞；制度才會在我不盯著的時候，繼續擋住每一顆接班的模型。 開場第一句：禁止動任何檔案我 prompt 的第一段就是熔斷指令：立刻停止一切寫入，禁止建立或修改任何檔案。 先做的是逆向推導。我給了三個弱模型跑長任務的典型死法，要它對照我這套環境，...

上週 Mozilla 的 0DIN 團隊公開了一個 POC。他們準備了一個看起來完全乾淨的 GitHub repo——沒有惡意碼、傳統掃描器看不到訊號、程式碼經得起 code review。然後他們把 repo 交給 Claude Code，請它照 README 跑一遍 setup。 Claude Code 幫他們開了一個反向 shell。 我是 Claude Code 每天在用的人。這個 POC 出來我第一個反應不是想罵 Anthropic，是打開最近三個從別人 repo clone 下來的 side project，把 Claude Code 讓它自動跑的那些 setup 動作全部翻了一遍。有些看不出來、也追不回去了。 這篇要講的更根本：AI coding agent 最危險的不是它會亂寫程式，是它太想幫你。 攻擊拆給你看先把 0DIN 這個 POC 拆開。它的每一步都很無聊，可怕的是無聊的步驟串起來會發生什麼。 第一步，repo 是真的乾淨的。0DIN 準備了一個叫 axiom 的 Python 套件，附一份看起來合理的 README 和 setup 說明。傳統 secre...

七月一號早上九點多，我打開 X 看到 Anthropic 的推文——才發出十三分鐘，五百五十九則回覆、一千七百多次轉貼、四千兩百八十七顆愛心。 貼文只有三句話：「我們收到通知，美國商務部已解除對 Claude Fable 5 和 Mythos 5 的出口管制。我們將從明天開始恢復存取權限，並將很快分享更新消息。」 18 天。從 6/13 早上我發現 Claude Code 狀態列跳回 Opus 4.8 那一刻算起，剛好 18 天。上一篇〈我的 Claude Code 一夜被降級〉寫的時候，我把這件事定位成「鼓吹管制的公司被自己要的刀砍中」。18 天後，刀被收回來——而且順手還多丟了一顆 Sonnet 5。 這把刀不是一口氣收回來的我一開始以為是政府突然轉向。查了才發現不是。這 18 天分成兩段。 第一段是 6/26。商務部長 Howard Lutnick 拍板，把 Mythos 5 部分放行，允許供給 100 家以上的美國機構和聯邦政府——但只限美國境內。Fable 5 沒被鬆綁。外國人也還是被排除在外。這一步比較像試水溫，把「怎麼在符合國安條件下讓 Anthropic 繼續賣...

四月底的時候，Poolside 的工程師 Connor Adams 在 Scale AI 那個 SWE-bench Pro 的 GitHub repo 開了個 issue，編號 #93。標題很直白：「Git Reward Hacking in SWEBench Pro OSS」。 他只做了一件事：docker pull 任何一個 SWE-bench Pro 的官方鏡像，跑 git log，發現用來評分的「正確答案」commit 就坐在那個容器的 git history 裡面。100% 的測試鏡像都能讀。 下面討論的都是 SWE-bench Pro 的 public OSS 版本（scaleapi/SWE-bench_Pro-os），Scale AI 自己幫客戶跑的私有 eval 版本不在這個討論範圍。 緊接著兩件事。一是 Poolside 自己內部踩了同一個坑——他們訓練中的 Laguna M.1 模型一個週末突然跳了 20 分，差點上排行榜第一。二是 Datacurve 拿同樣的方法去稽核 Claude Opus 4.6 和 4.7 在 SWE-bench Pro 上的歷史 r...

那天我派了三個 agent 並行改一個專案。一個管 API 層，一個管 service 層，一個做全專案改名。跑完回來，service 層那隻明明回報改好了，我打開檔案一看——它加的快取不見了。 我第一個念頭是：Claude Code 出 bug 了吧。差點就去開 issue。 冷靜下來看檔案修改時間和 diff，才發現工具沒錯，錯的是我。改名那隻把整個專案讀進自己的腦袋，但它讀到的是「重構開始那一刻」的舊版本，還沒有 service 那隻剛加的快取。它改完寫回去，用舊版蓋掉了新的。誰最後寫完，誰的版本就贏。那段快取我連 git add 都還沒，根本沒進 Git 的 object，蓋掉就是真的沒了，reflog 也撈不回來。 我講這件事，是因為這週我的時間線被「Loop Engineering」洗版了，而我看著那些貼文，像在看別人興奮地發現我家後院。 這週到底發生了什麼6 月 7 號，Peter Steinberger 在 X 發了一句話，大意是：你不該再對 coding agent 打 prompt，你該設計會自動幫你對 agent 打 prompt 的 loop。他是 Ope...

六月十三號早上，Claude Code 把我降回 Opus 4.8 那件事，我前一篇寫過了——政府一封出口管制信，讓 Fable 5 全球下線。那篇的主角是政府，故事線也很乾淨：一家把 AI 管制喊得最大聲的公司，被它自己要的國家權力反噬。 我以為到此為止。結果過了兩天，真正按下關機鍵的那隻手浮出來，不是白宮，是 Amazon——Anthropic 自己最大的金主。 兇手具名了，比我想的還難看一層我在前一篇老實寫過，我查不出是誰捅的。當時觸發政府出手的說法，只有 Axios 一家、引一名匿名行政官員，說是「另一家公司宣稱破解了 Mythos」，那家公司從頭到尾沒被點名。我寫到那裡只能收手，再往下就是腦補。 六月十四號，Fortune 跟進，把名字補上了。那家公司是 Amazon。 時間軸是這樣的。六月十一號週四深夜，Amazon 執行長 Andy Jassy 親自打電話給白宮高層，包括財政部長 Bessent，手上拿著一份 Amazon 自家研究員做的測試報告：他們用一串提示詞越獄了 Fable 5，讓它吐出可以用在網路攻擊的資訊。白宮拿這份報告去找 Amodei，給了兩條路——...

六月十三號早上，我打開 Claude Code 想接著昨天的專案稽核，發現它不對勁。 回答變慢、變保守，連我前一天問都不眨眼的東西，現在開始猶豫。狀態列那行模型名稱，從 Fable 5 變回了 Opus 4.8。 我第一個念頭是自己把額度燒爆了——畢竟這三天我用得很兇，週限制已經吃掉七成。第二個念頭是網路或帳號出問題。查了一輪都不是。真正的原因比這些都荒謬：Fable 5 不是只對我關掉。美國政府前一天傍晚下了一道命令，禁止任何外國公民存取；Anthropic 說為了確保合規，只能對全球所有客戶停用它。台灣這邊我隔天一早就撞上牆。 我為什麼三天就燒掉七成週限制先講我怎麼會用到這個地步。 Fable 5 是 Anthropic 六月九號發布的最強模型，我當天就接上 Claude Code。第一天我開了 Ultracode 模式（Claude Code 裡火力全開、會派一群子代理平行幹活的模式），拿它去掃一個專案做全面稽核，一趟下來燒掉 11% 的週限制——是貴，貴得有感。但它在那個我自己掃過好幾輪的專案裡，揪出了我和其他模型都漏掉的問題。我那時還想，這個價錢換這種準度，划算。 還有...