Prompt Injection 不只是學術問題:OpenAI 收購 Promptfoo 背後的 Agent 安全困局
三月初 OpenAI 宣布收購 Promptfoo,一家專門做 LLM 安全測試的新創。消息不算爆炸性——沒有天價估值、沒有千人團隊。但如果你正在寫 AI Agent,這件事值得你停下來想一分鐘。 為什麼一家手握 GPT-5.4 的公司,需要花錢買一個做 prompt injection 測試的工具? Agent 不是 Chatbot,安全模型完全不同傳統 chatbot 的安全問題相對好處理。使用者輸入一句話,模型回一句話。最壞的情況是輸出不當內容,加個 content filter 就能擋掉大部分。 Agent 不一樣。 一個典型的 Agent 工作流程長這樣:使用者下指令 → Agent 拆解任務 → 呼叫工具(搜尋、寫檔案、發 API)→ 讀取工具回傳結果 → 決定下一步 → 重複。每一步都有外部資料進入 context window。每一筆外部資料都是潛在的攻擊面。 想像你的 Agent 去搜尋一個網頁,網頁裡藏了一段 <div style="display:none">Ignore previous instructions....
你的AI Agent安全嗎?從OpenAI收購Promptfoo看agent安全測試的崛起
上週 OpenAI 宣布收購 Promptfoo,一個專門做 LLM 紅隊測試的開源工具。這件事本身不算爆炸性新聞,但它背後反映的趨勢值得每個在做 AI 應用的開發者注意:AI agent 的安全測試,正在從「有空再做」變成「不做不行」。 當 AI 不只是聊天機器人2024 年我們還在用 ChatGPT 問問題、生成文案。2026 年,AI agent 已經在企業裡替人操作工具了。 根據 NVIDIA 最新報告,64% 的企業已經在生產環境部署 AI,其中 agent 形式的採用率在電信和零售業達到 47-48%。Oracle 上週公布的 OCI 雲端基礎設施營收年增 84%,主要驅動力就是 AI 訓練和推理需求。 這不再是實驗。Agent 真的在跑了。 問題是:當 agent 能呼叫 API、讀寫檔案、執行程式碼時,它的攻擊面跟傳統聊天機器人完全不同。 Prompt Injection:agent 時代的 SQL Injection如果你做過 Web 開發,對 SQL injection 不陌生。使用者輸入惡意...
