你的AI Agent安全嗎?從OpenAI收購Promptfoo看agent安全測試的崛起
上週 OpenAI 宣布收購 Promptfoo,一個專門做 LLM 紅隊測試的開源工具。這件事本身不算爆炸性新聞,但它背後反映的趨勢值得每個在做 AI 應用的開發者注意:AI agent 的安全測試,正在從「有空再做」變成「不做不行」。 當 AI 不只是聊天機器人2024 年我們還在用 ChatGPT 問問題、生成文案。2026 年,AI agent 已經在企業裡替人操作工具了。 根據 NVIDIA 最新報告,64% 的企業已經在生產環境部署 AI,其中 agent 形式的採用率在電信和零售業達到 47-48%。Oracle 上週公布的 OCI 雲端基礎設施營收年增 84%,主要驅動力就是 AI 訓練和推理需求。 這不再是實驗。Agent 真的在跑了。 問題是:當 agent 能呼叫 API、讀寫檔案、執行程式碼時,它的攻擊面跟傳統聊天機器人完全不同。 Prompt Injection:agent 時代的 SQL Injection如果你做過 Web 開發,對 SQL injection 不陌生。使用者輸入惡意...
