開源工具

把一個大型語言模型跑在自己的筆電上，過去要先搞定 CUDA、PyTorch、各種 Python 依賴，光環境就能耗掉一個下午。Ollama 把這整段流程收成一個安裝檔加一行指令：ollama run，模型就在本機跑起來，資料不出機器，也不用付 API 費用。 這篇談 Ollama 的安裝、常用指令、API 整合，以及最容易踩的兩個雷：API 回應解析和模型自訂檔的格式。 Ollama 是什麼它是一個用 Go 寫的開源工具，把模型下載、權重管理、推論伺服器這幾件事包在一起。核心特點： 一個指令下載模型、開始對話，不用手動處理權重檔 內建一個跑在 localhost:11434 的 HTTP 伺服器，提供 REST API 同一份指令在 Windows、macOS、Linux 都通用 模型庫涵蓋 Llama、Gemma、Qwen、DeepSeek 等主流開源模型 要留意的是它走的是量化模型路線（預設多為 Q4 量化），換來的是更低的記憶體門檻，代價是輸出品質略低於原始全精度權重。對本機實驗、開發測試夠用；要追求極致品質得另尋方案。 安裝系統需求 作業系統：Windows、macO...