前言

隨著 AI 技術的快速發展,大型語言模型(LLM)的應用越來越廣泛。然而,要在本機運行這些模型往往需要複雜的環境設定與昂貴的硬體設備。今天要介紹的 Ollama 就是一個能讓你輕鬆在本機運行各種開源 AI 模型的神器!

Ollama 是什麼?

Ollama 是一個開源的 LLM 運行工具,它的主要特色包括:

簡單易用的安裝流程
支援多種開源模型
優秀的效能最佳化
完整的 API 支援
活躍的社群支援

安裝教學

系統需求

作業系統: Windows/macOS/Linux
RAM: 建議至少 8GB
硬碟空間: 依照模型大小,建議預留 10GB 以上

安裝步驟

Windows 安裝

從 Ollama 官網下載 Windows 安裝檔
執行安裝檔,依照指示完成安裝
開啟命令提示字元確認安裝成功:
1
ollama --version

macOS 安裝

使用 Homebrew 安裝:

1	brew install ollama

Linux 安裝

使用官方腳本安裝:

1	curl -fsSL https://ollama.ai/install.sh \| sh

基本使用

下載模型

Ollama 支援多種開源模型,以下是常用的指令:

# 下載 Llama 2 模型
ollama pull llama2

# 下載輕量版模型
ollama pull llama2-uncensored

開始對話

執行以下指令開始與模型對話:

1	ollama run llama2

常用指令範例

# 列出已安裝的模型
ollama list

# 刪除模型
ollama rm llama2

# 匯出模型
ollama export llama2 > llama2.tar

進階應用

使用 API

Ollama 提供了完整的 REST API,讓你能輕鬆整合到自己的應用中:

# Python 範例
import requests

def chat_with_model(prompt):
    url = 'http://localhost:11434/api/generate'
    data = {
        'model': 'llama2',
        'prompt': prompt
    }
    
    response = requests.post(url, json=data)
    return response.json()['response']

# 使用範例
result = chat_with_model("解釋什麼是人工智慧")
print(result)

自訂模型設定

你可以透過建立模型設定檔來自訂模型行為:

# modelfile
FROM llama2

# 設定系統提示
SYSTEM "你是一個熱心助人的 AI 助手"

# 設定參數
PARAMETER temperature 0.7
PARAMETER top_p 0.9

常見問題與解決方案

記憶體不足

解決方案: 使用較小的模型或增加虛擬記憶體

模型下載失敗

解決方案: 檢查網路連線或使用代理伺服器

API 連線問題

解決方案: 確認 Ollama 服務是否正常運行

結語

Ollama 讓在本機運行 AI 大模型變得前所未有的簡單。無論是研究、學習還是開發,都能透過 Ollama 輕鬆體驗 AI 技術的魅力。希望這篇教學能幫助你開始探索 AI 的世界!

在本機免費運行 AI 大模型的開源神器 Ollama

前言