LLM 101 · PART 02 · 跑起 AI

如何讓 AI
在自己的電腦上跑起來?從 Hugging Face、模型選擇,
到量化與推理框架

模型不是只能放在別人的伺服器上。這篇從「模型到底從哪裡來」開始,帶你讀懂 Model Card、選對格式與量化、在自己電腦上完成第一次對話,最後用需求而不是排行榜挑選推理工具。

  • 4 個單元
  • 29 節
  • 多個互動實驗室
  • 40 筆參考

閱讀路徑

先選一條路徑

29 節不需要照順序讀。先看你手邊是哪一種機器,沿著那條線走;遇到卡住的地方,再回頭補就好。

三條路徑不是三種難度

差別只在「你的硬體先替你把哪些選項刪掉」。路徑以外的章節不是不必讀,而是等你第一次跑成功後,再回來補會更有感。

PART 02 · 跑起 AI

UNIT 05

  • 6 節
  • 3 個互動
  • 3 題小測

Hugging Face:AI 模型到底從哪裡來?

模型不是一個 App,而是一組權重加設定

你在 PART 01 看過參數、VRAM 與量化;這一單元只補一件事:那些數字寫在模型的哪一頁。從「ChatGPT 和模型哪裡不同」開始,走進 Hugging Face、讀懂 Model Card,最後用六步判斷一個模型值不值得下載。

05-1

ChatGPT、LLM 和模型權重,有什麼不同?

你每天打開 ChatGPT 問問題。但如果現在問你:那個模型,實際存在哪裡?

ChatGPT 是一個產品:有網站、App、帳號、訂閱方案,還有背後一台你碰不到的伺服器。你輸入問題,它把答案送回來;整個過程並沒有把模型放進你的電腦。

大型語言模型(Large Language Model, LLM)指的是模型本身:一組訓練出來的權重(weights),加上決定它怎麼運算的結構。權重是數值,不是檔案,也不是能雙擊執行的程式;它要配上詞元化(Tokenization)規則、設定檔與推理引擎,才會變成你看到的對話。

有些廠商會把權重公開,讓你自己下載、自己執行,這叫開放權重(open-weight)。但可以下載,不等於可以商用:Qwen3.8-27B 的授權是 Apache-2.0 [1],Qwen3.8-Flash-Next 用的是 qwen-community-1.0 [3],兩者條件不同。Model Card 上會標授權,實際條件要點進 LICENSE 看全文 [10]。

還有一個容易混淆的詞:開源(open-source)。開源 AI 的定義要求使用、研究、修改、分享的自由;只把權重公開,不等於符合這個定義 [40]。所以「開放權重」和「開源」要分開寫,不要互相代替。

圖解 05-1 產品、模型、權重、授權:四層是不同的問題

產品/服務

ChatGPT

帳號、App、遠端運算

模型(LLM)

Qwen3.8-27B

架構+權重

權重+設定

safetensors/GGUF

檔案,不是程式

授權(LICENSE)

第 4 件事,不是第 4 個執行階段

Apache-2.0/qwen-community-1.0

決定你能做什麼;附在模型與權重上的使用條件

這張圖區分四個概念:產品/服務、模型、權重+設定、授權。箭頭只有 1→2→3:產品使用模型,模型使用權重;授權不是第四個執行階段,而是附在模型與權重上的使用條件。授權的例子取自官方 Model Card:Qwen3.8-27B 是 Apache-2.0 [1],Qwen3.8-Flash-Next 是 qwen-community-1.0 [3]。例子只用來說明層級,不代表所有服務都公開權重,也不代表同一層的例子彼此相容;其餘為教材整理/示意。
一句話收斂

產品、模型、權重、授權是四件事;搞混任何一層,後面的問題就會問錯。

可下載 ≠ 可商用

下載頁的按鈕不會告訴你能做什麼。授權名稱只是摘要,條件要看 LICENSE 全文;community license 的商用條件要自己確認,不要直接寫成「不能商用」,也不要假設「可以商用」[3][10]。

05-2

Hugging Face 是什麼?為什麼大家都來這裡找模型?

你在搜尋欄打「Qwen」,跑出一長串名字。這裡不是應用商店,比較像一座倉庫。

Hugging Face 是模型、資料集與示範應用的分享平台:Models 放模型、Datasets 放資料、Spaces 放可以直接玩的展示;同一站還有文件、搜尋與版本紀錄 [9]。它同時是「找檔案」和「讀說明書」的地方,社群會在這裡上傳轉換版、量化版與微調版。

它不是另一個 ChatGPT。你在這裡拿到的是權重、設定與 Model Card;要真的對話,得先下載到自己的電腦,再用推理工具載入(UNIT 07)。

同一個頁面上,官方組織與社群帳號都可能發布名稱很像的模型,有些模型還是 gated:要登入並接受條款,檔案才會出現 [39]。所以順序是:先看作者是不是官方、再開 Model Card、最後看 Files。下載量與愛心數是平台互動指標,會隨時間變動,不是品質證明 [9][10]。

圖解 05-2 模型頁的五個區域:先看作者,再看內容,最後看檔案
介面示意,實際排版與篩選選項依 Hugging Face 版本而異。圖上刻意不放按讚數、下載量與社群成員數;那些數字會變動,也不能說明版本或授權。
一句話收斂

在 Hugging Face,先確認「誰發布的」,再確認「它說什麼」,最後才看「有哪些檔案」。

05-3

第一次打開 Model Card,哪些資訊最重要?

點進模型頁,迎面是一大段 Markdown。那不是廣告文案,是這個模型的說明書。

Model Card 就是模型頁上的 README,由發布者撰寫;Hub 只提供欄位慣例與顯示方式 [10]。第一次讀,先找六件事:Model ID、架構、參數量、能力、授權、檔案與用法。限制、偏誤與評估放第二輪讀。

以 Qwen3.8-27B 為例:Model ID 是 Qwen/Qwen3.8-27B;27B 的稠密(Dense)模型,注意力層是混合架構(Gated DeltaNet 與 Gated Attention);原生 context 262,144,可延伸到 1,000,000;模態是 image-text-to-text,含視覺編碼器;授權 Apache-2.0 [1]。這些欄位直接決定你要下載多大的檔案、要留多少記憶體、能不能商用。

也別跳過限制與評估。分數要看它在什麼條件下測出來;頁面沒寫的,不要自己補。看到 badge 寫 Apache-2.0,還是要點進 LICENSE 看全文——badge 是摘要,不是條款 [1][10]。

互動 05-3 Model Card 導覽:六個欄位依序看

模型頁分頁示意

Qwen/Qwen3.8-27B

Model Card Files Community
  • Model ID
  • 架構
  • 參數量
  • 能力
  • 授權
  • 檔案與用法

介面示意;不含按讚數與下載量

你要看什麼
組織+名稱是不是官方發布。
Qwen3.8-27B 範例
Qwen/Qwen3.8-27B
警語
名稱多一個字,就是另一個模型。

介面示意,實際排版依 Hugging Face 版本而異;圖上不放按讚數或下載量。六個欄位的說明是教材整理,範例數字以官方 Model Card 為準 [1],欄位慣例見 Hub 文件 [10]。手機版把熱點改成下方的六列按鈕,不需要點小圓點。
一句話收斂

Model Card 不是規格表,而是「這個模型能做什麼、不能做什麼、你能怎麼用」的說明書。

05-4

為什麼同一個模型有這麼多版本?

同一個家族,為什麼會有十幾個名字?因為「家族」只是最外面那一層。

往下拆有六個維度:精確 Model ID、用途(Base/Instruct/Thinking 等)、能力(文字/視覺/音訊/工具呼叫)、權重格式(safetensors/GGUF)、量化(Q4/Q8 等)、授權與發布者(官方或社群)。任何一個不同,就是不同的下載選項 [9][10]。

以 Qwen 為例:Qwen3.8-27B 是 27B 稠密、Apache-2.0 [1];Qwen3.8-Flash-Next 官方寫的是 125B 主模型,加上 51B 的 n-gram embedding 與 4B 的 MTP,標示 6B 啟用,授權是 qwen-community-1.0 [3]。名字很像,規模、架構與授權都不同。

Gemma 4 也一樣:從 E2B、E4B 到 12B、26B A4B、31B,名稱是取整——26B A4B 的官方總參數是 25.2B、啟用 3.8B [4][11]。

所以你會看到同一個 27B 有官方版、社群轉換的量化版,還有別人微調過的版本;它們共用一個家族名,卻不是同一個檔案。三個常見誤會先記住:Instruct 不是量化格式、GGUF 不代表一定是 Q4、Q4 也不是一個新模型。

圖解 05-4 家族樹只到「分類」;六個維度才決定你下載哪一個 左右滑動
模型家族、官方與社群 repo,以及六個版本維度 上層是三個模型家族:Qwen、Gemma、gpt-oss,家族之間刻意不連線。中層是四個精確 Model ID 例子:Qwen3.8-27B、Qwen3.6-35B-A3B、Gemma 4 E2B、gpt-oss-20b。Qwen3.8-27B 下方再分成兩個並排的 repo:官方組織發布的 Qwen/Qwen3.8-27B,以及社群帳號轉換的 GGUF 版本(名稱示意)。圖下再用六個維度對照同一個 27B 的官方與社群差別。家族只是分類,不代表相容。 ① 家族 分類用 ② Model ID 精確名稱 Qwen Gemma gpt-oss Qwen3.8-27B Qwen3.6-35B-A3B Gemma 4 E2B gpt-oss-20b 官方 repo Qwen/Qwen3.8-27B 官方組織 社群轉換 repo <帳號>/27B-GGUF 示例,非特定 repo 同一個名稱,兩個 repo 官方組織發布 vs 社群帳號轉換; 先看發布者,再看 Files 與授權。 家族只是分類;六個維度任一不同, 就是不同的下載選項(示意)。

六個維度:同一個 27B,官方 repo 與社群轉換 repo 的差別

Model ID

官方Qwen/Qwen3.8-27B [1]

社群<社群帳號>/Qwen3.8-27B-GGUF(名稱示意)

用途/變體

官方官方發布的 27B Dense 權重

社群同一個模型的量化轉換,不是新模型

能力(模態)

官方image-text-to-text(含視覺編碼器) [1]

社群沿用原模型能力;工具是否支援視覺另看

權重格式

官方safetensors/GGUF 等格式;實際檔名看 Files

社群GGUF(轉換常見格式;檔名依 repo)

量化

官方Q4/Q8 等量化選項;實際以 Files 為準

社群Q4_K_M 等,轉換時決定

授權+發布者

官方Apache-2.0 · Qwen(官方組織) [1]

社群沿用或另訂,依該 repo 的 Model Card/LICENSE [10]

右欄是教材示例,不代表特定社群 repo 存在;實際名稱、格式與授權以 Hugging Face 頁面為準。任何一個維度不同,就是不同的下載選項。

互動 05-4

版本拆解卡

預設帶入 Qwen3.8-27B;也可以換成別的已查證模型。沒查到的欄位顯示「待查」,不留白也不推測。

先選一個模型,卡片會列出六個維度。沒有查到的欄位會顯示「待查」。

家族只是分類,不代表相容;六個維度任一不同,就是不同的下載選項。圖上家族之間刻意不連線,避免暗示血緣或相容關係;Qwen3.8-27B 的 Model ID、能力與 Apache-2.0 見官方 Model Card [1]。版本拆解卡預設帶入 Qwen3.8-27B,資料以官方 Model Card 為準;右欄社群轉換 repo 與格式/量化欄位是教材示例或待查,實際名稱與授權以該 repo 的 Model Card/LICENSE 為準 [10]。
一句話收斂

先確認精確 Model ID 與授權,再談下載;名字像不代表同一個東西。

05-5

我們這套教材會介紹哪些模型?

這套教材會一直提到幾個名字。不是因為它們最強,而是因為每個名字負責說明一件事。

入門組是 Gemma 4 E2B 與 E4B:E2B 是 5.1B 總參數、2.3B 有效參數;E4B 是 8.0B/4.5B。兩者都是 128K context、Apache-2.0,能處理文字、影像與音訊 [4][11]。它們的規模小,檔案與執行需求比較有機會塞進一般顯示卡;這是教材把它們排在第一站的原因,不是因為它們在任何任務上都最強。

對照組用來示範「大」與「MoE」:Qwen3.8-27B 是 27B 稠密、262,144 context [1];Qwen3.6-35B-A3B 是 35B 總參數、3B 啟用,256 個專家、8 個 routed 加 1 個 shared [2];Gemma 4 的 12B、26B A4B、31B 用來比較同家族的規模與架構差異 [4][11]。

進階對照是 Qwen3.8-Flash-Next 與 gpt-oss 系列:前者是 125B+51B+4B 的實驗性架構、6B 啟用、community license [3];gpt-oss-20b 是 21B/3.6B,gpt-oss-120b 是 117B/5.1B,兩者都是 128K context、Apache-2.0 [6][7]。這些都是教學角色,不是排行榜名次。

圖解 05-5 九張模型角色卡:教學順序,不是排名

總參數(規模)由小到大 →

≤10B 入門組
10–40B 中規模對照
>40B 大/跨規模

分組看總參數,不看分數或排名。MoE 卡同時列總參數與啟用參數;兩者差距最大的例子是 Qwen3.8-Flash-Next(125B+51B+4B 對 6B 啟用)。

入門組 · ≤10B

Dense 系;先完成一次載入與對話

第一次成功

Gemma 4 E2B

google/gemma-4-E2B

小模型、放得下是教材的第一站;先完成一次載入與對話。

總參數
5.1B
啟用/有效
2.3B
架構
Dense+Per-Layer Embeddings
Context
128K
授權
Apache-2.0
官方 Model Card(另開)

同家族大一階

Gemma 4 E4B

google/gemma-4-E4B

同一個家族再大一階,用來觀察規模改變後的差異。

總參數
8.0B
啟用/有效
4.5B
架構
Dense+Per-Layer Embeddings
Context
128K
授權
Apache-2.0
官方 Model Card(另開)

中規模對照 · 10–40B

Dense 與 MoE 並存;先看總參數,再看啟用參數

稠密對照

Gemma 4 12B

google/gemma-4-12B

單一規模的稠密對照,適合比較「同架構、不同大小」。

總參數
11.95B
啟用/有效
不適用(Dense)
架構
Dense
Context
256K
授權
Apache-2.0
官方 Model Card(另開)

名稱取整+MoE

Gemma 4 26B A4B

google/gemma-4-26B-A4B

26B 是名稱取整;總參數與啟用參數要分開看。

總參數
25.2B
啟用/有效
3.8B
架構
MoE,128 experts(8 active+1 shared)
Context
256K
授權
Apache-2.0
官方 Model Card(另開)

最大稠密對照

Gemma 4 31B

google/gemma-4-31B

同家族最大的稠密對照,用來說明「越大越不等於越適合」。

總參數
30.7B
啟用/有效
不適用(Dense)
架構
Dense
Context
256K
授權
Apache-2.0
官方 Model Card(另開)

大模型+混合注意力

Qwen3.8-27B

Qwen/Qwen3.8-27B

大模型、混合注意力與長 context 的對照組。

總參數
27B
啟用/有效
不適用(Dense)
架構
Dense+Hybrid Attention
Context
262,144(延伸 1,000,000)
授權
Apache-2.0
官方 Model Card(另開)

總參數 ≠ 啟用參數

Qwen3.6-35B-A3B

Qwen/Qwen3.6-35B-A3B

A3B 的 3B 是每個詞元啟用的量,權重仍以 35B 計。

總參數
35B
啟用/有效
3B
架構
MoE,256 experts(8 routed+1 shared)
Context
262,144
授權
Apache-2.0
官方 Model Card(另開)

大/跨規模 · >40B(MoE)

gpt-oss 卡跨 21B–117B,放在此組是為了看大模型端

實驗性架構與 community license

Qwen3.8-Flash-Next

Qwen/Qwen3.8-Flash-Next

實驗性架構與 community license 的案例,商用條件要另外確認。

總參數
125B+51B+4B(依官方計法)
啟用/有效
6B
架構
MoE+n-gram embedding+MTP
Context
262,144
授權
qwen-community-1.0
官方 Model Card(另開)
卡片順序是教材順序,不是排名;卡片不顯示分數、星等或下載量。分組依總參數(≤10B、10–40B、>40B),不是成績或推薦順序。參數與 context 以官方 Model Card 為準 [1][2][3][4][6][7][11];MoE 模型一律並列總參數與啟用參數。各尺寸的 Model ID 與連結以官方 Model Card 為準;名稱是取整,不代表精確參數量。
一句話收斂

名單是為了對照概念,不是為了推薦;換一個任務,適合的模型就會換。

05-6

學員如何判斷一個模型值不值得下載?

三個分頁都開好了,每個模型看起來都值得下載。先別按下去。

把選擇拆成六步,每一步都問一個能回答的問題:我要做什麼(任務)?這個模型真的支援嗎(能力)?我可以這樣用嗎(授權)?我要下載哪一種檔案(格式與容量)?我的機器與工具撐得住嗎(硬體與工具)?最後,實際跑起來可以接受嗎(實測)?

前五步可以用官方資料回答 [1][4][9][10],第六步只能自己試。不符合就淘汰,並寫下原因——這比記住「哪個模型最好」有用得多。

下載量、熱門排序、單一 benchmark 都只是線索 [9]。能不能載入、回答能不能接受、速度能不能接受,要自己測(UNIT 07)。記憶體怎麼算留到 UNIT 06;這一節只建立判斷順序,不給「最低需求」數字。

圖解 05-6 六步流程:先淘汰,再實測 左右滑動
模型選擇六步流程、淘汰出口與兩種裝置的分支 從左到右六個步驟:任務、能力、授權、格式與容量、硬體與工具、實測,每一步附一個檢查問句,下方各接一個「不符→淘汰、寫下原因」出口。六個出口下方是一條淘汰後回到第 1 步的說明帶。兩張裝置卡分別是 8 GB 級入門機與大容量機器,以虛線連到第 5 步,只寫要先確認什麼,不寫容量門檻。流程圖不保證任何模型一定跑得動。 1 任務 我要做什麼? 先寫下任務 2 能力 真的支援嗎? 模態、任務 看官方寫的 3 授權 可以這樣用嗎? 授權名稱+ LICENSE 全文 4 格式/容量 要下載哪一種? 格式、量化、 檔案大小 5 硬體/工具 撐得住嗎? 記憶體與工具 支援 6 實測 可以接受嗎? 自己跑一次 不符 → 淘汰 寫下原因 不符 → 淘汰 寫下原因 不符 → 淘汰 寫下原因 不符 → 淘汰 寫下原因 不符 → 淘汰 寫下原因 不符 → 淘汰 寫下原因 淘汰後:寫下原因,回到第 1 步換條件或換模型;淘汰不是失敗。 第 5 步 兩張裝置卡補強第 5 步:硬體與工具 8 GB 級入門機 先確認什麼(不寫容量門檻) ・先選規模較小的模型 ・確認量化與檔案大小 ・記得留 KV Cache 與 Runtime 空間 大容量機器 先確認什麼(不寫容量門檻) ・先確認總參數與啟用參數 ・MoE 的總權重仍要全部存放 ・速度與可用性要實測 流程不保證任何模型跑得動;淘汰出口、裝置卡與容量都要實測(示意)。

互動 05-6

模型選擇器

依任務、授權需求與可用記憶體篩選。這裡只做「有機會符合」的淘汰,不給分數、不排名,也不保證跑得動。

1. 任務
2. 授權需求
3. 可用記憶體

記憶體分級是教材的粗略分類,不是 VRAM 門檻;實際需求要算 KV Cache 與 Runtime(UNIT 06),並用實測確認(UNIT 07)。

先選三個條件:任務、授權需求、可用記憶體。

流程圖不代表任何模型一定跑得動;容量與速度要實測。每一步下面的「不符→淘汰」都要寫下原因,淘汰後回到第 1 步換條件或換模型,不是失敗。兩張裝置卡以虛線接到第 5 步,只寫「先確認什麼」,不寫 GB 門檻,也不等於建議規格。流程、淘汰出口與裝置卡為教材整理/示意,不是官方規格。
一句話收斂

先用需求淘汰,再用實測確認;規格只能幫你刪掉選項,不能替你保證結果。

單元小測

UNIT 05 小測

三題檢查你有沒有抓到這一單元的判斷順序;作答後會顯示每一題的解析,可重新作答。

PART 02 · 跑起 AI

UNIT 06

  • 7 節
  • 5 個互動
  • 4 題小測

模型格式、量化與記憶體:到底該下載哪個檔案?

同一個模型,下載頁面上卻排了 3 GB、5 GB、17 GB 好幾種檔案(示例)。這個單元要把那個資料夾拆開:你下載的到底是什麼、GGUF 與 safetensors 差在哪裡、Q4_K_M 這種名字怎麼讀,最後把「檔案大小」和「執行時的記憶體」分開算。

06-1

下載一個 LLM,到底下載了什麼?

你按下「下載」,以為拿到一個模型檔;多數時候,你拿到的是一整個資料夾,而且少一個檔案就可能載入失敗。

打開資料夾,通常會看到一整排檔案:好幾個 model-0000X-of-0000Y.safetensors、config.json、tokenizer.json、tokenizer_config.json、generation_config.json,再加上一份 README.md。這些東西合起來,才是一個推理引擎能載入的模型 [9][13]。

可以這樣分工:權重檔是模型「學到的數值」,也是體積最大的部分;config.json 描述層數、hidden size、注意力設定等結構;tokenizer 相關檔案決定文字怎麼切成詞元(Token);chat template 決定「使用者說的話」與「模型回的話」怎麼排版成一段對話;generation_config.json 則是生成參數的預設值 [9][13]。權重決定「模型會什麼」,其餘檔案決定「它能不能被正確地餵進去、正確地講話」。

如果是 GGUF,常見的是單一 .gguf 檔,因為 GGUF 把中繼資料與張量放進同一個容器 [12]。但多模態模型常另外附一個 mmproj-*.gguf 投影器;在 llama.cpp 生態裡,它是另一個檔案,而且預設也會被放上 GPU [14]。少了它,模型可能只會處理文字。

所以「模型檔」不是「AI 軟體」。它是一組資料與設定,還要有一個推理引擎(llama.cpp、LM Studio、Ollama、vLLM 等)把它載入、執行。下載完成,只代表你拿到了材料,不代表你已經有一個可以對話的程式。

圖解 06-1 一個模型在硬碟上的樣子:倉庫資料夾與單一 GGUF

共同基準左邊與右邊是同一個模型、同一組權重,只是裝進兩種容器:safetensors 倉庫是多檔,GGUF 是單檔+選用投影器。差別在「怎麼裝、還要帶什麼」,不是模型換了一個。

safetensors 倉庫(多檔)

權重分片+設定檔,常見於 Transformers 路線

model-00001-of-00004.safetensors 權重分片 1/4 大

缺少時:載入直接失敗;分片必須整組到齊。

model-00002-of-00004.safetensors 權重分片 2/4(其餘類推) 大

缺少時:索引與實際分片對不上,通常直接載入失敗。

config.json 結構設定 小

缺少時:引擎不知道層數與維度,通常載入失敗。

tokenizer.json 詞元化對照表 小

缺少時:文字切不出詞元,可能載入失敗或輸出亂碼。

tokenizer_config.json 詞元化設定與對話模板 小

缺少時:角色與格式可能混亂、答案一直重複。

generation_config.json 生成參數預設值 小

缺少時:通常仍可載入,但預設生成參數可能不理想。

README.md Model Card(說明文件) 小

缺少時:不影響載入,但你看不到授權與使用限制。

GGUF(單檔+選用投影器)

中繼資料與張量放在同一個容器

model-Q4_K_M.gguf 權重+架構中繼資料+量化資訊 大

缺少時:沒有模型可載入;量化標籤通常直接寫在檔名。

mmproj-model-f16.gguf 多模態投影器(選用) 中

缺少時:模型可能只剩文字能力,讀不到圖片或音訊。

GGUF 不是「壓縮檔」;它是一種把中繼資料與張量裝在一起的容器,裡面可以是量化權重,也可以是較高精度的權重。

點開任一節點可看「缺少這個檔案會怎樣」。手機上兩欄會改為上下堆疊。

教材整理。實際檔案依模型而異,不是每個模型都有這些檔案;這是常見組合,不是規格。分片數量、檔名與是否附 mmproj 都會變,請以下載頁面的檔案清單為準。
一句話收斂

權重+設定檔才是一個模型;推理引擎才是把它跑起來的程式。你下載的是材料,不是一個已經能對話的 App。

06-2

GGUF 和 safetensors 有什麼差異?

這兩個名字常在「該下載哪個」的分岔口出現,但它們不是新舊版本,也不是高低階之分,而是在解決不同的問題。

先講結論:格式影響「怎麼載入、哪些工具讀得懂」,不直接決定「模型有多聰明」。同一個模型可以同時發布成 safetensors 與 GGUF,兩者的權重精度甚至可能一樣 [12][13]。

GGUF 是 llama.cpp 生態常用的容器格式。它把模型的中繼資料(架構、層數、context、詞表等)與張量資料放進同一個檔案,並且可以容納量化後的權重,也可以容納較高精度的權重 [12]。對「下載一個檔案、用桌面工具載入」的情境,它很方便;這也是為什麼你會看到 Q4_K_M 這種量化標籤直接長在檔名上。

safetensors 則是一種安全儲存張量的格式:它不在載入時執行任意程式碼,支援 zero-copy 與 lazy loading,也能存 BF16、FP8 等精度 [13]。它通常搭配 config.json、tokenizer 等檔案一起用,是 Hugging Face Transformers、vLLM、SGLang 這條路線的常見選擇。它本身不代表固定精度。

最後要記得:格式只管「裝箱方式」。能不能跑,還要看工具支援、模型架構、硬體與記憶體。有些工具(例如 vLLM)也提供 GGUF 載入,但支援程度依版本與模型架構而異 [26]。所以「看副檔名決定能不能跑」是很容易踩坑的習慣。

圖解 06-2 同一個模型裝進兩種箱子:容器內含物與常見搭配

GGUF

中繼資料+張量在同一檔

metadata 架構/context/詞表
tensors 量化或較高精度權重
quantization info 量化型別與版本

常見搭配(不是排他規則)

  • llama.cpp
  • LM Studio
  • Ollama

safetensors

只存張量,設定另外給

header offset/dtype/shape
tensors BF16/FP8 等精度
另外準備 config.json、tokenizer

常見搭配(不是排他規則)

  • Transformers
  • vLLM
  • SGLang

兩個箱子都不保證

  • 不保證精度:格式不是品質等級,同一個模型可以兩種格式、同樣精度。
  • 不保證工具支援:版本與模型架構都會影響能不能載入。
  • 不保證授權:能不能下載、能不能商用,要看 LICENSE。

只切換一件事:容器要不要另外帶設定

GGUF 的單一差異

中繼資料與張量放在同一個檔案:下載一個 .gguf 就能載入,量化標籤直接寫在檔名。

多模態模型另外附一個 mmproj-*.gguf 投影器。

共同點(上方容器圖已畫):兩者只差「要不要另外帶設定檔」,都不是精度等級,也都不保證工具支援與授權。

目前顯示 GGUF:單檔容器,量化標籤寫在檔名。

教材整理。這是常見搭配,不是排他規則;工具支援會隨版本改變,以官方文件為準[12][13]。容器圖只表達「裝什麼」,不代表檔案大小或執行順序。
來源與安全

只從官方或可信來源下載。safetensors 可以避開 pickle 執行碼的風險,但不代表模型行為安全;還要看授權、副檔名是否被偽裝,以及這個模型實際被拿來做什麼。

06-3

量化是什麼?為什麼模型可以變小?

同一個模型,一個 17 GB、一個 5 GB(示例),差別通常不是「刪掉了什麼」,而是「每個數字用幾個位元記」。

量化(Quantization)的核心動作很單純:用比較少的位元來表示權重。原本一個數值用 16 位元浮點數存,現在可能用 8 位元、4 位元,甚至更低。位元數變少,同樣的參數量需要的空間就變小,載入時的記憶體壓力也跟著下降 [5][15]。

但這不是無損壓縮。數值被表示得更粗略,就可能有品質損失;損失多少,取決於量化方法、模型本身、以及你要它做什麼任務。同一個 Q4 模型,拿來閒聊可能感覺不出差別,拿來寫程式或做精細摘要就可能露餡 [5][15]。

另一個常見誤會是「位元數少就一定快」。4-bit 不保證一定更快。速度還牽涉硬體對該量化型別的支援、記憶體頻寬、kernel 實作、batch 大小。有些情況下量化省下頻寬而變快,有些情況下反而因為反量化多了計算而變慢。這件事只能在你的機器、你的模型、你的任務上實測 [15]。

常見的精度可以分成兩族:浮點(FP32、FP16、BF16、FP8、MXFP4)與 GGUF 的量化系列(Q4、Q5、Q6、Q8)。名字裡的數字大多對應位元數或量化方法,不是「品質分數」。另外,KV Cache 的量化是另一個題目,這個單元不展開,只要知道「權重量化」和「KV Cache 量化」是兩件事 [12][15]。

圖解 06-3 位元數變少,少的到底是什麼

純權重位元比例,不是檔案大小,也不是 VRAM 實測。實際檔案還要看量化方法、張量混合與中繼資料;名目 4-bit 與 Q4_K_M 的 4.9 bits 也不是同一個數字。

這 7 格是非等距的教學刻度:拖一格可能是 +0.5 bits(4→4.5),也可能是 +8 bits(8→16)。滑桿位置不代表等比例。

8.0 B

4.9 GB(理論權重)

8.0 B × 4.9 bits ÷ 8 = 4.9 GB

相對 16-bit 權重:31%

  • 不含 KV Cache
  • 不含 runtime 開銷
  • bits/weight 為教學假設

目前是 4.9 bits/weight、8B 的理論權重。

查表用:下面是常見精度與量化系列;先看過上面的位元比例與刻度,再回來查名字。

常見精度與量化系列(整理自 GGUF 規格與 llama.cpp 量化文件)[12][15]
名稱這是什麼常見用途不要誤會
FP3232 位元浮點訓練、除錯推論很少用,檔案最大
FP1616 位元浮點推論基準不是「無損」
BF1616 位元,動態範圍較大推論、訓練位元數同 FP16,不是更小
FP88 位元浮點較新硬體上的推論要硬體與工具支援
MXFP44 位元區塊浮點部分模型的原生格式不是 GGUF 的 Q4
Q8GGUF 8-bit 量化系列接近原精度檔案明顯比 Q4 大
Q6GGUF 6-bit 量化系列容量與品質折衷不是「6 GB」
Q5GGUF 5-bit 量化系列比 Q4 保守實際 bits/weight 高於 5
Q4GGUF 4-bit 量化系列常見起點不是每個權重剛好 4 bit
比例只用來理解位元數關係;實際檔案大小還要看量化方法、張量混合與中繼資料。4.5 是 Q4_K 的公式下限,4.9 是文件對特定模型量到的值,兩者都不是所有模型的固定常數[15];刻度圖與 25%/31% 的對照為教材示意。
一句話收斂

位元比例只回答「容量大概變成幾成」,不回答「這個檔案多大」,也不回答「這台機器跑不跑得動」。

06-4

看到 Q4_K_M、Q8_0,該怎麼選?

下載頁面上,同一個模型排了五六個檔名很像的檔案;與其背名字,不如學會拆名字。

先把 Q4_K_M 拆開看:Q 代表量化,4 是名目上的 4-bit,K 是 K-quant 系列,M 是這個系列裡的「中等混合」版本。實務上它不是「每個權重剛好 4 bit」:K-quant 對不同張量用不同精度,_M 版本再把部分重要張量拉高精度,所以平均的 bits/weight 一定比 4 高。llama.cpp 量化文件的對照表量到:Q4_K_M 約 4.89、Q5_K_M 約 5.70、Q6_K 約 6.56、Q8_0 約 8.50(該表為特定模型,換模型會變)[15]。

這裡有個對學員很實用的細節:很多人憑印象說「Q4 就是 4.5 bits/weight」,但那是 Q4_K 這個型別在文件裡的公式值,套到 Q4_K_M 這種混合版本會低估約一成。以 27B 為例,4.5 估出約 15.2 GB、4.9 估出約 16.5 GB(理論估算,未計 KV Cache);兩個都放不進 8 GB。數字的用途是讓你看出「不是剛好 4 bit」,不是要你背住某一台機器的邊界 [15]。

Q8_0 是 8-bit 系列:每 32 個權重共用一個 scale,換算約 8.5 bits/weight,檔案明顯比 Q4 大,精度更接近原始模型。Q4_K_S、Q5_K_S 的 S 是 small,_M 是 medium;不是每個轉換都提供全部選項。

那要怎麼選?建議的順序是:先確認放得下 → 再確認工具讀得進來 → 最後才比品質與速度。新手最常見的錯誤,是先挑「品質最好」的 Q8,結果 8 GB VRAM 根本載不進去;或是貪小選了 Q2,雖然跑得動,但答題品質讓人失望。中間的 Q4_K_M/Q5_K_M 之所以常被當成起點,是因為它在容量與品質之間取得平衡——但那仍然是起點,不是保證 [15][19]。而且同一個名字在不同模型上可能對應到不同大小與品質:別人說「Q4_K_M 很好」,那是他對那個模型、那個任務的結論,不是通則。

圖解 06-4 拆名字,然後看哪個欄位做決定

Q4_K_M

名目位元
4-bit
系列
K-quant,中等混合
典型 bits/weight
約 4.89(文件值)
什麼情況選它
容量優先,又想避開最低量化的品質風險;常被當成起點。
不要誤會
不是每個權重剛好 4 bit,也不是固定檔案大小。

Q5_K_M

名目位元
5-bit
系列
K-quant,中等混合
典型 bits/weight
約 5.70(文件值)
什麼情況選它
放得下 Q4,還有一點餘裕,想換更保守的品質。
不要誤會
不是「比 Q4 快」,也不保證品質一定更好。

Q6_K

名目位元
6-bit
系列
K-quant
典型 bits/weight
約 6.56(文件值)
什麼情況選它
容量很寬裕,想更接近原始精度。
不要誤會
不是「6 GB」;大小仍要看模型與張量混合。

Q8_0

名目位元
8-bit
系列
Q8 系列
典型 bits/weight
約 8.50(文件值)
什麼情況選它
容量不是問題,想盡量保留精度。
不要誤會
不是「最好就選它」;小 VRAM 常常載不進去。

卡片刻意不寫 GB:bits/weight 依模型與張量混合而異;卡片上的數字是文件記載的典型值,不是這個模型的實測值。

bits/weight 是估算記憶體用的係數,不是檔案大小;圖上的 4.89/5.70/6.56/8.50 是 llama.cpp 文件對特定模型量到的值[15],換模型會變。同一個量化名稱在不同模型上可能對應不同大小與品質;也不是每個模型都提供這四種選項。
先放得下,再談品質

看到 Q8_0 先別急著按下載;看到 Q4_K_M 也別假設一定跑得動。量化名稱只告訴你「大概用幾個位元」,剩下的要回到模型大小、Context 與你的裝置。

06-5

模型檔案大小,為什麼不等於 VRAM 使用量?

你下載了 5 GB 的 GGUF,顯卡有 8 GB,看起來還剩 3 GB;但模型一載入,數字往往不是這樣算的。

硬碟上的檔案大小,只回答了「要搬多少資料進來」;它沒有回答「進來之後要佔多少位置」。載入之後,VRAM 裡至少同時住著四種東西:權重、KV Cache(鍵值快取)、執行時的運算緩衝,以及作業系統桌面、驅動與其他程式先佔走的那一塊 [5][30]。

Context 越長,KV Cache 通常越大,而且成長不是線性的小數目。用一個假想模型示意:32 層、8 個 KV heads、head_dim 128、FP16,每個詞元約 128 KiB;4,096 個詞元約 512 MiB,8,192 個約 1 GiB,32,768 個就約 4 GiB。也就是說,同一個模型把 Context 從 4K 拉到 32K,光 KV Cache 就可能吃掉好幾 GB。(這是示意公式,不是任何真實模型的實測值。)

那放不下怎麼辦?不一定要放棄:可以把部分層留在 CPU(卸載,offloading),或用更小的量化、更短的 Context。但卸載不是免費的:每次計算都要在 CPU 與 GPU 之間搬資料,速度通常會下降;「跑得動」和「跑得順」是兩件事 [16][17]。

最後兩個常見的極端誤解要一起拆掉:8 GB VRAM 不是「只能跑 8 GB 以內的模型」(量化後的小模型可以很輕鬆),但也不是「所有 4-bit 模型都放得下」;128 GB 統一記憶體容量很大,但容量大不等於頻寬高、速度一定快 [30][31]。

圖解 06-5 同樣的權重,全部放 GPU 與部分卸載

A 與 B 共用同一條 0–16 GB 尺(教學示意,不是實測 GB)

A|全部在 GPU

需求 10.4 GB:權重、KV、緩衝、runtime 全在同一張卡,超過 8 GB。

7.6 權重 + 1.2 KV + 0.6 緩衝 + 1.0 runtime = 10.4 GB,超出 2.4 GB

B|部分卸載,GPU 放得下

只把 4.4 GB 的權重留在 GPU,其餘 3.2 GB 移到系統 RAM。

4.4 + 1.2 + 0.6 + 1.0 = 7.2 GB,離 8 GB 卡容量還有 0.8 GB。

↔ 每次計算要逐層把 RAM 裡的「其餘權重」搬進 GPU(不是一次搬 3.2 GB);省下的是容量,付出的是搬移時間。

B|系統 RAM(16 GB)

放「其餘權重」;其他程式仍要佔 RAM。

其餘權重 3.2 GB + 其他程式 12.8 GB = 16 GB。B 的 4.4 + 3.2 = A 的 7.6,同一份權重沒有變多。

權重(A/B 同色) KV Cache 運算緩衝 runtime/驅動 剩餘/其他程式 8 GB 卡容量線

其他程式也會佔 VRAM:瀏覽器、遊戲、剪輯軟體、其他 AI 工具。圖上的 GB 是為了共用比例尺而設的示意值,不是任何一台機器的實測。

教材整理/示意:GB 數字是為了共用比例尺而設,不是實測。同一份權重全部放 GPU 時,KV Cache 與 runtime 仍會佔空間;部分卸載只是把「放不下」變成「有機會」,代價是每次計算的搬移。
互動 06-5 量化與記憶體試算:公式與假設都攤開
bits/weight(教學假設)

滑到 4.5 時會低估約一成;4.9 較接近文件值。

10%
Context
KV Cache 估算
KV 假設(進階,只在開啟時使用)

預設值是假想模型,不是任何真實模型的組態;此公式不適用於 hybrid 架構模型。

理論權重

4.9 GB

加上開銷

5.4 GB

KV Cache

—(未計)

合計

5.4 GB

勉強:含開銷約占可用預算的 79%。

還沒計 KV Cache 與 runtime;實際上線前要再用 4K Context 試一次。

公式(理論估算)

weights_GB = paramsB × bits/weight ÷ 8
overhead_GB = weights_GB × 開銷比例
kv_GB = 2 × 層數 × KV heads × head_dim × 2 bytes × contextTokens ÷ 1e9
total_GB = weights_GB + overhead_GB + kv_GB

8.0 × 4.9 ÷ 8 = 4.90;4.90 × 10% = 0.49;KV 未計;合計 5.39 GB

未計 KV Cache 與 Runtime 開銷的結果不能當成「一定跑得動」;這是理論估算,不是這台機器上的實測。

已依預設值試算:8B、4.9 bits/weight、10% 開銷、KV 未計。

這是理論估算,不是這台機器上的實測。權重、開銷與 KV Cache 分開顯示,是因為它們的成長條件不同;Q4_K_M 用 4.9 當示例、4.5 當公式下限,兩者都不是所有模型的固定值[15]。
一句話收斂

把「檔案大小」和「可用預算」分開看:預算要先扣掉桌面、驅動、KV Cache 與其他程式,剩下的才是模型真的能用的空間。

06-6

MoE 模型量化後,記憶體需求怎麼判斷?

「35B-A3B」看起來像 3B,價格也像 3B;但它要的記憶體不是 3B 的份量。

混合專家模型(Mixture-of-Experts, MoE)的設計是:每個詞元只會經過少數幾個專家,所以「每個詞元實際參與計算的參數」比較少。這就是 A3B 的由來——3B 指的是啟用參數,不是模型大小 [2]。

但這裡有個關鍵:所有專家的權重仍然存在模型裡,只是每次計算只用到其中幾個。所以你要下載、要放進記憶體的,是總權重(再乘上量化比例),不是啟用參數。Qwen3.6-35B-A3B 是 35B 總參數、3B 啟用、256 個專家(8 個 routed + 1 個 shared);gpt-oss-120b 是 117B 總參數、5.1B 啟用、128 個專家取 4 個、原生 MXFP4,官方以 80 GB 級 GPU 為目標;Gemma 4 26B A4B 是 25.2B 總參數、3.8B 啟用、128 個專家(8 個 active + 1 個 shared)[2][5][6][8][11]。

所以估算方式其實和 Dense 一樣:總權重 × 量化比例 + KV Cache + 其他開銷。啟用參數影響的是「每個詞元算多少」,不是「模型佔多少空間」。這也是為什麼 35B-A3B 在 8 GB 機器上仍然不現實,而 gpt-oss-120b 不是「5.1B 的小模型」[6]。gpt-oss 系列使用 harmony response format;chat template 不對時,輸出可能不正常。[33]

MoE 確實有一個 Dense 沒有的彈性:因為每個詞元只走部分專家,有些引擎會做「專家快取」或分層放置(常用專家放 GPU、其餘放系統記憶體),讓記憶體不夠的機器「有機會」跑大型 MoE [34]。但這需要額外的記憶體與搬移成本,也不是所有工具都支援;把它當成進階手段,不要當成入門方案。

圖解 06-6 通用示意 vs 真實組態:只走幾條路,但所有路都還在

通用教學示意,非特定模型組態

Qwen3.6-35B-A3B

總參數
35B
啟用參數
3B
專家數/每次啟用
256/8 routed + 1 shared
shared expert
有(1 個)

gpt-oss-120b

總參數
117B
啟用參數
5.1B
專家數/每次啟用
128/4 active
shared expert
無

Gemma 4 26B A4B

總參數
25.2B
啟用參數
3.8B
專家數/每次啟用
128/8 active + 1 shared
shared expert
有(1 個)

真實組態的數字來自官方 Model Card;「8 專家/Top-2」只是用來解釋機制,不是這些模型的設定。

8 專家/Top-2 是教材示意,用來解釋機制;真實模型的專家數與啟用數差異很大,以官方 Model Card 為準[2][6]。背景容器是這張圖的重點——被選中的專家之外,其餘權重仍然存在,也仍然要佔記憶體。
互動 06-6 MoE 路由步進器:五步走完一個詞元
模式

預覽:示例分數已標出 E1、E2。按「下一步」從頭開始,不會自動播放。

E10.42
E20.31
E30.12
E40.07
E50.04
E60.02
E70.01
E80.01

通用示意:8 個專家、每次取 Top-2;分數為示意(總和 1),高亮的是分數最高的 2 個。

預覽:示例分數為 E1 0.42、E2 0.31,是 8 個專家裡最高的 2 個。按「下一步」從頭看這個詞元怎麼被處理。

預覽中:已顯示示例分數與 2 個高亮;按「下一步」從頭開始。

分數與步驟文字都是教材示意,不看動畫也能讀懂。真實組態模式只畫前 8 個專家,並標明其餘專家未畫出;這不代表模型只有 8 個專家[2]。
一句話收斂

總權重決定「要放多少」,啟用參數決定「每個詞元算多少」;兩個數字不能互換,也不能拿小的那個來估記憶體。

06-7

實戰選擇:我的電腦到底要下載哪一版?

前面六節都是零件;這一節把它們組成一張「下載前檢查表」,讓你在按下去之前就知道結果大概是什麼。

Windows + RTX 5060 8 GB。目標是「第一次成功」,不是「一次到位」。先選小模型(Gemma 4 E2B 這種等級),挑 4-bit 左右的 GGUF,Context 先開 4K–8K,確認載入、對話、離開都正常,再慢慢往上調。不要一開始就下載 27B/35B 的 4-bit,然後納悶為什麼載入失敗——那些模型的權重本身就超過 8 GB 能舒適容納的範圍。也別忘了,Windows 桌面、瀏覽器與驅動會先吃掉一部分 VRAM [19][22][30]。

Linux + AMD AI Max 128 GB。你可以容納更大的模型,但「容量大」不等於「速度快」。要確認三件事:GPU 實際可用的共享記憶體有多少、runtime 對這個平台的支援程度、模型在這個 runtime 上是否真的能載入。128 GB 是平台上限,不是「模型可無條件用滿」的保證 [31]。

只有 CPU 的一般電腦。可以跑,但速度通常慢很多;要選更小的模型與更低的量化,並接受比較長的等待。不要用 GPU 的經驗直接推論 CPU——同一個模型、同一個量化,在 CPU 上的感受會完全不同 [16]。

不管你屬於哪一種,下載前問自己五個問題:我要做什麼?這個模型的能力夠嗎?授權可以嗎?格式與工具有支援嗎?我的記憶體真的夠嗎?五題有任何一題答不出來,就先不要按下載。有了答案,再寫進附件 B 的「模型下載選擇卡」——寫下來的目的是:三天後你還會記得當初為什麼選這一版,以及如果跑不動,第一個該改的是哪個欄位。

圖解 06-7 三種裝置的合理起點、地雷與必查項目
  1. 用途
  2. 能力
  3. 授權
  4. 格式支援
  5. 記憶體預算
  6. 實測

RTX 5060 8 GB

具體起點

Gemma 4 E2B(5.1B)Q4_K_M:理論權重約 3.1 GB;Context 先 4K–8K。

不要一開始就做

直接下載 27B/35B 的 4-bit,或把 Context 拉到最大。

必須確認

桌面與背景程式佔用、實際可用 VRAM、工具支援。

Context 與背景程式會決定成敗;先 4K–8K。

AI Max 128 GB

具體起點

Qwen3.8-27B Q4_K_M:理論權重約 16.5 GB;先確認 runtime 載入成功,再往上加。

不要一開始就做

假設「128 GB 就能跑所有模型」,或直接挑戰伺服器級 MoE。

必須確認

共享記憶體實際可用量、runtime 支援、載入是否成功。

容量 ≠ 頻寬;128 GB 不是全部可用。

CPU+16 GB RAM

具體起點

Gemma 4 E2B(5.1B)Q4_K_M:理論權重約 3.1 GB;Context 先 4K,能回答就成功。

不要一開始就做

拿 GPU 的模型大小與速度經驗直接類推。

必須確認

系統 RAM 夠不夠、是否還有其他程式、等待時間可接受嗎。

可以跑,但速度不同;不要直接類推。

這是選擇流程,不是效能保證;實際結果以實測為準。數字與容量只幫你排除明顯不可行的選項。

三張卡各自是「合理起點」,不是「保證可跑」;具體模型的理論權重以 4.9 bits/weight 估算,未計 KV 與開銷[15]。8 GB 的入門策略是小模型+4-bit+短 Context;128 GB 是平台上限,不是模型可無條件用滿[31];CPU 可以跑,但速度與 GPU 不同。
互動 06-7 下載選擇器:換裝置、換量化,結果怎麼變
裝置
格式

GGUF 的量化標籤直接寫在檔名上。

理論權重

3.1 GB

含 10% 開銷

3.4 GB

與可用預算的比值

0.51

有機會:權重約占可用預算的 51%。

還要留 KV Cache 與其他程式;先用 4K Context 載入,再觀察。

還缺什麼資訊

  • 實際檔案大小(依下載頁面標示)
  • KV Cache(依 Context 與模型架構)
  • Runtime 與背景程式佔用

下一步

  1. 先用 4K Context 載入,量一次實際佔用。
  2. 若太勉強,改 Q4_K_M 或換小一級的模型。
  3. 成功後再拉長 Context,一次只改一個變數。

未計 KV Cache 與 Runtime 開銷;不是實測結果。門檻(有機會/勉強/不建議)為教學設定,不是官方標準。計算假設:權重 × 1.1 開銷、裝置容量 × 85% 當可用預算。

已顯示預設組合:RTX 5060 8 GB、Gemma 4 E2B、GGUF、Q4_K_M。

三個數字會一起變(bits/weight、理論權重、與預算的比值),因為它們不是同一件事;bits/weight 的 Q4_K_M 4.9 為文件值[15]。safetensors 沒有 GGUF 的量化標籤,切換格式時會改成 BF16/FP8;「有機會」只代表算得過,不代表一定載入成功,門檻與 85% 預算為教學設定。
先把變數降到最少

第一次就挑戰大模型,失敗時你分不清是「模型太大」還是「設定錯了」。先用小模型、4-bit、短 Context 走通一次,再一個一個往上加。

單元小測

UNIT 06 小測

四題檢查你有沒有帶走這個單元的三件事:容器與格式、量化命名,以及記憶體估算。

PART 02 · 跑起 AI

UNIT 07

  • 8 節
  • 6 個互動
  • 操作步驟示意

第一次把 LLM 裝進電腦:LM Studio 實戰

這一單元不背按鈕位置,也不假裝你的畫面會長得一樣。所有操作段落都是步驟示意,不是實機教學,也不對應特定版本。我們走一次「環境檢查 → 搜尋 → 下載 → 載入 → 對話 → 紀錄」的通用流程,每一步都知道要看到什麼、什麼算成功、失敗時先看哪裡。能載入、能回答、能離線,才算第一次成功;下載完成只是開始。

07-1

第一次部署前,要準備什麼?

按下下載之前,有五、六件事比「選哪個模型」更容易讓你第一次就失敗。

你大概看過「8 GB 顯示卡就跑得動」這種說法。真正的情況是:8 GB 是硬體上限,不是可用值。Windows 桌面、驅動、瀏覽器與其他程式會先吃掉一部分,剩下的才是模型能用的空間。[22]

所以先做五項檢查:作業系統與架構、顯示卡是否被系統正確辨識、系統 RAM、VRAM 上限、硬碟可用空間。本教材以 16 GB 系統 RAM 為背景,但它是背景條件,不是主軸;真正決定成敗的是 VRAM 預算、Context 長度、offload 比例與背景程式。[22]

第六項最常被忽略:背景程式。瀏覽器分頁、遊戲、剪輯軟體、另一個 AI 工具都會佔用 VRAM。當你覺得「明明 8 GB 卻載入失敗」,先看工作管理員的 GPU 記憶體,不要先懷疑下載壞了。

最後把兩件事分開記:下載需要硬碟,載入需要記憶體。混在一起,就會出現「硬碟還很空,為什麼跑不動」這種對話。

互動 07-1 六格環境檢查清單

尚未確認任何項目(0/6)。

8 GB 上限,不等於 8 GB 可用 示意

系統、驅動與其他程式先佔用;模型能用的是最後一段。

  • 系統與桌面
  • 驅動與顯示
  • 其他程式(第 ⑥ 格)
  • 模型可用(第 ④ 格)

上限 8 GB − 系統/驅動/其他程式 = 模型可用(示意);可用一定小於上限。第 ④ 格要你分清「上限」與「目前可用」,第 ⑥ 格處理背景程式。

這是一份檢查清單,不是效能承諾;數值依實際機器而異。8 GB 是入門常見的 VRAM 容量,實際可用還要扣掉系統與背景程式[22];長條與四段比例為示意。六格都出現文字狀態後再開始下載,比事後補救省時間。
一句話收斂

環境檢查只決定「能不能開始」,不代表跑得快。先把「上限」與「可用」分清楚,後面的設定才有意義。

07-2

LM Studio 是什麼?為什麼第一套工具選它?

第一次跑本地模型,最不缺的就是挫折感;LM Studio 的價值,是把挫折往後延。

LM Studio 是一套桌面應用程式,把「搜尋模型、下載、載入、聊天、開本地 server」放在同一個圖形介面裡。對第一次接觸的人來說,你不用先學編譯、不用先記參數,就能看到模型真的在自己電腦上回話。[23][25]

它的定位要說清楚:桌面 App 本身是專有免費軟體,不是開源;官方另外提供 lms 命令列工具,那個才是 MIT 授權。同一個 App 也有本地 API,可以讓其他程式呼叫模型,但這一段留到 UNIT 08 再談。[25][38]

為什麼第一套工具選它?因為先建立成功經驗。當你確定「能載入、能回答、能離線」之後,再去學 Ollama 的 tag 或 llama.cpp 的指令,會有清楚的對照組;反過來先學命令列,很容易在還沒看到任何回答前就放棄。這不是說它最快,也不是說它是唯一能離線的工具。[24]

最後提醒:介面與版本會變。這一節與後面的操作段落都是步驟示意,不是實機教學;這一節教的是「你要看到什麼功能」,不是「按鈕在第幾排」。找不到對應區域時,用功能關鍵字找(搜尋、模型、聊天、server),不要硬背位置。

互動 07-2 五個功能區的介面示意

介面示意,非實機截圖、非特定版本;不畫下載量、星數或帳號狀態。

① 搜尋② 我的模型③ 載入設定④ 聊天⑤ 本地 server號碼就是使用順序;先有模型,才談載入與對話。

功能區 1/5

搜尋/探索

在畫面的哪裡
左側欄上方;下載與更換模型都從這裡開始。
這裡做什麼
用關鍵字找模型,看到發布者與可選的量化版本。
什麼時候會用到
第一次下載,或想換模型、換量化時。
這張圖只表達「功能分區」與使用順序,不代表實際版面、選單名稱或按鈕位置;不同版本可能把同一功能放在不同入口。分區位置與 1→5 順序為教材整理/示意,下載與模型管理的基本流程可對照官方說明[23]。
一句話收斂

第一套工具的任務是讓你「先看到回答」;等你有了成功經驗,再比較其他工具,選擇會清楚很多。

07-3

第一次下載模型:Gemma 4 E2B

搜尋結果會給你一排長得很像的檔案;選錯不會把電腦弄壞,但會讓你以為自己的顯示卡不夠力。

在搜尋欄輸入模型名稱後,你會看到官方版本與社群轉換版本混在一起,還有一堆量化選項。第一步不是比大小,而是確認發布者與 Model ID:作者是不是官方組織、頁面有沒有指回官方來源、這個檔案是不是別人在官方權重上做的轉換。[11][23]

第二步才是選檔案。對 8 GB VRAM,入門先用 4-bit 等級的 GGUF,先讓模型放得進去、跑得起來;實際可選的量化與檔名,以你當下在工具裡搜尋到的結果為準。GGUF 是容器格式,同一個檔案裡可以裝量化權重,也可以裝較高精度權重,所以「看到 GGUF」不等於「一定是 4-bit」。[12][15][19]

下載前把四件事寫下來:模型名稱與發布者、量化標籤、檔案(或整體)大小、下載位置。這四個欄位正好是附件 B 與附件 C 會用到的資訊,先抄下來,後面省一次回頭找。[23]

下載完成不等於可用。回到「我的模型」確認它真的出現在清單裡,而且大小和你剛剛選的一致;再看它有沒有附帶其他必要檔案。搜尋得到,不代表每個版本都適合你的機器。

互動 07-3 下載前核對卡

下方示例標「示意」;你的四個欄位仍由你填寫,教材不預填、不驗證也不存檔。

  1. repo

    先看發布者是誰、是否指回官方

  2. 檔案

    再從一排相似檔名裡挑版本

  3. 量化

    確認 4-bit 等級的取捨你接受

  4. 大小

    最後才比大小與硬碟空間

已填示例 示意,非實機

  • ① repo

    Google 官方帳號下的 Gemma 4 E2B

    發布者可追溯
  • ② 檔案

    Gemma 4 E2B · Q4_K_M(檔名依頁面)

    檔名以頁面為準
  • ③ 量化

    4-bit 等級;先讓 8 GB 放得下

    取捨已知
  • ④ 大小

    依頁面顯示;硬碟另留下載與暫存

    不預填 GB

官方 repo發布者可追溯、頁面指回官方來源:可以先進下一步。

社群轉換發布者不是官方、授權與內容無法確認:先不選,除非你能追溯來源。

下載前四問(全部勾選才算完成)

尚未填寫。四個欄位都填好,並勾選四問,才算完成核對。

核對卡只幫你留下判斷依據,不會連線、不會驗證檔案,也不會儲存內容;重新整理就會清空。repo→檔案→量化→大小與已填示例皆為教材整理/示意,實際欄位、檔名與大小依頁面顯示[23]。
來源與檔案安全

只從官方或可追溯的來源下載。社群轉換檔的副檔名可能一模一樣,內容與授權卻不一定相同;下載前先看發布者與授權說明,不要把「搜得到」當成「可以信」。

07-4

第一次載入模型:認識最重要的執行設定

載入失敗通常不是模型壞了,而是你把兩、三個預算同時開到最大。

載入前會看到幾個欄位,其中兩個直接決定「能不能載入」:GPU offload(多少層放到顯示卡)與 Context length(一次能看多少 Token)。官方把它們當成「每個模型可以分別設定」的載入參數,所以換模型時要重新確認,不要假設上次的設定會沿用。[22][23][36]

8 GB 的策略不是「全部開到最大」。offload 越高,權重越往 VRAM 擠,聽起來很合理;但 VRAM 還要放 KV Cache、運算暫存與 runtime 自己的空間,其他程式也在搶。全部塞滿的結果,常常是載入成功但一問長問題就中斷。Context 也一樣:越長,KV Cache 通常越大;先從 4K–8K 這種「夠用但保守」的起點開始,穩定後再往上加。[22]

另外兩個欄位影響的是「輸出長什麼樣」:Temperature 調整取樣隨機性,低溫比較穩定,但不代表每次輸出完全相同;Max output tokens 限制單次輸出長度,太小會話講一半被切斷,太大則拉長等待時間、也吃掉記憶體預算。[23]

排查方法只有一條:一次只改一個設定。載入後先看工具顯示的 runtime、offload 比例、context 與有沒有警告訊息;失敗就先把 context 降一級,再不行才降 offload。一次改五個,你只會知道「後來好了」,不會知道「為什麼好了」。

互動 07-4 載入設定模擬器
GPU offload

0% 代表模型幾乎留在 CPU:容量最安全,但速度較慢。

Context length

先選夠用的長度;越長,KV 段通常越長。

0(較穩定)1.5(較發散)

8 GB VRAM 預算分配 示意

三組控制共用同一條尺;比例是教學示意,不是你的機器實測。

  • 權重(offload 後在 GPU)
  • KV Cache
  • runtime/暫存
  • 其他程式
  • 可用

容量:目前示意分配仍在 8 GB 內,還有可用空間。

容量

有餘裕

示意分配仍在 8 GB 內;0% offload 不是容量風險。

速度

較慢

權重幾乎留在 CPU;容量安全,但生成通常較慢。

輸出穩定度

中間

temperature 0.7 屬中間值;較低溫較穩定,但不保證完全相同。

offload 0% 把權重留在 CPU,VRAM 這條尺主要被 KV、runtime 與其他程式佔用;context 4K 的 KV 段最短;temperature 0.7 屬中間值。

下一步:容量還有餘裕時,先把 offload 調到 50%,觀察速度是否改善;一次只改一個設定。

三條狀態各自獨立:容量看 8 GB 示意尺,速度看 offload 高低,輸出穩定度看 temperature;三者不合成單一分數。所有比例皆為示意,不是你的機器實測,也不預測 Tokens/s。

模擬器只比較三個變數的相對關係,不計算 VRAM、不預測 Tokens/s、也不提供「推薦」組合;實際結果依模型、量化、驅動與版本而異。8 GB 為入門常見容量,堆疊比例為示意[22]。
一句話收斂

把 offload 與 context 當成兩個要一起分的預算,而不是兩個越大越好的旋鈕;一次只改一個,才知道因果。

07-5

第一次和本地 AI 對話

不要只問「你好」;那只能證明它會打招呼,不能證明它對你有用。

模型載入後,先做固定測試,而不是想到什麼問什麼。固定題目的價值在於可比較:之後你換模型、換量化、換 context,都有一組共同基準,不然每次都是「感覺好像有變好」。[37]

建議四類各一題:基本問答、工作整理、簡單推理、翻譯。這四類分別測「知識表達」「指令遵循」「推理」「語言品質」,是小模型最容易拉開差距的地方;測試就在應用程式內的聊天介面進行。[4][11]

觀察重點不是「順不順」,而是:有沒有離題、格式有沒有照做、數字與人名有沒有捏造、繁體中文用字是否正確。回答流暢不代表正確;小模型在長指令下容易漏條件,要有心理準備。[11]

再做一個小實驗:同一題稍微改寫(加角色、加限制、換順序),看輸出是否改變。改變不代表其中一版一定錯,只代表模型對提示很敏感。測試時不要貼個資、客戶名單或公司內部文件。

互動 07-5 四張固定測試卡

測試 1

基本問答

請用三句話解釋什麼是 VRAM,並說明它和系統 RAM 的差別。不要使用條列。

觀察重點
三句話以內、有講到差別、沒有把兩者混成同一個東西。
常見失敗
用條列回答、把 VRAM 說成硬碟,或講得很流暢但沒有回答差別。
可以記錄什麼
是否照格式、哪一句最不準確、你後來怎麼改問法。

測試 2

工作整理

下面是一段會議紀錄,請整理成待辦事項,每項要有負責人與期限;沒有寫到的欄位標「未指定」。會議紀錄:下週要完成首頁文案,小明負責;阿華確認圖片授權,期限是週五;其他人下週一前回報測試結果。

觀察重點
三件待辦有沒有漏、負責人與期限有沒有照原文、未指定有沒有標出來。
常見失敗
自己補上期限、把「其他人」變成一個具體名字,或漏掉第三項。
可以記錄什麼
漏了幾項、有沒有捏造欄位、你要補幾次提示才到位。

測試 3

簡單推理

三個人在排隊。小美不在最前面,阿哲排在小美後面,冠宇排在最前面。請說出三個人的順序,並用兩句話說明你的推論。

觀察重點
順序是否為冠宇、小美、阿哲,而且推論只使用題目給的線索。
常見失敗
順序對但推論多編一個條件,或把「不在最前面」讀成「在最後面」。
可以記錄什麼
答案是否正確、理由是否完整、改寫題目後答案是否變動。

測試 4

翻譯

請把下面這段英文工作訊息翻成繁體中文,保留原意、不要加入新的承諾,並把日期與人名照原文保留。Message: "We can finish the draft by Friday, but the review may slip to next week. Please confirm the scope with Mei before we commit."

觀察重點
「可能延後」有沒有被翻成「一定延後」、日期與人名是否保留、有沒有多加承諾。
常見失敗
把 may 翻成 will、自行補上「沒問題」、把專有名詞翻成另一個名字。
可以記錄什麼
語氣是否被改變、哪些詞翻得不自然、是否需要再請它修一次。
四張卡片的題目是範例,不是標準答案;複製功能只在你所在的頁面操作,不會上傳題目。把「哪裡不對」寫下來,比記分數有用。
不要貼真資料

測試請用自己編的例子。個資、客戶名單、公司內部文件與尚未公開的內容,都不適合貼進任何模型,包含本地模型。

07-6

觀察電腦到底發生什麼事

你不需要變成效能工程師,但值得知道「剛剛那一下」到底吃掉了什麼。

打開工作管理員的效能頁,找到 GPU,看「專用 GPU 記憶體」與「GPU 使用率」,順便看系統 RAM。不同 Windows 版本的欄位名稱可能略有不同,但這兩個數字一定找得到。

重點不是單一數字,而是三個時間點的變化:載入前(桌面與其他程式佔了多少)、載入後(權重進來了)、對話中(送出長問題或 context 變長之後)。第三個時間點最容易看出 KV Cache 與暫存的成長,因為它會隨對話長度與 context 設定往上走。[22]

怎麼讀:如果 GPU 使用率很低、速度卻很慢,很可能是部分層還在 CPU,或 runtime 根本沒用到顯示卡;如果專用記憶體已經貼近上限,下一個長回答就可能直接失敗。這兩種「慢」的原因完全不同,處理方式也不同。[23]

工具通常會顯示生成速度。記下來,但只在同一模型、同一量化、同一 context、同一硬體、同一版本下比較;首次等待時間(TTFT)和持續生成速度是兩個不同指標,不要混著比。這一節是幫你建立「模型—硬體」的連結,不是做 benchmark。

互動 07-6 三個時間點的觀察紀錄

刻度只有低/中/高/接近上限,由你自行判斷;不預填數字,也不顯示 VRAM 峰值。

三個時間點,共用同一把尺 示意示例

標記位置是示範;選了 radio 之後,標記會移到你的判斷。

① 載入前:中(示例) ② 載入後:高(示例) ③ 對話中:接近上限(示例)

示意示例:載入前在中、載入後到高、對話中接近上限;實際位置依模型、量化、context 與背景程式而異。

① 載入前

這時候通常只有桌面、瀏覽器與其他程式。

如果卡住先看:其他程式是否先佔用了 GPU。

② 載入後

權重進來後,通常會比載入前高一個級距。

如果卡住先看:工具顯示的 offload 比例與警告訊息。

③ 對話中

送出長問題後,KV Cache 與暫存會再往上加。

如果卡住先看:context 是否太長,或對話已經累積太多輪。

三個時間點都還沒選。依序觀察後再選,不需要填精確數字。

這張紀錄不代表任何實際容量數字;「低/中/高/接近上限」是主觀刻度,用來比較前後變化,不是精確容量。三個時間點與四級刻度為教材整理/示意,實際觀察值依機器與設定而異[22];重新整理就會清空。
一句話收斂

看變化,不要只看單一數字:載入後增加的是權重,對話中再增加的是 KV Cache 與暫存,兩者的處理方式不同。

07-7

沒有網路,AI 還能回答嗎?

拔掉網路線那一刻,你會第一次真正感覺到「本地」這兩個字。

條件很明確:模型已完整下載,而且 runtime 能把這個格式載入。在這種狀態下,聊天與本地 server 可以在沒有網路時運作,因為權重、tokenizer 與執行檔都在你的硬碟上。[24]

但「本地」不等於「全部離線」。需要網路的至少包括:搜尋與下載新模型、軟體更新、部分外掛與工具、雲端同步或帳號功能,以及任何會去網路上找資料的延伸功能。這些在斷網時會失敗或變慢,屬正常現象。[24][38]

還有一件事很少人提:本地 server 如果綁定到區網位址,同一個網路的其他裝置可能連得到,也能送出請求。綁定位址依工具與版本而異,有些預設只綁本機,有些可以設定成區網;不要假設一定是哪一種,要自己確認。

最後是安全:在沒有外掛與雲端功能的前提下,本地推理不會把內容送到模型廠商那裡;但這不代表自動安全或匿名。模型來源、授權、磁碟上的紀錄與備份,仍然是你自己的責任。

互動 07-7 離線邊界對照

兩欄狀態同時可見;切換只移動強調框。這不是網路偵測,也不會發出任何請求。

  • 聊天

    可用

    模型載入後,對話不需網路。

    可用

    模型已載入,仍可對話。

  • 載入模型

    可用

    檔案在硬碟,載入不需網路。

    可用

    檔案在硬碟,仍可載入。

  • 本地 server

    視設定

    可啟動;誰能連線看綁定。

    視設定

    可啟動;對外連線看綁定。

    為什麼兩欄都是「視設定」?

    綁定位址依工具與版本而異。有些預設只綁本機,有些可以設定成區網;斷網不會改變已載入模型能不能回答,但會影響誰能連進來。

  • 搜尋模型

    可用

    需要連到模型庫。

    不可用

    斷網時通常不能用。

  • 下載模型

    可用

    需要網路與硬碟空間。

    不可用

    斷網時不能用。

  • 軟體更新

    可用

    需要網路;舊版仍可開。

    不可用

    不能用;已安裝版本仍可開。

  • 外掛與工具

    視設定

    依外掛:有些需要網路。

    視設定

    需網路的外掛失效,本機外掛仍可能運作。

    為什麼兩欄都是「視設定」?

    外掛不是模型的一部分。有些只在本機處理,有些會連到外部服務;斷網前先確認你開了哪些外掛,不要預設「全部都在本地」。

  • 雲端帳號功能

    視設定

    依功能:同步與帳號需網路。

    不可用

    帳號、同步與雲端不能用。

    為什麼有網路是「視設定」、無網路是「不可用」?

    有網路時,這些功能是否啟用取決於你的設定;沒有網路時,帳號、同步與雲端服務通常就無法運作。純本機的對話與載入不受影響。

兩欄同時可見;目前強調「有網路」。有網路:5 可用、0 不可用、3 視設定;無網路:2 可用、4 不可用、2 視設定。

兩欄固定同時顯示,切換只做視覺強調,不會真的切斷你的網路,也不會測試連線。本地可回答,不代表所有功能都離線,也不代表自動安全或匿名;功能邊界依官方離線與 API 說明整理[24][38]。
不要把本地 server 開到公網

為了「方便測試」把本地 server 綁到所有介面,等於讓同一個網路、甚至 Internet 上的其他人有機會送出請求。需要對外時,先確認綁定位址與存取控制。

07-8

第一次使用,最可能遇到哪些問題?

第一次卡住的地方,幾乎都落在五種症狀裡;順序比運氣重要。

找不到模型:不一定是拼錯。可能是搜尋字太窄、Model ID 不對、這個模型需要先接受授權或登入,或格式根本不受支援。[23][39]

載入失敗:先想記憶體與設定。VRAM/系統 RAM 不足、context 開太大、runtime 不支援這個架構、檔案下載不完整,都會停在載入階段。[22]

速度很慢:不要先怪模型。offload 太少讓部分層留在 CPU、context 太長、背景程式佔用 GPU,都會讓它變慢;這三種的處理方式完全不同。回答格式很奇怪:先看是不是載入了 base 版本而不是 chat/instruct 版本,再看 chat template 是否相符,最後才調整提示寫法。[23]

執行突然停止:多半是記憶體在生成過程中耗盡,或 runtime、驅動、模型檔案有問題;這種情況要先看錯誤訊息,而不是重複按重試。排查順序固定為:模型有沒有真的載入 → 設定是不是開太大 → 版本與相容性 → 最後才懷疑模型品質。工具與指令會改版,遇到行為不同時,先對照官方文件,而不是憑舊印象。[18]

如果你的用法不是直接在 App 裡聊天,而是讓其他程式呼叫本地 API,排查要換成另一條順序。API 連線失敗先確認四件事,而且不要跳步:server 是否真的啟動(App 開著不等於 server 已開)、用戶端設定的位址與 port 是否和 server 顯示的一致、防火牆或區網權限是否擋住連線、模型是否已經載入到那個 server。這四項分別對應「沒有服務」「連錯位置」「連不進來」與「服務在但沒有模型」;先從錯誤訊息判斷是哪一類,再改設定。[17][20][26][38]

互動 07-8 五種症狀卡與排查順序

先從這裡進:症狀 → 先檢查什麼 → 去哪裡看

五列同時可讀;點左側症狀會選取下方細節。共同順序是「模型真的載入 → 設定太大 → 版本相容 → 最後才懷疑模型品質」。

  1. 先檢查搜尋字與 Model ID、是否需要登入或接受授權

    去哪裡看搜尋頁、模型頁的授權與格式說明

  2. 先檢查context 是否太大、offload 是否全開

    去哪裡看載入設定的警告、工作管理員的 GPU 記憶體

  3. 先檢查GPU 使用率:太低是沒用到 GPU,貼頂是太滿

    去哪裡看工作管理員的 GPU 使用率與專用記憶體

  4. 先檢查是不是 base 版本、chat template 是否相符

    去哪裡看模型頁的版本說明、對話設定的 template

  5. 先檢查錯誤訊息原文:是不是生成中記憶體耗盡

    去哪裡看畫面的錯誤訊息、工具的日誌

另外:接本地 API 連線失敗 [17][20][26][38]

  1. server 是否真的啟動(App 開著不算)
  2. 用戶端位址與 port 是否和 server 一致
  3. 防火牆或區網權限是否擋住連線
  4. 模型是否已載入到那個 server

細節:選一個症狀,看完整排查清單

去哪裡看

搜尋頁、模型頁的授權說明、工具的格式支援說明。

不要先做什麼

不要連續換三個模型亂試,也不要下載來源不明的轉換檔。

已排除 0/4 項。

為什麼是這個順序?

先排除「找錯東西」,再處理「沒有權限」。如果連正確的頁面都沒找到,後面的下載與載入排查都沒有意義。

這是排查順序,不是修復承諾;同一症狀可能有多個原因。共同順序為教材整理/示意,API 四步為既有來源的排查整理[17][20][26][38]。勾選代表「這一項已排除」,全部排除後才會出現下一步建議。
一句話收斂

先確認模型真的載入,再懷疑設定太大,最後才懷疑模型品質;一次只改一個變數,並把版本與設定留下來。

單元小測

UNIT 07 小測

四個問題,檢查你對「資源、Context、格式與離線」的判斷。

PART 02 · 跑起 AI

UNIT 08

  • 8 節
  • 6 個互動元件
  • 工具選擇表

推理框架大解密:llama.cpp、Ollama、LM Studio、vLLM、SGLang

你已經用 LM Studio 完成第一次本地對話。接下來要回答的是:既然這樣,為什麼還會聽到 Ollama、llama.cpp、vLLM、SGLang?這個單元不急著比誰快,而是先分層,再一個一個看它們各自解決什麼問題,最後用需求選工具。

08-1

模型、推理引擎、管理工具與應用程式的關係

你已經會在 LM Studio 裡選模型、載入、聊天。但當有人說「用 vLLM 部署一個端點」時,那個「部署」到底放在哪一層?

先把本地 LLM 想成五層堆疊,由下到上是:權重與硬體(模型檔與 CPU/GPU/RAM)、推理引擎(讀取權重、執行運算、逐個 Token 產生輸出)、模型管理(下載、tag、版本、載入設定)、API/服務(本地 HTTP server 與 OpenAI 相容端點)、應用程式(聊天介面、腳本或其他 App)。[14][17][18][25]

這個分層是概念工具,不是嚴格分類。同一個工具常跨好幾層:llama.cpp 有 CLI,也有 server;LM Studio 同時有圖形介面、模型管理、runtime 與本地 server;Ollama 則把模型庫、CLI 與 API 放在一起。[17][18][25]

分層真正的用處,是幫你定位問題。模型跑不起來時,先問:是權重格式不對、引擎不支援這個架構、管理工具抓不到檔案,還是 API 根本沒開?這比背住「哪個工具比較強」有用得多。

互動 08-1 五層堆疊與跨層工具
  1. L5 應用程式 聊天、腳本
  2. L4 API/服務 HTTP、相容 API
  3. L3 模型管理 下載、tag、載入
  4. L2 推理引擎 讀權重、跑運算
  5. L1 權重與硬體 GGUF、CPU/GPU
  • L5–L24 層
  • L4–L23 層
  • L4+L22 層
  • L4+L22 層
  • L4+L22 層

L5 應用程式 · L4 API/服務 · L3 模型管理 · L2 推理引擎 · L1 權重與硬體

五個工具預設全顯示。點一個工具,只放大那一列;位置是職責,不是排名。

圖上五層由左到右是「靠近使用者→靠近硬體」,不是重要性排序;同一工具可能跨層,也可能跳過中間層(例如 llama.cpp 不負責模型管理)。此圖為教材整理的概念分層,不是官方分類。
一句話收斂

工具沒有「只能屬於一層」;分層是用來判斷問題出在哪,不是用來排名。

08-2

llama.cpp:為什麼本地 LLM 需要推理引擎?

你下載的 GGUF 只是一個檔案。要它真的生成文字,還需要一個會讀懂格式、把權重分配到 CPU 與 GPU、執行運算的程式。

這就是推理引擎。llama.cpp 是 MIT 授權的 C/C++ 引擎,常搭配 GGUF,支援 CPU、NVIDIA CUDA、AMD HIP/ROCm、Apple Metal 等後端。[14]

它常見的兩種用法是 CLI 與 server:前者適合一次性提問或互動對話,後者提供 HTTP 與 OpenAI 相容 API。-ngl(--n-gpu-layers)控制多少層放到 GPU;在 8 GB VRAM 的機器上,這個參數就是「哪些放 GPU、哪些留 CPU」的開關。[16][17]

offload 不是免費加速:放到 CPU 的部分通常較慢,先求跑得起來,再調整層數。你不需要編譯;官方提供預編譯版與安裝方式,但指令寫法會隨版本變:v1.0 官方 Quick start 使用 llama cli/llama serve,舊版可能是 llama-cli/llama-server。照打之前,先確認自己裝的是哪一版。[34]

互動 08-2 GPU offload 與 llama.cpp 指令卡
GPU 層數
16
CPU 層數
16
GPU 占比(示意)
50%
VRAM 壓力(示意)
中

GPU 16 層、CPU 16 層(示意)。

總層數 32 與壓力分級都是教學示意,不是 RTX 5060 的實測,也不代表真實模型層數。

llama.cpp 指令示例 版本可能不同

v1.0 官方 Quick start 使用 llama cli/llama serve;舊版可能是 llama-cli/llama-server。先確認版本,再照打。[34]

llama cli -m .\gemma-4-E2B-Q4_K_M.gguf -p "用三句話解釋什麼是 LLM。" -n 128 -ngl 99
llama serve
  • -m:指定 GGUF 路徑;檔名只是示例,不是固定名稱。
  • -p:這次送出的提示。
  • -n:最多生成幾個 Token。
  • -ngl:放到 GPU 的層數;99 是「盡量放」的示例,8 GB 不一定適合全放。

執行後你會看到什麼(格式示意)

llama cli
先印出模型與後端的載入訊息(包含 offload 層數),再出現提示字元;回答會逐字輸出。
llama serve
印出監聽位址與 port 後停在那裡等 HTTP 請求;不會出現聊天畫面。
版本差異
訊息文字與參數名稱依版本而異;這裡只示意順序,不是實際輸出,也不給速度數字。
offload 比例與速度為教學示意,不是實測;實際取決於模型、量化、層數與驅動。指令、檔名、參數與輸出訊息依版本與平台而異。[16][17][34]
不要照抄 -ngl 99

它只是「盡量放 GPU」的示例。8 GB 機器全放不一定放得下,也不一定比較快;先求能載入、能回答,再調整層數。

08-3

Ollama:讓本地模型的安裝與管理變簡單

如果 llama.cpp 是引擎,Ollama 更像幫你顧好模型倉庫與啟動流程的管理員。

一行 ollama run gemma4:e2b,它就處理下載、載入與互動;ollama list 看已下載的模型,ollama ps 看正在跑的模型。[18]

模型名稱加 tag 是主要識別方式,例如 gemma4:e2b、gemma4:e4b。tag 與預設量化會隨模型庫更新;依 2026-11-18 的模型庫,gemma4:e2b 標示約 4.6–7.5 GB、128K context,但這個範圍不是永久規格。[19]

Ollama 也提供本地 API(預設 11434)與 OpenAI 相容介面,其他程式可以呼叫;Modelfile 能自訂提示與參數,本節不深入。[20][21] 要記得它和 LM Studio 各自管理模型,不應假設同一份檔案會自動共用。

這種便利換來的是較少的底層控制;要看實際量化與檔案,仍得回到模型庫或 Modelfile。對第一次接觸的人來說,這個取捨通常值得。下面選一個 tag,看看模型庫頁面通常會標什麼;本教材只查證了 e2b,其餘請以當日頁面為準。

互動 08-3 Ollama tag 選擇器

固定示例:gemma4:e2b

0–10 GB 同一條尺;切換下方 tag 不會改變這張圖

以區間上限 7.5 GB 起算,加上 KV/系統保留就會越過 8 GB;4.6 GB 下限則要看實際量化與 context。檔案大小不是 VRAM 需求。

切換查表:其餘 tag 標「未查證」,不會改變上圖

gemma4:e2b:約 4.6–7.5 GB(2026-11-18 模型庫);8 GB 有機會但不保證,載入還要扣 KV/系統保留。

Ollama tag 的檔案大小、Context 與 8 GB 可行性;只有 gemma4:e2b 已查證
tag 檔案大小 Context 8 GB 可行性
gemma4:e2b 已查證 約 4.6–7.5 GB 128K(模型庫標示) 有機會,但不保證;仍要扣 KV/系統保留
gemma4:e4b 未查證 未查證 未查證 未查證,不能保證
gemma4:12b 未查證 未查證 未查證 未查證,不能保證
gemma4:26b 未查證 未查證 未查證 未查證,不能保證
gemma4:31b 未查證 未查證 未查證 未查證,不能保證
上圖固定用 e2b 當示例,切換 tag 只改下方查表;tag、大小與預設量化依模型庫版本。只有 e2b 在 2026-11-18 查證過,其他 tag 未逐一查證;KV/系統保留段為示意,不是實測。[19]
不保證 8 GB 可跑

檔案大小只是下載量,載入時還要算 KV Cache、Context 與其他程式占用;先確認量化與實際檔案,再決定要不要下載。

08-4

LM Studio 與 Ollama,到底有什麼不同?

兩個都能下載、聊天、開本地 API;真正要選的是工作流程,而不是介面顏色。

LM Studio 與 Ollama 都能下載模型、載入、聊天,也都能提供本地 API。所以「一個只有圖形介面、一個只有命令列」是錯的:LM Studio 以圖形介面為主,但也有 lms 命令列;Ollama 以 CLI 與 API 為主。[18][25]

LM Studio 的強項是第一次使用:搜尋、下載、載入、聊天、本地 server 集中在一個 App,設定與狀態在同一個畫面。Ollama 的強項是指令與自動化:run、pull、ps 很容易接進腳本與其他程式。[18][23][25]

把同一件事放在兩邊看:LM Studio 是在圖形介面裡搜尋、下載、載入、開聊天;Ollama 則是把這些動作收成 ollama pull 與 ollama run。步驟數量不同,但「取得模型→載入→給出提示→看到回覆」的順序是一樣的。[18][23]

實際選擇看你的工作流程,而不是「哪個比較好」。兩者可以並存,但模型庫分開,備份與清理要各自做。授權也不同:LM Studio 桌面 App 是專有免費軟體,Ollama 是 MIT;這不直接決定適不適合你,但會影響散布與商用評估。[18][25]

互動 08-4 同一件事的兩條路徑與四個面向

同一件事:取得模型 → 載入 → 給提示 → 看回覆

LM Studio

圖形介面
  1. 1搜尋模型
  2. 2下載
  3. 3載入
  4. 4聊天

設定與狀態集中在同一個 App;代價是桌面 App、模型庫要自己備份。

Ollama

CLI/API
  1. 1pull
  2. 2run
  3. 3回覆

下載、載入與回覆收成一行指令;代價是 tag 與量化要自己記,底層控制較少。

兩邊不共用:模型庫、下載檔案與備份各自管理;授權也不同(LM Studio 桌面 App 專有免費、Ollama MIT)。[18][25]

查表:四個面向

LM Studio 與 Ollama 在四個面向的差異
面向LM StudioOllama
入門門檻 圖形介面,安裝後照畫面操作 需要基本指令概念,但常用指令不多
取得與管理 App 內搜尋、下載與載入設定,可挑量化 用 pull/run 取得 tag,list/ps/rm 管理
本地 API 本地 server,OpenAI 相容 本地 API(預設 11434),含 OpenAI 相容
授權與模型庫 桌面 App 專有免費;模型庫與 Ollama 不共用 MIT;模型庫與 LM Studio 不共用

兩條路徑預設全顯示;選一個需求只標示相關列,表格仍可查值。

路徑與表格是教材整理;工具功能會隨版本變,以官方文件為準。這張圖只描述差異與代價,沒有勝負、推薦度或星數。[18][23][25]
一句話收斂

如果你要把模型交給同事使用,圖形介面通常更容易說明;如果你要把流程放進腳本,命令列更合適。

08-5

vLLM:為什麼一個模型要同時服務很多人?

一個人聊天時,GPU 常常在等你打字;十個人同時送出請求時,問題變成「怎麼排隊才不會浪費 GPU」。

vLLM 就是為這個情境設計的伺服器端框架,重點在高吞吐而不是桌面體驗。[26]

它用 PagedAttention 管理 KV Cache,把每個請求的上下文切成頁,減少記憶體碎片;continuous batching 則讓不同請求的生成步驟一起排入批次。對服務端來說,這能讓同一張 GPU 接更多請求。[26][27]

vLLM 提供 OpenAI 相容 API,但這不代表它是聊天工具,也不代表 8 GB 顯卡能完整部署大型模型。多人情境要分開看延遲與吞吐:批次變大通常提高整體吞吐,個別請求的等待卻不一定變短。[26]

所以「同時有幾個人用」比「哪個框架最快」更值得先問。下面拉動請求數,看佇列與批次怎麼變;這只是流程示意,不是效能實測。

互動 08-5 請求佇列與批次
這一輪批次
3
下一輪佇列
2
KV 槽位(示意)
3
這一輪 GPU 同時處理(上限 3)

    批次一起往前走

    下一輪 等 GPU 空出

      下一輪才進批次

      結果沿原路回到 Client;這一輪與下一輪各自回傳。

      5 個請求:這一輪批次 3、下一輪佇列 2(示意)。

      批次上限 3 與槽位數都是示意;圖上不顯示吞吐量、GPU 使用率或等待秒數。

      排隊與批次為流程示意,不是效能實測;「這一輪/下一輪」與回傳箭頭只表達順序,不代表實際時間或速度;批次變大不代表個別等待變短。
      不要用這張圖推算速度

      它只說明「請求變多時會排隊」與「批次有上限」,不能拿來估 Tokens/s 或等待秒數。

      08-6

      SGLang:為什麼已經有 vLLM,還需要另一套框架?

      兩個框架都宣稱能服務多人,差別往往不在「誰比較快」,而在「你的工作負載長什麼樣子」。

      SGLang 也是高效能的推理與服務框架,和 vLLM 的功能有明顯重疊:都支援多人服務、OpenAI 相容 API 與 GPU 加速。差別在設計重點,而不是「誰取代誰」。[28]

      SGLang 強調結構化生成與 RadixAttention(前綴快取):當許多請求共用很長的系統提示或固定輸出格式時,重複的前綴有機會被重用。這類工作負載和一般自由聊天不太一樣。[28][29]

      「已經有 vLLM,為什麼還要 SGLang?」沒有單一答案。要看模型支援、硬體、版本與實際工作負載;同一個模型在不同框架、不同版本下的表現可能不同,不能只用星星數或單一排行榜決定。[26][28]

      先確認你的請求是否真的共用長前綴,再判斷是否需要另一套框架。本教材不要求你在 RTX 5060 上部署,講師展示為準。

      圖解 08-6 vLLM 與 SGLang 的取捨

      同一組工作負載 · 示意

      8 個請求共用同一段很長的系統提示,只有最後的問題不同。左右兩邊的請求數、前綴長度與列高相同。

      vLLM

      每個請求各自存一份
      1. R1長系統提示問題 1
      2. R2長系統提示問題 2
      3. R3長系統提示問題 3
      4. R4長系統提示問題 4
      5. R5長系統提示問題 5
      6. R6長系統提示問題 6
      7. R7長系統提示問題 7
      8. R8長系統提示問題 8

      8 份前綴 KV(示意)

      SGLang

      共用前綴只存一份
      長系統提示:只存一份 前綴快取(示意)
      1. R1↳ 重用問題 1
      2. R2↳ 重用問題 2
      3. R3↳ 重用問題 3
      4. R4↳ 重用問題 4
      5. R5↳ 重用問題 5
      6. R6↳ 重用問題 6
      7. R7↳ 重用問題 7
      8. R8↳ 重用問題 8

      1 份共用前綴 + 8 個問題(示意)

      3 條關鍵差異

      1. 前綴的重用:左邊每個請求各自佔一份 KV;右邊有機會只保留一份共用前綴(RadixAttention)。
      2. 受益的工作負載:大量請求共用長系統提示、固定輸出格式時,前綴重用才有意義;一般自由聊天未必受益。
      3. 先決條件:兩者都需要伺服器環境與模型支援;右邊還要先確認請求真的共用長前綴。
      8 個請求、同一段長系統提示與「8 份 vs 1 份」都是教學示意,不是實測;前綴能否重用仍取決於模型、版本與實際請求。不是排名,圖上不放 benchmark 分數或「第一名」標章。[28][29]
      一句話收斂

      選框架的順序是:先確認工作負載,再查支援清單,最後才比較版本與部署成本。

      08-7

      五種工具怎麼選?用需求決定,而不是排名

      你現在手上有五個名字,還有一個不該放進同一張表的名字。

      把五個工具放在一起,不是為了選出第一名,而是讓你在不同情境下知道怎麼選。順序是:需求→模型→格式→硬體→API 需求→工具。[14][18][22][25][26][28]

      第一次使用選 LM Studio;想用指令管理與自動化選 Ollama;要直接控制 GGUF 與 offload 選 llama.cpp;多人服務看 vLLM 或 SGLang;特殊架構先查官方支援。

      還有一類工具不該放進同一張表。Strata(Niko1221/Strata)是 MIT 授權的大型 MoE 專用引擎:以 Qwen3.8-Flash-Next 為例,模型有 24,576 個 experts,但每個 Token 約啟用 10 個;它把常用 expert 快取在 GPU、全部 expert 放在系統 RAM、大型 n-gram table 放在 SSD。[3][35]

      這讓較小 VRAM 的機器有機會跑大 MoE,但代價是大容量 RAM 與 SSD、CPU 搬移,以及較長的 prefill。官方文件以 64 GB RAM 級、較大 VRAM 為前提,不建議當成 RTX 5060 8 GB 的入門方案;沒有實測,就不寫 Tokens/s,也不宣稱比 llama.cpp 快幾倍。[35]

      互動 08-7 五個工具的 2×2 定位

      單機 × 管理介面

      伺服器 × 管理介面

      少見:伺服器通常直接接引擎/API

      單機 × 引擎/API

      伺服器 × 引擎/API

      位置是主要定位,不是完整能力:Ollama 也提供 API,llama.cpp 也有 server;圖上放的是它們最常被拿來做的事。

      選一個工具,看它的擅長、先決條件與不適合。

      五個工具已放在 2×2 定位圖上。位置是主要定位,不是效能排名。

      先選一個工具,再帶入附件 D。

      2×2 的兩條軸(單機↔伺服器、管理介面↔引擎/API)與格子位置是教材整理的分類,不是官方分類或效能排名。Strata 是大型 MoE 專用引擎,不在這張 2×2 主圖內;它的邊界見下方延伸說明。[35]
      延伸:Strata 是專用引擎,不是第六個通用工具

      ① 大型 MoE 專用(MIT,Niko1221/Strata);② GPU 快取常用 expert、RAM 放全部 expert、SSD 放 n-gram table;③ 需要大容量 RAM/SSD 與較長 prefill,不建議 8 GB 入門。[35]

      一句話收斂

      先寫下你的需求與限制,再從五個工具裡挑;把情境、格式、硬體與 API 需求整理到附件 D 的推理框架選擇表,而不是記住一個名次。

      08-8

      為什麼推理框架有 API?它跟 Agent 有什麼關係?

      你在聊天視窗輸入問題,是「人呼叫模型」;如果你寫的程式要呼叫模型,就需要一個固定的接頭。

      本地 server 通常提供 HTTP 介面,很多還做成 OpenAI 相容,讓原本給雲端的程式有機會只改 base URL 就接通本機。[17][20][26] 對一般使用者來說,這代表其他 App 也能使用同一個本地模型,不必在每個 App 重新載入。

      流程是 Client 送出請求→Server 排隊或載入模型→模型生成→回傳結果。API 不代表模型一定在本地:server 可以轉發到雲端;也不代表一定安全,取決於它綁定的位址與權限。[17][20]

      這和 Agent 的關係是:Agent 需要呼叫模型與工具,而 API 是呼叫模型的介面。但 API 程式設計、tool calling、MCP、RAG 都屬於 PART 03;這裡只要建立「本地模型可以變成一個服務」的觀念,先不寫程式。[17][20][26]

      圖解 08-8 API 請求生命週期
      1 · Client

      你的程式或 App 送出請求

      送出 prompt;停在這裡等結果。

      3 · 本地 Server
      1. 排隊、分配工作
      2. 載入模型
      3. 產生 Token
      等待帶 請求在這裡等 GPU/KV 槽位

      結果沿同一條 API 回 Client。

      虛線分支:Server 可轉發到雲端API 不代表模型一定在本地;本地也不代表一定安全。此分支為教材示意,實際取決於 server 設定。

      圖上只放流程,不放真實位址、連接埠、API key 或個資;實際欄位與端點依工具與版本而異。

      HTTP 與 OpenAI 相容 API 的流程依 llama.cpp server、Ollama API、vLLM 等官方文件整理;「等待帶」與「轉發雲端」是教材示意,不代表特定部署。API 不代表模型一定在本地,也不代表一定安全。[17][20][26]
      本機不等於安全

      不要把本地 server 開到公網;示範時只綁定本機位址,也不要把 API key 寫進畫面或截圖。Agent、工具呼叫與 RAG 留到 PART 03。

      單元小測

      UNIT 08 小測

      Capstone

      Capstone:第一次成功

      這一頁不是新教材,是一條把四個單元串起來的任務:找一個模型,確認來源與授權,選好格式與量化,載入後用四類問題測一輪,把結果寫下來;卡住時再回頭排查。

      你要在自己的電腦上完成一次可重複的本地推理,而不是只看別人示範。做完之後,你手上會留下三張可對照的卡:附件 A 的模型資訊、附件 B 的下載選擇、附件 C 的測試紀錄。這一頁不提供標準答案,也不保證你的硬體一定跑得動;它只把判斷順序固定下來。

      1. STEP 1

        找模型,記下來源

        先從 Hugging Face 找到官方頁面,記下 Model ID 與發布者。社群轉換版本可以看,但要在卡上標清楚它是社群版,而不是官方版。

      2. STEP 2

        確認授權與檔案

        看 LICENSE 與 Model Card 的使用限制,再確認倉庫裡有哪些格式。不要只因為「可以下載」就當成可以商用,也不要把社群轉換版當成官方發布。

      3. STEP 3

        選格式與量化

        先選 GGUF 或 safetensors,再挑量化版本;把檔案大小和執行時記憶體分開看,Context 與 Runtime 的開銷另外留。選完把理由寫進附件 B。

      4. STEP 4

        載入,問四類問題

        用你選定的工具載入,依序問基本問答、工作整理、簡單推理、翻譯各一題。觀察有沒有離題、漏條件、捏造數字或人名,而不是只看回答順不順。

      5. STEP 5

        記錄,必要時排查

        把硬體、模型版本、量化、Context、結果與異常寫進附件 C。如果載入失敗、很慢或回答格式怪,照 07-8 的順序查;需要換工具時,再用附件 D 對照需求。

      完成條件

      不是打分數,而是確認你真的完成過一輪,而且下一次還做得出來。

      • 載入模型能在你的機器上完成載入,沒有停在找不到檔案或載入失敗。
      • 回答四類問題都問過,而且你能指出哪一題最不穩、問題出在哪裡。
      • 離線至少一次在關閉網路後仍能完成一輪對話,並知道哪些功能還需要連線。
      • 紀錄附件 C 有一筆可重複的紀錄;不確定或沒量到的欄位留白,不要用猜測填滿。
      • 知道去哪裡看模型來源看附件 A 與 Model Card,排查看 07-8,換工具看附件 D。
      不要為了達標填假數字

      Tokens/s、VRAM 峰值與載入時間都留給你自己實測。這一頁沒有實機截圖,也不代表每個人的 8 GB 或 128 GB 機器結果相同;換模型、換量化、換工具版本,結果就可能不一樣。

      從附件 A 開始填

      附錄 A

      模型資訊卡

      看到一個模型頁面,先別急著按「下載」。把名稱、來源、規格、授權與檔案資訊抄進同一張卡,你才有辦法判斷它值不值得佔用硬碟與記憶體。

      這張卡對應 UNIT 05 的閱讀順序:先確認來源,再看規格與能力,最後看檔案與授權。填不完是正常的;把還不知道的欄位勾成「待查」,比填一個看起來合理的猜測更安全。

      資料只留在這個頁面

      卡片不會寫入瀏覽器儲存空間、不會上傳,也不需要帳號。重新整理頁面就會清空;需要保留時請自己列印或截圖。

      20 欄位的模型資訊卡

      五組欄位:來源、規格、能力與授權、檔案、筆記與日期。

      空白:先填模型名稱、Model ID 與官方頁面。

      1. 來源

      你辨識用的短名,不用跟檔名完全一樣。

      必須包含「組織/名稱」的斜線。

      只接受 https://huggingface.co/ 開頭的頁面;不要貼搜尋結果或轉貼文。

      發布者類型必填
      2. 規格

      家族不是版本;同家族可能有多種尺寸與授權。

      MoE 請註明專家數;混合架構照官方寫法。

      寫單位與計法;名稱取整時要註明。

      原生與延伸分開寫;只寫官方有公布的數字。

      3. 能力與授權
      模態必填

      以官方 pipeline/Model Card 為準;不要從名稱猜。

      要與 repo 的 LICENSE 一致,不要憑印象寫。

      4. 檔案
      權重格式必填

      檔案大小不等於執行時的 VRAM;這裡只抄官方標示。

      待查欄位選填

      勾選後,對應欄位會變灰並標「待查」;不允許把推測值填進去。

      5. 筆記與日期

      對應 UNIT 05 的「值不值得下載」:先說用途,再談規格。

      例如「長 context 需要更多記憶體」;不要寫成你的實測結果。

      預設可用載入範例填入 2026-11-18;實際查閱日由你填。

      列印提示:按「列印這張卡」會開啟瀏覽器列印;按鈕、狀態列與提示不會印出。也可以自行截圖,教材不會代為儲存。

      範例資料來源:Qwen3.8-27B Model Card [1]。範例只示範「怎麼查」,不是推薦下載;檔案大小保留待查,因為各版本與格式而異。

      附錄 B

      模型下載選擇卡

      同一個模型,換格式、換量化、換裝置,結果就不一樣。下載前先把「要抓哪個檔案、為什麼」寫下來,才不會下載完才發現放不進去。

      這張卡把 UNIT 06 的判斷流程收成 13 個欄位:模型與來源、格式與量化、裝置與 Context、工具與判斷。最後兩欄留給你在 UNIT 07 實測後回來補。

      從下載選擇器帶入

      在 UNIT 06 的下載選擇器按「帶入附件 B」時,會用自訂事件填入欄位 3、4、5、7、10(有值時也帶 1、2、6)。帶入後仍可手動修改;兩張卡不會互相儲存,也不會寫入瀏覽器。

      13 欄位的下載選擇卡

      判斷結果是教學門檻的粗略對照,不是實測,也不保證一定跑得動。

      空白:先填模型、格式、量化、裝置與 Context。

      1. 模型

      從附錄 A 抄過來;不要只寫「Gemma」。

      貼官方 Model Card 網址;不是論壇或轉貼頁。

      2. 格式與量化
      格式必填

      GGUF 常見於 llama.cpp/LM Studio;safetensors 常見於 vLLM/SGLang 與 HF 生態。

      標籤不是精確的 bits/weight;仍要回看檔案大小。

      填數字即可,不要填單位;查閱日期要一起記。

      由 UNIT 06 的記憶體試算帶入;不是實測。

      通常不含 KV Cache、runtime 與背景程式,不能當成 VRAM 需求。

      3. 裝置與工具
      裝置必填

      8 GB 是容量上限,不是可用值;系統與桌面也會用掉一部分。

      Context 假設必填

      先選你現在真的會用的;UNIT 08 再談什麼情況該換。

      4. 判斷與備註

      只用「檔案大小 ÷(裝置容量 × 0.85)」做教學對照;未計 KV Cache、runtime 與背景程式,不是實測。

      在 UNIT 07 實測後回來補;不要事先寫預測。

      列印提示:按「列印這張卡」會開啟瀏覽器列印,只輸出卡片與你填的內容;教材不會產生 PDF、不會上傳。

      判斷門檻(0.7/1.0)是教學設定,不是官方標準;「有機會」也不等於一定跑得順。

      附錄 C

      本地推理測試紀錄

      「跑成功了」只是感覺;同一張表填兩次,換量化或換 Context 再填一次,你才看得出差別在哪裡。

      下面是三列空白紀錄加一列範例。每一列是一筆完整的測試:同一台機器、同一個模型、同一組載入設定,只改變一個變數,這樣比較才有意義。

      不要貼個資或機密內容

      測試時不要輸入真實姓名、地址、公司內部資料或帳密。這張表只存在頁面上,不會上傳,但你的截圖或分享仍可能外流。

      20 欄位的測試紀錄

      桌面兩欄、手機單欄;Tokens/s 一律留空,由你自行實測。

      3 列空白+1 列範例;已完成 0/3 列(範例不計)。

      VRAM 只記「低/中/高/接近上限」,避免把主觀觀察寫成精確數字。若欄位太多填不完,至少先完成模型、量化、Context、offload、四類測試結果五項。

      紀錄 1

      尚未填寫

      載入前 VRAM選填
      載入後 VRAM選填
      對話中 VRAM選填
      紀錄 2

      尚未填寫

      載入前 VRAM選填
      載入後 VRAM選填
      對話中 VRAM選填
      紀錄 3

      尚未填寫

      載入前 VRAM選填
      載入後 VRAM選填
      對話中 VRAM選填
      範例不可編輯

      範例列:只示範格式,數字不是實測。

      載入前 VRAM選填
      載入後 VRAM選填
      對話中 VRAM選填

      列印提示:按「列印這張表」會開啟瀏覽器列印;按鈕、狀態與提示不會印出。這張表不會自動存成 PDF,也不會上傳。

      附錄 D

      推理框架選擇表

      工具不是排名,是對應。六個常見情境已經列好,你只要補上硬體、API 需求與還不確定的地方,就會看出哪個工具比較貼近你的狀況。

      每一列是一條情境,不是一個正確答案。先填硬體與 API 需求;如果組合看起來怪怪的,卡片會提醒你先確認,而不是直接說「不可行」。

      這一列在問什麼

      「難度」指的是設定與排錯成本,不是效能。工具支援與版本會變;送出前請回官方文件確認。第 6 列只連到 Strata 的延伸說明,不把 Strata 放進主要建議。

      9 欄位 × 6 列情境

      情境已預選;模型、格式、工具等欄位請自行填寫或保留空白。

      空白:6 列情境已列好,請從硬體與 API 需求開始填。

      必填只有「硬體」與「API 需求」;其他欄位可以留白。若你從 UNIT 08 的框架比較按「帶入選擇表」,資料只會進第一列空白,不會覆蓋你已經填的內容。

      情境 1
      格式選填
      難度選填
      API 需求必填
      情境 2
      格式選填
      難度選填
      API 需求必填
      情境 3
      格式選填
      難度選填
      API 需求必填
      情境 4
      格式選填
      難度選填
      API 需求必填
      情境 5
      格式選填
      難度選填
      API 需求必填
      情境 6
      格式選填
      難度選填
      API 需求必填

      列印提示:按「列印這張表」會開啟瀏覽器列印,只輸出表格與你填的內容;按鈕與提醒不會印出。

      附錄

      術語表

      讀到一半卡住時回來查。每個詞只給一句話定義;完整說明在對應單元。

      開放權重(Open-weight)
      公開模型權重可下載使用,但授權不一定符合開源 AI 的定義。
      模型卡(Model Card)
      模型頁面上的說明文件,交代用途、架構、資料、評估與限制。
      模型倉庫(Model Hub)
      集中搜尋、下載與版本化管理模型的平台,例如 Hugging Face。
      閘控模型(Gated Model)
      需要登入並接受條款後,才能存取檔案的模型。
      GGUF
      llama.cpp 生態常用、可裝載量化權重與中繼資料的單一檔案格式。
      safetensors
      以安全方式儲存張量的格式,支援零拷貝與延遲載入,本身不定義固定精度。
      量化(Quantization)
      用較低精度表示權重,以換取較小記憶體與可能更快的推理。
      每權重位元數(bits/weight)
      平均每個權重佔用多少位元,是估算容量與比較量化標籤的單位。
      Q4_K_M
      llama.cpp 的 4-bit K-quant 混合量化標籤,實際 bits/weight 依模型與張量而異。
      KV Cache
      快取 Attention 的 Key/Value 中間狀態,避免解碼時重算,會隨 Context 增長。
      上下文(Context)
      模型這次生成能一起參考的 Token 範圍。
      上下文視窗(Context Window)
      模型一次能容納的最大 Token 數;宣稱上限不等於長文下的實際品質。
      顯示記憶體(VRAM)
      獨立 GPU 專用的記憶體;容量、頻寬與算力是三件事。
      卸載(Offloading)
      把部分權重或運算移到 CPU/系統記憶體,可能換得容量但增加搬移成本。
      混合專家模型(Mixture-of-Experts, MoE)
      每個 Token 只啟用部分專家運算的模型架構。
      總參數(Total Parameters)
      模型全部參數的數量,決定儲存與載入需求的大部分。
      啟用參數(Active Parameters)
      每個 Token 實際參與計算的參數數量,不等於模型只需儲存這麼多。
      稠密模型(Dense Model)
      每個 Token 都會經過主要權重計算的模型。
      推理引擎(Inference Engine)
      負責載入權重、執行矩陣運算與產生 Token 的底層程式。
      服務框架(Serving Framework)
      面向多請求、批次與 API 的推論服務層,例如 vLLM、SGLang。
      PagedAttention
      vLLM 以分頁方式管理 KV Cache、降低記憶體浪費的機制。
      RadixAttention
      SGLang 以共享前綴樹重用 KV Cache、加速多請求的機制。
      OpenAI 相容 API
      介面路徑與格式對齊 OpenAI API,讓既有客戶端可直接改接本地服務。
      量化標籤(Quantization Label)
      檔名上的 4-bit、Q4_K_M 等標記,需回查實際 bits/weight 與檔案大小。
      權重(Weights)
      訓練後留下的數值,參與模型每一層運算,不是可讀的知識庫。
      張量(Tensor)
      多維數值陣列,是權重與中間運算的基本資料單位。
      預填充(Prefill)
      一次處理整段輸入並建立 KV Cache 的階段,影響首個 Token 延遲。
      解碼(Decode)
      逐個 Token 產生輸出的階段,常受記憶體頻寬限制。
      每秒 Token 數(Tokens/s)
      每秒生成的 Token 數量;需在同模型、同量化、同硬體條件下比較。
      Strata
      針對大型 MoE 的推理引擎,常用專家放 GPU、其餘放 RAM、n-gram 表放 SSD;屬延伸工具。

      同一個詞在不同工具或版本可能有不同實作;遇到數字與支援清單,仍以官方文件為準。

      附錄

      參考資料

      正文的 [1]~[40] 都在這裡。連結指向站外頁面,會另開視窗;所有頁面於 2026-11-18 查閱。

      來源優先序是官方 Model Card/官方文件、官方技術報告或論文、官方部落格,最後才是高品質整理。二手來源只當線索,不當唯一依據。

      1. [1]
        Qwen3.8-27B Model Card

        Qwen · 2026 · 查閱 2026-11-18

        https://huggingface.co/Qwen/Qwen3.8-27B

      2. [2]
        Qwen3.6-35B-A3B Model Card

        Qwen · 2026 · 查閱 2026-11-18

        https://huggingface.co/Qwen/Qwen3.6-35B-A3B

      3. [3]
        Qwen3.8-Flash-Next Model Card

        Qwen · 2026 · 查閱 2026-11-18

        https://huggingface.co/Qwen/Qwen3.8-Flash-Next

      4. [4]
        Gemma 4 model overview

        Google DeepMind · 2026 · 查閱 2026-11-18

        https://ai.google.dev/gemma/docs/core

      5. [5]
        Gemma 4 Technical Report

        Gemma Team · 2026 · arXiv:2607.02770 · 查閱 2026-11-18

        https://arxiv.org/abs/2607.02770

      6. [6]
        gpt-oss-120b Model Card

        OpenAI · 2025 · 查閱 2026-11-18

        https://huggingface.co/openai/gpt-oss-120b

      7. [7]
        gpt-oss-20b Model Card

        OpenAI · 2025 · 查閱 2026-11-18

        https://huggingface.co/openai/gpt-oss-20b

      8. [8]
        Introducing gpt-oss

        OpenAI · 2025 · 查閱 2026-11-18

        https://openai.com/index/introducing-gpt-oss/

      9. [9]
        Models(Hugging Face Hub 文件)

        Hugging Face · n.d. · 查閱 2026-11-18

        https://huggingface.co/docs/hub/models

      10. [10]
        Model Cards(Hugging Face Hub 文件)

        Hugging Face · n.d. · 查閱 2026-11-18

        https://huggingface.co/docs/hub/model-cards

      11. [11]
        Gemma 4 E2B Model Card

        Google · 2026 · 查閱 2026-11-18

        https://huggingface.co/google/gemma-4-E2B

      12. [12]
        GGUF file format specification

        ggml-org · n.d. · 查閱 2026-11-18

        https://github.com/ggml-org/ggml/blob/master/docs/gguf.md

      13. [13]
        safetensors

        Hugging Face · n.d. · 查閱 2026-11-18

        https://github.com/huggingface/safetensors

      14. [14]
        llama.cpp

        ggml-org · 2026 · 查閱 2026-11-18

        https://github.com/ggml-org/llama.cpp

      15. [15]
        llama.cpp quantize README

        ggml-org · 2026 · 查閱 2026-11-18

        https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md

      16. [16]
        llama.cpp CLI README

        ggml-org · 2026 · 查閱 2026-11-18

        https://github.com/ggml-org/llama.cpp/blob/master/tools/cli/README.md

      17. [17]
        llama.cpp server README

        ggml-org · 2026 · 查閱 2026-11-18

        https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

      18. [18]
        Ollama CLI reference

        Ollama · 2026 · 查閱 2026-11-18

        https://docs.ollama.com/cli

      19. [19]
        gemma4 model library

        Ollama · 2026 · 查閱 2026-11-18

        https://ollama.com/library/gemma4

      20. [20]
        Ollama API reference

        Ollama · 2026 · 查閱 2026-11-18

        https://docs.ollama.com/api

      21. [21]
        Ollama Modelfile reference

        Ollama · 2026 · 查閱 2026-11-18

        https://docs.ollama.com/modelfile

      22. [22]
        System Requirements

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/system-requirements

      23. [23]
        Download an LLM

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/basics/download-model

      24. [24]
        Offline Operation

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/offline

      25. [25]
        LM Studio, llmster, and lms

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/basics/lmstudio-vs-llmster-vs-lms

      26. [26]
        vLLM

        vLLM Project · 2026 · 查閱 2026-11-18

        https://github.com/vllm-project/vllm

      27. [27]
        Efficient Memory Management for Large Language Model Serving with PagedAttention

        Kwon 等 · 2023 · arXiv:2309.06180 · 查閱 2026-11-18

        https://arxiv.org/abs/2309.06180

      28. [28]
        SGLang

        SGLang Project · 2026 · 查閱 2026-11-18

        https://github.com/sgl-project/sglang

      29. [29]
        SGLang: Efficient Execution of Structured Language Model Programs

        Zheng 等 · 2023 · arXiv:2312.07104 · 查閱 2026-11-18

        https://arxiv.org/abs/2312.07104

      30. [30]
        GeForce RTX 5060 Family

        NVIDIA · 2026 · 查閱 2026-11-18

        https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5060-family

      31. [31]
        AMD Ryzen AI Max+ 395

        AMD · 2026 · 查閱 2026-11-18

        https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html

      32. [32]
        Cloudflare Pages limits

        Cloudflare · 2026 · 查閱 2026-11-18

        https://developers.cloudflare.com/pages/platform/limits

      33. [33]
        harmony

        OpenAI · 2025 · 查閱 2026-11-18

        https://github.com/openai/harmony

      34. [34]
        llama.cpp v1.0.0 release

        ggml-org · 2026 · 查閱 2026-11-18

        https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0

      35. [35]
        Strata(Niko1221)

        Niko1221 · 2026 · 查閱 2026-11-18

        https://github.com/Niko1221/Strata

      36. [36]
        Per-model settings

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/advanced/per-model

      37. [37]
        Chat

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/basics/chat

      38. [38]
        Local API

        LM Studio · 2026 · 查閱 2026-11-18

        https://lmstudio.ai/docs/app/api

      39. [39]
        Gated models

        Hugging Face · n.d. · 查閱 2026-11-18

        https://huggingface.co/docs/hub/models-gated

      40. [40]
        The Open Source AI Definition 1.0

        Open Source Initiative · 2024 · 查閱 2026-11-18

        https://opensource.org/ai/open-source-ai-definition

      [8] 的 OpenAI 發布頁可能阻擋自動化請求(curl 403),但用瀏覽器可以開啟;數值仍以 [6][7] 的 Model Card 為主。部分站台會依地區、UA 或登入狀態改變回應。

      ↑