RTX 5060 · 8 GB VRAM
8 GB 入門
這條路徑幫你回答:在 8 GB VRAM 上,怎麼找到一個放得下、跑得動的模型,並完成第一次對話?
從 05-2 開始閱讀路徑
29 節不需要照順序讀。先看你手邊是哪一種機器,沿著那條線走;遇到卡住的地方,再回頭補就好。
RTX 5060 · 8 GB VRAM
這條路徑幫你回答:在 8 GB VRAM 上,怎麼找到一個放得下、跑得動的模型,並完成第一次對話?
從 05-2 開始Ryzen AI Max · 128 GB
這條路徑幫你回答:128 GB 統一記憶體能解鎖哪些大模型與 MoE 玩法,什麼時候反而該換工具?
從 05-4 開始沒有獨立 GPU · 只用 CPU
這條路徑幫你回答:沒有獨立 GPU 時,怎麼用 CPU 跑小模型,並知道慢在哪裡、什麼情況該排查?
從 06-2 開始差別只在「你的硬體先替你把哪些選項刪掉」。路徑以外的章節不是不必讀,而是等你第一次跑成功後,再回來補會更有感。
PART 02 · 跑起 AI
UNIT 05
模型不是一個 App,而是一組權重加設定
你在 PART 01 看過參數、VRAM 與量化;這一單元只補一件事:那些數字寫在模型的哪一頁。從「ChatGPT 和模型哪裡不同」開始,走進 Hugging Face、讀懂 Model Card,最後用六步判斷一個模型值不值得下載。
05-1
你每天打開 ChatGPT 問問題。但如果現在問你:那個模型,實際存在哪裡?
ChatGPT 是一個產品:有網站、App、帳號、訂閱方案,還有背後一台你碰不到的伺服器。你輸入問題,它把答案送回來;整個過程並沒有把模型放進你的電腦。
大型語言模型(Large Language Model, LLM)指的是模型本身:一組訓練出來的權重(weights),加上決定它怎麼運算的結構。權重是數值,不是檔案,也不是能雙擊執行的程式;它要配上詞元化(Tokenization)規則、設定檔與推理引擎,才會變成你看到的對話。
有些廠商會把權重公開,讓你自己下載、自己執行,這叫開放權重(open-weight)。但可以下載,不等於可以商用:Qwen3.8-27B 的授權是 Apache-2.0 [1],Qwen3.8-Flash-Next 用的是 qwen-community-1.0 [3],兩者條件不同。Model Card 上會標授權,實際條件要點進 LICENSE 看全文 [10]。
還有一個容易混淆的詞:開源(open-source)。開源 AI 的定義要求使用、研究、修改、分享的自由;只把權重公開,不等於符合這個定義 [40]。所以「開放權重」和「開源」要分開寫,不要互相代替。
產品/服務
ChatGPT
帳號、App、遠端運算
模型(LLM)
Qwen3.8-27B
架構+權重
權重+設定
safetensors/GGUF
檔案,不是程式
授權(LICENSE)
第 4 件事,不是第 4 個執行階段
Apache-2.0/qwen-community-1.0
決定你能做什麼;附在模型與權重上的使用條件
產品、模型、權重、授權是四件事;搞混任何一層,後面的問題就會問錯。
05-2
你在搜尋欄打「Qwen」,跑出一長串名字。這裡不是應用商店,比較像一座倉庫。
Hugging Face 是模型、資料集與示範應用的分享平台:Models 放模型、Datasets 放資料、Spaces 放可以直接玩的展示;同一站還有文件、搜尋與版本紀錄 [9]。它同時是「找檔案」和「讀說明書」的地方,社群會在這裡上傳轉換版、量化版與微調版。
它不是另一個 ChatGPT。你在這裡拿到的是權重、設定與 Model Card;要真的對話,得先下載到自己的電腦,再用推理工具載入(UNIT 07)。
同一個頁面上,官方組織與社群帳號都可能發布名稱很像的模型,有些模型還是 gated:要登入並接受條款,檔案才會出現 [39]。所以順序是:先看作者是不是官方、再開 Model Card、最後看 Files。下載量與愛心數是平台互動指標,會隨時間變動,不是品質證明 [9][10]。
① 搜尋列
用 Model ID 或關鍵字找;名稱相似的不一定是同一個模型。
② 篩選
篩選選項與名稱會改版,示意即可,不要把介面當固定規格。
③ 作者與組織
Qwen
官方組織
社群帳號也可能取很像的名字;先確認發布者。
④ Model Card 摘要
Qwen/Qwen3.8-27B
用途、架構、參數量、能力、授權、限制都在這裡;讀法見 05-3。
⑤ Files 清單
格式、量化與檔案大小留到 UNIT 06 再處理。
在 Hugging Face,先確認「誰發布的」,再確認「它說什麼」,最後才看「有哪些檔案」。
05-3
點進模型頁,迎面是一大段 Markdown。那不是廣告文案,是這個模型的說明書。
Model Card 就是模型頁上的 README,由發布者撰寫;Hub 只提供欄位慣例與顯示方式 [10]。第一次讀,先找六件事:Model ID、架構、參數量、能力、授權、檔案與用法。限制、偏誤與評估放第二輪讀。
以 Qwen3.8-27B 為例:Model ID 是 Qwen/Qwen3.8-27B;27B 的稠密(Dense)模型,注意力層是混合架構(Gated DeltaNet 與 Gated Attention);原生 context 262,144,可延伸到 1,000,000;模態是 image-text-to-text,含視覺編碼器;授權 Apache-2.0 [1]。這些欄位直接決定你要下載多大的檔案、要留多少記憶體、能不能商用。
也別跳過限制與評估。分數要看它在什麼條件下測出來;頁面沒寫的,不要自己補。看到 badge 寫 Apache-2.0,還是要點進 LICENSE 看全文——badge 是摘要,不是條款 [1][10]。
模型頁分頁示意
Qwen/Qwen3.8-27B
介面示意;不含按讚數與下載量
Qwen/Qwen3.8-27BModel Card 不是規格表,而是「這個模型能做什麼、不能做什麼、你能怎麼用」的說明書。
05-4
同一個家族,為什麼會有十幾個名字?因為「家族」只是最外面那一層。
往下拆有六個維度:精確 Model ID、用途(Base/Instruct/Thinking 等)、能力(文字/視覺/音訊/工具呼叫)、權重格式(safetensors/GGUF)、量化(Q4/Q8 等)、授權與發布者(官方或社群)。任何一個不同,就是不同的下載選項 [9][10]。
以 Qwen 為例:Qwen3.8-27B 是 27B 稠密、Apache-2.0 [1];Qwen3.8-Flash-Next 官方寫的是 125B 主模型,加上 51B 的 n-gram embedding 與 4B 的 MTP,標示 6B 啟用,授權是 qwen-community-1.0 [3]。名字很像,規模、架構與授權都不同。
Gemma 4 也一樣:從 E2B、E4B 到 12B、26B A4B、31B,名稱是取整——26B A4B 的官方總參數是 25.2B、啟用 3.8B [4][11]。
所以你會看到同一個 27B 有官方版、社群轉換的量化版,還有別人微調過的版本;它們共用一個家族名,卻不是同一個檔案。三個常見誤會先記住:Instruct 不是量化格式、GGUF 不代表一定是 Q4、Q4 也不是一個新模型。
六個維度:同一個 27B,官方 repo 與社群轉換 repo 的差別
用途/變體
官方官方發布的 27B Dense 權重
社群同一個模型的量化轉換,不是新模型
權重格式
官方safetensors/GGUF 等格式;實際檔名看 Files
社群GGUF(轉換常見格式;檔名依 repo)
量化
官方Q4/Q8 等量化選項;實際以 Files 為準
社群Q4_K_M 等,轉換時決定
右欄是教材示例,不代表特定社群 repo 存在;實際名稱、格式與授權以 Hugging Face 頁面為準。任何一個維度不同,就是不同的下載選項。
互動 05-4
預設帶入 Qwen3.8-27B;也可以換成別的已查證模型。沒查到的欄位顯示「待查」,不留白也不推測。
先選一個模型,卡片會列出六個維度。沒有查到的欄位會顯示「待查」。
先確認精確 Model ID 與授權,再談下載;名字像不代表同一個東西。
05-5
這套教材會一直提到幾個名字。不是因為它們最強,而是因為每個名字負責說明一件事。
入門組是 Gemma 4 E2B 與 E4B:E2B 是 5.1B 總參數、2.3B 有效參數;E4B 是 8.0B/4.5B。兩者都是 128K context、Apache-2.0,能處理文字、影像與音訊 [4][11]。它們的規模小,檔案與執行需求比較有機會塞進一般顯示卡;這是教材把它們排在第一站的原因,不是因為它們在任何任務上都最強。
對照組用來示範「大」與「MoE」:Qwen3.8-27B 是 27B 稠密、262,144 context [1];Qwen3.6-35B-A3B 是 35B 總參數、3B 啟用,256 個專家、8 個 routed 加 1 個 shared [2];Gemma 4 的 12B、26B A4B、31B 用來比較同家族的規模與架構差異 [4][11]。
進階對照是 Qwen3.8-Flash-Next 與 gpt-oss 系列:前者是 125B+51B+4B 的實驗性架構、6B 啟用、community license [3];gpt-oss-20b 是 21B/3.6B,gpt-oss-120b 是 117B/5.1B,兩者都是 128K context、Apache-2.0 [6][7]。這些都是教學角色,不是排行榜名次。
總參數(規模)由小到大 →
分組看總參數,不看分數或排名。MoE 卡同時列總參數與啟用參數;兩者差距最大的例子是 Qwen3.8-Flash-Next(125B+51B+4B 對 6B 啟用)。
入門組 · ≤10B
Dense 系;先完成一次載入與對話
第一次成功
google/gemma-4-E2B
小模型、放得下是教材的第一站;先完成一次載入與對話。
同家族大一階
google/gemma-4-E4B
同一個家族再大一階,用來觀察規模改變後的差異。
中規模對照 · 10–40B
Dense 與 MoE 並存;先看總參數,再看啟用參數
稠密對照
google/gemma-4-12B
單一規模的稠密對照,適合比較「同架構、不同大小」。
名稱取整+MoE
google/gemma-4-26B-A4B
26B 是名稱取整;總參數與啟用參數要分開看。
最大稠密對照
google/gemma-4-31B
同家族最大的稠密對照,用來說明「越大越不等於越適合」。
大模型+混合注意力
Qwen/Qwen3.8-27B
大模型、混合注意力與長 context 的對照組。
總參數 ≠ 啟用參數
Qwen/Qwen3.6-35B-A3B
A3B 的 3B 是每個詞元啟用的量,權重仍以 35B 計。
大/跨規模 · >40B(MoE)
gpt-oss 卡跨 21B–117B,放在此組是為了看大模型端
實驗性架構與 community license
Qwen/Qwen3.8-Flash-Next
實驗性架構與 community license 的案例,商用條件要另外確認。
開放權重 MoE 對照
openai/gpt-oss-20b · openai/gpt-oss-120b
兩個規模的 MoE 對照,適合說明「總權重仍要全部存放」。
名單是為了對照概念,不是為了推薦;換一個任務,適合的模型就會換。
05-6
三個分頁都開好了,每個模型看起來都值得下載。先別按下去。
把選擇拆成六步,每一步都問一個能回答的問題:我要做什麼(任務)?這個模型真的支援嗎(能力)?我可以這樣用嗎(授權)?我要下載哪一種檔案(格式與容量)?我的機器與工具撐得住嗎(硬體與工具)?最後,實際跑起來可以接受嗎(實測)?
前五步可以用官方資料回答 [1][4][9][10],第六步只能自己試。不符合就淘汰,並寫下原因——這比記住「哪個模型最好」有用得多。
下載量、熱門排序、單一 benchmark 都只是線索 [9]。能不能載入、回答能不能接受、速度能不能接受,要自己測(UNIT 07)。記憶體怎麼算留到 UNIT 06;這一節只建立判斷順序,不給「最低需求」數字。
互動 05-6
依任務、授權需求與可用記憶體篩選。這裡只做「有機會符合」的淘汰,不給分數、不排名,也不保證跑得動。
記憶體分級是教材的粗略分類,不是 VRAM 門檻;實際需求要算 KV Cache 與 Runtime(UNIT 06),並用實測確認(UNIT 07)。
先選三個條件:任務、授權需求、可用記憶體。
先用需求淘汰,再用實測確認;規格只能幫你刪掉選項,不能替你保證結果。
單元小測
三題檢查你有沒有抓到這一單元的判斷順序;作答後會顯示每一題的解析,可重新作答。
PART 02 · 跑起 AI
UNIT 06
同一個模型,下載頁面上卻排了 3 GB、5 GB、17 GB 好幾種檔案(示例)。這個單元要把那個資料夾拆開:你下載的到底是什麼、GGUF 與 safetensors 差在哪裡、Q4_K_M 這種名字怎麼讀,最後把「檔案大小」和「執行時的記憶體」分開算。
06-1
你按下「下載」,以為拿到一個模型檔;多數時候,你拿到的是一整個資料夾,而且少一個檔案就可能載入失敗。
打開資料夾,通常會看到一整排檔案:好幾個 model-0000X-of-0000Y.safetensors、config.json、tokenizer.json、tokenizer_config.json、generation_config.json,再加上一份 README.md。這些東西合起來,才是一個推理引擎能載入的模型 [9][13]。
可以這樣分工:權重檔是模型「學到的數值」,也是體積最大的部分;config.json 描述層數、hidden size、注意力設定等結構;tokenizer 相關檔案決定文字怎麼切成詞元(Token);chat template 決定「使用者說的話」與「模型回的話」怎麼排版成一段對話;generation_config.json 則是生成參數的預設值 [9][13]。權重決定「模型會什麼」,其餘檔案決定「它能不能被正確地餵進去、正確地講話」。
如果是 GGUF,常見的是單一 .gguf 檔,因為 GGUF 把中繼資料與張量放進同一個容器 [12]。但多模態模型常另外附一個 mmproj-*.gguf 投影器;在 llama.cpp 生態裡,它是另一個檔案,而且預設也會被放上 GPU [14]。少了它,模型可能只會處理文字。
所以「模型檔」不是「AI 軟體」。它是一組資料與設定,還要有一個推理引擎(llama.cpp、LM Studio、Ollama、vLLM 等)把它載入、執行。下載完成,只代表你拿到了材料,不代表你已經有一個可以對話的程式。
共同基準左邊與右邊是同一個模型、同一組權重,只是裝進兩種容器:safetensors 倉庫是多檔,GGUF 是單檔+選用投影器。差別在「怎麼裝、還要帶什麼」,不是模型換了一個。
safetensors 倉庫(多檔)
權重分片+設定檔,常見於 Transformers 路線
缺少時:載入直接失敗;分片必須整組到齊。
缺少時:索引與實際分片對不上,通常直接載入失敗。
缺少時:引擎不知道層數與維度,通常載入失敗。
缺少時:文字切不出詞元,可能載入失敗或輸出亂碼。
缺少時:角色與格式可能混亂、答案一直重複。
缺少時:通常仍可載入,但預設生成參數可能不理想。
缺少時:不影響載入,但你看不到授權與使用限制。
GGUF(單檔+選用投影器)
中繼資料與張量放在同一個容器
缺少時:沒有模型可載入;量化標籤通常直接寫在檔名。
缺少時:模型可能只剩文字能力,讀不到圖片或音訊。
GGUF 不是「壓縮檔」;它是一種把中繼資料與張量裝在一起的容器,裡面可以是量化權重,也可以是較高精度的權重。
點開任一節點可看「缺少這個檔案會怎樣」。手機上兩欄會改為上下堆疊。
mmproj 都會變,請以下載頁面的檔案清單為準。權重+設定檔才是一個模型;推理引擎才是把它跑起來的程式。你下載的是材料,不是一個已經能對話的 App。
06-2
這兩個名字常在「該下載哪個」的分岔口出現,但它們不是新舊版本,也不是高低階之分,而是在解決不同的問題。
先講結論:格式影響「怎麼載入、哪些工具讀得懂」,不直接決定「模型有多聰明」。同一個模型可以同時發布成 safetensors 與 GGUF,兩者的權重精度甚至可能一樣 [12][13]。
GGUF 是 llama.cpp 生態常用的容器格式。它把模型的中繼資料(架構、層數、context、詞表等)與張量資料放進同一個檔案,並且可以容納量化後的權重,也可以容納較高精度的權重 [12]。對「下載一個檔案、用桌面工具載入」的情境,它很方便;這也是為什麼你會看到 Q4_K_M 這種量化標籤直接長在檔名上。
safetensors 則是一種安全儲存張量的格式:它不在載入時執行任意程式碼,支援 zero-copy 與 lazy loading,也能存 BF16、FP8 等精度 [13]。它通常搭配 config.json、tokenizer 等檔案一起用,是 Hugging Face Transformers、vLLM、SGLang 這條路線的常見選擇。它本身不代表固定精度。
最後要記得:格式只管「裝箱方式」。能不能跑,還要看工具支援、模型架構、硬體與記憶體。有些工具(例如 vLLM)也提供 GGUF 載入,但支援程度依版本與模型架構而異 [26]。所以「看副檔名決定能不能跑」是很容易踩坑的習慣。
GGUF
中繼資料+張量在同一檔
常見搭配(不是排他規則)
safetensors
只存張量,設定另外給
常見搭配(不是排他規則)
兩個箱子都不保證
只切換一件事:容器要不要另外帶設定
GGUF 的單一差異
中繼資料與張量放在同一個檔案:下載一個 .gguf 就能載入,量化標籤直接寫在檔名。
多模態模型另外附一個 mmproj-*.gguf 投影器。
共同點(上方容器圖已畫):兩者只差「要不要另外帶設定檔」,都不是精度等級,也都不保證工具支援與授權。
目前顯示 GGUF:單檔容器,量化標籤寫在檔名。
只從官方或可信來源下載。safetensors 可以避開 pickle 執行碼的風險,但不代表模型行為安全;還要看授權、副檔名是否被偽裝,以及這個模型實際被拿來做什麼。
06-3
同一個模型,一個 17 GB、一個 5 GB(示例),差別通常不是「刪掉了什麼」,而是「每個數字用幾個位元記」。
量化(Quantization)的核心動作很單純:用比較少的位元來表示權重。原本一個數值用 16 位元浮點數存,現在可能用 8 位元、4 位元,甚至更低。位元數變少,同樣的參數量需要的空間就變小,載入時的記憶體壓力也跟著下降 [5][15]。
但這不是無損壓縮。數值被表示得更粗略,就可能有品質損失;損失多少,取決於量化方法、模型本身、以及你要它做什麼任務。同一個 Q4 模型,拿來閒聊可能感覺不出差別,拿來寫程式或做精細摘要就可能露餡 [5][15]。
另一個常見誤會是「位元數少就一定快」。4-bit 不保證一定更快。速度還牽涉硬體對該量化型別的支援、記憶體頻寬、kernel 實作、batch 大小。有些情況下量化省下頻寬而變快,有些情況下反而因為反量化多了計算而變慢。這件事只能在你的機器、你的模型、你的任務上實測 [15]。
常見的精度可以分成兩族:浮點(FP32、FP16、BF16、FP8、MXFP4)與 GGUF 的量化系列(Q4、Q5、Q6、Q8)。名字裡的數字大多對應位元數或量化方法,不是「品質分數」。另外,KV Cache 的量化是另一個題目,這個單元不展開,只要知道「權重量化」和「KV Cache 量化」是兩件事 [12][15]。
同一個權重值,可表示的刻度
16-bit
階梯細:同一個數值範圍裡有很多可表示的點。
4-bit
刻度粗:可表示的點變少,中間的數值只能就近取整。
示意:實際階距依量化方法與 scale 而不同;這裡只表達「同一個值被記得更粗」,不是品質分數。
純權重位元比例,不是檔案大小,也不是 VRAM 實測。實際檔案還要看量化方法、張量混合與中繼資料;名目 4-bit 與 Q4_K_M 的 4.9 bits 也不是同一個數字。
查表用:下面是常見精度與量化系列;先看過上面的位元比例與刻度,再回來查名字。
| 名稱 | 這是什麼 | 常見用途 | 不要誤會 |
|---|---|---|---|
| FP32 | 32 位元浮點 | 訓練、除錯 | 推論很少用,檔案最大 |
| FP16 | 16 位元浮點 | 推論基準 | 不是「無損」 |
| BF16 | 16 位元,動態範圍較大 | 推論、訓練 | 位元數同 FP16,不是更小 |
| FP8 | 8 位元浮點 | 較新硬體上的推論 | 要硬體與工具支援 |
| MXFP4 | 4 位元區塊浮點 | 部分模型的原生格式 | 不是 GGUF 的 Q4 |
| Q8 | GGUF 8-bit 量化系列 | 接近原精度 | 檔案明顯比 Q4 大 |
| Q6 | GGUF 6-bit 量化系列 | 容量與品質折衷 | 不是「6 GB」 |
| Q5 | GGUF 5-bit 量化系列 | 比 Q4 保守 | 實際 bits/weight 高於 5 |
| Q4 | GGUF 4-bit 量化系列 | 常見起點 | 不是每個權重剛好 4 bit |
位元比例只回答「容量大概變成幾成」,不回答「這個檔案多大」,也不回答「這台機器跑不跑得動」。
06-4
下載頁面上,同一個模型排了五六個檔名很像的檔案;與其背名字,不如學會拆名字。
先把 Q4_K_M 拆開看:Q 代表量化,4 是名目上的 4-bit,K 是 K-quant 系列,M 是這個系列裡的「中等混合」版本。實務上它不是「每個權重剛好 4 bit」:K-quant 對不同張量用不同精度,_M 版本再把部分重要張量拉高精度,所以平均的 bits/weight 一定比 4 高。llama.cpp 量化文件的對照表量到:Q4_K_M 約 4.89、Q5_K_M 約 5.70、Q6_K 約 6.56、Q8_0 約 8.50(該表為特定模型,換模型會變)[15]。
這裡有個對學員很實用的細節:很多人憑印象說「Q4 就是 4.5 bits/weight」,但那是 Q4_K 這個型別在文件裡的公式值,套到 Q4_K_M 這種混合版本會低估約一成。以 27B 為例,4.5 估出約 15.2 GB、4.9 估出約 16.5 GB(理論估算,未計 KV Cache);兩個都放不進 8 GB。數字的用途是讓你看出「不是剛好 4 bit」,不是要你背住某一台機器的邊界 [15]。
Q8_0 是 8-bit 系列:每 32 個權重共用一個 scale,換算約 8.5 bits/weight,檔案明顯比 Q4 大,精度更接近原始模型。Q4_K_S、Q5_K_S 的 S 是 small,_M 是 medium;不是每個轉換都提供全部選項。
那要怎麼選?建議的順序是:先確認放得下 → 再確認工具讀得進來 → 最後才比品質與速度。新手最常見的錯誤,是先挑「品質最好」的 Q8,結果 8 GB VRAM 根本載不進去;或是貪小選了 Q2,雖然跑得動,但答題品質讓人失望。中間的 Q4_K_M/Q5_K_M 之所以常被當成起點,是因為它在容量與品質之間取得平衡——但那仍然是起點,不是保證 [15][19]。而且同一個名字在不同模型上可能對應到不同大小與品質:別人說「Q4_K_M 很好」,那是他對那個模型、那個任務的結論,不是通則。
四種量化,同一條 bits/weight 尺
Q4_K_M
4.89名目 4
Q5_K_M
5.70名目 5
Q6_K
6.56名目 6
Q8_0
8.50名目 8
虛線是名字裡的「名目 4」,長條末端才是估算用的 4.89。Q8 的權重明顯比 Q4 大,差距在同一條尺上才看得出來。
Q4_K_M
Q5_K_M
Q6_K
Q8_0
卡片刻意不寫 GB:bits/weight 依模型與張量混合而異;卡片上的數字是文件記載的典型值,不是這個模型的實測值。
看到 Q8_0 先別急著按下載;看到 Q4_K_M 也別假設一定跑得動。量化名稱只告訴你「大概用幾個位元」,剩下的要回到模型大小、Context 與你的裝置。
06-5
你下載了 5 GB 的 GGUF,顯卡有 8 GB,看起來還剩 3 GB;但模型一載入,數字往往不是這樣算的。
硬碟上的檔案大小,只回答了「要搬多少資料進來」;它沒有回答「進來之後要佔多少位置」。載入之後,VRAM 裡至少同時住著四種東西:權重、KV Cache(鍵值快取)、執行時的運算緩衝,以及作業系統桌面、驅動與其他程式先佔走的那一塊 [5][30]。
Context 越長,KV Cache 通常越大,而且成長不是線性的小數目。用一個假想模型示意:32 層、8 個 KV heads、head_dim 128、FP16,每個詞元約 128 KiB;4,096 個詞元約 512 MiB,8,192 個約 1 GiB,32,768 個就約 4 GiB。也就是說,同一個模型把 Context 從 4K 拉到 32K,光 KV Cache 就可能吃掉好幾 GB。(這是示意公式,不是任何真實模型的實測值。)
那放不下怎麼辦?不一定要放棄:可以把部分層留在 CPU(卸載,offloading),或用更小的量化、更短的 Context。但卸載不是免費的:每次計算都要在 CPU 與 GPU 之間搬資料,速度通常會下降;「跑得動」和「跑得順」是兩件事 [16][17]。
最後兩個常見的極端誤解要一起拆掉:8 GB VRAM 不是「只能跑 8 GB 以內的模型」(量化後的小模型可以很輕鬆),但也不是「所有 4-bit 模型都放得下」;128 GB 統一記憶體容量很大,但容量大不等於頻寬高、速度一定快 [30][31]。
A 與 B 共用同一條 0–16 GB 尺(教學示意,不是實測 GB)
A|全部在 GPU
需求 10.4 GB:權重、KV、緩衝、runtime 全在同一張卡,超過 8 GB。
7.6 權重 + 1.2 KV + 0.6 緩衝 + 1.0 runtime = 10.4 GB,超出 2.4 GB
B|部分卸載,GPU 放得下
只把 4.4 GB 的權重留在 GPU,其餘 3.2 GB 移到系統 RAM。
4.4 + 1.2 + 0.6 + 1.0 = 7.2 GB,離 8 GB 卡容量還有 0.8 GB。
↔ 每次計算要逐層把 RAM 裡的「其餘權重」搬進 GPU(不是一次搬 3.2 GB);省下的是容量,付出的是搬移時間。
B|系統 RAM(16 GB)
放「其餘權重」;其他程式仍要佔 RAM。
其餘權重 3.2 GB + 其他程式 12.8 GB = 16 GB。B 的 4.4 + 3.2 = A 的 7.6,同一份權重沒有變多。
其他程式也會佔 VRAM:瀏覽器、遊戲、剪輯軟體、其他 AI 工具。圖上的 GB 是為了共用比例尺而設的示意值,不是任何一台機器的實測。
請輸入 1 以上的數字。
滑到 4.5 時會低估約一成;4.9 較接近文件值。
預設值是假想模型,不是任何真實模型的組態;此公式不適用於 hybrid 架構模型。
理論權重
4.9 GB
加上開銷
5.4 GB
KV Cache
—(未計)
合計
5.4 GB
勉強:含開銷約占可用預算的 79%。
還沒計 KV Cache 與 runtime;實際上線前要再用 4K Context 試一次。
公式(理論估算)
weights_GB = paramsB × bits/weight ÷ 8
overhead_GB = weights_GB × 開銷比例
kv_GB = 2 × 層數 × KV heads × head_dim × 2 bytes × contextTokens ÷ 1e9
total_GB = weights_GB + overhead_GB + kv_GB
8.0 × 4.9 ÷ 8 = 4.90;4.90 × 10% = 0.49;KV 未計;合計 5.39 GB
未計 KV Cache 與 Runtime 開銷的結果不能當成「一定跑得動」;這是理論估算,不是這台機器上的實測。
已依預設值試算:8B、4.9 bits/weight、10% 開銷、KV 未計。
把「檔案大小」和「可用預算」分開看:預算要先扣掉桌面、驅動、KV Cache 與其他程式,剩下的才是模型真的能用的空間。
06-6
「35B-A3B」看起來像 3B,價格也像 3B;但它要的記憶體不是 3B 的份量。
混合專家模型(Mixture-of-Experts, MoE)的設計是:每個詞元只會經過少數幾個專家,所以「每個詞元實際參與計算的參數」比較少。這就是 A3B 的由來——3B 指的是啟用參數,不是模型大小 [2]。
但這裡有個關鍵:所有專家的權重仍然存在模型裡,只是每次計算只用到其中幾個。所以你要下載、要放進記憶體的,是總權重(再乘上量化比例),不是啟用參數。Qwen3.6-35B-A3B 是 35B 總參數、3B 啟用、256 個專家(8 個 routed + 1 個 shared);gpt-oss-120b 是 117B 總參數、5.1B 啟用、128 個專家取 4 個、原生 MXFP4,官方以 80 GB 級 GPU 為目標;Gemma 4 26B A4B 是 25.2B 總參數、3.8B 啟用、128 個專家(8 個 active + 1 個 shared)[2][5][6][8][11]。
所以估算方式其實和 Dense 一樣:總權重 × 量化比例 + KV Cache + 其他開銷。啟用參數影響的是「每個詞元算多少」,不是「模型佔多少空間」。這也是為什麼 35B-A3B 在 8 GB 機器上仍然不現實,而 gpt-oss-120b 不是「5.1B 的小模型」[6]。gpt-oss 系列使用 harmony response format;chat template 不對時,輸出可能不正常。[33]
MoE 確實有一個 Dense 沒有的彈性:因為每個詞元只走部分專家,有些引擎會做「專家快取」或分層放置(常用專家放 GPU、其餘放系統記憶體),讓記憶體不夠的機器「有機會」跑大型 MoE [34]。但這需要額外的記憶體與搬移成本,也不是所有工具都支援;把它當成進階手段,不要當成入門方案。
通用教學示意,非特定模型組態
全部 8 個專家(這次亮 2 個)
分數為示意;容器裡是全部 8 個專家的權重,這次只高亮分數最高的 2 個。
模型裡 8/8 個專家這次啟用 2/8
Qwen3.6-35B-A3B
gpt-oss-120b
Gemma 4 26B A4B
真實組態的數字來自官方 Model Card;「8 專家/Top-2」只是用來解釋機制,不是這些模型的設定。
預覽:示例分數已標出 E1、E2。按「下一步」從頭開始,不會自動播放。
通用示意:8 個專家、每次取 Top-2;分數為示意(總和 1),高亮的是分數最高的 2 個。
預覽:示例分數為 E1 0.42、E2 0.31,是 8 個專家裡最高的 2 個。按「下一步」從頭看這個詞元怎麼被處理。
本次用到 2/8 個專家(25%),其他 6 個專家的權重仍然存在。
預覽中:已顯示示例分數與 2 個高亮;按「下一步」從頭開始。
總權重決定「要放多少」,啟用參數決定「每個詞元算多少」;兩個數字不能互換,也不能拿小的那個來估記憶體。
06-7
前面六節都是零件;這一節把它們組成一張「下載前檢查表」,讓你在按下去之前就知道結果大概是什麼。
Windows + RTX 5060 8 GB。目標是「第一次成功」,不是「一次到位」。先選小模型(Gemma 4 E2B 這種等級),挑 4-bit 左右的 GGUF,Context 先開 4K–8K,確認載入、對話、離開都正常,再慢慢往上調。不要一開始就下載 27B/35B 的 4-bit,然後納悶為什麼載入失敗——那些模型的權重本身就超過 8 GB 能舒適容納的範圍。也別忘了,Windows 桌面、瀏覽器與驅動會先吃掉一部分 VRAM [19][22][30]。
Linux + AMD AI Max 128 GB。你可以容納更大的模型,但「容量大」不等於「速度快」。要確認三件事:GPU 實際可用的共享記憶體有多少、runtime 對這個平台的支援程度、模型在這個 runtime 上是否真的能載入。128 GB 是平台上限,不是「模型可無條件用滿」的保證 [31]。
只有 CPU 的一般電腦。可以跑,但速度通常慢很多;要選更小的模型與更低的量化,並接受比較長的等待。不要用 GPU 的經驗直接推論 CPU——同一個模型、同一個量化,在 CPU 上的感受會完全不同 [16]。
不管你屬於哪一種,下載前問自己五個問題:我要做什麼?這個模型的能力夠嗎?授權可以嗎?格式與工具有支援嗎?我的記憶體真的夠嗎?五題有任何一題答不出來,就先不要按下載。有了答案,再寫進附件 B 的「模型下載選擇卡」——寫下來的目的是:三天後你還會記得當初為什麼選這一版,以及如果跑不動,第一個該改的是哪個欄位。
同一條 0–128 GB 容量尺
8 GB 只占全尺的 6.25%,16 GB 占 12.5%。128 GB 是平台上限,還要扣 OS、共享記憶體與 KV Cache,不是全部給模型。
RTX 5060 8 GB
具體起點
Gemma 4 E2B(5.1B)Q4_K_M:理論權重約 3.1 GB;Context 先 4K–8K。
不要一開始就做
直接下載 27B/35B 的 4-bit,或把 Context 拉到最大。
必須確認
桌面與背景程式佔用、實際可用 VRAM、工具支援。
Context 與背景程式會決定成敗;先 4K–8K。
AI Max 128 GB
具體起點
Qwen3.8-27B Q4_K_M:理論權重約 16.5 GB;先確認 runtime 載入成功,再往上加。
不要一開始就做
假設「128 GB 就能跑所有模型」,或直接挑戰伺服器級 MoE。
必須確認
共享記憶體實際可用量、runtime 支援、載入是否成功。
容量 ≠ 頻寬;128 GB 不是全部可用。
CPU+16 GB RAM
具體起點
Gemma 4 E2B(5.1B)Q4_K_M:理論權重約 3.1 GB;Context 先 4K,能回答就成功。
不要一開始就做
拿 GPU 的模型大小與速度經驗直接類推。
必須確認
系統 RAM 夠不夠、是否還有其他程式、等待時間可接受嗎。
可以跑,但速度不同;不要直接類推。
這是選擇流程,不是效能保證;實際結果以實測為準。數字與容量只幫你排除明顯不可行的選項。
GGUF 的量化標籤直接寫在檔名上。
理論權重
3.1 GB
含 10% 開銷
3.4 GB
與可用預算的比值
0.51
有機會:權重約占可用預算的 51%。
還要留 KV Cache 與其他程式;先用 4K Context 載入,再觀察。
還缺什麼資訊
下一步
已帶入附件 B,仍可修改。
未計 KV Cache 與 Runtime 開銷;不是實測結果。門檻(有機會/勉強/不建議)為教學設定,不是官方標準。計算假設:權重 × 1.1 開銷、裝置容量 × 85% 當可用預算。
已顯示預設組合:RTX 5060 8 GB、Gemma 4 E2B、GGUF、Q4_K_M。
第一次就挑戰大模型,失敗時你分不清是「模型太大」還是「設定錯了」。先用小模型、4-bit、短 Context 走通一次,再一個一個往上加。
單元小測
四題檢查你有沒有帶走這個單元的三件事:容器與格式、量化命名,以及記憶體估算。
PART 02 · 跑起 AI
UNIT 07
這一單元不背按鈕位置,也不假裝你的畫面會長得一樣。所有操作段落都是步驟示意,不是實機教學,也不對應特定版本。我們走一次「環境檢查 → 搜尋 → 下載 → 載入 → 對話 → 紀錄」的通用流程,每一步都知道要看到什麼、什麼算成功、失敗時先看哪裡。能載入、能回答、能離線,才算第一次成功;下載完成只是開始。
07-1
按下下載之前,有五、六件事比「選哪個模型」更容易讓你第一次就失敗。
你大概看過「8 GB 顯示卡就跑得動」這種說法。真正的情況是:8 GB 是硬體上限,不是可用值。Windows 桌面、驅動、瀏覽器與其他程式會先吃掉一部分,剩下的才是模型能用的空間。[22]
所以先做五項檢查:作業系統與架構、顯示卡是否被系統正確辨識、系統 RAM、VRAM 上限、硬碟可用空間。本教材以 16 GB 系統 RAM 為背景,但它是背景條件,不是主軸;真正決定成敗的是 VRAM 預算、Context 長度、offload 比例與背景程式。[22]
第六項最常被忽略:背景程式。瀏覽器分頁、遊戲、剪輯軟體、另一個 AI 工具都會佔用 VRAM。當你覺得「明明 8 GB 卻載入失敗」,先看工作管理員的 GPU 記憶體,不要先懷疑下載壞了。
最後把兩件事分開記:下載需要硬碟,載入需要記憶體。混在一起,就會出現「硬碟還很空,為什麼跑不動」這種對話。
尚未確認任何項目(0/6)。
8 GB 上限,不等於 8 GB 可用 示意
系統、驅動與其他程式先佔用;模型能用的是最後一段。
上限 8 GB − 系統/驅動/其他程式 = 模型可用(示意);可用一定小於上限。第 ④ 格要你分清「上限」與「目前可用」,第 ⑥ 格處理背景程式。
環境檢查只決定「能不能開始」,不代表跑得快。先把「上限」與「可用」分清楚,後面的設定才有意義。
07-2
第一次跑本地模型,最不缺的就是挫折感;LM Studio 的價值,是把挫折往後延。
LM Studio 是一套桌面應用程式,把「搜尋模型、下載、載入、聊天、開本地 server」放在同一個圖形介面裡。對第一次接觸的人來說,你不用先學編譯、不用先記參數,就能看到模型真的在自己電腦上回話。[23][25]
它的定位要說清楚:桌面 App 本身是專有免費軟體,不是開源;官方另外提供 lms 命令列工具,那個才是 MIT 授權。同一個 App 也有本地 API,可以讓其他程式呼叫模型,但這一段留到 UNIT 08 再談。[25][38]
為什麼第一套工具選它?因為先建立成功經驗。當你確定「能載入、能回答、能離線」之後,再去學 Ollama 的 tag 或 llama.cpp 的指令,會有清楚的對照組;反過來先學命令列,很容易在還沒看到任何回答前就放棄。這不是說它最快,也不是說它是唯一能離線的工具。[24]
最後提醒:介面與版本會變。這一節與後面的操作段落都是步驟示意,不是實機教學;這一節教的是「你要看到什麼功能」,不是「按鈕在第幾排」。找不到對應區域時,用功能關鍵字找(搜尋、模型、聊天、server),不要硬背位置。
介面示意,非實機截圖、非特定版本;不畫下載量、星數或帳號狀態。
① 搜尋② 我的模型③ 載入設定④ 聊天⑤ 本地 server號碼就是使用順序;先有模型,才談載入與對話。
功能區 1/5
搜尋/探索
第一套工具的任務是讓你「先看到回答」;等你有了成功經驗,再比較其他工具,選擇會清楚很多。
07-3
搜尋結果會給你一排長得很像的檔案;選錯不會把電腦弄壞,但會讓你以為自己的顯示卡不夠力。
在搜尋欄輸入模型名稱後,你會看到官方版本與社群轉換版本混在一起,還有一堆量化選項。第一步不是比大小,而是確認發布者與 Model ID:作者是不是官方組織、頁面有沒有指回官方來源、這個檔案是不是別人在官方權重上做的轉換。[11][23]
第二步才是選檔案。對 8 GB VRAM,入門先用 4-bit 等級的 GGUF,先讓模型放得進去、跑得起來;實際可選的量化與檔名,以你當下在工具裡搜尋到的結果為準。GGUF 是容器格式,同一個檔案裡可以裝量化權重,也可以裝較高精度權重,所以「看到 GGUF」不等於「一定是 4-bit」。[12][15][19]
下載前把四件事寫下來:模型名稱與發布者、量化標籤、檔案(或整體)大小、下載位置。這四個欄位正好是附件 B 與附件 C 會用到的資訊,先抄下來,後面省一次回頭找。[23]
下載完成不等於可用。回到「我的模型」確認它真的出現在清單裡,而且大小和你剛剛選的一致;再看它有沒有附帶其他必要檔案。搜尋得到,不代表每個版本都適合你的機器。
下方示例標「示意」;你的四個欄位仍由你填寫,教材不預填、不驗證也不存檔。
repo
先看發布者是誰、是否指回官方
檔案
再從一排相似檔名裡挑版本
量化
確認 4-bit 等級的取捨你接受
大小
最後才比大小與硬碟空間
已填示例 示意,非實機
Google 官方帳號下的 Gemma 4 E2B
發布者可追溯Gemma 4 E2B · Q4_K_M(檔名依頁面)
檔名以頁面為準4-bit 等級;先讓 8 GB 放得下
取捨已知依頁面顯示;硬碟另留下載與暫存
不預填 GB官方 repo發布者可追溯、頁面指回官方來源:可以先進下一步。
社群轉換發布者不是官方、授權與內容無法確認:先不選,除非你能追溯來源。
尚未填寫。四個欄位都填好,並勾選四問,才算完成核對。
只從官方或可追溯的來源下載。社群轉換檔的副檔名可能一模一樣,內容與授權卻不一定相同;下載前先看發布者與授權說明,不要把「搜得到」當成「可以信」。
07-4
載入失敗通常不是模型壞了,而是你把兩、三個預算同時開到最大。
載入前會看到幾個欄位,其中兩個直接決定「能不能載入」:GPU offload(多少層放到顯示卡)與 Context length(一次能看多少 Token)。官方把它們當成「每個模型可以分別設定」的載入參數,所以換模型時要重新確認,不要假設上次的設定會沿用。[22][23][36]
8 GB 的策略不是「全部開到最大」。offload 越高,權重越往 VRAM 擠,聽起來很合理;但 VRAM 還要放 KV Cache、運算暫存與 runtime 自己的空間,其他程式也在搶。全部塞滿的結果,常常是載入成功但一問長問題就中斷。Context 也一樣:越長,KV Cache 通常越大;先從 4K–8K 這種「夠用但保守」的起點開始,穩定後再往上加。[22]
另外兩個欄位影響的是「輸出長什麼樣」:Temperature 調整取樣隨機性,低溫比較穩定,但不代表每次輸出完全相同;Max output tokens 限制單次輸出長度,太小會話講一半被切斷,太大則拉長等待時間、也吃掉記憶體預算。[23]
排查方法只有一條:一次只改一個設定。載入後先看工具顯示的 runtime、offload 比例、context 與有沒有警告訊息;失敗就先把 context 降一級,再不行才降 offload。一次改五個,你只會知道「後來好了」,不會知道「為什麼好了」。
0(較穩定)1.5(較發散)
8 GB VRAM 預算分配 示意
三組控制共用同一條尺;比例是教學示意,不是你的機器實測。
容量:目前示意分配仍在 8 GB 內,還有可用空間。
容量
有餘裕
示意分配仍在 8 GB 內;0% offload 不是容量風險。
速度
較慢
權重幾乎留在 CPU;容量安全,但生成通常較慢。
輸出穩定度
中間
temperature 0.7 屬中間值;較低溫較穩定,但不保證完全相同。
offload 0% 把權重留在 CPU,VRAM 這條尺主要被 KV、runtime 與其他程式佔用;context 4K 的 KV 段最短;temperature 0.7 屬中間值。
下一步:容量還有餘裕時,先把 offload 調到 50%,觀察速度是否改善;一次只改一個設定。
三條狀態各自獨立:容量看 8 GB 示意尺,速度看 offload 高低,輸出穩定度看 temperature;三者不合成單一分數。所有比例皆為示意,不是你的機器實測,也不預測 Tokens/s。
把 offload 與 context 當成兩個要一起分的預算,而不是兩個越大越好的旋鈕;一次只改一個,才知道因果。
07-5
不要只問「你好」;那只能證明它會打招呼,不能證明它對你有用。
模型載入後,先做固定測試,而不是想到什麼問什麼。固定題目的價值在於可比較:之後你換模型、換量化、換 context,都有一組共同基準,不然每次都是「感覺好像有變好」。[37]
建議四類各一題:基本問答、工作整理、簡單推理、翻譯。這四類分別測「知識表達」「指令遵循」「推理」「語言品質」,是小模型最容易拉開差距的地方;測試就在應用程式內的聊天介面進行。[4][11]
觀察重點不是「順不順」,而是:有沒有離題、格式有沒有照做、數字與人名有沒有捏造、繁體中文用字是否正確。回答流暢不代表正確;小模型在長指令下容易漏條件,要有心理準備。[11]
再做一個小實驗:同一題稍微改寫(加角色、加限制、換順序),看輸出是否改變。改變不代表其中一版一定錯,只代表模型對提示很敏感。測試時不要貼個資、客戶名單或公司內部文件。
測試 1
基本問答
請用三句話解釋什麼是 VRAM,並說明它和系統 RAM 的差別。不要使用條列。
測試 2
工作整理
下面是一段會議紀錄,請整理成待辦事項,每項要有負責人與期限;沒有寫到的欄位標「未指定」。會議紀錄:下週要完成首頁文案,小明負責;阿華確認圖片授權,期限是週五;其他人下週一前回報測試結果。
測試 3
簡單推理
三個人在排隊。小美不在最前面,阿哲排在小美後面,冠宇排在最前面。請說出三個人的順序,並用兩句話說明你的推論。
測試 4
翻譯
請把下面這段英文工作訊息翻成繁體中文,保留原意、不要加入新的承諾,並把日期與人名照原文保留。Message: "We can finish the draft by Friday, but the review may slip to next week. Please confirm the scope with Mei before we commit."
測試請用自己編的例子。個資、客戶名單、公司內部文件與尚未公開的內容,都不適合貼進任何模型,包含本地模型。
07-6
你不需要變成效能工程師,但值得知道「剛剛那一下」到底吃掉了什麼。
打開工作管理員的效能頁,找到 GPU,看「專用 GPU 記憶體」與「GPU 使用率」,順便看系統 RAM。不同 Windows 版本的欄位名稱可能略有不同,但這兩個數字一定找得到。
重點不是單一數字,而是三個時間點的變化:載入前(桌面與其他程式佔了多少)、載入後(權重進來了)、對話中(送出長問題或 context 變長之後)。第三個時間點最容易看出 KV Cache 與暫存的成長,因為它會隨對話長度與 context 設定往上走。[22]
怎麼讀:如果 GPU 使用率很低、速度卻很慢,很可能是部分層還在 CPU,或 runtime 根本沒用到顯示卡;如果專用記憶體已經貼近上限,下一個長回答就可能直接失敗。這兩種「慢」的原因完全不同,處理方式也不同。[23]
工具通常會顯示生成速度。記下來,但只在同一模型、同一量化、同一 context、同一硬體、同一版本下比較;首次等待時間(TTFT)和持續生成速度是兩個不同指標,不要混著比。這一節是幫你建立「模型—硬體」的連結,不是做 benchmark。
刻度只有低/中/高/接近上限,由你自行判斷;不預填數字,也不顯示 VRAM 峰值。
三個時間點都還沒選。依序觀察後再選,不需要填精確數字。
看變化,不要只看單一數字:載入後增加的是權重,對話中再增加的是 KV Cache 與暫存,兩者的處理方式不同。
07-7
拔掉網路線那一刻,你會第一次真正感覺到「本地」這兩個字。
條件很明確:模型已完整下載,而且 runtime 能把這個格式載入。在這種狀態下,聊天與本地 server 可以在沒有網路時運作,因為權重、tokenizer 與執行檔都在你的硬碟上。[24]
但「本地」不等於「全部離線」。需要網路的至少包括:搜尋與下載新模型、軟體更新、部分外掛與工具、雲端同步或帳號功能,以及任何會去網路上找資料的延伸功能。這些在斷網時會失敗或變慢,屬正常現象。[24][38]
還有一件事很少人提:本地 server 如果綁定到區網位址,同一個網路的其他裝置可能連得到,也能送出請求。綁定位址依工具與版本而異,有些預設只綁本機,有些可以設定成區網;不要假設一定是哪一種,要自己確認。
最後是安全:在沒有外掛與雲端功能的前提下,本地推理不會把內容送到模型廠商那裡;但這不代表自動安全或匿名。模型來源、授權、磁碟上的紀錄與備份,仍然是你自己的責任。
兩欄狀態同時可見;切換只移動強調框。這不是網路偵測,也不會發出任何請求。
聊天
模型載入後,對話不需網路。
模型已載入,仍可對話。
載入模型
檔案在硬碟,載入不需網路。
檔案在硬碟,仍可載入。
本地 server
可啟動;誰能連線看綁定。
可啟動;對外連線看綁定。
綁定位址依工具與版本而異。有些預設只綁本機,有些可以設定成區網;斷網不會改變已載入模型能不能回答,但會影響誰能連進來。
搜尋模型
需要連到模型庫。
斷網時通常不能用。
下載模型
需要網路與硬碟空間。
斷網時不能用。
軟體更新
需要網路;舊版仍可開。
不能用;已安裝版本仍可開。
外掛與工具
依外掛:有些需要網路。
需網路的外掛失效,本機外掛仍可能運作。
外掛不是模型的一部分。有些只在本機處理,有些會連到外部服務;斷網前先確認你開了哪些外掛,不要預設「全部都在本地」。
雲端帳號功能
依功能:同步與帳號需網路。
帳號、同步與雲端不能用。
有網路時,這些功能是否啟用取決於你的設定;沒有網路時,帳號、同步與雲端服務通常就無法運作。純本機的對話與載入不受影響。
兩欄同時可見;目前強調「有網路」。有網路:5 可用、0 不可用、3 視設定;無網路:2 可用、4 不可用、2 視設定。
為了「方便測試」把本地 server 綁到所有介面,等於讓同一個網路、甚至 Internet 上的其他人有機會送出請求。需要對外時,先確認綁定位址與存取控制。
07-8
第一次卡住的地方,幾乎都落在五種症狀裡;順序比運氣重要。
找不到模型:不一定是拼錯。可能是搜尋字太窄、Model ID 不對、這個模型需要先接受授權或登入,或格式根本不受支援。[23][39]
載入失敗:先想記憶體與設定。VRAM/系統 RAM 不足、context 開太大、runtime 不支援這個架構、檔案下載不完整,都會停在載入階段。[22]
速度很慢:不要先怪模型。offload 太少讓部分層留在 CPU、context 太長、背景程式佔用 GPU,都會讓它變慢;這三種的處理方式完全不同。回答格式很奇怪:先看是不是載入了 base 版本而不是 chat/instruct 版本,再看 chat template 是否相符,最後才調整提示寫法。[23]
執行突然停止:多半是記憶體在生成過程中耗盡,或 runtime、驅動、模型檔案有問題;這種情況要先看錯誤訊息,而不是重複按重試。排查順序固定為:模型有沒有真的載入 → 設定是不是開太大 → 版本與相容性 → 最後才懷疑模型品質。工具與指令會改版,遇到行為不同時,先對照官方文件,而不是憑舊印象。[18]
如果你的用法不是直接在 App 裡聊天,而是讓其他程式呼叫本地 API,排查要換成另一條順序。API 連線失敗先確認四件事,而且不要跳步:server 是否真的啟動(App 開著不等於 server 已開)、用戶端設定的位址與 port 是否和 server 顯示的一致、防火牆或區網權限是否擋住連線、模型是否已經載入到那個 server。這四項分別對應「沒有服務」「連錯位置」「連不進來」與「服務在但沒有模型」;先從錯誤訊息判斷是哪一類,再改設定。[17][20][26][38]
先從這裡進:症狀 → 先檢查什麼 → 去哪裡看
五列同時可讀;點左側症狀會選取下方細節。共同順序是「模型真的載入 → 設定太大 → 版本相容 → 最後才懷疑模型品質」。
先檢查搜尋字與 Model ID、是否需要登入或接受授權
去哪裡看搜尋頁、模型頁的授權與格式說明
先檢查context 是否太大、offload 是否全開
去哪裡看載入設定的警告、工作管理員的 GPU 記憶體
先檢查GPU 使用率:太低是沒用到 GPU,貼頂是太滿
去哪裡看工作管理員的 GPU 使用率與專用記憶體
先檢查是不是 base 版本、chat template 是否相符
去哪裡看模型頁的版本說明、對話設定的 template
先檢查錯誤訊息原文:是不是生成中記憶體耗盡
去哪裡看畫面的錯誤訊息、工具的日誌
細節:選一個症狀,看完整排查清單
已排除 0/4 項。
先排除「找錯東西」,再處理「沒有權限」。如果連正確的頁面都沒找到,後面的下載與載入排查都沒有意義。
已排除 0/5 項。
載入失敗最常見的原因是預算問題,而不是檔案壞掉。先降 context 的成本最低,也最容易看出差異。
已排除 0/4 項。
「慢」至少有兩種完全不同的原因:沒用到 GPU,或用到太滿。先看使用率,就能分出是哪一種。
已排除 0/4 項。
base 模型沒有經過對話格式訓練,chat template 不相符也會讓模型看到錯的提示結構;這兩件事都比「提示寫得好不好」更根本。
已排除 0/4 項。
「突然停止」通常有明確錯誤訊息。先留下證據,再降低最可能爆掉的預算,比亂按重試更容易找到原因。
先確認模型真的載入,再懷疑設定太大,最後才懷疑模型品質;一次只改一個變數,並把版本與設定留下來。
單元小測
四個問題,檢查你對「資源、Context、格式與離線」的判斷。
PART 02 · 跑起 AI
UNIT 08
你已經用 LM Studio 完成第一次本地對話。接下來要回答的是:既然這樣,為什麼還會聽到 Ollama、llama.cpp、vLLM、SGLang?這個單元不急著比誰快,而是先分層,再一個一個看它們各自解決什麼問題,最後用需求選工具。
08-1
你已經會在 LM Studio 裡選模型、載入、聊天。但當有人說「用 vLLM 部署一個端點」時,那個「部署」到底放在哪一層?
先把本地 LLM 想成五層堆疊,由下到上是:權重與硬體(模型檔與 CPU/GPU/RAM)、推理引擎(讀取權重、執行運算、逐個 Token 產生輸出)、模型管理(下載、tag、版本、載入設定)、API/服務(本地 HTTP server 與 OpenAI 相容端點)、應用程式(聊天介面、腳本或其他 App)。[14][17][18][25]
這個分層是概念工具,不是嚴格分類。同一個工具常跨好幾層:llama.cpp 有 CLI,也有 server;LM Studio 同時有圖形介面、模型管理、runtime 與本地 server;Ollama 則把模型庫、CLI 與 API 放在一起。[17][18][25]
分層真正的用處,是幫你定位問題。模型跑不起來時,先問:是權重格式不對、引擎不支援這個架構、管理工具抓不到檔案,還是 API 根本沒開?這比背住「哪個工具比較強」有用得多。
L5 應用程式 · L4 API/服務 · L3 模型管理 · L2 推理引擎 · L1 權重與硬體
五個工具預設全顯示。點一個工具,只放大那一列;位置是職責,不是排名。
工具沒有「只能屬於一層」;分層是用來判斷問題出在哪,不是用來排名。
08-2
你下載的 GGUF 只是一個檔案。要它真的生成文字,還需要一個會讀懂格式、把權重分配到 CPU 與 GPU、執行運算的程式。
這就是推理引擎。llama.cpp 是 MIT 授權的 C/C++ 引擎,常搭配 GGUF,支援 CPU、NVIDIA CUDA、AMD HIP/ROCm、Apple Metal 等後端。[14]
它常見的兩種用法是 CLI 與 server:前者適合一次性提問或互動對話,後者提供 HTTP 與 OpenAI 相容 API。-ngl(--n-gpu-layers)控制多少層放到 GPU;在 8 GB VRAM 的機器上,這個參數就是「哪些放 GPU、哪些留 CPU」的開關。[16][17]
offload 不是免費加速:放到 CPU 的部分通常較慢,先求跑得起來,再調整層數。你不需要編譯;官方提供預編譯版與安裝方式,但指令寫法會隨版本變:v1.0 官方 Quick start 使用 llama cli/llama serve,舊版可能是 llama-cli/llama-server。照打之前,先確認自己裝的是哪一版。[34]
分界往左=多留 CPU;往右=多放 GPU。搬的是層,不是把模型變小。
GPU 16 層、CPU 16 層(示意)。
總層數 32 與壓力分級都是教學示意,不是 RTX 5060 的實測,也不代表真實模型層數。
v1.0 官方 Quick start 使用 llama cli/llama serve;舊版可能是 llama-cli/llama-server。先確認版本,再照打。[34]
llama cli -m .\gemma-4-E2B-Q4_K_M.gguf -p "用三句話解釋什麼是 LLM。" -n 128 -ngl 99
llama serve
-m:指定 GGUF 路徑;檔名只是示例,不是固定名稱。-p:這次送出的提示。-n:最多生成幾個 Token。-ngl:放到 GPU 的層數;99 是「盡量放」的示例,8 GB 不一定適合全放。執行後你會看到什麼(格式示意)
llama clillama serve-ngl 99
它只是「盡量放 GPU」的示例。8 GB 機器全放不一定放得下,也不一定比較快;先求能載入、能回答,再調整層數。
08-3
如果 llama.cpp 是引擎,Ollama 更像幫你顧好模型倉庫與啟動流程的管理員。
一行 ollama run gemma4:e2b,它就處理下載、載入與互動;ollama list 看已下載的模型,ollama ps 看正在跑的模型。[18]
模型名稱加 tag 是主要識別方式,例如 gemma4:e2b、gemma4:e4b。tag 與預設量化會隨模型庫更新;依 2026-11-18 的模型庫,gemma4:e2b 標示約 4.6–7.5 GB、128K context,但這個範圍不是永久規格。[19]
Ollama 也提供本地 API(預設 11434)與 OpenAI 相容介面,其他程式可以呼叫;Modelfile 能自訂提示與參數,本節不深入。[20][21] 要記得它和 LM Studio 各自管理模型,不應假設同一份檔案會自動共用。
這種便利換來的是較少的底層控制;要看實際量化與檔案,仍得回到模型庫或 Modelfile。對第一次接觸的人來說,這個取捨通常值得。下面選一個 tag,看看模型庫頁面通常會標什麼;本教材只查證了 e2b,其餘請以當日頁面為準。
固定示例:gemma4:e2b
0–10 GB 同一條尺;切換下方 tag 不會改變這張圖
以區間上限 7.5 GB 起算,加上 KV/系統保留就會越過 8 GB;4.6 GB 下限則要看實際量化與 context。檔案大小不是 VRAM 需求。
切換查表:其餘 tag 標「未查證」,不會改變上圖
gemma4:e2b:約 4.6–7.5 GB(2026-11-18 模型庫);8 GB 有機會但不保證,載入還要扣 KV/系統保留。
| tag | 檔案大小 | Context | 8 GB 可行性 |
|---|---|---|---|
gemma4:e2b 已查證 |
約 4.6–7.5 GB | 128K(模型庫標示) | 有機會,但不保證;仍要扣 KV/系統保留 |
gemma4:e4b 未查證 |
未查證 | 未查證 | 未查證,不能保證 |
gemma4:12b 未查證 |
未查證 | 未查證 | 未查證,不能保證 |
gemma4:26b 未查證 |
未查證 | 未查證 | 未查證,不能保證 |
gemma4:31b 未查證 |
未查證 | 未查證 | 未查證,不能保證 |
檔案大小只是下載量,載入時還要算 KV Cache、Context 與其他程式占用;先確認量化與實際檔案,再決定要不要下載。
08-4
兩個都能下載、聊天、開本地 API;真正要選的是工作流程,而不是介面顏色。
LM Studio 與 Ollama 都能下載模型、載入、聊天,也都能提供本地 API。所以「一個只有圖形介面、一個只有命令列」是錯的:LM Studio 以圖形介面為主,但也有 lms 命令列;Ollama 以 CLI 與 API 為主。[18][25]
LM Studio 的強項是第一次使用:搜尋、下載、載入、聊天、本地 server 集中在一個 App,設定與狀態在同一個畫面。Ollama 的強項是指令與自動化:run、pull、ps 很容易接進腳本與其他程式。[18][23][25]
把同一件事放在兩邊看:LM Studio 是在圖形介面裡搜尋、下載、載入、開聊天;Ollama 則是把這些動作收成 ollama pull 與 ollama run。步驟數量不同,但「取得模型→載入→給出提示→看到回覆」的順序是一樣的。[18][23]
實際選擇看你的工作流程,而不是「哪個比較好」。兩者可以並存,但模型庫分開,備份與清理要各自做。授權也不同:LM Studio 桌面 App 是專有免費軟體,Ollama 是 MIT;這不直接決定適不適合你,但會影響散布與商用評估。[18][25]
同一件事:取得模型 → 載入 → 給提示 → 看回覆
設定與狀態集中在同一個 App;代價是桌面 App、模型庫要自己備份。
pullrun下載、載入與回覆收成一行指令;代價是 tag 與量化要自己記,底層控制較少。
兩邊不共用:模型庫、下載檔案與備份各自管理;授權也不同(LM Studio 桌面 App 專有免費、Ollama MIT)。[18][25]
查表:四個面向
| 面向 | LM Studio | Ollama |
|---|---|---|
| 入門門檻 | 圖形介面,安裝後照畫面操作 | 需要基本指令概念,但常用指令不多 |
| 取得與管理 | App 內搜尋、下載與載入設定,可挑量化 | 用 pull/run 取得 tag,list/ps/rm 管理 |
| 本地 API | 本地 server,OpenAI 相容 | 本地 API(預設 11434),含 OpenAI 相容 |
| 授權與模型庫 | 桌面 App 專有免費;模型庫與 Ollama 不共用 | MIT;模型庫與 LM Studio 不共用 |
兩條路徑預設全顯示;選一個需求只標示相關列,表格仍可查值。
如果你要把模型交給同事使用,圖形介面通常更容易說明;如果你要把流程放進腳本,命令列更合適。
08-5
一個人聊天時,GPU 常常在等你打字;十個人同時送出請求時,問題變成「怎麼排隊才不會浪費 GPU」。
vLLM 就是為這個情境設計的伺服器端框架,重點在高吞吐而不是桌面體驗。[26]
它用 PagedAttention 管理 KV Cache,把每個請求的上下文切成頁,減少記憶體碎片;continuous batching 則讓不同請求的生成步驟一起排入批次。對服務端來說,這能讓同一張 GPU 接更多請求。[26][27]
vLLM 提供 OpenAI 相容 API,但這不代表它是聊天工具,也不代表 8 GB 顯卡能完整部署大型模型。多人情境要分開看延遲與吞吐:批次變大通常提高整體吞吐,個別請求的等待卻不一定變短。[26]
所以「同時有幾個人用」比「哪個框架最快」更值得先問。下面拉動請求數,看佇列與批次怎麼變;這只是流程示意,不是效能實測。
批次一起往前走
下一輪才進批次
結果沿原路回到 Client;這一輪與下一輪各自回傳。
5 個請求:這一輪批次 3、下一輪佇列 2(示意)。
批次上限 3 與槽位數都是示意;圖上不顯示吞吐量、GPU 使用率或等待秒數。
它只說明「請求變多時會排隊」與「批次有上限」,不能拿來估 Tokens/s 或等待秒數。
08-6
兩個框架都宣稱能服務多人,差別往往不在「誰比較快」,而在「你的工作負載長什麼樣子」。
SGLang 也是高效能的推理與服務框架,和 vLLM 的功能有明顯重疊:都支援多人服務、OpenAI 相容 API 與 GPU 加速。差別在設計重點,而不是「誰取代誰」。[28]
SGLang 強調結構化生成與 RadixAttention(前綴快取):當許多請求共用很長的系統提示或固定輸出格式時,重複的前綴有機會被重用。這類工作負載和一般自由聊天不太一樣。[28][29]
「已經有 vLLM,為什麼還要 SGLang?」沒有單一答案。要看模型支援、硬體、版本與實際工作負載;同一個模型在不同框架、不同版本下的表現可能不同,不能只用星星數或單一排行榜決定。[26][28]
先確認你的請求是否真的共用長前綴,再判斷是否需要另一套框架。本教材不要求你在 RTX 5060 上部署,講師展示為準。
同一組工作負載 · 示意
8 個請求共用同一段很長的系統提示,只有最後的問題不同。左右兩邊的請求數、前綴長度與列高相同。
8 份前綴 KV(示意)
1 份共用前綴 + 8 個問題(示意)
選框架的順序是:先確認工作負載,再查支援清單,最後才比較版本與部署成本。
08-7
你現在手上有五個名字,還有一個不該放進同一張表的名字。
把五個工具放在一起,不是為了選出第一名,而是讓你在不同情境下知道怎麼選。順序是:需求→模型→格式→硬體→API 需求→工具。[14][18][22][25][26][28]
第一次使用選 LM Studio;想用指令管理與自動化選 Ollama;要直接控制 GGUF 與 offload 選 llama.cpp;多人服務看 vLLM 或 SGLang;特殊架構先查官方支援。
還有一類工具不該放進同一張表。Strata(Niko1221/Strata)是 MIT 授權的大型 MoE 專用引擎:以 Qwen3.8-Flash-Next 為例,模型有 24,576 個 experts,但每個 Token 約啟用 10 個;它把常用 expert 快取在 GPU、全部 expert 放在系統 RAM、大型 n-gram table 放在 SSD。[3][35]
這讓較小 VRAM 的機器有機會跑大 MoE,但代價是大容量 RAM 與 SSD、CPU 搬移,以及較長的 prefill。官方文件以 64 GB RAM 級、較大 VRAM 為前提,不建議當成 RTX 5060 8 GB 的入門方案;沒有實測,就不寫 Tokens/s,也不宣稱比 llama.cpp 快幾倍。[35]
單機 × 管理介面
伺服器 × 管理介面
少見:伺服器通常直接接引擎/API
單機 × 引擎/API
伺服器 × 引擎/API
位置是主要定位,不是完整能力:Ollama 也提供 API,llama.cpp 也有 server;圖上放的是它們最常被拿來做的事。
選一個工具,看它的擅長、先決條件與不適合。
五個工具已放在 2×2 定位圖上。位置是主要定位,不是效能排名。
先選一個工具,再帶入附件 D。
① 大型 MoE 專用(MIT,Niko1221/Strata);② GPU 快取常用 expert、RAM 放全部 expert、SSD 放 n-gram table;③ 需要大容量 RAM/SSD 與較長 prefill,不建議 8 GB 入門。[35]
先寫下你的需求與限制,再從五個工具裡挑;把情境、格式、硬體與 API 需求整理到附件 D 的推理框架選擇表,而不是記住一個名次。
08-8
你在聊天視窗輸入問題,是「人呼叫模型」;如果你寫的程式要呼叫模型,就需要一個固定的接頭。
本地 server 通常提供 HTTP 介面,很多還做成 OpenAI 相容,讓原本給雲端的程式有機會只改 base URL 就接通本機。[17][20][26] 對一般使用者來說,這代表其他 App 也能使用同一個本地模型,不必在每個 App 重新載入。
流程是 Client 送出請求→Server 排隊或載入模型→模型生成→回傳結果。API 不代表模型一定在本地:server 可以轉發到雲端;也不代表一定安全,取決於它綁定的位址與權限。[17][20]
這和 Agent 的關係是:Agent 需要呼叫模型與工具,而 API 是呼叫模型的介面。但 API 程式設計、tool calling、MCP、RAG 都屬於 PART 03;這裡只要建立「本地模型可以變成一個服務」的觀念,先不寫程式。[17][20][26]
你的程式或 App 送出請求
送出 prompt;停在這裡等結果。
結果沿同一條 API 回 Client。
虛線分支:Server 可轉發到雲端API 不代表模型一定在本地;本地也不代表一定安全。此分支為教材示意,實際取決於 server 設定。
圖上只放流程,不放真實位址、連接埠、API key 或個資;實際欄位與端點依工具與版本而異。
不要把本地 server 開到公網;示範時只綁定本機位址,也不要把 API key 寫進畫面或截圖。Agent、工具呼叫與 RAG 留到 PART 03。
單元小測
Capstone
這一頁不是新教材,是一條把四個單元串起來的任務:找一個模型,確認來源與授權,選好格式與量化,載入後用四類問題測一輪,把結果寫下來;卡住時再回頭排查。
你要在自己的電腦上完成一次可重複的本地推理,而不是只看別人示範。做完之後,你手上會留下三張可對照的卡:附件 A 的模型資訊、附件 B 的下載選擇、附件 C 的測試紀錄。這一頁不提供標準答案,也不保證你的硬體一定跑得動;它只把判斷順序固定下來。
STEP 1
先從 Hugging Face 找到官方頁面,記下 Model ID 與發布者。社群轉換版本可以看,但要在卡上標清楚它是社群版,而不是官方版。
STEP 2
看 LICENSE 與 Model Card 的使用限制,再確認倉庫裡有哪些格式。不要只因為「可以下載」就當成可以商用,也不要把社群轉換版當成官方發布。
STEP 3
先選 GGUF 或 safetensors,再挑量化版本;把檔案大小和執行時記憶體分開看,Context 與 Runtime 的開銷另外留。選完把理由寫進附件 B。
STEP 4
用你選定的工具載入,依序問基本問答、工作整理、簡單推理、翻譯各一題。觀察有沒有離題、漏條件、捏造數字或人名,而不是只看回答順不順。
STEP 5
把硬體、模型版本、量化、Context、結果與異常寫進附件 C。如果載入失敗、很慢或回答格式怪,照 07-8 的順序查;需要換工具時,再用附件 D 對照需求。
不是打分數,而是確認你真的完成過一輪,而且下一次還做得出來。
Tokens/s、VRAM 峰值與載入時間都留給你自己實測。這一頁沒有實機截圖,也不代表每個人的 8 GB 或 128 GB 機器結果相同;換模型、換量化、換工具版本,結果就可能不一樣。
附錄 A
看到一個模型頁面,先別急著按「下載」。把名稱、來源、規格、授權與檔案資訊抄進同一張卡,你才有辦法判斷它值不值得佔用硬碟與記憶體。
這張卡對應 UNIT 05 的閱讀順序:先確認來源,再看規格與能力,最後看檔案與授權。填不完是正常的;把還不知道的欄位勾成「待查」,比填一個看起來合理的猜測更安全。
卡片不會寫入瀏覽器儲存空間、不會上傳,也不需要帳號。重新整理頁面就會清空;需要保留時請自己列印或截圖。
五組欄位:來源、規格、能力與授權、檔案、筆記與日期。
空白:先填模型名稱、Model ID 與官方頁面。
範例資料來源:Qwen3.8-27B Model Card [1]。範例只示範「怎麼查」,不是推薦下載;檔案大小保留待查,因為各版本與格式而異。
附錄 B
同一個模型,換格式、換量化、換裝置,結果就不一樣。下載前先把「要抓哪個檔案、為什麼」寫下來,才不會下載完才發現放不進去。
這張卡把 UNIT 06 的判斷流程收成 13 個欄位:模型與來源、格式與量化、裝置與 Context、工具與判斷。最後兩欄留給你在 UNIT 07 實測後回來補。
在 UNIT 06 的下載選擇器按「帶入附件 B」時,會用自訂事件填入欄位 3、4、5、7、10(有值時也帶 1、2、6)。帶入後仍可手動修改;兩張卡不會互相儲存,也不會寫入瀏覽器。
判斷結果是教學門檻的粗略對照,不是實測,也不保證一定跑得動。
空白:先填模型、格式、量化、裝置與 Context。
附錄 C
「跑成功了」只是感覺;同一張表填兩次,換量化或換 Context 再填一次,你才看得出差別在哪裡。
下面是三列空白紀錄加一列範例。每一列是一筆完整的測試:同一台機器、同一個模型、同一組載入設定,只改變一個變數,這樣比較才有意義。
測試時不要輸入真實姓名、地址、公司內部資料或帳密。這張表只存在頁面上,不會上傳,但你的截圖或分享仍可能外流。
桌面兩欄、手機單欄;Tokens/s 一律留空,由你自行實測。
3 列空白+1 列範例;已完成 0/3 列(範例不計)。
VRAM 只記「低/中/高/接近上限」,避免把主觀觀察寫成精確數字。若欄位太多填不完,至少先完成模型、量化、Context、offload、四類測試結果五項。
列印提示:按「列印這張表」會開啟瀏覽器列印;按鈕、狀態與提示不會印出。這張表不會自動存成 PDF,也不會上傳。
附錄 D
工具不是排名,是對應。六個常見情境已經列好,你只要補上硬體、API 需求與還不確定的地方,就會看出哪個工具比較貼近你的狀況。
每一列是一條情境,不是一個正確答案。先填硬體與 API 需求;如果組合看起來怪怪的,卡片會提醒你先確認,而不是直接說「不可行」。
「難度」指的是設定與排錯成本,不是效能。工具支援與版本會變;送出前請回官方文件確認。第 6 列只連到 Strata 的延伸說明,不把 Strata 放進主要建議。
情境已預選;模型、格式、工具等欄位請自行填寫或保留空白。
空白:6 列情境已列好,請從硬體與 API 需求開始填。
必填只有「硬體」與「API 需求」;其他欄位可以留白。若你從 UNIT 08 的框架比較按「帶入選擇表」,資料只會進第一列空白,不會覆蓋你已經填的內容。
列印提示:按「列印這張表」會開啟瀏覽器列印,只輸出表格與你填的內容;按鈕與提醒不會印出。
附錄
讀到一半卡住時回來查。每個詞只給一句話定義;完整說明在對應單元。
同一個詞在不同工具或版本可能有不同實作;遇到數字與支援清單,仍以官方文件為準。
附錄
正文的 [1]~[40] 都在這裡。連結指向站外頁面,會另開視窗;所有頁面於 2026-11-18 查閱。
來源優先序是官方 Model Card/官方文件、官方技術報告或論文、官方部落格,最後才是高品質整理。二手來源只當線索,不當唯一依據。
Qwen · 2026 · 查閱 2026-11-18
https://huggingface.co/Qwen/Qwen3.8-Flash-Next
Gemma Team · 2026 · arXiv:2607.02770 · 查閱 2026-11-18
https://arxiv.org/abs/2607.02770
Hugging Face · n.d. · 查閱 2026-11-18
https://huggingface.co/docs/hub/models
Hugging Face · n.d. · 查閱 2026-11-18
https://huggingface.co/docs/hub/model-cards
ggml-org · n.d. · 查閱 2026-11-18
https://github.com/ggml-org/ggml/blob/master/docs/gguf.md
ggml-org · 2026 · 查閱 2026-11-18
https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md
ggml-org · 2026 · 查閱 2026-11-18
https://github.com/ggml-org/llama.cpp/blob/master/tools/cli/README.md
ggml-org · 2026 · 查閱 2026-11-18
https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md
LM Studio · 2026 · 查閱 2026-11-18
https://lmstudio.ai/docs/app/system-requirements
LM Studio · 2026 · 查閱 2026-11-18
https://lmstudio.ai/docs/app/basics/lmstudio-vs-llmster-vs-lms
Kwon 等 · 2023 · arXiv:2309.06180 · 查閱 2026-11-18
https://arxiv.org/abs/2309.06180
Zheng 等 · 2023 · arXiv:2312.07104 · 查閱 2026-11-18
https://arxiv.org/abs/2312.07104
NVIDIA · 2026 · 查閱 2026-11-18
https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5060-family
AMD · 2026 · 查閱 2026-11-18
https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html
Cloudflare · 2026 · 查閱 2026-11-18
https://developers.cloudflare.com/pages/platform/limits
ggml-org · 2026 · 查閱 2026-11-18
https://github.com/ggml-org/llama.cpp/releases/tag/v1.0.0
Open Source Initiative · 2024 · 查閱 2026-11-18
https://opensource.org/ai/open-source-ai-definition
[8] 的 OpenAI 發布頁可能阻擋自動化請求(curl 403),但用瀏覽器可以開啟;數值仍以 [6][7] 的 Model Card 為主。部分站台會依地區、UA 或登入狀態改變回應。