NVIDIA NIM — 全 Model Benchmark

📅 掃描日期 2026-07-04 · endpoint https://integrate.api.nvidia.com/v1 · 公平設定:固定 prompt、冷啟動後熱機 2 次取中位數、max_tokens=256 (產生時間 2026-07-04T16:10:35.857Z)

NVIDIA NIM(NVIDIA Inference Microservices)是 NVIDIA 在 integrate.api.nvidia.com 提供的雲端推論服務,以 OpenAI 相容介面提供各家開源/商用大模型。後端跑在 NVCF(NVIDIA Cloud Functions) serverless 架構上 —— 這也是為何第一次呼叫某個 model 會有「冷啟動」延遲。

本頁是用一支動態工具在上述日期掃描此 API key 可見的所有 model,自動分類並實測效能的結果。原始碼與方法見 GitHub repo。⚠️ 數據會隨 NVIDIA 上下架、你的帳號開通範圍、以及當下負載而變動,僅代表掃描當下的快照。

📖 名詞說明(點開)
Type該 model 實測分類:chat 文字生成、embedding 向量、rerank 重排序、unsupported/reward/ocr 等非對話型。由「哪個 API endpoint 呼叫成功」決定。
Context上下文視窗(總 token 上限)。NVIDIA API 不回傳,故此欄由 pi 內建 DB(宣告值)+ 逐一網路查詢各 model card 補齊;標 ᵂ=網路來源,滑鼠移上去看出處與信心度。NVIDIA 不區分 input/output context。
Max out單次最多輸出 token 數(宣告值)。同樣多數 model 無法取得。
Reasoning是否為推理模型:虛線底=實測(串流是否出現 reasoning_content 或 <think>);否則為宣告值。
Cache是否支援 prompt 快取:同一長 prompt 連打兩次,第二次 cached_tokens>0 才算 yes。空白=該 model 未回報此欄位,無法判定。
Cold start該 model 第一次呼叫(含 NVCF 冷啟動)的總耗時。反映「久沒用、要重新載入」時的等待,不代表穩定速度。
TTFTTime To First Token:送出請求 → 收到第一個輸出 token 的延遲(熱機中位數)。標 (cold)=只有冷啟動那次有值。
Token rate穩態生成速度(tok/s)=(生成 token−1)÷(最後 token−第一個 token),排除 TTFT。整包一次吐回無法量測時留空。
非生成型chat endpoint 回應成功但完全不吐 token的 model(分類器 / NER / reward,如 gliner-pii)。只會有 cold start,沒有 TTFT/token rate,因為根本沒有生成 token 可測。
狀態ok 成功 · 未開通 此 key 無權存取(404) · EOL 410 已下架 · timeout 逾時 · error 其他錯誤。
Model 總數
121
成功量測
61
Chat 可用
56
type 種類
7
最低 TTFT
93ms
meta/llama-3.1-8b-instruct
最高 token rate
250 tok/s
nvidia/nemotron-3-nano-30b-a3b
chat 56unsupported 48embedding 11ocr/parse 3reward 1image/clip 1speech 1
Model Owner Type ⓘ Context ⓘ Max out ⓘ Reasoning ⓘ Cache ⓘ Cold start ⓘ TTFT ⓘ Token rate ⓘ Out tok Status ⓘ
量測方法(公平性)
• 所有 chat model 用同一個 prompt、統一溫度、相同 max_tokens;第一次呼叫算冷啟動(不計入),之後熱機取中位數。
• TTFT:送出請求 → 收到第一個輸出 token(不分 reasoning/content)的毫秒數,對各類 model 一致。
• Token rate:(生成 token − 1) ÷ (最後 token − 第一個 token),排除 TTFT;整包一次吐回(genMs≈0)則標 null。
• Cold start:第一次呼叫(含 NVCF 冷啟動)的總 wall time,單獨記錄、不計入 TTFT/rate。
• 非生成型:chat 端點成功但 0 token(如 gliner-pii)→ 只有 cold start,TTFT/rate 本質上無法量測。
• Context / Max out:NVIDIA /v1/models 不回傳,連送超大 max_tokens 探測都被靜默截斷;此欄由 pi 內建 DB(宣告值)+ 逐一網路查詢各 model card 補齊(標 ᵂ),仍空白者為本質無 token context 的影像/OCR 模型。NVIDIA 未區分 input/output context。