RLR-0070 ・ 公開 2026/11/01 ・ 更新 2026/11/02
Nanbeige4.3-33Bをローカルで動かすには?Ollama・LM Studio向けGGUFと24GB GPUの注意点
2026年10月公開のNanbeige4.3-33Bを、Ollama・LM Studioで試す前に知りたいGGUF量子化の選び方を解説。Q4_K_M約20.8GBとQ3_K_M約15.9GBの違い、RTX 4090 24GBのVRAM制限、512Kコンテキストの誤解、公式ベンチマークの読み方を整理します。

「33Bの新しいローカルAI、RTX 4090で動く?」 と気になった人へ。2026年10月24日に公開された Nanbeige4.3-33B は、プログラム修正やツールを使った作業を重視した約330億パラメータのテキストAIです。
結論は、24GBのGPUでも量子化したGGUFを試す選択肢はありますが、24GBに収まることと快適に動くことは別、というもの。モデルのファイルサイズだけでなく、会話履歴を保持するメモリや実行環境も考える必要があります。
この記事では、開発元の公式モデルカードと第三者のGGUF配布ページをもとに、どのファイルを選び、どう試し、何を期待しすぎない方がよいかを整理します。実機での速度・VRAM使用量は未測定です。
Nanbeige4.3-33Bは何が新しい?
Nanbeige4.3-33Bは、文章を読み書きする約33.1Bのdense型LLMです。denseは、入力ごとに一部だけを使うMoE型とは異なる構成を指します。開発元はコード修正、ターミナル操作を伴うタスク、ツール呼び出しなどを重視しています。
- 公開日:2026年10月24日(UTC)。11月2日発表の新モデルではありません。
- 公式配布:Hugging Faceの
Nanbeige/Nanbeige4.3-33B。ライセンス表記はApache-2.0。 - 元の重み:BF16版は約66GB。24GBのGPUへそのまま全量を載せるサイズではありません。
- 言語:公式カードで英語・中国語を掲示。日本語での指示追従やコード解説の自然さは未確認。
- 長文対応:設計上の最大コンテキストは524,288トークン(約512K)。実際に利用できる長さはメモリとランタイムに左右されます。
「コンテキスト」とは、AIが一度に参照する質問・会話・資料などの情報量です。512K対応という表示は、RTX 4090で512Kを快適に処理できるという意味ではありません。
24GB GPUではどのGGUFを選ぶ?
公式のBF16モデルとは別に、第三者のbartowskiによるGGUF配布があります。GGUFはローカル実行向けのモデルファイル形式で、量子化によってファイルを小さくできます。量子化はサイズとメモリ負担を減らす代わりに、出力品質が変わる場合があります。
| GGUFの種類 | 配布ファイルのサイズ目安 | 選ぶときの考え方 |
|---|---|---|
| Q4_K_M | 20.79GB | 4bit級の比較候補。ただし24GB GPUでは追加メモリの余裕が小さい |
| IQ4_XS | 18.64GB | Q4_K_Mよりファイルが小さく、メモリ余裕を増やしたい場合の候補 |
| Q3_K_M | 15.92GB | メモリ優先の候補。品質への影響を同じ課題で確かめたい |
| BF16(元重み) | 約66GB | 24GB GPU単体に全量は載せられない |
これはbartowski配布版の掲載サイズです。別の配布者によるGGUFは同じ量子化名でもサイズが異なることがあります。ダウンロード前に配布者と実ファイル名を確認してください。
さらに、GGUFファイルの容量=実際に必要なVRAMではありません。実行プログラム、KVキャッシュ(会話の計算途中の情報)、コンテキスト長、GPUへの割り当て方法などでメモリ消費が増えます。GPUに全量が載らなければRAM・CPUへ一部を逃がす方式もありますが、速度が低下する可能性があります。
最初から長大なコンテキストを指定せず、短い質問・短いコンテキストで起動を確かめるのが安全です。ストレージにもモデルファイルと関連データの空きが必要です。
Ollamaで試す入口
Ollamaを導入済みなら、Hugging Faceの公式説明にあるhf.co形式で第三者GGUFを指定できます。例えばQ4_K_Mなら次のコマンドです。
ollama run hf.co/bartowski/Nanbeige_Nanbeige4.3-33B-GGUF:Q4_K_M
容量に余裕を持たせて比較したい場合は、末尾の:Q4_K_Mを:Q3_K_Mに変えます。初回は大容量ファイルのダウンロードが発生します。ネット回線と空き容量を確認してから実行してください。
これは配布元ページのOllama用実行例に基づく案内であり、Rossy Laboratoryでの起動成功報告ではありません。Ollamaやランタイムのバージョン、GPU/RAM構成によって読み込み可否は変わります。
LM Studioで試す入口
GUIで試したい人はLM Studioも選択肢です。公式の基本操作ガイドでは、モデルを探してダウンロードし、Chat画面でロードして会話する流れを説明しています。
- LM Studioのモデル検索で
Nanbeige4.3-33Bを探し、公式元重みと第三者GGUFを取り違えないよう配布者を確認します。 - GGUFの量子化・ファイルサイズを選び、保存容量を確認して取得します。検索に出ない場合は、Hugging Faceから対応GGUFをダウンロードする方法もあります。
- 外部から取得したGGUFは、公式の
lms importで取り込めます。例:lms import "C:\models\Nanbeige4.3-33B-Q3_K_M.gguf" --copy。実際のファイルパスに置き換えてください。 - モデルをロードするときは、短いコンテキストから開始し、メモリ不足やCPUへのオフロード、応答速度を確認します。
lms importは通常、元ファイルを移動します。--copyを付けると元ファイルを残せることがLM Studio公式CLI資料に記載されています。ファイルを二重保存する場合は、その分の空き容量も必要です。
「コーディング性能が高い」はどこまで信じてよい?
開発元は複数のベンチマークを公開しています。たとえば公式カードでは、Terminal-Bench 2.1でNanbeige 80.9、比較対象のQwen3.8-27B 73.0、DeepSWEで65.5対42.5と報告しています。一方、SWE-Bench Proでは60.3対61.7と、比較対象を下回る項目もあります。
これは開発元が指定した評価条件での自己報告値です。第三者GGUFに量子化した場合、日本語でUnity C#の修正を依頼した場合、Windowsの24GB GPUで動かした場合に、同じ結果になることを示す数字ではありません。
試すなら、今使っているQwenなどと同じ小さなコード修正課題を比べてみましょう。例えば「PythonのCSV集計関数の例外処理を直す」「Unity C#のnullチェックを改善する」といった、正誤を確認できる課題がおすすめです。
| 比較する項目 | 記録すること |
|---|---|
| 起動 | モデル名、量子化、読み込み可否、初回ロード時間 |
| メモリ | GPU VRAM、PC RAM、設定したコンテキスト長 |
| 速度 | 同じ質問の応答時間、可能ならtokens/秒 |
| 品質 | コードが実行・ビルドできたか、指示の取りこぼし |
| 日本語 | 説明の自然さ、英語への切り替わり、固有名詞の扱い |
この比較は読者向けの実験手順であり、当サイトで測定済みの結果ではありません。 長いコンテキストをいきなり有効にせず、まず短文で動作確認してから段階的に増やしてください。
まとめ:24GBなら「量子化」と「余裕」をセットで考える
Nanbeige4.3-33Bは、コーディング用途で比較してみたいローカルAIの新しい選択肢です。24GB GPUならQ4_K_M約20.8GBを無条件に推すのではなく、IQ4_XS約18.6GBやQ3_K_M約15.9GBも含めて、追加VRAMと実際の速度を確認するのが現実的です。
まずは公式モデルと第三者GGUFを区別し、短いコード修正課題を1つ決めて試してみましょう。512Kという大きな数字やベンチマーク順位だけで選ばないことが、最初の失敗を減らす近道です。
参照した一次情報(2026年11月2日確認)
SOURCES