GGUFのQ4_K_M・Q5_K_M・Q8_0は何が違う？ローカルLLMの量子化を初心者向けに比較

同じAIモデルなのに「Q4」「Q5」「Q8」が並ぶ理由

ローカルLLMをダウンロードしようとすると、同じモデル名なのに Q4_K_M、Q5_K_M、Q8_0 といったファイルが並びます。

😺「数字が大きいほうを選べば正解？」

🐈‍⬛「必ずしもそうじゃないよ。パソコンのメモリと、求める品質のバランスで選ぶのがコツ！」

結論から言うと、初めてならQ4_K_Mを出発点にして、余裕があればQ5_K_M、容量を多く使っても品質を優先したいならQ8_0も比較するのが分かりやすい選び方です。ただし、どの方式が最適かはモデルと実行環境によって変わります。

この記事は2026年10月13日時点の公式資料を整理したものです。特定GPUでの独自速度測定や、全モデルの品質検証を行った記事ではありません。

まず「GGUF」と「量子化」は別のもの

GGUFは、AIモデルの重み（計算に使う数値）や設定情報を保存するためのファイル形式です。ローカルLLMの実行環境で広く使われています。

一方、量子化は、その重みをより少ないビット数で表して、モデルの容量を小さくする方法です。元の高精度な数値を圧縮して扱いやすくする代わりに、回答品質に影響が出る場合があります。

つまり、.ggufはファイル形式、Q4_K_Mなどはその中身の数値をどう圧縮したかを表す名前です。

Q4_K_M・Q5_K_M・Q8_0を比較

方式	ざっくりした特徴	向いている選び方
Q4_K_M	容量を抑えやすい4ビット系の混合量子化	まず動かしたい、メモリに余裕が少ない
Q5_K_M	Q4系より容量を使い、精度の保持を狙う5ビット系	Q4で動くが、品質も比較したい
Q8_0	8ビット系でファイル容量が大きい	容量に余裕があり、高精度寄りの候補を試したい

_K_Mは単純に「全ての重みが4ビット／5ビット」という意味ではありません。複数の量子化方式を組み合わせることがあり、実際の平均ビット数は表記の数字より大きくなります。

また、Q8_0なら必ず回答が良くなる、Q4_K_Mなら必ず速いとは断定できません。量子化による誤差や処理速度は、モデルの構造、実行環境、タスクによって変わります。

ファイル容量はどれくらい変わる？

llama.cpp公式資料には、Llama 3.1 8Bを量子化した例が掲載されています。同じモデルを比べた数値なので、違いをつかむのに便利です。

Llama 3.1 8Bの方式	公式資料のファイル容量
Q4_K_M	約4.58 GiB
Q5_K_M	約5.33 GiB
Q8_0	約7.95 GiB

この例では、Q8_0はQ4_K_Mの約1.7倍の容量です。なお、GiBはコンピューターで使われる容量の単位で、1 GiBは約10.7億バイトです。

注意：これはLlama 3.1 8Bという特定モデルの例です。別モデルの容量が同じになるわけではありません。また、ファイルサイズがそのまま必要VRAMを表すわけでもありません。

「ファイルがVRAMに収まる」だけでは足りない

ローカルLLMの実行時には、モデル本体に加えて、会話の文脈を保持するためのKVキャッシュや実行処理用のメモリも必要です。

そのため、例えば「8GBのGPUだから約7.95GiBのQ8_0ファイルが使える」とは判断できません。GPU以外のシステムRAMへ一部を逃がす構成では動作する場合もありますが、速度に影響することがあります。

LM Studio公式は、モデル読込時のメモリ見積もりでコンテキスト長、GPUオフロード率、Flash Attention、画像入力モデルかどうかなどを考慮すると説明しています。

まずはアプリ側のメモリ見積もりを確認し、余裕を残して読み込むのが安全です。長文を扱うためにコンテキスト長を増やした場合も、必要メモリを再確認しましょう。

初心者向け：3ステップで選ぶ

1. 使いたいモデルを先に決める。 量子化が同じでも、モデル自体が違えば回答の得意分野も変わります。日本語対応、利用規約、用途を確認しましょう。

2. 最初はQ4_K_Mを候補にする。 容量を抑えた状態で、会話や文章作成が実用になるか試します。LM Studioならモデルのダウンロード画面で量子化違いを選べる場合があります。

3. 余裕があれば同じモデルのQ5_K_MやQ8_0と比較する。 同じ質問を投げ、回答の正確さ・読みやすさ・応答時間・メモリ使用量を見比べます。大きいファイルを選ぶ前に、実際の用途で違いがあるかを確認するのがポイントです。

LM StudioのCLIでは、公式ドキュメントに次のような量子化指定例があります。

lms get llama-3.1-8b@q4_k_m

これはモデルをダウンロードするコマンドであり、ローカル推論の速度測定コマンドではありません。アプリ版だけを使う人はCLIを無理に使う必要はありません。

よくある疑問

Q. Q4を使うと回答が壊れる？

必ず壊れるわけではありません。量子化は品質低下の可能性を伴いますが、影響の程度はモデルや質問内容によって異なります。重要な判断に使うなら、量子化方式に関係なく回答を検証してください。

Q. 「Q4」と書いてあれば全部同じ？

違います。Q4_0、Q4_K_M、IQ4_XSなどは別の方式です。単に数字だけを比べず、ファイル名全体を確認しましょう。

Q. Q8_0を選べばGPUの性能を最大限使える？

そうとは限りません。容量が大きくなることでVRAMに収まらなくなると、かえって扱いにくくなることもあります。速さと品質を両方確認しましょう。

まとめ：迷ったら「同じモデルのQ4から」

ローカルLLMを初めて選ぶなら、まずQ4_K_Mで動作を確かめ、必要に応じてQ5_K_MやQ8_0を比較するのが実践的です。

選ぶときに大切なのは、量子化の数字を競うことではありません。使いたいAIが、自分のPCで、必要な長さの会話を、無理なく続けられるかです。

関連する話題として、コンテキスト長とVRAMの関係はRossy Laboratoryの「RLR-0016：Ollamaのコンテキスト長とVRAM」でも解説しています。