GGUF

Ollamaでモデルを1つ動かせるようになると、次に欲しくなるのは「ほかのモデルも気軽に試したい」という手軽さだと思う。ターミナルで ollama run と打てば会話は始まるが、どのモデルがあるのか、どの量子化を選べば自分のPCに収まるのかは、ライブラリのページとコマンドを行き来しながら確かめることになる。新しいモデルの名前を見かけるたびにその手順を踏むのは、少し腰が重い。 LM Studioは、その「探して、選んで、試す」までを1つの画面で済ませるためのデスクトップアプリだ。検索欄にモデル名を入れると候補が並び、量子化ごとのファイルサイズと、手元のメモリに収まりそうかどうかの目安が横に表示される。ダウンロードが終わればそのままチャットを始められ、気に入ったモデルは、ボタン1つでOpenAI互換のAPIサーバーとして外のアプリから呼べるようになる。この記事では、Ollamaとの違いを入口・モデル選び・チャット・APIサーバーの順に見ていき、2つをどう使い分けるかまでを整理する。 同じGGUFのモデルを動かす2つの道具、違うのは入口 ターミナルで `ollama run llama3` を実行したところ。Ollamaはこの1行から始まる道具だPhoto: MGeog2022 / CC BY 4.0 LM StudioもOllamaも、手元のPCで言語モデルを動かすための道具で、中で扱っているモデルの形式は同じGGUFが中心になる。どちらもllama.cppの流れをくむ推論の仕組みを使っていて、4bit前後に量子化したモデルを、GPUのVRAMと本体のメモリに分けて載せながら動かす。動かせるモデルの大きさがPCのメモリで決まるという点も変わらない。 違いが大きいのは、利用者が最初に触れる部分だ。Ollamaはコマンドから使うことを前提に作られていて、インストールすると裏で常駐し、11434番ポートでAPIを待ち受ける。2025年の夏にはmacOSとWindows向けに公式のチャット画面も加わったが、モデルの取得や設定の中心は、いまもコマンドと環境変数にある。サーバーのように常に動かしておき、ほかのアプリから呼び出す使い方に向いた作りだと感じる。 LM Studioは反対に、画面から入るアプリだ。起動するとチャット画面とモデルの検索画面があり、量子化の選択、GPUにどこまで載せるか、コンテキスト長をいくつにするかといった設定を、スライダーや入力欄で決められる。APIサーバーは必要なときに自分で立ち上げる機能という位置づけで、既定のポートは1234番になる。 料金はどちらも無料で使える。Ollamaはソースコードが公開されたオープンソースのソフトで、ライセンスはMITだ。LM Studioはアプリ本体のソースは公開されていないが、2025年7月から個人でも仕事でも無料で使えるようになり、会社で使うために別途申請する必要はなくなった。コマンドラインツールの lms や、PythonとJavaScript向けのSDKはオープンソースで公開されている。 対応する環境には少し差がある。LM StudioはmacOSではApple Silicon搭載のMacが必要で、IntelプロセッサのMacには対応していない。Windowsでは、x64のPCならCPUがAVX2という命令に対応している必要がある。ここ10年ほどのCPUならまず問題ないが、古いPCに入れる場合は確かめておきたい。メモリは16GB以上あると、7Bから8Bのモデルを余裕をもって試せる。 モデル探しは検索画面から、メモリに収まるかを先に見られる VRAM 12GBのGeForce RTX 4070。LM Studioでは、モデルの層をこのVRAMにいくつ載せるかをスライダーで決めるPhoto: Jacek Halicki / CC BY-SA 4.0 LM Studioのいちばんの持ち味は、モデルを探す画面だと思う。虫眼鏡のアイコンから検索画面を開き、「Qwen」や「Gemma」のようにモデル名を入れると、Hugging Faceに公開されているモデルの中から、LM Studioで動かせる形式のものが一覧になる。1つを選ぶと、Q4_K_MやQ5_K_M、Q8_0といった量子化ごとのファイルが並び、それぞれのサイズが表示される。 このとき役に立つのが、手元のPCに収まるかどうかの目安だ。LM StudioはPCのVRAMとメモリの量を読み取っていて、量子化ごとに「GPUにすべて載りそう」「一部だけ載りそう」「このPCには大きすぎる」といった見込みを表示してくれる。ファイルサイズとVRAMの数字を自分で突き合わせなくても、どの量子化から試せばいいかの見当がつく。Q4とQ5の違いが何を意味するのかを知っておくと、ここで迷う時間がさらに短くなる。 モデルを読み込むときには、詳細な設定を開いて、GPUに載せる層の数（GPUオフロード）とコンテキスト長を指定できる。VRAMに収まりきらないモデルでも、層の一部だけをGPUに載せ、残りをCPUと本体のメモリで計算させれば動かせる。Ollamaでは ollama ps で結果を確かめ、環境変数やモデルごとの設定で調整していた部分が、LM Studioでは読み込む前の画面で数字を動かしながら決められる。長い文書を読ませたいときだけコンテキスト長を伸ばし、普段の会話では短めにして速さを優先する、といった切り替えも気軽にできる。 ダウンロードしたモデルは、ユーザーフォルダの中にあるLM Studio専用のモデル置き場に保存される。Ollamaはモデルを独自の形で保存しているので、Ollamaで取得したモデルをそのままLM Studioの一覧に出すことはできない。同じモデルを両方で使いたい場合は、それぞれで取得し直すことになり、ストレージの容量はそのぶん必要になる。試すモデルが増えてきたら、マイモデルの画面で使わないものを消していくと、ディスクの空きを保ちやすい。 Apple SiliconのMacならMLX版のモデルを選べる M4チップを積んだMac mini。CPUとGPUが同じメモリを共有するので、本体のメモリの量がそのまま扱えるモデルの大きさになるPhoto: Seasider53 / CC BY 4.0 Macで使う場合、LM StudioにはもうひとつOllamaとの違いがある。GGUFのモデルに加えて、AppleがApple Silicon向けに公開している機械学習の仕組み「MLX」の形式のモデルも動かせることだ。検索画面ではGGUF版とMLX版が区別して表示されるので、同じモデルのMLX版を選んで読み込めばよい。 ...

ローカル環境で大規模言語モデル（LLM）を動かす際、避けて通れないのが「量子化（Quantization）」という言葉だ。OllamaやLlama.cppをはじめとするツールのおかげで、数千億パラメータを持つような巨大モデルを手元のPCで手軽に動かせるようになった背景には、この量子化技術による劇的なデータ圧縮がある。 しかし、モデルのダウンロード画面を開くと、「Q4_K_M」「Q5_K_M」「Q8_0」といった見慣れない英数字の羅列が並び、どれを選べばいいのか迷ってしまう。これらの数字とアルファベットは、モデルの何をどこまで削り、何を維持しているのか。メモリ消費量と精度のバランスという観点から、GGUFフォーマットの数字が意味するものを深く読み解いていこう。 GGUFフォーマットと量子化の基礎構造 ローカルLLMの運用において、メモリ容量とハードウェアの制約を最適化する量子化は不可欠な技術である。 Photo: Wikimedia Commons user / CC BY-SA 3.0 もともと、オリジナルの大規模言語モデルはFP16（16ビット浮動小数点）やBF16といった高い精度で学習・保存されている。これは1つのパラメータにつき16ビット（2バイト）のメモリを消費することを意味し、例えば70億（7B）パラメータのモデルであれば、単純計算で約14GBのVRAMやRAMが必要になる。これでは一般的なコンシューマー向けのGPUやノートPCでは到底太刀打ちできない。 そこで登場するのが量子化だ。量子化とは、連続的な数値を限られた段階の数値に近似させることで、データサイズを圧縮する技術である。GGUF（GPT-Generated Unified Format）は、GGMLの後継として登場した現在のデファクトスタンダードであり、モデルの重みだけでなくメタデータやプロンプトの構造まで効率よく保持できる。 GGUFにおける量子化方式（Q-type）は、単にすべての数値を一律に削るだけでなく、モデル全体の各層（レイヤー）の重要度に応じてビット数を動的に割り当てる「混合精度（Mixed-Precision）」のアルゴリズム（K-quants）を採用している。これにより、ファイルサイズを極限まで小さくしながらも、推論精度の低下を最小限にとどめることが可能になっている。 さらに、GGUF以前のフォーマット（GGML）と比較して、メタデータの拡張性が圧倒的に向上した点が挙げられる。GGMLではモデルのアーキテクチャを変更するたびにローダー側の改修が必要だったが、GGUFではキーバリュー形式で柔軟にメタデータを格納できるため、新しいモデル構造が登場しても迅速に対応できるようになった。この仕組みこそが、急速な進化を続ける生成AIエコシステムにおいて、GGUFが長きにわたり標準フォーマットとして君臨し続けている理由である。 Q8、Q5、Q4が示すビット数とメモリ削減効果 モデルのメモリ消費量は基本的に「パラメータ数 × 1パラメータあたりの平均ビット数」で決まる。この観点から代表的な量子化タイプを見てみよう。 まず「Q8_0」は、すべての重みを一律に8ビットで表現する方式だ。オリジナル（FP16）の半分となる8ビット（1バイト＋スケールファクター）に圧縮するため、7Bモデルであれば約7.5〜8GB程度のメモリで動作する。精度（困惑度）の劣化が肉眼やベンチマークでもほとんど検知できないほど高いクオリティを誇るが、後述するQ5やQ4に比べるとメモリ効率の面でやや見劣りする。 これに対し、「Q5_K_M」は約5.5ビット、「Q4_K_M」は約4.8ビットという平均ビット数を実現している。これらの中間〜低ビット帯では、モデルの頭脳にあたるアテンション機構の重要な重みには少し高めのビット数を残し、さほど重要ではない部分を大胆に4ビットや3ビットに削るという巧妙な割り振りがなされている。 これにより、7Bモデルを例にとると、Q5_K_Mでは約5GB、Q4_K_Mでは約4.5GB前後にまでメモリ消費量を削減できる。VRAM 8GBや12GBを搭載した一般的なデスクトップPCやラップトップであっても、快適にローカルLLMを動かせるのは、まさにこのQ4やQ5の存在があるからに他ならない。 また、近年の研究では、単純な重みの量子化だけでなく、推論時に生成される中間バッファである「KVキャッシュ（Key-Value Cache）」の量子化（IQ4やQ8など）を組み合わせる手法も普及している。これにより、大量のコンテキスト（長文プロンプト）を入力した際にもVRAMがパンクしにくい環境を構築できるようになっており、量子化技術は単なるモデル圧縮の枠を超えて、実用的な推論スループットを支える基盤技術へと進化を遂げている。 困惑度と精度への影響 — スウィートスポットを見極める 限られたVRAMのなかで最高のパフォーマンスを引き出すため、適切な量子化モデルの選択が重要となる。 Photo: Wikimedia Commons user / CC BY-SA 3.0 それでは、ビット数を削ることでモデルの賢さ（精度）はどの程度損なわれるのだろうか。これを測る指標として広く使われているのが「困惑度（Perplexity / PPL）」である。困惑度は、モデルが次に続く単語をどれほど確信を持って予測できるかを示すもので、値が低いほどオリジナル（FP16）に近い高い精度を維持していることを意味する。 検証データによると、Q8_0はもちろんのこと、Q5_K_MにおけるPPLの増加は極めてわずか（0.01%〜0.05%程度）であり、人間の日常的な対話や一般的なタスクにおいて、オリジナルとの体感差を嗅ぎ分けることはほぼ不可能だ。 一方、最も広く推奨されることが多い「Q4_K_M」はどうか。従来の単純な4ビット量子化（Q4_0など）では、どうしても情報のロスが目立ち、複雑な推論やコード生成で精度低下が見られることがあった。しかし、GGUFのK-quantsによる混合精度最適化が施されたQ4_K_Mでは、PPLの上昇が許容範囲内にしっかりと抑えられている。 実用上、Q4_K_Mは「ファイルサイズ（メモリ効率）」と「出力の品質」のコストパフォーマンスが最も優れた、いわば黄金比（スウィートスポット）に位置している。もちろん、極限まで論理的整合性を求めたい数学的・プログラミング的なタスクであればQ5_K_MやQ8_0に軍配が上がるが、日常的な壁打ちや文章生成、要約といった用途であれば、Q4_K_Mを選んでおけば間違いはない。 さらに、量子化を進める上で見落とせないのが、モデルの量子化がプロンプト処理性能（プリフィル段階）やトークン生成速度（デコード段階）に与える影響である。メモリ帯域幅（メモリスピード）がボトルネックになりがちなローカル環境において、モデルのファイルサイズが小さくなりVRAMやメインメモリへの負荷が軽減されると、1秒あたりに生成できるトークン数（t/s）が目に見えて向上する。つまり、Q4やQ5といった量子化フォーマットは、単に「大きなモデルを無理やり乗せるためだけの妥協案」ではなく、「限られたハードウェア資源で最大の推論速度を引き出すための積極的な最適化手法」であると言い換えることができる。この特性を理解しておくと、モデル選定の幅がさらに広がる。 自身のハードウェア環境に合わせた選び方と運用上の注意点 ローカルLLMの運用において重要なのは、単に「最も精度の高いモデルを選ぶこと」ではなく、「手元のハードウェア（VRAM/RAM）の容量内に完全に収まるモデルを選ぶこと」である。 もしモデルのサイズがVRAMの容量をわずかでも超過し、一部が通常のメインメモリ（RAM）やストレージのスワップに落ちてしまうと、推論速度（トークン/秒）は劇的に低下してしまう。そのため、多少ビット数を落としてでもVRAM内に完全に入り切るサイズの量子化モデルを選ぶ方が、結果として圧倒的に快適なユーザー体験を得られる。 GGUFのファイル名に刻まれた数字の意味を理解し、自分のPC環境と相談しながら最適なQ-typeを選ぶこと。それこそが、ローカルLLMを真の相棒として使いこなすための第一歩となる。日々のAIライフをより豊かにするために、ぜひ手元の環境で様々な量子化モデルの挙動を比較してみてほしい。 関連記事 Whisperの日本語文字起こしはどのサイズから実用になるか、tinyからlarge-v3-turboまで Windows 11 26H2で減った起動時メモリ、DAWの制作PCで効く設定と効かない設定 Google Flow MusicのVST3/AU書き出し、言葉で作れるのはシンセとエフェクトまで GitHub Pages で技術・理論記事を読む Amebaブログ版はこちら note版はこちら