NVIDIA・AMD・Apple Siliconで何が違うか:ローカルAI向けの確認点

VRAMとユニファイドメモリの違い

NVIDIAやAMDのグラフィックスカードは、GPU専用のメモリ(VRAM)を持ちます。モデル本体と文脈用・作業用の領域がVRAMに収まり、ソフトや設定が対応していれば、モデル全体をGPU側に載せられます。収まらない場合、CPUとGPUを併用できるソフトもありますが、速度は構成や設定に左右されます(llama.cpp README)。

Apple Siliconは、CPUとGPUが1つのメモリを共有する設計(ユニファイドメモリ)です。CPUとGPUが共有メモリを使える点は、AppleのMLXの説明でも確認できます(MLX README)。ただし、搭載メモリ全量をモデルに使えるわけではありません。OllamaのmacOS向け実装には、Metalの推奨ワーキングセット容量を取得する処理もあります(Ollama公式ソース)。一方で、後からメモリを増設できないこと、OSやアプリの分もそのメモリから使うことに注意が必要です。

どちらの場合も、メモリにはモデル本体だけでなく、会話の文脈を保持する領域も必要です。Ollamaの公式ドキュメントでは、起動時の文脈長がVRAM量に応じて決まり(24GiB未満は4k、24GiB以上48GiB未満は32k、48GiB以上は256k)、文脈長を増やすと追加のVRAMが必要になると説明されています(Ollama: Context length)。同じモデルの同時リクエスト数を増やした場合も、文脈用メモリは「並列数 × 文脈長」に応じて増えます(Ollama FAQ)。長い資料を読ませたい人ほど、モデルのファイルサイズだけで判断しないでください。

メモリ必要量の見積もり方(説明用の例)

次の数字は説明用の仮の例で、実測値ではありません。

• 使いたいモデルの量子化版ファイルが約9GB
• 文脈用の領域と作業領域の余裕として、さらに数GB(モデルや文脈長で変わるため、実機で確認する)

この場合、「9GBぴったり」ではなく、仮に追加領域を3GBと見積もるなら合計約12GBが必要、という考え方です。12GBで足りる保証ではなく、MacではOSや他のアプリの使用分も別に見込みます。実際のファイルサイズは、Hugging Faceのモデルページのファイル一覧で確認できます。

構成別の比較表

下の表は、公式ドキュメントで確認できた条件と、編集上の整理を合わせたものです。速度の数値比較は載せていません(同じモデルでも設定で変わり、本稿では測定していないためです)。

• NVIDIAのグラフィックスカード(デスクトップ)、長所：Ollamaの対応GPU一覧から候補を確認できる、注意点：Compute Capability 5.0以上、ドライバ550以上が基本で、5.0〜6.2は570以上が必要。GPU側に載せられる量はVRAMに制約され、価格・電源・筐体・消費電力も要確認、確認先：Ollama: GPU
• NVIDIAのノートPC、長所：持ち運べるまま使える、注意点：同じ型番でもVRAM容量や冷却が機種で異なる。仕様表のVRAM(GB)を必ず見る、確認先：各メーカー仕様表、Ollama GPU対応表
• AMD Radeon、長所：OllamaはLinuxとWindowsでROCm経由の対応を記載、注意点：ROCm v7系のドライバ環境が前提で、対応する製品リストの確認が必須。未対応機種向けの回避設定はLinux向けの記述、確認先：Ollama: GPU
• Apple Silicon(Mac)、長所：共有メモリに大きなモデルを置ける構成を選べる。Ollamaは Metal経由でGPUを使える、注意点：メモリは購入後に増やせない。LM Studioの公式要件はApple Silicon(M1/M2/M3/M4を記載)とmacOS 14以降で、Intel Macは非対応、確認先：LM Studio: System requirements
• 内蔵GPU・Intel GPU、長所：追加購入なしで試せる場合がある、注意点：OllamaはWindows/LinuxでVulkanによる追加対応を提供。対応ドライバを確認し、Linuxでは追加構成やVRAM情報取得用の権限設定が必要な場合がある、確認先：Ollama: GPU

LM Studioについては、Windowsのx64版はAVX2命令への対応が必須で、ARM(Snapdragon X Elite)にも対応すると記載されています。16GB以上のRAMと4GB以上の専用VRAMが推奨されています(LM Studio: System requirements)。Linuxはx64とARM64に対応しています。ただしこのページは具体的なGPU型番までは示していないため、型番ごとの対応は実際に試すか、別途ご確認ください。

購入前に確認する質問リスト

店頭やカートの前で、上から順に答えてみてください。

使い方について

1. 動かしたいモデル名と、量子化版のファイルサイズは何GBか
2. 一度に読ませる文章の長さはどのくらいか(短い質問中心か、長い資料か)
3. 同時に使う人やアプリは何人・いくつか(並列数が増えるとメモリも増える)
4. 使うソフトは何か(Ollama、LM Studioなど)。そのソフトの公式ページで、候補のGPUまたはチップが対応しているか

ハードウェアについて

1. NVIDIAなら、GPUの世代に応じたドライバ要件(Ollamaでは550以上、Compute Capability 5.0〜6.2は570以上)を満たせるか
2. AMDなら、使用するソフトのOS別対応一覧に型番があるか。OllamaではROCmとVulkanのどちらを使うか
3. Macなら、メモリ容量は購入後に変えられない前提で足りるか。macOSのバージョンは対応しているか
4. ノートPCなら、VRAMまたはメモリの数字は、グラフィックスの仕様欄で確認したか
5. デスクトップなら、電源容量、物理サイズ、冷却に余裕があるか

運用について

1. モデルが収まらなかったとき、小さいモデルや短い文脈で妥協できるか。できないなら、メモリ容量を一段上に
2. クラウドのAIで足りる作業を、無理にローカル化していないか(機密を外に出さない目的があるなら、ローカル化の価値は大きくなります)

手持ちの環境で「収まるか」を確かめる手順

買う前に、今あるPCや友人のPCで小さめのモデルを動かし、挙動を見ておくと判断しやすくなります。以下はOllamaの公式ドキュメントに基づく手順で、本稿では実行していません。

# モデルを起動して、何か質問する
ollama run <モデル名>

# 別のターミナルで状態を確認する
ollama ps

ollama ps では、PROCESSOR列にGPUとCPUの割り当て比率、CONTEXT列に確保された文脈長が表示されます(Ollama: Context length)。「100% GPU」ならモデル全体がGPU側に載っています。比率が混在している場合は、一部がCPU側に載っています。容量不足の可能性に加え、GPUの対応状況や割り当て設定も確認してください。

文脈長を変えて再確認する場合は、サーバーに環境変数を設定します。次はmacOS/Linuxで手動起動する場合の例です。既存のOllamaサーバーを終了してから起動し、モデルを再読み込みしてください。

OLLAMA_CONTEXT_LENGTH=32000 ollama serve

macOSアプリ、Linuxのsystemdサービス、Windowsでは設定方法が異なるため、Ollama FAQの環境変数設定手順に従って設定・再起動し、ollama psのCONTEXT列で反映を確認してください。

他の条件をそろえ、文脈長を増やしたときに100% GPUが崩れるなら、その長さでモデル全体をGPU側に載せるには利用可能なメモリが不足している可能性があります。他のアプリのメモリ使用量や設定も確認すると、買い替えの判断材料になります。さらにメモリを節約する方法として、OllamaにはFlash Attentionが有効な場合に使えるK/V キャッシュの量子化(q8_0はキャッシュ部分がf16の約半分のメモリ)も用意されていますが、精度とのトレードオフがあるため、まずは標準設定で確認することをおすすめします(Ollama FAQ)。

AIに相談するときの入力例

購入相談をAIにする場合は、次のように条件を渡すと、的外れな提案を減らせます。これは説明用の例で、数字は仮のものです。

ローカルLLMをOllamaで使いたいです。
- 想定モデル:量子化版で約9GB(Hugging Faceのファイル一覧で確認)
- 文脈長:16k程度
- 同時利用:1人
- 予算:○○円以内
- 現在のPC:(OS、GPU名、メモリ容量)
候補のNVIDIA/AMD/Macそれぞれについて、確認すべき項目を表にしてください。
製品の対応状況は断定せず、公式ページで確認すべき箇所を示してください。

AIの回答に出てきた対応状況や価格は、必ず公式ページと販売ページで人が確認してください。

迷ったときの目安

• ソフトの対応で迷いたくない:NVIDIA。まず必要なVRAM量から候補を絞る
• 大きめのモデルを使いたい、すでにMacを使っている:Apple Siliconも候補。GPU側で利用可能な容量を確認し、メモリ容量は最初に決め切る
• AMDの価格やVRAM量に魅力を感じる:対応製品とOS(LinuxかWindows)、利用するROCmまたはVulkanの要件を確認してから。確認できないなら避ける
• まだ用途が固まっていない:今のPCで小さいモデルを試し、ollama psで足りない点を見てから決める

どの選択でも、まず「使いたいモデルと文脈長が、100% GPUで収まるか」を確認し、CPU併用も含めて応答速度が用途に合うかを判断してください。この一点を購入前に数字で言えるようにしておくと、買い替えの失敗は減らせます。