これまで当ブログでは、RadeonでStable Diffusionの環境を構築する方法や、ComfyUIを高速化する設定を扱ってきた。画像生成については、Radeonでも十分に戦えることが分かってもらえたかと思う。
そこで次に気になってくるのが、ローカルLLMである。ChatGPTやClaudeをブラウザで使うのが当たり前になった今、「自分のPCの中だけで動く、ネットに送信されないAI」に興味を持つ人は多いはずだ。
しかしいざ調べてみると、出てくる情報はNVIDIA（CUDA）前提のものばかり。RadeonユーザーにとってローカルLLMは、長らく茨の道だった。
今回は、私のRX 9070 XT（RDNA4・VRAM 16GB）を使い、Windows上でローカルLLMを動かす手順を、導入からベンチマークまで一気通貫でまとめる。WSLもデュアルブートも使わない、Windowsだけで完結する構成だ。
CUDAを羨ましがる時代はもうおしまい！
【結論】RX 9070 XTのローカルLLMは「普通に戦える」段階に来た
先に結論から述べる。2026年現在、RDNA4のRX 9070 XTは、ローカルLLMを動かす用途で十分に実用的な性能を持っている。
RX 9070 XT（RDNA4・gfx1201）は、推論速度の面でもしっかり戦える。実際、私がOllamaで計測したところ、gemma4:latest（7.5B級）で約91トークン/秒、gpt-oss:20bでも約73トークン/秒（いずれもGPU使用率100%・3回計測の平均）だった。これだけ出れば、文章があっという間に流れていき、体感で待たされる場面はほぼない（具体的な計測結果は後半のベンチの章にまとめた）。
ただし注意すべきはVRAMの容量である。RX 9070 XTは16GB。ざっくり言えば、7〜8B級は余裕（FP16でも載る）、13〜14B級は8bit量子化で実用的、24B級がQ4量子化で載るかどうかの上限ラインだ。32B以上は現実的ではないと考えておこう。
| 項目 | RX 9070 XT（RDNA4） |
|---|---|
| アーキテクチャ | gfx1201（RDNA4） |
| VRAM | 16GB GDDR6 |
| ROCm 7.2（Windows） | 公式サポート |
| 快適に動くモデルの目安 | 7B（FP16）〜14B（8bit）級 |
| 上限ラインの目安 | 24B級（Q4量子化） |
同じVRAM 16GBクラスのGeForce（RTX 5070 Tiなど）と比べても、実売価格を考えればコストパフォーマンスは高い。「浮いた予算をメモリやストレージに回せる」と考えれば、Radeonという選択肢は十分にアリである。
※ 上記はあくまで目安。筆者環境（RX 9070 XT / Windows / ROCｍ / Ollama）での実測値はベンチの章に後述する。
なお、筆者の環境は以下の通り。
| 項目 | スペック/バージョン |
|---|---|
| GPU | Radeon RX 9070 XT 16GB |
| CPU | Ryzen 9 7900X |
| RAM | DDR5 64GB |
| OS | Windows 11 25H2 |
| AMD Software | 26.1.1 |
ポチップ
加えて、ソフト自体はストレージを圧迫しないが、読み込ませるモデルは10GB単位で消費する。様々なモデルをダウンロードするためにも、ストレージは大きめのものを用意しておこう。
ポチップ
【前提】用語の整理：「ROCm」「Vulkan」の関係
手順に入る前に、混乱しやすい用語を整理しておく。ここを押さえておくと、後の選択がすっきりする。
| 用語 | ざっくり何者か |
|---|---|
| ROCm | AMD版CUDAにあたる計算スタック。 |
| Vulkan | ゲーム用APIを流用した汎用バックエンド。通常のAdrenalinドライバだけで動き、設定が簡単。 |
そしてROCm用のライブラリは、OllamaもLM Studioもツール側が同梱、またはツール内でダウンロードできる。
つまりWindowsユーザーがやるべきことは、基本的に「AMD Software: Adrenalin Edition（グラフィックスドライバ）を最新にする」だけである。
【全体の流れ】ドライバを更新して、ツールを1つ選ぶだけ
進め方はシンプルだ。下準備は「Adrenalinドライバを最新にする」だけ。 あとは手順AのLM Studioか、手順BのOllamaのどちらか好きな方を選べばよい。両方入れる必要はない。
| 項目 | 手順A: LM Studio | 手順B: Ollama |
|---|---|---|
| 操作スタイル | GUI（画面で操作） | CLI（黒い画面にコマンドを打ち込む） |
| バックエンド | Vulkan（ROCmも利用可） | ROCm（Vulkanも利用可） |
| 向いている人 | まず手軽に試したい | 自動化したい、個人開発で組み込みたい |
どちらも自前でバックエンドを抱えているため、別途インストールをする必要はない。
また、内部で使用しているエンジンはどちらもllama.cppで、同じものを使用している。
ドライバはAMD公式ダウンロードから最新版（AMD Software: Adrenalin Edition）を入れておこう。RX 9070 XTのような新しいカードでは、ここを最新にしておくのが大前提だ。それでは、手軽な方から始めよう。
【手順A】LM Studioで動かす（GUI派向け・最短ルート）
「黒い画面はちょっと……」という人や、まず手軽に試したい人はこちら。LM Studioは、WindowsにそのままインストールできるGUIアプリだ。
LM StudioはAMD GPU向けに「Vulkan」と「ROCm」の2つのランタイム（バックエンド）を持っている。重要なのは、どちらを選んでもHIP SDKのインストールは不要という点だ。ROCmランタイムを選んだ場合、LM Studioが必要なROCm用ライブラリ（gfx1201対応のものを含む）を自動でダウンロードしてくれる。ユーザー側に必要なのは最新のAdrenalinドライバだけである。
導入手順はシンプルで、インストーラーに従って進めるだけで完了する。
使いたいモデルをダウンロードする。
上部から先程ダウンロードしたモデルを選択するとロードされるため、あとはChatGPTのように会話するだけ。
ROCmの導入
標準ではVulkanが選択されているが、設定→Runtime→Engines & FrameworksからROCmも導入できる。
VulkanとROCmのどちらを選ぶべきかは後述のベンチの章で詳しく述べるが、先に要点だけ書いておく。「とりあえずVulkan」で全く問題ない。 一昔前は「Vulkan＝互換性重視の遅い方」というイメージがあったが、RDNA4ではトークン生成速度でVulkanがROCmと同等〜上回る報告が複数あり、単純な上下関係ではなくなっている。まずVulkanで動かし、興味があればROCmと自分の環境で比べてみる、というのが2026年の正解だ。
ROCmでうまく動かないときは、まずVulkanに戻してGPU自体が動くか切り分けるとよい。
【手順B】Ollamaで動かす（CLI派向け）
コマンド操作に抵抗がないなら、Ollamaが手早い。Ollamaは公式でWindows版が提供されており、AMD GPU向けのランタイム（ROCm用ライブラリ）も同梱されている。公式の動作要件も「ROCm対応のドライバスタック、またはVulkan対応のRadeonドライバ」であり、こちらもHIP SDKの導入は不要だ。
まずはOllama公式サイトのインストーラ、もしくはwingetで導入する。
winget install Ollama.Ollamaインストールが終わったら、コマンドプロンプト（またはPowerShell）でモデルを指定して起動するだけだ。
ollama run gemma4:latest "自己紹介してください。" --verbose初回はモデルのダウンロードが走るが、2回目以降はすぐに起動する。GPUのファンが回り出し、画面に文章が高速で流れていけば成功である。
※ RX 9070 XTのようにリリースが新しいGPUでは、Ollama自体を必ず最新版にしておくこと。 RDNA4（gfx1201）への対応は比較的最近入ったため、古いバージョンだとGPUを認識できず、CPUで動いてしまう（＝極端に遅い）ことがある。GPUがちゃんと使われているかは、ollama psのPROCESSOR欄、タスクマネージャーの「GPU」欄、AMD Software（Adrenalin）のパフォーマンス計測のいずれかで確認できる。
Vulkanへの切り替え
なお、近年のOllamaはVulkanバックエンドも備えている。
Vulkanを使用したい場合は、一度Ollamaを終了したあとで環境変数「OLLAMA_LLM_LIBRARY」の設定をするとVulkanで起動する。
$env:OLLAMA_LLM_LIBRARY = "vulkan"
ollama run gemma4:latest --verboseこれは環境変数を一時的に書き換えているだけなので、このターミナル内でのみ有効になる。永続化したい場合はsetxコマンドなどで設定しよう。
ROCmでどうしてもGPUを掴まない環境でも、Vulkan経由なら動くことがあるので覚えておきたい。
【ベンチ】実際の生成速度を測る
ここからは実測である。速度の確認方法は選んだツールによって異なる。Ollamaなら--verboseを付けると生成速度（eval rate）が表示される。LM Studioなら、回答のたびにチャット画面へtok/sが表示されるので、そちらを読めばよい。
ollama run gemma4:latest --verbose私の環境（RX 9070 XT / Windows 11 / ROCm / Ollama 0.30.10）で、いま人気のモデルを実際に動かして測った結果が以下である。条件は揃えて、すべて同じプロンプトで300トークンを生成させ、各モデル3回計測した平均を載せている（ばらつきはどのモデルも±0.5 tok/s以内で、再現性は良好だった）。
| モデル | 種別 | サイズ | 生成速度 | プロセッサ |
|---|---|---|---|---|
| gemma4（7.5B級） | dense | 9.6GB（収まる） | 約91 tok/s | 100% GPU |
| gpt-oss:20b | MoE | 13GB（収まる） | 約73 tok/s | 100% GPU |
| qwen3:14b | dense | 9.3GB（収まる） | 約51 tok/s | 100% GPU |
| gemma4:26b | MoE | 17GB（超過） | 約35 tok/s | 84% GPU / 16% CPU |
| qwen3.6:27b | dense | 17GB（超過） | 約7 tok/s | 90% GPU / 10% CPU |
計測上の注意としては、ベンチを取るときは、前のモデルをアンロードしてから測ること（ollama stop モデル名）。Ollamaは使い終わったモデルもしばらくVRAMに残す仕様のため、常駐したまま次のモデルを測ると数値が大きく落ちる。ollama psで対象モデルだけがロードされていることを確認してから測るのが確実だ。実際、qwen3:14bは単独なら約51 tok/sだが、前のモデルが残った状態では約18 tok/sまで落ちた。
この表からは、RX 9070 XT（16GB）でローカルLLMを選ぶときの勘所が2つ読み取れる。
1つ目は、繰り返しになるが「16GBに収まるかどうか」だ。 VRAMに収まる上の3つはすべて100% GPUで処理され、51〜91 tok/sと快適に動く。一方、16GBを超える下の2つはモデルの一部がCPUに溢れ、途端に速度が落ちている。
2つ目は、意外と見落とされがちな「MoEかdenseか」である。 これが本領を発揮するのは「溢れたとき」だ。下の2つはどちらも17GBで16GBを超過しているが、MoE（実際に使う＝アクティブなパラメータが少ない）のgemma4:26bが約35 tok/sと実用圏に踏みとどまるのに対し、dense（全パラメータを毎回計算する）のqwen3.6:27bはわずか7 tok/sまで落ち込む。興味深いことに、CPUへ溢れた量はqwen3.6:27b（10%）のほうがgemma4:26b（16%）より少ないのに、速度は5分の1だ。サイズの数字（27B/26B）よりも、MoEかdenseか、つまり「毎回どれだけ計算するか」のほうが速度を強く左右することがよく分かる。VRAMに収まる側でも同じ理屈は生きていて、20B規模のMoEであるgpt-oss:20b（約73 tok/s）は、denseのqwen3:14b（約51 tok/s）より大きいのに速い。
結論として、RX 9070 XT（16GB）で快適に使いたいなら、「MoEモデル」か「14B級までのdenseモデル」を選ぶのが正解だ。最新の大型denseモデル（qwen3.6:27bなど）は性能こそ高いが、16GBにはやや荷が重い、と覚えておこう。
VulkanとROCm、結局どっちが速いのか
バックエンド選びについても触れておく。「本命のROCmが速く、Vulkanは互換性用の遅い方」と思われがちだが、RDNA4に関してはこの図式は成り立たない。
llama.cpp界隈のベンチマークでは、gfx1201（RDNA4）において、トークン生成（tg）はVulkanがROCm/HIPと同等か上回るという報告が複数上がっている。一方で、プロンプト処理（pp。長い入力を読み込む速度）はROCmが有利な傾向がある。
つまり使い方によって答えが変わる。
- チャットや文章生成が中心（体感を支配するのは生成速度）→ Vulkanで十分。むしろ速いことも
- RAGや長文の読み込みが多い（入力処理が重い）→ ROCmに分がある可能性
幸い、LM Studioならランタイムをワンクリックで切り替えられる。同じモデル・同じプロンプトで両方のtok/sを見比べて、自分の環境の速い方を使えばよい。ドライバやランタイムの更新で結果が入れ替わることもあるので、「一度測って決めて、たまに測り直す」くらいの付き合い方がちょうどいい。
今後RX 9070 XTでの速度比較記事を公開予定だ。
【まとめ】Windowsでも、RadeonのローカルAIは現実的な選択肢になった
お疲れ様でした！
かつては「動けば御の字」だったRadeonのローカルLLMも、ROCm 7.2の正式対応と、Ollama・LM Studioの進化によって、ようやくWindows上で「普通に使える」段階までやってきた。とりわけRX 9070 XTのようなRDNA4世代が公式サポートされた意味は大きい。
すでに当ブログのStable Diffusion記事でRadeon環境を整えている人なら、今回の手順はすんなり入れたはずだ。画像も文章も、自分のPCの中だけで生成する。そんな「ローカルAI環境」を、ぜひRX 9070 XTで組んでみてほしい。
関連記事として、画像生成側の環境構築・高速化もあわせてどうぞ。
参考文献
コメント