16GBのグラボで、180Bのモデルは動くのか。
Strataというアプリが話題になっている。Qwen3.8-Flash-Nextという大きなモデルを、ふつうのPCで動かすための無料のソフトだ。私の環境はRX 9070 XT(VRAM 16GB)とメモリ64GBで、手元に入れたモデルのファイルは83.6GBある。VRAMにもメモリにも収まらない大きさである。
そこでこの記事では、10月に6モデルで回したローカルLLMのエージェント計測と同じ15問を、Strataにも解かせた結果を書く。チャットの速さではなく、「バグを直して」と頼んで本当に直せるかを見ている。
【結論】
15問は全部解けた。賢さは9月の上位モデルと同じくらいで、速さは2〜7倍遅い。 180Bのモデルを動かせること自体は本当だが、16GBのグラボで使うなら、今のところ速さの面で27B前後のモデルに勝てない。
| モデル | 動かし方 | 見えるテスト | 隠しテスト | 1問の平均 |
|---|---|---|---|---|
| Qwen3.8-Flash-Next(IQ3_S) | Strata | 15/15 | 89%(5回) | 408秒 |
| gemma4:26b | Ollama | 15/15 | 96% | 183秒 |
| Qwen3.8-27B(MTP) | Ollama | 15/15 | 91% | 140秒 |
| gpt-oss:20b | Ollama | 15/15 | 86% | 58秒 |
どれも同じハーネス(opencode)での結果で、9月の3モデルは隠しテストを15回ずつ回している。Strataは途中で遅くなる問題が出て、隠しテストは5回しか回せていない(後述)。回数が少ないので、隠しテストの数%の差は誤差の範囲と見てほしい。
グラボはRX 9070 XT(16GB)を使った。StrataのAMD向けの資料で、作者が自分で動作を確かめている機種である。
【Strataとは】180Bのモデルを、VRAM 16GBで動かすアプリ
Strataは、Qwen3.8-Flash-Nextをふつうのパソコンで動かすためのアプリだ。MITライセンスの無料のソフトで、GitHubで公開されている。インストーラーを入れて起動すると、モデルを選んでダウンロードし、手元にOpenAI互換とAnthropic互換のAPIを立ててくれる。アカウントはいらない。
Qwen3.8-Flash-Nextは、Qwenが公開した大きなMoEモデルである。公式のモデルカードによると、言語モデルの部分が125Bで、これにn-gramの埋め込み51BとMTP(先読み用の部分)4Bが付く。合わせて約180Bだが、1トークンを出すのに働くのは6Bだけだ。専門家(expert)が512個あり、そのうち11個しか使わない。
だから、全部をVRAMに載せなくても動く。よく使う部分をVRAMとメモリに置き、残りはSSDから読むわけだ。私が入れたのはISTA-DASLabが再量子化したIQ3_Sで、ファイルは83.6GB(本体54.8GB+n-gramの埋め込み28.8GB)ある。
| 項目 | Qwen3.8-Flash-Next | 参考: Qwen3.8-27B |
|---|---|---|
| 総パラメータ | 約180B | 27B |
| 1トークンで働く分 | 6B | 27B(全部) |
| 動かし方 | Strata | Ollama |
【Radeonで動くか】ドライバーを入れるだけ
RadeonでローカルAIを動かすとなると、ROCmを入れる手間を想像するかもしれない。だが、StrataのWindows版はAMDのドライバー(Adrenalin)だけで動く。ROCmもHIP SDKも、管理者権限もいらない。公式の資料(AMD_HIP.md)では、RX 9070とRX 9070 XTは作者が自分で動作を確かめた区分に入っている。
私が入れたときは、インストーラーを実行して、モデルにQwen3.8-Flash-NextのIQ3_Sを選んだだけだった。64GBのメモリなら、公式の目安はIQ2_XSかIQ3系である。
なお、私が使ったのは0.2.11(中身のエンジンは0.1.57)で、11月9日には0.2.13が出ている。
【前提】何をどう測ったか
課題と採点は、10月の計測とまったく同じにした。
| 項目 | 内容 |
|---|---|
| 課題 | Pythonの15問(易4・中3・難5・難+隠しテスト3) |
| 採点 | 見えるテストが全部通り、テストを書き換えていなければ成功。難+の3問は、見せないテストを後から走らせる |
| ハーネス | opencode(1問ごとにDockerのコンテナを作り直す) |
| 制限時間 | 1問30分(9月は20分。Strataは遅いので延ばした) |
| GPU・メモリ | RX 9070 XT 16GB・DDR5 64GB |
| Strata | 0.2.11(エンジン0.1.57)・コンテキスト上限131,072・KVはint8 |
| 計測日 | 2026年11月15日 |
指示の最後には、9月と同じく「テストは変更しないこと」「終わったらpytestで確認すること」と書いた。
【結果】15問すべて正解、テストの書き換えもなし
見えるテストは、15問すべて通った。9月の計測では、テストのほうを書き換えて「通りました」と返すモデルがいたが、Strataにはそれも無かった(書き換えたテストファイルは0)。
難+の3問の隠しテストは、次のとおりだった。
| 問題 | 結果 |
|---|---|
| 有効期限付きキャッシュ | 5/5(2回とも全部通過) |
| 設定ファイルの形式移行 | 11/11 |
| 式の構文解析(電卓) | 15/18(2回とも同じ3本を落とした) |
電卓の問題で落ちた3本は、どれもマイナスの符号だった。
| 式 | 正しい答え | Strataの答え |
|---|---|---|
2*-3 | -6 | 6 |
-(1+2)*3 | -9 | 9 |
1 - -1 | 2 | 0 |
「引き算のマイナス」は扱えているのに、「数の前に付く符号のマイナス」が丸ごと落ちている。仕様(docstring)には単項のマイナスも書いてあったが、見えるテストには無かったので、そこまで読み切れなかったわけだ。2回解かせて2回とも同じ所で落ちたので、たまたまではない。
【速度】
1問あたりの時間は平均約408秒(15問で6,115秒)だった。9月のOllamaの3モデルは58〜183秒なので、2〜7倍かかっている。
ただ、遅い理由は文字を書く速さではない。サーバーの記録を見ると、生成は1秒あたり10.6トークン(中央値・76回)で、ツールでファイルを書くときは15トークン前後出ていた。時間を食っていたのは、最初の指示を読み込む部分である。
opencodeは、1問ごとに約7,400トークンの指示(道具の説明やルール)を最初に送ってくる。Strataはこれを読むのに平均171秒かかった(13問の平均・1秒あたり約43トークン)。1問の約4割が、作業を始める前の読み込みで消えているわけだ。2回目以降のやり取りは、前に読んだ分を使い回すので、数秒〜30秒で済んでいた。
なお、専門家キャッシュ(よく使う専門家をVRAMとメモリに置く仕組み)の当たり率は、中央値で46.4%だった。11月6日にアプリの画面で普通に会話したときは75.9%で、生成も14.2トークン/秒出ていた。コードを読み書きする作業では、使う専門家が散らばるのだろう(ここは推測である)。
【注意】2回目の起動から、急に遅くなった
ここは、使う人がいちばん知っておくべきことかもしれない。
15問を解き終えたあと、条件をそろえるために難+の3問をもう2回ずつ回そうとした。ところが、Strataを起動し直した2回目から、生成が1秒あたり1.3〜1.6トークンまで落ちた。1回目の10.6トークンの7分の1である。電卓の問題は366秒から1,399秒になり、設定移行の問題は30分の制限時間で打ち切られた。
調べると、メモリの使われ方が1回目と違っていた。1回目は、ベンチの最中に空きメモリが0.3GBまで減っていた。Strataが専門家(約55GB)を抱え込んでいたからだ。ところが2回目は、空きが24GBもあり、Strata自身が使っているメモリは5GB足らずだった。専門家はWindowsの「キャッシュ」の扱いに落ちていて、必要になるたびにSSDから読み直していたようだ(ここは推測である)。
もう一つ、止めたつもりのStrataが裏で動き続けていたこともあった。ベンチ用に立てたサーバーの管理用のプログラムが残っていて、エンジンを勝手に起動し直していたのである。
だから、Strataを使うときは次の2つを勧める。
- 起動したら、最初の1回の返事の速さを見る。遅ければ、いったん閉じて、ほかのアプリも閉じてから起動し直す(私の環境では、その日の最初の起動は速かった)
- 閉じたあと、タスクマネージャーに
strataや、Strataのpythonが残っていないかを見る
【メモリ】ほかのアプリと同時には使えない
モデルの読み込みには約69秒かかり、メモリは約49GB使う(11月8日に測定)。ベンチの最中は空きメモリが0.3GBしか残らなかった。64GBのPCでも、ブラウザやゲームと同時に動かすのは無理だと思ったほうがいい。
逆に言うと、このモデルを快適に使えるかは、グラボよりメインメモリで決まる。64GBでぎりぎりなので、本気で使うなら96GBや128GBが欲しくなる。RX 9070 XTのVRAM 16GBは、専門家キャッシュに3.2GBほど使われていただけだった。
私が使っているのは、Crucial PROのDDR5-5600(32GB×2で64GB)である。Strataを試すなら、まずメモリの空きを確かめてほしい。
【まとめ】
- Strataなら、RX 9070 XT 16GB+メモリ64GBで、約180BのQwen3.8-Flash-Nextが動く。ROCmはいらない
- エージェントの15問は全部正解。隠しテストは89%で、9月の上位モデル(86〜96%)と同じくらい
- ただし1問あたり408秒で、27B前後のモデルの2〜7倍遅い。時間の4割は最初の指示の読み込み
- 2回目の起動から遅くなることがある。起動したら速さを確かめる
- 快適さを決めるのはメインメモリ。64GBでぎりぎり
16GBのグラボで180Bが動くのは面白い。ただ、日々のコーディングの相棒にするなら、今はまだ27B前後のモデルをOllamaで動かすほうが待たされない。Strataは版が速いペースで上がっているので、遅くなる問題が直ったらまた測りたい。


コメント