【実測】Strataで180BのQwen3.8-Flash-NextをRX 9070 XTで動かし、AIエージェントに15問解かせた

※当サイトはアフィリエイト広告(Amazonアソシエイト含む)を利用しています。

16GBのグラボで、180Bのモデルは動くのか。

Strataというアプリが話題になっている。Qwen3.8-Flash-Nextという大きなモデルを、ふつうのPCで動かすための無料のソフトだ。私の環境はRX 9070 XT(VRAM 16GB)とメモリ64GBで、手元に入れたモデルのファイルは83.6GBある。VRAMにもメモリにも収まらない大きさである。

そこでこの記事では、10月に6モデルで回したローカルLLMのエージェント計測と同じ15問を、Strataにも解かせた結果を書く。チャットの速さではなく、「バグを直して」と頼んで本当に直せるかを見ている。

【結論】

15問は全部解けた。賢さは9月の上位モデルと同じくらいで、速さは2〜7倍遅い。 180Bのモデルを動かせること自体は本当だが、16GBのグラボで使うなら、今のところ速さの面で27B前後のモデルに勝てない。

モデル動かし方見えるテスト隠しテスト1問の平均
Qwen3.8-Flash-Next(IQ3_S)Strata15/1589%(5回)408秒
gemma4:26bOllama15/1596%183秒
Qwen3.8-27B(MTP)Ollama15/1591%140秒
gpt-oss:20bOllama15/1586%58秒

どれも同じハーネス(opencode)での結果で、9月の3モデルは隠しテストを15回ずつ回している。Strataは途中で遅くなる問題が出て、隠しテストは5回しか回せていない(後述)。回数が少ないので、隠しテストの数%の差は誤差の範囲と見てほしい。

グラボはRX 9070 XT(16GB)を使った。StrataのAMD向けの資料で、作者が自分で動作を確かめている機種である。

【Strataとは】180Bのモデルを、VRAM 16GBで動かすアプリ

Strataは、Qwen3.8-Flash-Nextをふつうのパソコンで動かすためのアプリだ。MITライセンスの無料のソフトで、GitHubで公開されている。インストーラーを入れて起動すると、モデルを選んでダウンロードし、手元にOpenAI互換とAnthropic互換のAPIを立ててくれる。アカウントはいらない。

Qwen3.8-Flash-Nextは、Qwenが公開した大きなMoEモデルである。公式のモデルカードによると、言語モデルの部分が125Bで、これにn-gramの埋め込み51BとMTP(先読み用の部分)4Bが付く。合わせて約180Bだが、1トークンを出すのに働くのは6Bだけだ。専門家(expert)が512個あり、そのうち11個しか使わない。

だから、全部をVRAMに載せなくても動く。よく使う部分をVRAMとメモリに置き、残りはSSDから読むわけだ。私が入れたのはISTA-DASLabが再量子化したIQ3_Sで、ファイルは83.6GB(本体54.8GB+n-gramの埋め込み28.8GB)ある。

項目Qwen3.8-Flash-Next参考: Qwen3.8-27B
総パラメータ約180B27B
1トークンで働く分6B27B(全部)
動かし方StrataOllama

【Radeonで動くか】ドライバーを入れるだけ

RadeonでローカルAIを動かすとなると、ROCmを入れる手間を想像するかもしれない。だが、StrataのWindows版はAMDのドライバー(Adrenalin)だけで動く。ROCmもHIP SDKも、管理者権限もいらない。公式の資料(AMD_HIP.md)では、RX 9070とRX 9070 XTは作者が自分で動作を確かめた区分に入っている。

私が入れたときは、インストーラーを実行して、モデルにQwen3.8-Flash-NextのIQ3_Sを選んだだけだった。64GBのメモリなら、公式の目安はIQ2_XSかIQ3系である。

なお、私が使ったのは0.2.11(中身のエンジンは0.1.57)で、11月9日には0.2.13が出ている。

【前提】何をどう測ったか

課題と採点は、10月の計測とまったく同じにした。

項目内容
課題Pythonの15問(易4・中3・難5・難+隠しテスト3)
採点見えるテストが全部通り、テストを書き換えていなければ成功。難+の3問は、見せないテストを後から走らせる
ハーネスopencode(1問ごとにDockerのコンテナを作り直す)
制限時間1問30分(9月は20分。Strataは遅いので延ばした)
GPU・メモリRX 9070 XT 16GB・DDR5 64GB
Strata0.2.11(エンジン0.1.57)・コンテキスト上限131,072・KVはint8
計測日2026年11月15日

指示の最後には、9月と同じく「テストは変更しないこと」「終わったらpytestで確認すること」と書いた。

【結果】15問すべて正解、テストの書き換えもなし

見えるテストは、15問すべて通った。9月の計測では、テストのほうを書き換えて「通りました」と返すモデルがいたが、Strataにはそれも無かった(書き換えたテストファイルは0)。

難+の3問の隠しテストは、次のとおりだった。

問題結果
有効期限付きキャッシュ5/5(2回とも全部通過)
設定ファイルの形式移行11/11
式の構文解析(電卓)15/18(2回とも同じ3本を落とした)

電卓の問題で落ちた3本は、どれもマイナスの符号だった。

式正しい答えStrataの答え
2*-3-66
-(1+2)*3-99
1 - -120

「引き算のマイナス」は扱えているのに、「数の前に付く符号のマイナス」が丸ごと落ちている。仕様(docstring)には単項のマイナスも書いてあったが、見えるテストには無かったので、そこまで読み切れなかったわけだ。2回解かせて2回とも同じ所で落ちたので、たまたまではない。

【速度】

1問あたりの時間は平均約408秒(15問で6,115秒)だった。9月のOllamaの3モデルは58〜183秒なので、2〜7倍かかっている。

ただ、遅い理由は文字を書く速さではない。サーバーの記録を見ると、生成は1秒あたり10.6トークン(中央値・76回)で、ツールでファイルを書くときは15トークン前後出ていた。時間を食っていたのは、最初の指示を読み込む部分である。

opencodeは、1問ごとに約7,400トークンの指示(道具の説明やルール)を最初に送ってくる。Strataはこれを読むのに平均171秒かかった(13問の平均・1秒あたり約43トークン)。1問の約4割が、作業を始める前の読み込みで消えているわけだ。2回目以降のやり取りは、前に読んだ分を使い回すので、数秒〜30秒で済んでいた。

なお、専門家キャッシュ(よく使う専門家をVRAMとメモリに置く仕組み)の当たり率は、中央値で46.4%だった。11月6日にアプリの画面で普通に会話したときは75.9%で、生成も14.2トークン/秒出ていた。コードを読み書きする作業では、使う専門家が散らばるのだろう(ここは推測である)。

【注意】2回目の起動から、急に遅くなった

ここは、使う人がいちばん知っておくべきことかもしれない。

15問を解き終えたあと、条件をそろえるために難+の3問をもう2回ずつ回そうとした。ところが、Strataを起動し直した2回目から、生成が1秒あたり1.3〜1.6トークンまで落ちた。1回目の10.6トークンの7分の1である。電卓の問題は366秒から1,399秒になり、設定移行の問題は30分の制限時間で打ち切られた。

調べると、メモリの使われ方が1回目と違っていた。1回目は、ベンチの最中に空きメモリが0.3GBまで減っていた。Strataが専門家(約55GB)を抱え込んでいたからだ。ところが2回目は、空きが24GBもあり、Strata自身が使っているメモリは5GB足らずだった。専門家はWindowsの「キャッシュ」の扱いに落ちていて、必要になるたびにSSDから読み直していたようだ(ここは推測である)。

もう一つ、止めたつもりのStrataが裏で動き続けていたこともあった。ベンチ用に立てたサーバーの管理用のプログラムが残っていて、エンジンを勝手に起動し直していたのである。

だから、Strataを使うときは次の2つを勧める。

  • 起動したら、最初の1回の返事の速さを見る。遅ければ、いったん閉じて、ほかのアプリも閉じてから起動し直す(私の環境では、その日の最初の起動は速かった)
  • 閉じたあと、タスクマネージャーにstrataや、Strataのpythonが残っていないかを見る

【メモリ】ほかのアプリと同時には使えない

モデルの読み込みには約69秒かかり、メモリは約49GB使う(11月8日に測定)。ベンチの最中は空きメモリが0.3GBしか残らなかった。64GBのPCでも、ブラウザやゲームと同時に動かすのは無理だと思ったほうがいい。

逆に言うと、このモデルを快適に使えるかは、グラボよりメインメモリで決まる。64GBでぎりぎりなので、本気で使うなら96GBや128GBが欲しくなる。RX 9070 XTのVRAM 16GBは、専門家キャッシュに3.2GBほど使われていただけだった。

私が使っているのは、Crucial PROのDDR5-5600(32GB×2で64GB)である。Strataを試すなら、まずメモリの空きを確かめてほしい。

【まとめ】

  • Strataなら、RX 9070 XT 16GB+メモリ64GBで、約180BのQwen3.8-Flash-Nextが動く。ROCmはいらない
  • エージェントの15問は全部正解。隠しテストは89%で、9月の上位モデル(86〜96%)と同じくらい
  • ただし1問あたり408秒で、27B前後のモデルの2〜7倍遅い。時間の4割は最初の指示の読み込み
  • 2回目の起動から遅くなることがある。起動したら速さを確かめる
  • 快適さを決めるのはメインメモリ。64GBでぎりぎり

16GBのグラボで180Bが動くのは面白い。ただ、日々のコーディングの相棒にするなら、今はまだ27B前後のモデルをOllamaで動かすほうが待たされない。Strataは版が速いペースで上がっているので、遅くなる問題が直ったらまた測りたい。

参考文献

コメント

タイトルとURLをコピーしました