AI民まとめ
R9700を2枚挿すAI民が登場、実測談義に「存在していたのか…」
R9700の2枚構成、ローカルLLMの実測は?
>>275
R9700の2枚刺し+96gb+9950xのwindows環境でqwen3.8 fn ud_q4_k_xlで、
最大:decode:160tps、prefill:1700tpsぐらい。
最小:decode:50tps、prefill:200tps。
vram hit rateが97%ぐらい。
※電力制限30%運用なんで参考程度に。
2枚で400w
>>280
ありがとう
CPUは同じでこちらは128GB
OSはDebian13
実はもう確保していてセットアップ済み
VRAM帯域やその他諸々の関係から速度は予想通り落ちてしまったけど,
より上位のモデルも部分的にVRAMへ多く収める事が可能となったので
速度よりも出力結果の品質を優先したい,手直しを減らして能率アップをしたい目的は達成できそう
IQ3_SまでならPCIeを介してのメモリ間転送が大幅に減った結果、CPU負荷の下がり方が顕著だった
>>282
R9700の2枚刺し仲間が増えて良かった。
価格とPCIeの壁、RTXに戻った人も
7月にR9700を25万で1枚買った
今は35万以上する
あの時思い切って2枚買っておけばよかった
でも来年きっと思う
「2026年11月に35万で買っておくべきだった。今は50万に上がった」
と
2枚刺しは、レーン分割に対応したマザーじゃないとパフォーマンス出ないから、電源、マザーもアップグレードが必要なのがつらい。
asus proartが高いので、AGIAちゃん(maxsun)に頑張ってもらってる。高性能でよい。
俺はその真逆でR9700を売ってRTX5080買っちまったな。
ローカルLLMなら問題にならないけど画像生成はモデルがそもそもRadeonが対応していないfp何々を多用する物が殆どで
ソフトウェアエミュレーションになっちまうんよな
結果3倍以上時間かかる
RTX3070よりずっと遅くて気絶しそうになった
R97002枚刺し界隈…
存在していたのか…
💬 AI民コメント (0)
この記事について話す