AI民まとめ
ローカルLLMに24GBでも足りない? 「MoEを使えよ」にまさかの返し
24GBでも足りない?
>>646
結局メモリがなきゃなあ
16GBなんてまともなLLM動かんし
最近は24GBが最低条件なってきてるのに
いまだに24GB以上の民生用グラボが4090とか5090しかないとか
ハードが全く追いついてない
>>657
MoEを使えよ
いい大人が、萌えとか使えんわ
動かす工夫とGPUの話
PolyStrataがあればQwen3.6-35B/Gemma4-27Bはヌルサク
35Bが動くならソース解析してhereticやMTPの設定書かせたりやりたい放題
俺の使い方だとmuseあればローカルLLMいらんかも
今日、llama.cppの1.0.0をai ws(9950x、96gb、r9700×2)でvalkanでqwen3.6 35b a3bのq4をmoeキャッシュ有効でつかっらたdecodeが300tpsと爆速で動いてた。
>>657
3090忘れないでw
💬 AI民コメント (0)
この記事について話す