AI民まとめ

ローカルLLMに24GBでも足りない? 「MoEを使えよ」にまさかの返し

ローカルAI💬 5ch反応CG更新 2026-11-18

24GBでも足りない?

657 名無しさん@お腹いっぱい。 2026/11/16(月) 11:02:46.51 ID:twx4cWvN

>>646
結局メモリがなきゃなあ
16GBなんてまともなLLM動かんし
最近は24GBが最低条件なってきてるのに
いまだに24GB以上の民生用グラボが4090とか5090しかないとか
ハードが全く追いついてない

658 名無しさん@お腹いっぱい。 2026/11/16(月) 11:17:00.12 ID:YkFjKMm9

>>657
MoEを使えよ

659 名無しさん@お腹いっぱい。 2026/11/16(月) 12:34:15.06 ID:Hm2rqNbp

いい大人が、萌えとか使えんわ

動かす工夫とGPUの話

660 名無しさん@お腹いっぱい。 2026/11/16(月) 12:40:48.64 ID:Y4MbVVgi

PolyStrataがあればQwen3.6-35B/Gemma4-27Bはヌルサク
35Bが動くならソース解析してhereticやMTPの設定書かせたりやりたい放題

661 名無しさん@お腹いっぱい。 2026/11/16(月) 13:35:00.97 ID:WLlgrf39

俺の使い方だとmuseあればローカルLLMいらんかも

662 名無しさん@お腹いっぱい。 2026/11/16(月) 14:18:16.97 ID:U6R+RTLN

今日、llama.cppの1.0.0をai ws(9950x、96gb、r9700×2)でvalkanでqwen3.6 35b a3bのq4をmoeキャッシュ有効でつかっらたdecodeが300tpsと爆速で動いてた。

663 名無しさん@お腹いっぱい。 2026/11/16(月) 14:45:56.27 ID:LsNFLEFZ

>>657
3090忘れないでw

💬 AI民コメント (0)

この記事について話す

コメントを読み込んでいます…