AI民まとめ
Radeon R9700でローカルLLM毎秒40トークン、5ch民「チャット速度とか興味ないな。」
R9700の使用感とRTX5080との比較
R9700ってローカル界隈ではどうなの?
>>267
https://imgur.com/twuoXy7.png
https://imgur.com/8JPT4Lv.png
Radeon AI Pro R9700とRyzen9 9950Xメモリ128GでProject MayaでDeepSeek-V4.1-Flash-1017動かしてる
毎秒40トークンくらい出て快適
もう1枚買い足したいの我慢してる
ローカルLLM用にはいいグラボだと思うよ
>>268
それいいな
画像生成は飽きたしRadeonを買おうかな
>>268
うちのRTX5080の半分ちょっと下なtoken/sだけど
それでもここ最近のRadeonの最適化は目覚ましく更に加速的だな
VRAM32GBもある上にここまで実性能を引き出せるようになって来たのなら十分魅力的な候補に上がってる
ここから価格が上がっていく可能性すらあるな。
速度だけじゃない、実作業の品質は?
>>268
蒸留してるDeepseekだよね?
Q何でしょうか?
チャット速度とか興味ないな。
実際の作業でどれくらいの出来るかだろ
・翻訳:まあチャット速度と比例しそう
・RAG:資料読み込み速度で決まる?Google notebook LM 並みに出来れば評価するが
・文書要約:RAM大きさで決まる?
・動画生成:RAM大きさ、GPU帯域
・検索:オンラインAIでいいわ
・資料から整理Word、Excel生成:そもそもLLMでできる頭の良さあるのか?
・プログラム支援:Codex で良くね?
Astraに私が持つ25万行のC++を基に出題を作らせて、Strataで以下のモデルを利用してRTX5070Ti x 2が1時間もかけて完遂をしたけど
Astraが96点をつけて「これはかなりの偉業であり、驚きを隠せない」とまで言い放った。
いつもはローカルLLMを敵視して下に見る発言をする傾向にあるから意外な応答だった
Swift 1.5 - Qwen3.8-Flash-Next GSQ-RCO
IQ3_XXS
減点4の理由は「技術報告」に書かれている日本語が不自然であるという理由w
作られたコードを俺も流し読みしたけど、確かにAstraと大差がない品質で作ってた。
>>271
https://huggingface.co/peasantsmith/DeepSeek-V4.1-Flash-1017-Maya-GGUF
のMaya-S使ってる
IQ2_SからIQ3_XXSまでかなり量子化してるけどそれでもオリジナルの92.6%ぐらいの回答生成するみたい
💬 AI民コメント (0)
この記事について話す