つづきです。
前回では路地裏の住人達に女の子の大事な部分を好き勝手されていまい、ついに足腰にキて立っていられなくなりました。みたいな感じす。この体勢になってしまうと路地裏の住人たちが魔法少女さんに何をさせようとするでしょうか。紳士な皆様と路地裏の住人(nawashiのavatar)の考えが同じ方向だと良いな(笑)
ローカルAI、特にLLMが楽しくお財布が厳しい皆様が期待している32GB搭載GPUのIntel Arc Pro B70 が発表になりました。アメリカでは1000ドルを切る価格との事で、日本でも20万円は切ってくるだろうと期待しています。ローカルLLMではVRAMの量がAIの賢さに直結してきて、メモリ帯域が速度に直結する感じです。十分な帯域のあるVRAMが32GB載ったGPUが比較的安価で手に入るようになればローカルLLM勢は嬉しい選択肢となりそうですね。
LLMのコンテキスト用メモリを圧縮する技術、TurboQuantもローカルLLM用に組み込みが進んでいるようですし、ローカルLLMを楽しんでいるnawashiとしては嬉しいニュースが続いています。






























































































































