mieki256's diary

LM Studio というツールを使うとローカルLLMが簡単に動かせるらしいのでそれを使ってみることにした。

_LM Studio - Local AI on your computer

「Download for Windows 0.4.16」と書かれたボタンをクリックして、LM-Studio-0.4.16-2-x64.exe を入手した。

実行してインストール。今回のインストール場所は、X:\aiwork\LM Studio\LM Studio\ にしておいた。755MB、419ファイルがインストールされた。

ただ、C:\Users\(USERNAME)\.lmstudio\ 以下にも色々なファイルが保存されるようで、そちらは 2.08GB、3,900ファイルほどが入っていた。

LM Studio を実行すると、初回起動時にモデルデータのダウンロードを薦められるが、VRAMが 6GB しかない環境に 6GBより大きいサイズのモデルデータを薦められてしまった…。Skip して、もっとファイルサイズが小さいモデルデータを選ぶことにした。

モデルデータをダウンロードする前に、左下の歯車アイコンをクリックして、モデルデータのダウンロード場所を変更しておいた。今回は X:\aiwork\LM Studio\.lmstudio\models\ にしておいた。デフォルトでは C:\Users\(USERNAME)\.lmstudio\models\ になっていた。

以下のサイトで、自分の環境に合わせたモデルデータを探すことができる。

_CanIRun.ai - Can your machine run AI models?

「Can run (S/A/B)」にすると、「RUNS GREAT」「RUNS WELL」と表示されたモデルデータがリストアップされた。1GB - 3GB ぐらいのモデルデータなら VRAM 6GB でも使い物になるかも、ということかな…。

LM Studio の左側の「Model Search」をクリックして、モデルデータを検索。

今回は以下の3つをダウンロードしてみた。

• google/Gemma 4 E2B (4.4GB)
• Qwen 3.5 0.8B (1.2B)
• llama 3.2 3B (1.9B)

ただ、同じ名前のモデルデータがたくさんあって、どれをダウンロードすればいいのか分からなかった。ひとまずダウンロード数が多そうなヤツを選んでみたけれど、これで合ってるのかどうかは分からない…。

LM Studio の、Chat画面の上のほうでモデルを選択。モデルデータが読み込まれた。

日本語文章を打ち込んでチャットしてみたら、日本語でそれっぽい反応が返ってきた。

返信速度は…。Gemma 4 E2B は何か色々と処理した後、一気にすらすらと返事が来た。Qwen 3.5-0.8B や llama-3.2-3B は即座に応答が来た。

ただ、Qwen のほうは、ところどころ妙な漢字が出現する。中国産だから仕方ないのかな…。いや、ファイルサイズが小さ過ぎて正確性がアレなだけかもしれない…。

llama に対して「あふw」について尋ねてみたらかなり頓珍漢なことを自信満々で言ってきた。危ないな…。嘘をつきまくりというか、ハルシネーション起きまくり。

Gemma 4 E2B に対して「あふw」について尋ねてみたら「そんなもんは知らねえ」「もっと細かく具体的に質問してくれないと答えようがねえよ」と言ってきた。嘘をつかない分、まだ頼りになるかな…。

Gemma 4 E2B と Qwen 3.5 0.8B は、画像を渡して分析？してもらうこともできる。チャットのプロンプト入力欄に、エクスプローラから画像ファイルをドラッグアンドドロップで渡して、「この画像について説明して」と打ち込んだら画像の内容についてテキストで説明してくれた。ただ、Qwen は、人物画像の生足？を白いパンツと言い張る…。危ないな…。

でもまあ、とりあえず、ローカルでLLMが動かせることに感動してしまった。

例えば日本語を英語に翻訳するようなことなら全然できそうな感じはする。間違った翻訳をされそうな不安もあるけど…。