2026/06/28(日) [n年前の日記]
#2 [prog] whichllmを試用
ローカル環境で動かせるLLMの選択肢を表示してくれる whichllm というツールがあるらしい。
_自分のPCで「とりあえず動く」ではなく「一番賢く使える」ローカルLLMを教えてくれる「whichllm」、実測ベンチでランク付け（生成AIクローズアップ） | テクノエッジ TechnoEdge
_whichllmを試してみたが思ったよりも微妙だった。｜たまき（AIに語りかける者）
_whichllm：自分のマシンで動くローカルLLMを1コマンドで選ぶ｜株式会社ホコサキ
_ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみた - Qiita
自分の環境、Windows11 x64 25H2、CPU : AMD Ryzen 5 5600X、GPU : NVIDIA GeForce GTX 1060 6GB、RAM : 32GB で適切なLLMはどのあたりなのか気になったので試用してみることにした。
D:\aiwork\whichllm\ を作成して、中に入って、以下を打った。git と、Python の仮想環境管理ツールのuvを利用。
以下の結果が表示された。
表形式で表示するために、何か妙な文字を使ってる気がする…。横線がターミナル上では半角表示っぽいけれど、コピペすると全角文字になってしまう…。とりあえず「ー」を「-」に置換してみたけれど、まだズレる…。この日記ページで表示できない文字も使われている…。
treeコマンドのようにASCII文字で表示するモードがあればいいのだけどな…。いや、treeコマンドも英語圏でしか表示されない文字(バックスラッシュ等)を平気で使われてしまったりするけれど…。
Markdownで出力することもできる模様。このほうがまだ読みやすいかもしれない？
_自分のPCで「とりあえず動く」ではなく「一番賢く使える」ローカルLLMを教えてくれる「whichllm」、実測ベンチでランク付け（生成AIクローズアップ） | テクノエッジ TechnoEdge
_whichllmを試してみたが思ったよりも微妙だった。｜たまき（AIに語りかける者）
_whichllm：自分のマシンで動くローカルLLMを1コマンドで選ぶ｜株式会社ホコサキ
_ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみた - Qiita
自分の環境、Windows11 x64 25H2、CPU : AMD Ryzen 5 5600X、GPU : NVIDIA GeForce GTX 1060 6GB、RAM : 32GB で適切なLLMはどのあたりなのか気になったので試用してみることにした。
D:\aiwork\whichllm\ を作成して、中に入って、以下を打った。git と、Python の仮想環境管理ツールのuvを利用。
git clone https://github.com/Andyyyy64/whichllm.git cd whichllm uv sync --dev uv run whichllm --help uv run whichllm
以下の結果が表示された。
>uv run whichllm --version
0.5.13
>uv run whichllm
---------------------------------------------- Hardware Info -------------------------------------
│ GPU 0: NVIDIA GeForce GTX 1060 6GB - 6.0 GB (budget 5.5 GB) (CC 6.1, CUDA 12.6) - BW: 192 GB/s │
│ CPU: AMD Ryzen 5 5600X 6-Core Processor - 6 cores (AVX2) │
│ RAM: 31.9 GB │
│ Disk free: 154.4 GB │
│ OS: windows │
│ VRAM headroom: 512 MB reserved per GPU │
--------------------------------------------------------------------------------------------------
Recommended Models
┏-----┳------------------------------------------┳--------┳----------┳--------------┳------------┳-------┓
┃ ┃ ┃ ┃ Fit / ┃ ┃ ┃ ┃
┃ # ┃ Model ┃ Quant ┃ VRAM ┃ Speed ┃ Published ┃ Score ┃
----- ------------------------------------------ -------- ---------- -------------- ------------ -------
│ 1 │ Qwen/Qwen3-8B │ Q3_K_M │ Full GPU │ 26.8 tok/s ~ │ 2025-04-27 │ 62.6 │
│ │ 8.2B │ │ 5.0 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 2 │ google/gemma-4-26B-A4B-it │ Q3_K_M │ Partial │ 26.0 tok/s ? │ 2026-03-11 │ 62.6 │
│ │ 26.5B (3.8Ba) │ │ 12.3 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 3 │ Qwen/Qwen3-4B-Thinking-2507 │ Q5_K_M │ Full GPU │ 36.1 tok/s ~ │ 2025-08-05 │ 62.3 │
│ │ 4.0B │ │ 3.9 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 4 │ openai/gpt-oss-20b │ Q4_K_M │ Partial │ 23.5 tok/s ? │ 2025-08-04 │ 61.6 │
│ │ 21.5B (3.6Ba) │ │ 12.7 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 5 │ Qwen/Qwen3-30B-A3B │ Q5_K_M │ Partial │ 21.8 tok/s ? │ 2025-04-27 │ 61.5 │
│ │ 30.5B (3.0Ba) │ │ 20.9 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 6 │ Qwen/Qwen3-4B-Instruct-2507 │ Q5_K_M │ Full GPU │ 36.1 tok/s ~ │ 2025-08-05 │ 57.1 │
│ │ 4.0B │ │ 3.9 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 7 │ Qwen/Qwen3-14B │ Q3_K_M │ Partial │ 6.7 tok/s ? │ 2025-04-27 │ 55.0 │
│ │ 14.8B │ │ 8.3 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 8 │ Qwen/Qwen3-4B │ Q5_K_M │ Full GPU │ 36.1 tok/s ~ │ 2025-04-27 │ 53.9 │
│ │ 4.0B │ │ 3.9 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 9 │ microsoft/phi-4 │ Q3_K_M │ Partial │ 6.7 tok/s ? │ 2024-12-11 │ 53.4 │
│ │ 14.7B │ │ 8.2 GB │ │ │ │
├-----┼------------------------------------------┼--------┼----------┼--------------┼------------┼-------┤
│ 10 │ deepseek-ai/DeepSeek-R1-Distill-Llama-8B │ Q3_K_M │ Full GPU │ 27.4 tok/s ~ │ 2025-01-20 │ 53.0 │
│ │ 8.0B │ │ 5.0 GB │ │ │ │
└-----┴------------------------------------------┴--------┴----------┴--------------┴------------┴-------┘
Speed: ~ = estimated tok/s range, ? = low-confidence/backend-sensitive tok/s
Top pick confidence: Low (direct benchmark but very close (+0.0))
Benchmark reference: 2026-05 curated snapshot; live AA / LiveBench / Aider merged when reachable.
Note: Top candidates are very close (#1 vs #2: 0.0 pts).
Speed caution: Low-confidence speed estimates in top ranks: #2
Warning #2 gemma-4-26B-A4B-it: ~55% of layers will be offloaded to CPU RAM
表形式で表示するために、何か妙な文字を使ってる気がする…。横線がターミナル上では半角表示っぽいけれど、コピペすると全角文字になってしまう…。とりあえず「ー」を「-」に置換してみたけれど、まだズレる…。この日記ページで表示できない文字も使われている…。
treeコマンドのようにASCII文字で表示するモードがあればいいのだけどな…。いや、treeコマンドも英語圏でしか表示されない文字(バックスラッシュ等)を平気で使われてしまったりするけれど…。
Markdownで出力することもできる模様。このほうがまだ読みやすいかもしれない？
uv run whichllm --markdown
>uv run whichllm --markdown ## Recommended Models | # | Model | Params | Quant | Fit | VRAM | Speed | Published | Score | License | | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | | 1 | Qwen/Qwen3-8B | 8.2B | Q3_K_M | Full GPU | 5.0 GB | 26.8 tok/s ~ | 2025-04-27 | 62.6 | apache-2.0 | | 2 | google/gemma-4-26B-A4B-it | 26.5B (3.8Ba) | Q3_K_M | Partial | 12.3 GB | 26.0 tok/s ? | 2026-03-11 | 62.6 | apache-2.0 | | 3 | Qwen/Qwen3-4B-Thinking-2507 | 4.0B | Q5_K_M | Full GPU | 3.9 GB | 36.1 tok/s ~ | 2025-08-05 | 62.3 | apache-2.0 | | 4 | openai/gpt-oss-20b | 21.5B (3.6Ba) | Q4_K_M | Partial | 12.7 GB | 23.5 tok/s ? | 2025-08-04 | 61.6 | apache-2.0 | | 5 | Qwen/Qwen3-30B-A3B | 30.5B (3.0Ba) | Q5_K_M | Partial | 20.9 GB | 21.8 tok/s ? | 2025-04-27 | 61.5 | apache-2.0 | | 6 | Qwen/Qwen3-4B-Instruct-2507 | 4.0B | Q5_K_M | Full GPU | 3.9 GB | 36.1 tok/s ~ | 2025-08-05 | 57.1 | apache-2.0 | | 7 | Qwen/Qwen3-14B | 14.8B | Q3_K_M | Partial | 8.3 GB | 6.7 tok/s ? | 2025-04-27 | 55.0 | apache-2.0 | | 8 | Qwen/Qwen3-4B | 4.0B | Q5_K_M | Full GPU | 3.9 GB | 36.1 tok/s ~ | 2025-04-27 | 53.9 | apache-2.0 | | 9 | microsoft/phi-4 | 14.7B | Q3_K_M | Partial | 8.2 GB | 6.7 tok/s ? | 2024-12-11 | 53.4 | mit | | 10 | deepseek-ai/DeepSeek-R1-Distill-Llama-8B | 8.0B | Q3_K_M | Full GPU | 5.0 GB | 27.4 tok/s ~ | 2025-01-20 | 53.0 | mit |
[ ツッコむ ]
以上です。