Last Update 2026/04/18
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Qwen3.6 [実測結果一覧へ]
GPU無し[英語]
35b-a3b-q4_K_M(8.13TPS)
GPU無し[日本語]
35b-a3b-q4_K_M(8.03TPS)
GPU使用[英語]
35b-a3b-q4_K_M(12.7TPS)
GPU使用[日本語]
35b-a3b-q4_K_M(12.7TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
35b-a3b-q4_K_M(GPU無し)[英語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-04-17
total_duration(合計時間) : 622958309558 (622.958s)
load_duration(モデルのロード時間) : 3662766672 ( 3.663s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 736287335 ( 0.736s)
eval_count(生成トークン数) : 5012
eval_duration(生成時間) : 616713417605 (616.713s)
real 10m22.970s
user 0m0.042s
sys 0m0.056s
メモリ使用量(RSS) : 25600960 KB
35b-a3b-q4_K_M(GPU無し)[日本語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-04-17
total_duration(合計時間) : 556698544603 (556.699s)
load_duration(モデルのロード時間) : 3986337533 ( 3.986s)
prompt_eval_count(評価されたプロンプトのトークン数) : 29
prompt_eval_duration(プロンプトの評価時間) : 628636942 ( 0.629s)
eval_count(生成トークン数) : 4419
eval_duration(生成時間) : 550388038416 (550.388s)
real 9m16.720s
user 0m0.088s
sys 0m0.026s
メモリ使用量(RSS) : 25646028 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同が発生 「早朝の雲海 emergence は圧巻」
・名称間違い発生 「石川県・能登半島（白米千枚田・鵜の巣断崖）」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
35b-a3b-q4_K_M(GPU使用)[英語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-04-17
total_duration(合計時間) : 328853861173 (328.854s)
load_duration(モデルのロード時間) : 4560953417 ( 4.561s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 519524246 ( 0.520s)
eval_count(生成トークン数) : 4090
eval_duration(生成時間) : 322331904715 (322.332s)
real 5m28.865s
user 0m0.027s
sys 0m0.040s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 60C P2 57W / 170W | 11270MiB / 12288MiB | 7% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1226 G /usr/lib/xorg/Xorg 107MiB |
| 0 N/A N/A 1935 G xfwm4 2MiB |
| 0 N/A N/A 2531 G /usr/bin/x-www-browser 128MiB |
| 0 N/A N/A 60698 C /usr/bin/ollama 11020MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 16013612 KB
35b-a3b-q4_K_M(GPU使用)[日本語]
Model
architecture qwen35moe
parameters 36.0B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-04-17
total_duration(合計時間) : 378741936006 (378.742s)
load_duration(モデルのロード時間) : 4341013504 ( 4.341s)
prompt_eval_count(評価されたプロンプトのトークン数) : 29
prompt_eval_duration(プロンプトの評価時間) : 399163567 ( 0.399s)
eval_count(生成トークン数) : 4715
eval_duration(生成時間) : 372266102192 (372.266s)
real 6m18.762s
user 0m0.063s
sys 0m0.035s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 52C P2 52W / 170W | 11403MiB / 12288MiB | 12% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1226 G /usr/lib/xorg/Xorg 116MiB |
| 0 N/A N/A 1935 G xfwm4 2MiB |
| 0 N/A N/A 2531 G /usr/bin/x-www-browser 251MiB |
| 0 N/A N/A 106267 C /usr/bin/ollama 11020MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 16107852 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・名称間違い発生 (例)「知床半島（羅臼・神威岬）」「ロウズから観光船で見る」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------