Last Update 2026/03/24
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Devstral Small 2
GPU無し[英語]
24b-instruct-2512-q4_K_M(2.78TPS)
GPU無し[日本語]
24b-instruct-2512-q4_K_M(2.77TPS)
GPU使用[英語]
24b-instruct-2512-q4_K_M(7.31TPS)
GPU使用[日本語]
24b-instruct-2512-q4_K_M(7.29TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
24b-instruct-2512-q4_K_M(GPU無し)[英語]
Model
architecture mistral3
parameters 24.0B
context length 393216
embedding length 5120
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 189011293817 (189.011s)
load_duration(モデルのロード時間) : 2529086258 ( 2.529s)
prompt_eval_count(評価されたプロンプトのトークン数) : 580
prompt_eval_duration(プロンプトの評価時間) : 68061955517 ( 68.062s)
eval_count(生成トークン数) : 329
eval_duration(生成時間) : 118268538152 (118.269s)
real 3m9.035s
user 0m0.042s
sys 0m0.031s
メモリ使用量(RSS) : 15929896 KB
24b-instruct-2512-q4_K_M(GPU無し)[日本語]
Model
architecture mistral3
parameters 24.0B
context length 393216
embedding length 5120
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 262091937256 (262.092s)
load_duration(モデルのロード時間) : 2503972824 ( 2.504s)
prompt_eval_count(評価されたプロンプトのトークン数) : 585
prompt_eval_duration(プロンプトの評価時間) : 70581859296 ( 70.582s)
eval_count(生成トークン数) : 523
eval_duration(生成時間) : 188757634029 (188.758s)
real 4m22.110s
user 0m0.062s
sys 0m0.019s
メモリ使用量(RSS) : 15951920 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮
・言語混同無し
・地域・名称間違い無し
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
24b-instruct-2512-q4_K_M(GPU使用)[英語]
Model
architecture mistral3
parameters 24.0B
context length 393216
embedding length 5120
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 53814393063 (53.814s)
load_duration(モデルのロード時間) : 2950537857 ( 2.951s)
prompt_eval_count(評価されたプロンプトのトークン数) : 580
prompt_eval_duration(プロンプトの評価時間) : 1438392538 ( 1.438s)
eval_count(生成トークン数) : 360
eval_duration(生成時間) : 49281296152 (49.281s)
real 0m53.825s
user 0m0.032s
sys 0m0.006s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 51C P2 79W / 170W | 11656MiB / 12288MiB | 20% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1186 G /usr/lib/xorg/Xorg 107MiB |
| 0 N/A N/A 1914 G xfwm4 2MiB |
| 0 N/A N/A 2430 G /usr/bin/x-www-browser 117MiB |
| 0 N/A N/A 15553 C /usr/bin/ollama 11416MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 6019096 KB
24b-instruct-2512-q4_K_M(GPU使用)[日本語]
Model
architecture mistral3
parameters 24.0B
context length 393216
embedding length 5120
quantization Q4_K_M
2026-03-01
total_duration(合計時間) : 75863143534 (75.863s)
load_duration(モデルのロード時間) : 2722306234 ( 2.722s)
prompt_eval_count(評価されたプロンプトのトークン数) : 585
prompt_eval_duration(プロンプトの評価時間) : 1454535052 ( 1.455s)
eval_count(生成トークン数) : 521
eval_duration(生成時間) : 71486326242 (71.486s)
real 1m15.916s
user 0m0.023s
sys 0m0.019s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 60C P2 78W / 170W | 11656MiB / 12288MiB | 23% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1186 G /usr/lib/xorg/Xorg 107MiB |
| 0 N/A N/A 1914 G xfwm4 2MiB |
| 0 N/A N/A 2430 G /usr/bin/x-www-browser 117MiB |
| 0 N/A N/A 19249 C /usr/bin/ollama 11416MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 6067868 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮
・言語混同無し
・地域・名称間違い無し
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------