Last Update 2026/03/25
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Nemotron 3 Super
GPU無し[英語]
120b-a12b-q4_K_M(4.39TPS)
GPU無し[日本語]
120b-a12b-q4_K_M(4.40TPS)
GPU使用[英語]
120b-a12b-q4_K_M(4.77TPS)
GPU使用[日本語]
120b-a12b-q4_K_M(4.77TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
nemotron-3-super:120b-a12b-q4_K_M(GPU無し)[英語]
Model
architecture nemotron_h_moe
parameters 123.6B
context length 262144
embedding length 4096
quantization Q4_K_M
requires 0.17.1
2026-03-24
total_duration(合計時間) : 532048648400 (532.049s)
load_duration(モデルのロード時間) : 24620826194 ( 24.621s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 3368339445 ( 3.368s)
eval_count(生成トークン数) : 2207
eval_duration(生成時間) : 503231330681 (503.231s)
real 8m52.079s
user 0m0.049s
sys 0m0.067s
メモリ使用量(RSS) : 87939196 KB
nemotron-3-super:120b-a12b-q4_K_M(GPU無し)[日本語]
Model
architecture nemotron_h_moe
parameters 123.6B
context length 262144
embedding length 4096
quantization Q4_K_M
requires 0.17.1
2026-03-24
total_duration(合計時間) : 292126697490 (292.127s)
load_duration(モデルのロード時間) : 27160024989 ( 27.160s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 3789448927 ( 3.789s)
eval_count(生成トークン数) : 1146
eval_duration(生成時間) : 260647441122 (260.647s)
real 4m52.139s
user 0m0.040s
sys 0m0.026s
メモリ使用量(RSS) : 88150068 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。北、西、南の3エリアに分割
・言語混同無し
・地域・名称間違いが発生 「八甲田山（はちこうたやま）」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
nemotron-3-super:120b-a12b-q4_K_M(GPU使用)[英語]
Model
architecture nemotron_h_moe
parameters 123.6B
context length 262144
embedding length 4096
quantization Q4_K_M
requires 0.17.1
2026-03-24
total_duration(合計時間) : 504497669843 (504.498s)
load_duration(モデルのロード時間) : 27256753760 ( 27.257s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 4268496604 ( 4.268s)
eval_count(生成トークン数) : 2250
eval_duration(生成時間) : 472116579572 (472.117s)
real 8m24.521s
user 0m0.062s
sys 0m0.060s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 54C P2 48W / 170W | 10731MiB / 12288MiB | 5% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1203 G /usr/lib/xorg/Xorg 116MiB |
| 0 N/A N/A 1940 G xfwm4 2MiB |
| 0 N/A N/A 2431 G /usr/bin/x-www-browser 217MiB |
| 0 N/A N/A 46571 C /usr/bin/ollama 10382MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 79816920 KB
nemotron-3-super:120b-a12b-q4_K_M(GPU使用)[日本語]
Model
architecture nemotron_h_moe
parameters 123.6B
context length 262144
embedding length 4096
quantization Q4_K_M
requires 0.17.1
2026-03-24
total_duration(合計時間) : 300831227769 (300.831s)
load_duration(モデルのロード時間) : 25946991166 ( 25.947s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 4249938939 ( 4.250s)
eval_count(生成トークン数) : 1290
eval_duration(生成時間) : 270169848271 (270.170s)
real 5m0.854s
user 0m0.058s
sys 0m0.037s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 60C P2 49W / 170W | 10731MiB / 12288MiB | 5% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1203 G /usr/lib/xorg/Xorg 116MiB |
| 0 N/A N/A 1940 G xfwm4 2MiB |
| 0 N/A N/A 2431 G /usr/bin/x-www-browser 217MiB |
| 0 N/A N/A 69642 C /usr/bin/ollama 10382MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 80023208 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地域・名称間違いが発生 「奥入瀬渓流（おイりせけいりゅう）」「北海道 網走郡知床町」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------