Last Update 2026/03/25
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Nemotron Cascade 2
GPU無し[英語]
30b-a3b-q4_K_M(14.1TPS)
GPU無し[日本語]
30b-a3b-q4_K_M(14.1TPS)
GPU使用[英語]
30b-a3b-q4_K_M(19.8TPS)
GPU使用[日本語]
30b-a3b-q4_K_M(19.7TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
nemotron-cascade-2:30b-a3b-q4_K_M(GPU無し)[英語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 262144
embedding length 2688
quantization Q4_K_M
requires 0.17.1
2026-03-25
total_duration(合計時間) : 166392402732 (166.392s)
load_duration(モデルのロード時間) : 2856619537 ( 2.857s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 1501162298 ( 1.501s)
eval_count(生成トークン数) : 2282
eval_duration(生成時間) : 161298576278 (161.299s)
real 2m46.412s
user 0m0.053s
sys 0m0.019s
メモリ使用量(RSS) : 25207224 KB
nemotron-cascade-2:30b-a3b-q4_K_M(GPU無し)[日本語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 262144
embedding length 2688
quantization Q4_K_M
requires 0.17.1
2026-03-25
total_duration(合計時間) : 172103738350 (172.104s)
load_duration(モデルのロード時間) : 3092588638 ( 3.093s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 1456114375 ( 1.456s)
eval_count(生成トークン数) : 2358
eval_duration(生成時間) : 166775257123 (166.775s)
real 2m52.115s
user 0m0.039s
sys 0m0.017s
メモリ使用量(RSS) : 25202840 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは14箇所。東西南北を考慮
・言語混同が発生 「西伊豆・竹 Perry (Bamboo)」
・地域・名称間違いが発生 「青森県・十軒屋」「草津温泉・杖尾（たてお）温泉郷」
・文章は違和感を感じないレベル(内容の評価を除く)
・「代表的な特徴と見方のポイント」などのプロンプト指定の無い3項目の解説を追加
-------------------------------------------------
nemotron-cascade-2:30b-a3b-q4_K_M(GPU使用)[英語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 262144
embedding length 2688
quantization Q4_K_M
requires 0.17.1
2026-03-25
total_duration(合計時間) : 254194245150 (254.194s)
load_duration(モデルのロード時間) : 3465578588 ( 3.466s)
prompt_eval_count(評価されたプロンプトのトークン数) : 41
prompt_eval_duration(プロンプトの評価時間) : 739473702 ( 0.739s)
eval_count(生成トークン数) : 4913
eval_duration(生成時間) : 248314720418 (248.315s)
real 4m14.201s
user 0m0.035s
sys 0m0.019s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 60C P2 56W / 170W | 11584MiB / 12288MiB | 13% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1179 G /usr/lib/xorg/Xorg 118MiB |
| 0 N/A N/A 1935 G xfwm4 2MiB |
| 0 N/A N/A 2359 G /usr/bin/x-www-browser 254MiB |
| 0 N/A N/A 74665 C /usr/bin/ollama 11196MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 15197956 KB
nemotron-cascade-2:30b-a3b-q4_K_M(GPU使用)[日本語]
Model
architecture nemotron_h_moe
parameters 31.6B
context length 262144
embedding length 2688
quantization Q4_K_M
requires 0.17.1
2026-03-25
total_duration(合計時間) : 320266028218 (320.266s)
load_duration(モデルのロード時間) : 3221513916 ( 3.222s)
prompt_eval_count(評価されたプロンプトのトークン数) : 46
prompt_eval_duration(プロンプトの評価時間) : 742495969 ( 0.742s)
eval_count(生成トークン数) : 6185
eval_duration(生成時間) : 314111723619 (314.112s)
real 5m20.284s
user 0m0.045s
sys 0m0.040s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 49C P2 54W / 170W | 11582MiB / 12288MiB | 9% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1179 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1935 G xfwm4 2MiB |
| 0 N/A N/A 2359 G /usr/bin/x-www-browser 258MiB |
| 0 N/A N/A 124139 C /usr/bin/ollama 11196MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 15183120 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同が発生 「Jogasaki Coastの断崖や」
・地域・名称間違いが発生 「**日光（栃木県）** ... 富士山を望む「大黑屋」や ...」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------