Last Update 2026/04/05
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Gemma 4 [実測結果一覧へ]
GPU無し[英語]
26b-a4b-it-q4_K_M(12.4TPS)
31b-it-q4_K_M(1.98TPS)
GPU無し[日本語]
26b-a4b-it-q4_K_M(12.3TPS)
31b-it-q4_K_M(1.97TPS)
GPU使用[英語]
26b-a4b-it-q4_K_M(19.8TPS)
31b-it-q4_K_M(3.41TPS)
GPU使用[日本語]
26b-a4b-it-q4_K_M(19.8TPS)
31b-it-q4_K_M(3.42TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gemma4:26b-a4b-it-q4_K_M(GPU無し)[英語]
Model
architecture gemma4
parameters 25.8B
context length 262144
embedding length 2816
quantization Q4_K_M
requires 0.20.0
2026-04-05
total_duration(合計時間) : 139844268354 (139.844s)
load_duration(モデルのロード時間) : 2850944403 ( 2.851s)
prompt_eval_count(評価されたプロンプトのトークン数) : 40
prompt_eval_duration(プロンプトの評価時間) : 745963907 ( 0.746s)
eval_count(生成トークン数) : 1674
eval_duration(生成時間) : 135150768322 (135.151s)
real 2m19.856s
user 0m0.032s
sys 0m0.015s
メモリ使用量(RSS) : 19421144 KB
gemma4:31b-it-q4_K_M(GPU無し)[英語]
Model
architecture gemma4
parameters 31.3B
context length 262144
embedding length 5376
quantization Q4_K_M
requires 0.20.0
2026-04-03
total_duration(合計時間) : 797208677686 (797.209s)
load_duration(モデルのロード時間) : 3562223480 ( 3.562s)
prompt_eval_count(評価されたプロンプトのトークン数) : 40
prompt_eval_duration(プロンプトの評価時間) : 5731957579 ( 5.732s)
eval_count(生成トークン数) : 1558
eval_duration(生成時間) : 786905023413 (786.905s)
real 13m17.216s
user 0m0.054s
sys 0m0.076s
メモリ使用量(RSS) : 24493784 KB
26b-a4b-it-q4_K_M(GPU無し)[日本語]
Model
architecture gemma4
parameters 25.8B
context length 262144
embedding length 2816
quantization Q4_K_M
requires 0.20.0
2026-04-05
total_duration(合計時間) : 142380433003 (142.380s)
load_duration(モデルのロード時間) : 2748877850 ( 2.749s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 644251255 ( 0.644s)
eval_count(生成トークン数) : 1700
eval_duration(生成時間) : 137842820584 (137.841s)
real 2m22.400s
user 0m0.045s
sys 0m0.026s
メモリ使用量(RSS) : 19381192 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・名称間違い発生 「日本一の象徴。五右上、河口湖、」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
gemma4:31b-it-q4_K_M(GPU無し)[日本語]
Model
architecture gemma4
parameters 31.3B
context length 262144
embedding length 5376
quantization Q4_K_M
requires 0.20.0
2026-04-03
total_duration(合計時間) : 926777955645 (926.778s)
load_duration(モデルのロード時間) : 3508196405 ( 3.508s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 4993984322 ( 4.994s)
eval_count(生成トークン数) : 1808
eval_duration(生成時間) : 917124205571 (917.124s)
real 15m26.789s
user 0m0.056s
sys 0m0.092s
メモリ使用量(RSS) : 24543104 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地域・名称間違い無し
・文章・内容ともに完成度高い
-------------------------------------------------
26b-a4b-it-q4_K_M(GPU使用)[英語]
Model
architecture gemma4
parameters 25.8B
context length 262144
embedding length 2816
quantization Q4_K_M
requires 0.20.0
2026-04-05
total_duration(合計時間) : 91697330716 (91.697s)
load_duration(モデルのロード時間) : 3406421305 ( 3.406s)
prompt_eval_count(評価されたプロンプトのトークン数) : 40
prompt_eval_duration(プロンプトの評価時間) : 449654745 ( 0.450s)
eval_count(生成トークン数) : 1723
eval_duration(生成時間) : 86922236283 (86.922s)
real 1m31.716s
user 0m0.051s
sys 0m0.011s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 52C P2 61W / 170W | 11241MiB / 12288MiB | 21% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1190 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1931 G xfwm4 2MiB |
| 0 N/A N/A 2428 G /usr/bin/x-www-browser 131MiB |
| 0 N/A N/A 24465 C /usr/bin/ollama 10986MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 9458420 KB
gemma4:31b-it-q4_K_M(GPU使用)[英語]
Model
architecture gemma4
parameters 31.3B
context length 262144
embedding length 5376
quantization Q4_K_M
requires 0.20.0
2026-04-03
total_duration(合計時間) : 434059123576 (434.059s)
load_duration(モデルのロード時間) : 3519877344 ( 3.520s)
prompt_eval_count(評価されたプロンプトのトークン数) : 40
prompt_eval_duration(プロンプトの評価時間) : 889696791 ( 0.890s)
eval_count(生成トークン数) : 1461
eval_duration(生成時間) : 428743647860 (428.744s)
real 7m14.070s
user 0m0.036s
sys 0m0.046s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 51C P2 58W / 170W | 11493MiB / 12288MiB | 9% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1202 G /usr/lib/xorg/Xorg 115MiB |
| 0 N/A N/A 1954 G xfwm4 2MiB |
| 0 N/A N/A 2458 G /usr/bin/x-www-browser 154MiB |
| 0 N/A N/A 31995 C /usr/bin/ollama 11208MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 14419620 KB
26b-a4b-it-q4_K_M(GPU使用)[日本語]
Model
architecture gemma4
parameters 25.8B
context length 262144
embedding length 2816
quantization Q4_K_M
requires 0.20.0
2026-04-05
total_duration(合計時間) : 90838843284 (90.839s)
load_duration(モデルのロード時間) : 3117513480 ( 3.118s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 362204566 ( 0.362s)
eval_count(生成トークン数) : 1707
eval_duration(生成時間) : 86401846243 (86.402s)
real 1m30.853s
user 0m0.038s
sys 0m0.008s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 59C P2 61W / 170W | 11218MiB / 12288MiB | 18% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1190 G /usr/lib/xorg/Xorg 108MiB |
| 0 N/A N/A 1931 G xfwm4 2MiB |
| 0 N/A N/A 2428 G /usr/bin/x-www-browser 108MiB |
| 0 N/A N/A 41793 C /usr/bin/ollama 10986MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 9451084 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同が発生 「苔むした岩、 much豊かな緑が特徴の」
・地域・名称間違い無し
・文章内に違和感を感じる箇所あり 「特におすすめの場所を10箇所厳品しました」
-------------------------------------------------
gemma4:31b-it-q4_K_M(GPU使用)[日本語]
Model
architecture gemma4
parameters 31.3B
context length 262144
embedding length 5376
quantization Q4_K_M
requires 0.20.0
2026-04-03
total_duration(合計時間) : 467569560095 (467.570s)
load_duration(モデルのロード時間) : 3490807370 ( 3.491s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 925811702 ( 0.926s)
eval_count(生成トークン数) : 1582
eval_duration(生成時間) : 462126730339 (462.127s)
real 7m47.582s
user 0m0.031s
sys 0m0.057s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 51C P2 61W / 170W | 11489MiB / 12288MiB | 17% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1202 G /usr/lib/xorg/Xorg 115MiB |
| 0 N/A N/A 1954 G xfwm4 2MiB |
| 0 N/A N/A 2458 G /usr/bin/x-www-browser 150MiB |
| 0 N/A N/A 47627 C /usr/bin/ollama 11208MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 14453192 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地域・名称間違い無し
・文章・内容ともに完成度高い
-------------------------------------------------