Last Update 2026/02/12
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト
おすすめの日本の絶景を教えてください。東西南北、10箇所程度。
Gemma 3 (it-q8_0) [日本語プロンプト]
GPU無し GPU使用・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gemma3:1b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization Q8_0
2026-02-11
total_duration(合計時間) : 22571195807 (22.571s)
load_duration(モデルのロード時間) : 686585856 ( 0.687s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 91457245 ( 0.091s)
eval_count(生成トークン数) : 716
eval_duration(生成時間) : 21302862303 (21.303s)
real 0m22.580s
user 0m0.025s
sys 0m0.005s
メモリ使用量(RSS) : 1559160 KB
gemma3:4b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q8_0
2026-02-11
total_duration(合計時間) : 80040138552 (80.040s)
load_duration(モデルのロード時間) : 1514024191 ( 1.514s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 322629161 ( 0.323s)
eval_count(生成トークン数) : 715
eval_duration(生成時間) : 77692799135 (77.693s)
real 1m20.051s
user 0m0.045s
sys 0m0.000s
メモリ使用量(RSS) : 6016052 KB
gemma3:12b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization Q8_0
2026-02-11
total_duration(合計時間) : 228936815004 (228.937s)
load_duration(モデルのロード時間) : 2578432776 ( 2.578s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1121894956 ( 1.122s)
eval_count(生成トークン数) : 695
eval_duration(生成時間) : 224729209321 (224.729s)
real 3m48.950s
user 0m0.024s
sys 0m0.044s
メモリ使用量(RSS) : 15111004 KB
gemma3:27b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q8_0
2026-02-11
total_duration(合計時間) : 728650638527 (728.651s)
load_duration(モデルのロード時間) : 4382123866 ( 4.382s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 2325683584 ( 2.326s)
eval_count(生成トークン数) : 984
eval_duration(生成時間) : 721156885634 (721.157s)
real 12m8.667s
user 0m0.084s
sys 0m0.060s
メモリ使用量(RSS) : 31538212 KB
gemma3:1b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization Q8_0
2026-02-11
total_duration(合計時間) : 6735181442 (6.735s)
load_duration(モデルのロード時間) : 898568513 (0.899s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 11984064 (0.012s)
eval_count(生成トークン数) : 857
eval_duration(生成時間) : 5384050016 (5.384s)
real 0m6.753s
user 0m0.051s
sys 0m0.001s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 50C P2 129W / 170W | 1650MiB / 12288MiB | 91% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37012 C /usr/bin/ollama 1318MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 811968 KB
gemma3:4b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q8_0
2026-02-11
total_duration(合計時間) : 17446354863 (17.446s)
load_duration(モデルのロード時間) : 1725666317 ( 1.726s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 26895832 ( 0.027s)
eval_count(生成トークン数) : 939
eval_duration(生成時間) : 15254904001 (15.255s)
real 0m17.464s
user 0m0.041s
sys 0m0.007s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 58C P2 157W / 170W | 5760MiB / 12288MiB | 96% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37101 C /usr/bin/ollama 5428MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1346336 KB
gemma3:12b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization Q8_0
2026-02-11
total_duration(合計時間) : 62166769346 (62.167s)
load_duration(モデルのロード時間) : 2620277295 ( 2.620s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 151327242 ( 0.151s)
eval_count(生成トークン数) : 693
eval_duration(生成時間) : 58898875171 (58.899s)
real 1m2.178s
user 0m0.041s
sys 0m0.000s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 60C P2 103W / 170W | 11678MiB / 12288MiB | 57% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37187 C /usr/bin/ollama 11346MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 4369504 KB
gemma3:27b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q8_0
2026-02-11
total_duration(合計時間) : 528413299867 (528.413s)
load_duration(モデルのロード時間) : 4449085597 ( 4.449s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1489536807 ( 1.490s)
eval_count(生成トークン数) : 1060
eval_duration(生成時間) : 521713707735 (521.714s)
real 8m48.427s
user 0m0.036s
sys 0m0.074s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 46C P2 55W / 170W | 11700MiB / 12288MiB | 25% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 44229 C /usr/bin/ollama 11368MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 20876936 KB