Last Update 2026/02/11
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
Gemma 3 (QAT) [英語プロンプト]
GPU無し GPU使用・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gemma3:1b-it-qat(GPU無し)
Model
parameters 4.3B
context length 131072
embedding length 2560
quantization Q4_0
2026-02-10
total_duration(合計時間) : 33279190571 (33.279s)
load_duration(モデルのロード時間) : 522270458 ( 0.522s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 138813938 ( 0.139s)
eval_count(生成トークン数) : 1190
eval_duration(生成時間) : 32133263381 (32.133s)
real 0m33.290s
user 0m0.029s
sys 0m0.014s
メモリ使用量(RSS) : 1744508 KB
gemma3:4b-it-qat(GPU無し)
Model
parameters 4.3B
context length 131072
embedding length 2560
quantization Q4_0
2026-02-10
total_duration(合計時間) : 97704174707 (97.704s)
load_duration(モデルのロード時間) : 1337665396 ( 1.338s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 538186759 ( 0.538s)
eval_count(生成トークン数) : 1117
eval_duration(生成時間) : 95342145072 (95.342s)
real 1m37.716s
user 0m0.028s
sys 0m0.015s
メモリ使用量(RSS) : 5682412 KB
gemma3:12b-it-qat(GPU無し)
Model
parameters 12.2B
context length 131072
embedding length 3840
quantization Q4_0
2026-02-10
total_duration(合計時間) : 278382734274 (278.383s)
load_duration(モデルのロード時間) : 2094715047 ( 2.094s)
prompt_eval_count(評価されたプロンプトのトークン数) : 51
prompt_eval_duration(プロンプトの評価時間) : 2388160211 ( 2.388s)
eval_count(生成トークン数) : 1265
eval_duration(生成時間) : 273318401079 (273.318s)
real 4m38.393s
user 0m0.045s
sys 0m0.019s
メモリ使用量(RSS) : 11706192 KB
gemma3:27b-it-qat(GPU無し)
Model
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_0
2026-02-10
total_duration(合計時間) : 502000231573 (502.000s)
load_duration(モデルのロード時間) : 3205668637 ( 3.206s)
prompt_eval_count(評価されたプロンプトのトークン数) : 51
prompt_eval_duration(プロンプトの評価時間) : 5641163968 ( 5.641s)
eval_count(生成トークン数) : 1091
eval_duration(生成時間) : 492635751290 (492.636s)
real 8m22.020s
user 0m0.062s
sys 0m0.058s
メモリ使用量(RSS) : 21616668 KB
gemma3:1b-it-qat(GPU使用)
Model
parameters 999.89M
context length 32768
embedding length 1152
quantization Q4_0
2026-02-10
total_duration(合計時間) : 6204241018 (6.204s)
load_duration(モデルのロード時間) : 720968927 (0.721s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 13692786 (0.014s)
eval_count(生成トークン数) : 930
eval_duration(生成時間) : 5042349301 (5.042s)
real 0m6.220s
user 0m0.037s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 44C P2 135W / 170W | 1565MiB / 12288MiB | 87% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1245 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1922 G xfwm4 2MiB |
| 0 N/A N/A 2460 G /usr/bin/x-www-browser 176MiB |
| 0 N/A N/A 42305 C /usr/bin/ollama 1256MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1069996 KB
gemma3:4b-it-qat(GPU使用)
Model
parameters 4.3B
context length 131072
embedding length 2560
quantization Q4_0
2026-02-10
total_duration(合計時間) : 13182267836 (13.182s)
load_duration(モデルのロード時間) : 1515328455 ( 1.515s)
prompt_eval_count(評価されたプロンプトのトークン数) : 35
prompt_eval_duration(プロンプトの評価時間) : 26687844 ( 0.027s)
eval_count(生成トークン数) : 892
eval_duration(生成時間) : 11228730019 (11.229s)
real 0m13.200s
user 0m0.037s
sys 0m0.013s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 51C P2 156W / 170W | 4817MiB / 12288MiB | 95% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1245 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1922 G xfwm4 2MiB |
| 0 N/A N/A 2460 G /usr/bin/x-www-browser 176MiB |
| 0 N/A N/A 42421 C /usr/bin/ollama 4508MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1965808 KB
gemma3:12b-it-qat(GPU使用)
Model
parameters 12.2B
context length 131072
embedding length 3840
quantization Q4_0
2026-02-10
total_duration(合計時間) : 33375720345 (33.375s)
load_duration(モデルのロード時間) : 2255571771 ( 2.256s)
prompt_eval_count(評価されたプロンプトのトークン数) : 51
prompt_eval_duration(プロンプトの評価時間) : 71963234 ( 0.072s)
eval_count(生成トークン数) : 1034
eval_duration(生成時間) : 30555711314 (30.556s)
real 0m33.394s
user 0m0.031s
sys 0m0.025s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 32% 62C P2 169W / 170W | 9969MiB / 12288MiB | 98% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1245 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1922 G xfwm4 2MiB |
| 0 N/A N/A 2460 G /usr/bin/x-www-browser 176MiB |
| 0 N/A N/A 42503 C /usr/bin/ollama 9660MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 2715180 KB
gemma3:27b-it-qat(GPU使用)
Model
parameters 27.4B
context length 131072
embedding length 5376
quantization Q4_0
2026-02-10
total_duration(合計時間) : 259737430742 (259.737s)
load_duration(モデルのロード時間) : 3227587788 ( 3.228s)
prompt_eval_count(評価されたプロンプトのトークン数) : 51
prompt_eval_duration(プロンプトの評価時間) : 492818113 ( 0.493s)
eval_count(生成トークン数) : 1249
eval_duration(生成時間) : 255474158551 (255.474s)
real 4m19.756s
user 0m0.063s
sys 0m0.021s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 59C P2 67W / 170W | 11721MiB / 12288MiB | 22% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1245 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1922 G xfwm4 2MiB |
| 0 N/A N/A 2460 G /usr/bin/x-www-browser 176MiB |
| 0 N/A N/A 42590 C /usr/bin/ollama 11412MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 10950892 KB