Last Update 2026/02/23
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Phi-4
GPU無し[英語]
14b-q4_K_M(4.55TPS)
14b-fp16(1.51TPS)
GPU無し[日本語]
14b-q4_K_M(4.47TPS)
14b-fp16(1.50TPS)
GPU使用[英語]
14b-q4_K_M(32.2TPS)
14b-fp16(2.16TPS)
GPU使用[日本語]
14b-q4_K_M(32.2TPS)
14b-fp16(2.15TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
phi4:14b-q4_K_M(GPU無し)[英語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization Q4_K_M
2026-02-23
total_duration(合計時間) : 92090394029 (92.090s)
load_duration(モデルのロード時間) : 2233171261 ( 2.233s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 2385974596 ( 2.386s)
eval_count(生成トークン数) : 397
eval_duration(生成時間) : 87255733681 (87.256s)
real 1m32.101s
user 0m0.036s
sys 0m0.011s
メモリ使用量(RSS) : 9749780 KB
phi4:14b-fp16(GPU無し)[英語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization F16
2026-02-23
total_duration(合計時間) : 306729524571 (306.730s)
load_duration(モデルのロード時間) : 5224261280 ( 5.224s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 2916572938 ( 2.017)
eval_count(生成トークン数) : 452
eval_duration(生成時間) : 298351409448 (298.351s)
real 5m6.748s
user 0m0.051s
sys 0m0.048s
メモリ使用量(RSS) : 29546476 KB
phi4:14b-q4_K_M(GPU無し)[日本語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization Q4_K_M
2026-02-23
total_duration(合計時間) : 172976444865 (172.976s)
load_duration(モデルのロード時間) : 1960439374 ( 1.960s)
prompt_eval_count(評価されたプロンプトのトークン数) : 47
prompt_eval_duration(プロンプトの評価時間) : 3226242509 ( 3.226s)
eval_count(生成トークン数) : 748
eval_duration(生成時間) : 167377058523 (167.377s)
real 2m52.995s
user 0m0.072s
sys 0m0.001s
メモリ使用量(RSS) : 9763496 KB
phi4:14b-fp16(GPU無し)[日本語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization F16
2026-02-23
total_duration(合計時間) : 653847631899 (653.848s)
load_duration(モデルのロード時間) : 5206978043 ( 5.207s)
prompt_eval_count(評価されたプロンプトのトークン数) : 47
prompt_eval_duration(プロンプトの評価時間) : 3983953305 ( 3.984)
eval_count(生成トークン数) : 969
eval_duration(生成時間) : 644129219812 (644.129s)
real 10m53.866s
user 0m0.103s
sys 0m0.041s
メモリ使用量(RSS) : 29552920 KB
phi4:14b-q4_K_M(GPU使用)[英語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization Q4_K_M
2026-02-23
total_duration(合計時間) : 13651362939 (13.651s)
load_duration(モデルのロード時間) : 1799809450 ( 1.800s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 61879050 ( 0.061s)
eval_count(生成トークン数) : 373
eval_duration(生成時間) : 11591821543 (11.592s)
real 0m13.667s
user 0m0.034s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 52C P2 169W / 170W | 9880MiB / 12288MiB | 99% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 102MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 118MiB |
| 0 N/A N/A 15732 C /usr/bin/ollama 9644MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 716588 KB
phi4:14b-fp16(GPU使用)[英語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization F16
2026-02-23
total_duration(合計時間) : 236003394364 (236.003s)
load_duration(モデルのロード時間) : 2038799596 ( 2.039s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 1461409407 ( 1.461)
eval_count(生成トークン数) : 502
eval_duration(生成時間) : 232252866510 (232.253s)
real 3m56.015s
user 0m0.039s
sys 0m0.025s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 58C P2 53W / 170W | 11733MiB / 12288MiB | 16% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 102MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 113MiB |
| 0 N/A N/A 15814 C /usr/bin/ollama 11502MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 29640600 KB
phi4:14b-q4_K_M(GPU使用)[日本語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization Q4_K_M
2026-02-23
total_duration(合計時間) : 13651362939 (13.651s)
load_duration(モデルのロード時間) : 1799809450 ( 1.800s)
prompt_eval_count(評価されたプロンプトのトークン数) : 34
prompt_eval_duration(プロンプトの評価時間) : 61879050 ( 0.061s)
eval_count(生成トークン数) : 373
eval_duration(生成時間) : 11591821543 (11.592s)
real 0m13.667s
user 0m0.034s
sys 0m0.010s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 52C P2 169W / 170W | 9880MiB / 12288MiB | 99% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 102MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 118MiB |
| 0 N/A N/A 15732 C /usr/bin/ollama 9644MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 716588 KB
phi4:14b-fp16(GPU使用)[日本語]
Model
architecture phi3
parameters 14.7B
context length 16384
embedding length 5120
quantization F16
2026-02-23
total_duration(合計時間) : 337060430925 (337.060s)
load_duration(モデルのロード時間) : 2032988096 ( 2.033s)
prompt_eval_count(評価されたプロンプトのトークン数) : 47
prompt_eval_duration(プロンプトの評価時間) : 1456458414 ( 1.456)
eval_count(生成トークン数) : 716
eval_duration(生成時間) : 333206451457 (333.206s)
real 5m37.080s
user 0m0.060s
sys 0m0.040s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 57C P2 54W / 170W | 11818MiB / 12288MiB | 20% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1170 G /usr/lib/xorg/Xorg 104MiB |
| 0 N/A N/A 1928 G xfwm4 2MiB |
| 0 N/A N/A 2467 G /usr/bin/x-www-browser 196MiB |
| 0 N/A N/A 30574 C /usr/bin/ollama 11502MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 29640996 KB