Last Update 2026/02/22
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Llama 4
GPU無し[英語]
17b-scout-16e-instruct-q4_K_M(3.71TPS)
GPU無し[日本語]
17b-scout-16e-instruct-q4_K_M(3.72TPS)
GPU使用[英語]
17b-scout-16e-instruct-q4_K_M(4.25TPS)
GPU使用[日本語]
17b-scout-16e-instruct-q4_K_M(4.23TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
llama4:17b-scout-16e-instruct-q4_K_M(GPU無し)[英語]
Model
architecture llama4
parameters 108.6B
context length 10485760
embedding length 5120
quantization Q4_K_M
2026-02-22
total_duration(合計時間) : 121652391058 (121.652s)
load_duration(モデルのロード時間) : 8148765077 ( 8.149s)
prompt_eval_count(評価されたプロンプトのトークン数) : 367
prompt_eval_duration(プロンプトの評価時間) : 28029226288 ( 28.029s)
eval_count(生成トークン数) : 316
eval_duration(生成時間) : 85121820780 ( 85.122s)
real 2m1.709s
user 0m0.057s
sys 0m0.011s
メモリ使用量(RSS) : 66901500 KB
llama4:17b-scout-16e-instruct-q4_K_M(GPU無し)[日本語]
Model
architecture llama4
parameters 108.6B
context length 10485760
embedding length 5120
quantization Q4_K_M
2026-02-22
total_duration(合計時間) : 93503427066 (93.503s)
load_duration(モデルのロード時間) : 9439259840 ( 9.439s)
prompt_eval_count(評価されたプロンプトのトークン数) : 364
prompt_eval_duration(プロンプトの評価時間) : 28680089330 ( 2.868s)
eval_count(生成トークン数) : 205
eval_duration(生成時間) : 55080858543 (55.081s)
real 1m33.525s
user 0m0.049s
sys 0m0.014s
メモリ使用量(RSS) : 66759624 KB
llama4:17b-scout-16e-instruct-q4_K_M(GPU使用)[英語]
Model
architecture llama4
parameters 108.6B
context length 10485760
embedding length 5120
quantization Q4_K_M
2026-02-22
total_duration(合計時間) : 97627412500 (97.627s)
load_duration(モデルのロード時間) : 9688108359 ( 9.688s)
prompt_eval_count(評価されたプロンプトのトークン数) : 367
prompt_eval_duration(プロンプトの評価時間) : 4942070936 ( 4.942s)
eval_count(生成トークン数) : 352
eval_duration(生成時間) : 82781001790 (82.781s)
real 1m37.648s
user 0m0.037s
sys 0m0.029s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 46C P2 47W / 170W | 11220MiB / 12288MiB | 3% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1187 G /usr/lib/xorg/Xorg 121MiB |
| 0 N/A N/A 1916 G xfwm4 2MiB |
| 0 N/A N/A 2433 G /usr/bin/x-www-browser 125MiB |
| 0 N/A N/A 77326 C /usr/bin/ollama 10958MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 57597140 KB
llama4:17b-scout-16e-instruct-q4_K_M(GPU使用)[日本語]
Model
architecture llama4
parameters 108.6B
context length 10485760
embedding length 5120
quantization Q4_K_M
2026-02-22
total_duration(合計時間) : 140767699906 (140.768s)
load_duration(モデルのロード時間) : 8084722664 ( 8.085s)
prompt_eval_count(評価されたプロンプトのトークン数) : 364
prompt_eval_duration(プロンプトの評価時間) : 4897811027 ( 4.989s)
eval_count(生成トークン数) : 540
eval_duration(生成時間) : 127553487786 (127.553s)
real 2m20.779s
user 0m0.033s
sys 0m0.016s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 44C P2 47W / 170W | 11340MiB / 12288MiB | 3% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1187 G /usr/lib/xorg/Xorg 122MiB |
| 0 N/A N/A 1916 G xfwm4 2MiB |
| 0 N/A N/A 2433 G /usr/bin/x-www-browser 244MiB |
| 0 N/A N/A 82359 C /usr/bin/ollama 10958MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 57599228 KB