Last Update 2026/05/10
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Granite 4.1 [実測結果一覧へ]
GPU無し[英語]
30b-q4_K_M(2.29TPS)
GPU無し[日本語]
30b-q4_K_M(2.27TPS)
GPU使用[英語]
30b-q4_K_M(4.50TPS)
GPU使用[日本語]
30b-q4_K_M(4.48TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
30b-q4_K_M(GPU無し)[英語]
Model
architecture granite
parameters 28.9B
context length 131072
embedding length 4096
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 224194772162 (224.195s)
load_duration(モデルのロード時間) : 6496675303 ( 6.497s)
prompt_eval_count(評価されたプロンプトのトークン数) : 32
prompt_eval_duration(プロンプトの評価時間) : 4422502744 ( 4.423s)
eval_count(生成トークン数) : 488
eval_duration(生成時間) : 212991185052 (212.991s)
real 3m44.207s
user 0m0.030s
sys 0m0.026s
メモリ使用量(RSS) : 18228984 KB
30b-q4_K_M(GPU無し)[日本語]
Model
architecture granite
parameters 28.9B
context length 131072
embedding length 4096
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 470168494653 (470.168s)
load_duration(モデルのロード時間) : 4776960943 ( 4.777s)
prompt_eval_count(評価されたプロンプトのトークン数) : 45
prompt_eval_duration(プロンプトの評価時間) : 6228346307 ( 6.228s)
eval_count(生成トークン数) : 1042
eval_duration(生成時間) : 458597306016 (458.597s)
real 7m50.181s
user 0m0.045s
sys 0m0.046s
メモリ使用量(RSS) : 18237756 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地域・名称間違いが発生 「屋久島の縄文松原」「白馬岩峰（長野県）」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
30b-q4_K_M(GPU使用)[英語]
Model
architecture granite
parameters 28.9B
context length 131072
embedding length 4096
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 134790869553 (134.791s)
load_duration(モデルのロード時間) : 2038126931 ( 2.038s)
prompt_eval_count(評価されたプロンプトのトークン数) : 32
prompt_eval_duration(プロンプトの評価時間) : 679892607 ( 0.680s)
eval_count(生成トークン数) : 593
eval_duration(生成時間) : 131747222413 (131.747s)
real 2m14.801s
user 0m0.043s
sys 0m0.000s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 57C P2 66W / 170W | 11318MiB / 12288MiB | 17% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1097 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1871 G xfwm4 2MiB |
| 0 N/A N/A 2384 G /usr/bin/x-www-browser 173MiB |
| 0 N/A N/A 161638 C /usr/bin/ollama 11012MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8014860 KB
30b-q4_K_M(GPU使用)[日本語]
Model
architecture granite
parameters 28.9B
context length 131072
embedding length 4096
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 231012837264 (231.013s)
load_duration(モデルのロード時間) : 1800280420 ( 1.800s)
prompt_eval_count(評価されたプロンプトのトークン数) : 45
prompt_eval_duration(プロンプトの評価時間) : 684928328 ( 0.685s)
eval_count(生成トークン数) : 1021
eval_duration(生成時間) : 228017476869 (228.018s)
real 3m51.024s
user 0m0.044s
sys 0m0.019s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 52C P2 61W / 170W | 11316MiB / 12288MiB | 17% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1097 G /usr/lib/xorg/Xorg 117MiB |
| 0 N/A N/A 1871 G xfwm4 2MiB |
| 0 N/A N/A 2384 G /usr/bin/x-www-browser 171MiB |
| 0 N/A N/A 167701 C /usr/bin/ollama 11012MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 8019580 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地域・名称間違いが発生 「屋久島の縄文松原」「白馬岩峰（長野県）」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------