Last Update 2026/03/12
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト
おすすめの日本の絶景を教えてください。東西南北、10箇所程度。
Gemma 3 (it-q8_0) [日本語プロンプト]
GPU無し GPU使用・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
gemma3:1b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization Q8_0
2026-02-11
total_duration(合計時間) : 22571195807 (22.571s)
load_duration(モデルのロード時間) : 686585856 ( 0.687s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 91457245 ( 0.091s)
eval_count(生成トークン数) : 716
eval_duration(生成時間) : 21302862303 (21.303s)
real 0m22.580s
user 0m0.025s
sys 0m0.005s
メモリ使用量(RSS) : 1559160 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北は表記はあるが特に考慮されていない
・言語混同が発生 「白sciuttoルートなど」
・名称間違いが多数 (例)「能登半水(山形県)」「富良野(秋田県)」「五体(山梨県)」
・文章・字句に間違い (例)「九これまでと呼ばれる壮大な棚糸が見える」
-------------------------------------------------
gemma3:4b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q8_0
2026-02-11
total_duration(合計時間) : 80040138552 (80.040s)
load_duration(モデルのロード時間) : 1514024191 ( 1.514s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 322629161 ( 0.323s)
eval_count(生成トークン数) : 715
eval_duration(生成時間) : 77692799135 (77.693s)
real 1m20.051s
user 0m0.045s
sys 0m0.000s
メモリ使用量(RSS) : 6016052 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは12箇所。東・東南・南・西に分割
・言語混同が発生 「田園地帯 - 群馬県北ﻁﺎﻘﻣ」
・名称間違いが多数 (例)「白神山地 - 青函トンネルを挟んだ奥メロン方面」「屋久島 - 沖縄県」
・12箇所中「屋久島 - 沖縄県」が3回重複。実質計10箇所
-------------------------------------------------
gemma3:12b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization Q8_0
2026-02-11
total_duration(合計時間) : 228936815004 (228.937s)
load_duration(モデルのロード時間) : 2578432776 ( 2.578s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1121894956 ( 1.122s)
eval_count(生成トークン数) : 695
eval_duration(生成時間) : 224729209321 (224.729s)
real 3m48.950s
user 0m0.024s
sys 0m0.044s
メモリ使用量(RSS) : 15111004 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。4地域(実質東西南北)に分割。別途その他として2箇所
・言語混同無し
・名称間違い 「足納公園(和歌山県)」 地域違い 「厳美渓(京都府)」
・字句・文章に違和感無し(内容の評価を除く)
-------------------------------------------------
gemma3:27b-it-q8_0(GPU無し)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q8_0
2026-02-11
total_duration(合計時間) : 728650638527 (728.651s)
load_duration(モデルのロード時間) : 4382123866 ( 4.382s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 2325683584 ( 2.326s)
eval_count(生成トークン数) : 984
eval_duration(生成時間) : 721156885634 (721.157s)
real 12m8.667s
user 0m0.084s
sys 0m0.060s
メモリ使用量(RSS) : 31538212 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは指示内容を網羅
・言語混同無し
・間違いと考えられるのは、【南】に「知床(北海道)」が分類されている箇所
・字句・文章に違和感無し(内容の評価を除く)
・出典となるサイトの記述あり(プロンプトでの指定無し)
-------------------------------------------------
gemma3:1b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 999.89M
context length 32768
embedding length 1152
quantization Q8_0
2026-02-11
total_duration(合計時間) : 6735181442 (6.735s)
load_duration(モデルのロード時間) : 898568513 (0.899s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 11984064 (0.012s)
eval_count(生成トークン数) : 857
eval_duration(生成時間) : 5384050016 (5.384s)
real 0m6.753s
user 0m0.051s
sys 0m0.001s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 50C P2 129W / 170W | 1650MiB / 12288MiB | 91% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37012 C /usr/bin/ollama 1318MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 811968 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北は表記はあるが特に考慮されていない
・言語混同が発生 (例)「八ों谷の茶畑の風景」「Utahのトレイル(Utah州)」「美しい海と砂 beaches」
・名称間違いが多数 (例)「北海道道銀山寺(北海道)」「五島(群島)」
・文章に違和感は無し(内容の評価を除く)
-------------------------------------------------
gemma3:4b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 4.3B
context length 131072
embedding length 2560
quantization Q8_0
2026-02-11
total_duration(合計時間) : 17446354863 (17.446s)
load_duration(モデルのロード時間) : 1725666317 ( 1.726s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 26895832 ( 0.027s)
eval_count(生成トークン数) : 939
eval_duration(生成時間) : 15254904001 (15.255s)
real 0m17.464s
user 0m0.041s
sys 0m0.007s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 58C P2 157W / 170W | 5760MiB / 12288MiB | 96% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37101 C /usr/bin/ollama 5428MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 1346336 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北の項目ごとに記述
・言語混同無し
・名称間違いが多数 (例)「急雪山並 (北海道)」「奥入瀬渓流 (長野県)」
・文章に違和感は無し(内容の評価を除く)
-------------------------------------------------
gemma3:12b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 12.2B
context length 131072
embedding length 3840
quantization Q8_0
2026-02-11
total_duration(合計時間) : 62166769346 (62.167s)
load_duration(モデルのロード時間) : 2620277295 ( 2.620s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 151327242 ( 0.151s)
eval_count(生成トークン数) : 693
eval_duration(生成時間) : 58898875171 (58.899s)
real 1m2.178s
user 0m0.041s
sys 0m0.000s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 60C P2 103W / 170W | 11678MiB / 12288MiB | 57% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 37187 C /usr/bin/ollama 11346MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 4369504 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。4地域(実質東西南北)に分割。別途その他として1箇所
・言語混同無し
・存在が怪しい地名 「知床半島 (北海道) : ...日差しが当たった頃の黒岩山からの景色は...」
・字句・文章に違和感無し(内容の評価を除く)
-------------------------------------------------
gemma3:27b-it-q8_0(GPU使用)
Model
architecture gemma3
parameters 27.4B
context length 131072
embedding length 5376
quantization Q8_0
2026-02-11
total_duration(合計時間) : 528413299867 (528.413s)
load_duration(モデルのロード時間) : 4449085597 ( 4.449s)
prompt_eval_count(評価されたプロンプトのトークン数) : 26
prompt_eval_duration(プロンプトの評価時間) : 1489536807 ( 1.490s)
eval_count(生成トークン数) : 1060
eval_duration(生成時間) : 521713707735 (521.714s)
real 8m48.427s
user 0m0.036s
sys 0m0.074s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 33% 46C P2 55W / 170W | 11700MiB / 12288MiB | 25% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 112MiB |
| 0 N/A N/A 1908 G xfwm4 2MiB |
| 0 N/A N/A 2437 G /usr/bin/x-www-browser 204MiB |
| 0 N/A N/A 44229 C /usr/bin/ollama 11368MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 20876936 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは指示内容を網羅
・言語混同無し
・名称間違い1箇所 「九年虫(宮崎)」
・字句・文章に違和感無し(内容の評価を除く)
・出典となるサイトの記述あり(プロンプトでの指定無し)
-------------------------------------------------