Loose-Info.com
Last Update 2026/02/13
TOP - 各種テスト - LLM - ローカルLLMの実測値比較 Gemma 3 (it-fp16) [日本語プロンプト]

低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。

検証用PC

OS

Debian GNU/Linux 12 (bookworm)

CPU

Intel(R) Core(TM) i5-14400F

GPU

GeForce RTX 3060 12GB

メモリ

DDR4 PC4-25600 32GB × 4

SSD

crucial P310 CT1000P310SSD8-JP


構築環境 : Docker + Ollama (特別な設定などは無い状態)

検証用プロンプト

おすすめの日本の絶景を教えてください。東西南北、10箇所程度。

Gemma 3 (it-fp16) [日本語プロンプト]

GPU無し
1b-it-fp16(17.6TPS)   4b-it-fp16(5.01TPS)   12b-it-fp16(1.70TPS)   27b-it-fp16(0.73TPS)  
GPU使用
1b-it-fp16(117TPS)   4b-it-fp16(36.3TPS)   12b-it-fp16(2.80TPS)   27b-it-fp16(0.95TPS)  

・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略

gemma3:1b-it-fp16(GPU無し)

Model architecture gemma3 parameters 999.89M context length 32768 embedding length 1152 quantization F16 2026-02-11 total_duration(合計時間) : 51349297050 (51.349s) load_duration(モデルのロード時間) : 926182437 ( 0.926s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 152806037 ( 0.153s) eval_count(生成トークン数) : 876 eval_duration(生成時間) : 49641097976 (49.641s) real 0m51.363s user 0m0.032s sys 0m0.004s メモリ使用量(RSS) : 2749864 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは10箇所。東西南北は無視 ・言語混同が発生 「飛騨の街にある、滝の정」 ・地域間違いが発生 (例)「白川郷(石川県)」「高山(北海道)」 ・解説文は文章的に違和感を感じないレベルではあるが、非常に単調 -------------------------------------------------

gemma3:4b-it-fp16(GPU無し)

Model architecture gemma3 parameters 4.3B context length 131072 embedding length 2560 quantization F16 2026-02-11 total_duration(合計時間) : 178072407832 (178.072s) load_duration(モデルのロード時間) : 2253915790 ( 2.254s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 558525784 ( 0.559s) eval_count(生成トークン数) : 875 eval_duration(生成時間) : 174606645801 (174.607s) real 2m58.089s user 0m0.047s sys 0m0.025s メモリ使用量(RSS) : 10184216 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは10箇所。東西南北の形式ではあるが、東に種子島がある等正確ではない ・言語混同無し ・地域間違いが発生 (例)「種子島(佐賀県)」 ・文章的に違和感は無いが解説に間違いがある (例)「ヒギリヒギリの鶏肉」「白神碧世界(せきせかい)」 -------------------------------------------------

gemma3:12b-it-fp16(GPU無し)

Model architecture gemma3 parameters 12.2B context length 131072 embedding length 3840 quantization F16 2026-02-11 total_duration(合計時間) : 390075695360 (390.076s) load_duration(モデルのロード時間) : 4081556977 ( 4.082s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 1787834138 ( 1.788s) eval_count(生成トークン数) : 651 eval_duration(生成時間) : 383739586683 (383.740s) real 6m30.095s user 0m0.047s sys 0m0.061s メモリ使用量(RSS) : 26809680 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは11箇所。東西南中央に分割 ・言語混同無し ・名称・地域間違い無し ・字句・文章に違和感無し(内容の評価を除く) -------------------------------------------------

gemma3:27b-it-fp16(GPU無し)

Model architecture gemma3 parameters 27.4B context length 131072 embedding length 5376 quantization F16 2026-02-12 total_duration(合計時間) : 1099854448993 (1099.854s) load_duration(モデルのロード時間) : 9436897601 ( 9.437s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 6142334030 ( 6.142s) eval_count(生成トークン数) : 791 eval_duration(生成時間) : 1083666065267 (1083.666s) real 18m19.873s user 0m0.108s sys 0m0.082s メモリ使用量(RSS) : 56965100 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは12箇所。東西南北は4地区エリア分け ・言語混同無し ・名称・地域間違い無し ・字句・文章に違和感無し(内容の評価を除く) -------------------------------------------------

gemma3:1b-it-fp16(GPU使用)

Model architecture gemma3 parameters 999.89M context length 32768 embedding length 1152 quantization F16 2026-02-11 total_duration(合計時間) : 7440628853 (7.441s) load_duration(モデルのロード時間) : 1151719134 (1.152s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 27916021 (0.028s) eval_count(生成トークン数) : 696 eval_duration(生成時間) : 5934454376 (5.934s) real 0m7.450s user 0m0.023s sys 0m0.009s +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A | | 0% 52C P2 144W / 170W | 2486MiB / 12288MiB | 92% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB | | 0 N/A N/A 1908 G xfwm4 2MiB | | 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB | | 0 N/A N/A 84810 C /usr/bin/ollama 2204MiB | +---------------------------------------------------------------------------------------+ メモリ使用量(RSS) : 1187592 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは10箇所。東西南北は表記はあるが特に考慮されていない ・言語混同が発生 「白川Peak(北海道)」 ・名称間違いが多数 (例)「手染め山(山梨県)」「八木山(北海道)」「白山(北海道)」 ・文章的に違和感は無いが解説の間違いが非常に多い (例)「標高1,748mの志賀島は、その名の通り、地獄の雰囲気が漂う山です」 -------------------------------------------------

gemma3:4b-it-fp16(GPU使用)

Model architecture gemma3 parameters 4.3B context length 131072 embedding length 2560 quantization F16 2026-02-11 total_duration(合計時間) : 26477591183 (26.478s) load_duration(モデルのロード時間) : 2134228845 ( 2.134s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 43332965 ( 0.043s) eval_count(生成トークン数) : 867 eval_duration(生成時間) : 23897756093 (23.898s) real 0m26.496s user 0m0.042s sys 0m0.010s +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A | | 0% 62C P2 153W / 170W | 9166MiB / 12288MiB | 98% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB | | 0 N/A N/A 1908 G xfwm4 2MiB | | 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB | | 0 N/A N/A 84893 C /usr/bin/ollama 8884MiB | +---------------------------------------------------------------------------------------+ メモリ使用量(RSS) : 1975540 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイントは10箇所。東西南北の項目ごとに記述 ・言語混同は無し ・西と南に「屋久島 (鹿児島県)」が重複 ・解説文は違和感を感じないレベル(内容の評価を除く) -------------------------------------------------

gemma3:12b-it-fp16(GPU使用)

Model architecture gemma3 parameters 12.2B context length 131072 embedding length 3840 quantization F16 2026-02-11 total_duration(合計時間) : 259845609893 (259.846s) load_duration(モデルのロード時間) : 4126837596 ( 4.127s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 1015931299 ( 1.016s) eval_count(生成トークン数) : 711 eval_duration(生成時間) : 254207017786 (254.207s) real 4m19.864s user 0m0.051s sys 0m0.035s +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A | | 33% 50C P2 53W / 170W | 11378MiB / 12288MiB | 7% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1242 G /usr/lib/xorg/Xorg 117MiB | | 0 N/A N/A 1908 G xfwm4 2MiB | | 0 N/A N/A 2437 G /usr/bin/x-www-browser 149MiB | | 0 N/A N/A 84981 C /usr/bin/ollama 11096MiB | +---------------------------------------------------------------------------------------+ メモリ使用量(RSS) : 16382296 KB ------------------------------------------------- 【生成結果に関する検証】 ・紹介ポイント10箇所。東西南北は4地区エリア分け ・言語混同無し ・名称間違いは「足立山公園(鳥取県)」のみ ・字句・文章に違和感無し(内容の評価を除く) -------------------------------------------------

gemma3:27b-it-fp16(GPU使用)

Model architecture gemma3 parameters 27.4B context length 131072 embedding length 5376 quantization F16 2026-02-12 total_duration(合計時間) : 1665410567853 (1665.411s) load_duration(モデルのロード時間) : 8031114030 ( 8.031s) prompt_eval_count(評価されたプロンプトのトークン数) : 26 prompt_eval_duration(プロンプトの評価時間) : 3410048074 ( 3.410s) eval_count(生成トークン数) : 1574 eval_duration(生成時間) : 1652955635685 (1652.956s) real 27m45.423s user 0m0.112s sys 0m0.160s +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A | | 33% 44C P2 49W / 170W | 11304MiB / 12288MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1259 G /usr/lib/xorg/Xorg 117MiB | | 0 N/A N/A 1930 G xfwm4 2MiB | | 0 N/A N/A 2344 G /usr/bin/x-www-browser 141MiB | | 0 N/A N/A 12292 C /usr/bin/ollama 11030MiB | +---------------------------------------------------------------------------------------+ メモリ使用量(RSS) : 47342976 KB ------------------------------------------------- 【生成結果に関する検証】 ・東西南北に各10ポイントを紹介(計40箇所) ・言語混同無し ・存在が怪しい地名は「清井峡 (山梨県)」のみ ・文章に違和感無し(内容の評価を除く) -------------------------------------------------