Last Update 2026/05/09
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Nemotron 3 Nano Omni [実測結果一覧へ]
GPU無し[英語]
33b-q4_K_M(14.2TPS)
GPU無し[日本語]
33b-q4_K_M(14.1TPS)
GPU使用[英語]
33b-q4_K_M(19.2TPS)
GPU使用[日本語]
33b-q4_K_M(19.1TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
33b-q4_K_M(GPU無し)[英語]
Model
architecture nemotron_h_omni
parameters 33.0B
context length 131072
embedding length 2688
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 111898326659 (111.898s)
load_duration(モデルのロード時間) : 11373653194 ( 11.374s)
prompt_eval_count(評価されたプロンプトのトークン数) : 42
prompt_eval_duration(プロンプトの評価時間) : 907281526 ( 0.907s)
eval_count(生成トークン数) : 1406
eval_duration(生成時間) : 99151474343 ( 99.151s)
real 1m51.918s
user 0m0.030s
sys 0m0.023s
メモリ使用量(RSS) : 28487200 KB
33b-q4_K_M(GPU無し)[日本語]
Model
architecture nemotron_h_omni
parameters 33.0B
context length 131072
embedding length 2688
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 78382347591 (78.382s)
load_duration(モデルのロード時間) : 4363406224 ( 4.363s)
prompt_eval_count(評価されたプロンプトのトークン数) : 47
prompt_eval_duration(プロンプトの評価時間) : 979318745 ( 0.979s)
eval_count(生成トークン数) : 1025
eval_duration(生成時間) : 72684068860 (72.684s)
real 1m18.402s
user 0m0.056s
sys 0m0.007s
メモリ使用量(RSS) : 28508424 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同無し
・地名・解説に間違いが非常に多い
例:「稚内灯台から望む大雪山の雪化粧」「尾張津島（愛知県）の津島神社と境港の潮風」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
33b-q4_K_M(GPU使用)[英語]
Model
architecture nemotron_h_omni
parameters 33.0B
context length 131072
embedding length 2688
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 131304373969 (131.304s)
load_duration(モデルのロード時間) : 5141026034 ( 5.141s)
prompt_eval_count(評価されたプロンプトのトークン数) : 42
prompt_eval_duration(プロンプトの評価時間) : 847021969 ( 0.847s)
eval_count(生成トークン数) : 2388
eval_duration(生成時間) : 124613445998 (124.613s)
real 2m11.317s
user 0m0.033s
sys 0m0.015s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 50C P2 53W / 170W | 11298MiB / 12288MiB | 7% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1097 G /usr/lib/xorg/Xorg 113MiB |
| 0 N/A N/A 1871 G xfwm4 2MiB |
| 0 N/A N/A 2384 G /usr/bin/x-www-browser 145MiB |
| 0 N/A N/A 35991 C /usr/bin/ollama 11024MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 19750908 KB
33b-q4_K_M(GPU使用)[日本語]
Model
architecture nemotron_h_omni
parameters 33.0B
context length 131072
embedding length 2688
quantization Q4_K_M
2026-05-05
total_duration(合計時間) : 109755424871 (109.755s)
load_duration(モデルのロード時間) : 4860097666 ( 4.860s)
prompt_eval_count(評価されたプロンプトのトークン数) : 47
prompt_eval_duration(プロンプトの評価時間) : 813078653 ( 0.813s)
eval_count(生成トークン数) : 1973
eval_duration(生成時間) : 103495221095 (103.495s)
real 1m49.767s
user 0m0.031s
sys 0m0.012s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 55C P2 53W / 170W | 11298MiB / 12288MiB | 8% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1097 G /usr/lib/xorg/Xorg 113MiB |
| 0 N/A N/A 1871 G xfwm4 2MiB |
| 0 N/A N/A 2384 G /usr/bin/x-www-browser 145MiB |
| 0 N/A N/A 60130 C /usr/bin/ollama 11024MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 19732140 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北を考慮
・言語混同が発生 「 orange‑red のコントラスト」「奄美大島・知名 Beach」
・地域・名称間違いが発生 「長崎・デジタル海岸」「箱根湖と周囲の山々が」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------