Last Update 2026/03/24
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Olmo 3.1
GPU無し[英語]
32b-instruct-q4_K_M(2.04TPS)
GPU無し[日本語]
32b-instruct-q4_K_M(2.02TPS)
GPU使用[英語]
32b-instruct-q4_K_M(3.88TPS)
GPU使用[日本語]
32b-instruct-q4_K_M(3.85TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
olmo-3.1:32b-instruct-q4_K_M(GPU無し)[英語]
Model
architecture olmo3
parameters 32.2B
context length 65536
embedding length 5120
quantization Q4_K_M
2026-03-02
total_duration(合計時間) : 618349891411 (618.350s)
load_duration(モデルのロード時間) : 7376185512 ( 7.376s)
prompt_eval_count(評価されたプロンプトのトークン数) : 90
prompt_eval_duration(プロンプトの評価時間) : 13440462614 ( 13.440s)
eval_count(生成トークン数) : 1218
eval_duration(生成時間) : 597271744466 (597.272s)
real 10m18.369s
user 0m0.059s
sys 0m0.074s
メモリ使用量(RSS) : 20278280 KB
olmo-3.1:32b-instruct-q4_K_M(GPU無し)[日本語]
Model
architecture olmo3
parameters 32.2B
context length 65536
embedding length 5120
quantization Q4_K_M
2026-03-02
total_duration(合計時間) : 470247465472 (470.247s)
load_duration(モデルのロード時間) : 2591644526 ( 2.592s)
prompt_eval_count(評価されたプロンプトのトークン数) : 103
prompt_eval_duration(プロンプトの評価時間) : 15404758808 ( 15.405s)
eval_count(生成トークン数) : 913
eval_duration(生成時間) : 452027688137 (452.028s)
real 7m50.266s
user 0m0.065s
sys 0m0.045s
メモリ使用量(RSS) : 20324924 KB
-------------------------------------------------
【生成結果に関する検証】
日本語検証用 プロンプトに関しては評価対象とはならないレベルの出力
-------------------------------------------------
olmo-3.1:32b-instruct-q4_K_M(GPU使用)[英語]
Model
architecture olmo3
parameters 32.2B
context length 65536
embedding length 5120
quantization Q4_K_M
2026-03-02
total_duration(合計時間) : 186010965494 (186.011s)
load_duration(モデルのロード時間) : 2684256434 ( 2.684s)
prompt_eval_count(評価されたプロンプトのトークン数) : 90
prompt_eval_duration(プロンプトの評価時間) : 889378870 ( 0.894s)
eval_count(生成トークン数) : 707
eval_duration(生成時間) : 182270261944 (182.270s)
real 3m6.031s
user 0m0.057s
sys 0m0.021s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 58C P2 68W / 170W | 11525MiB / 12288MiB | 21% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1186 G /usr/lib/xorg/Xorg 114MiB |
| 0 N/A N/A 1925 G xfwm4 2MiB |
| 0 N/A N/A 2987 G /usr/bin/x-www-browser 257MiB |
| 0 N/A N/A 27188 C /usr/bin/ollama 11138MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 9719672 KB
olmo-3.1:32b-instruct-q4_K_M(GPU使用)[日本語]
Model
architecture olmo3
parameters 32.2B
context length 65536
embedding length 5120
quantization Q4_K_M
2026-03-02
total_duration(合計時間) : 243634980030 (243.635s)
load_duration(モデルのロード時間) : 2494565300 ( 2.495s)
prompt_eval_count(評価されたプロンプトのトークン数) : 103
prompt_eval_duration(プロンプトの評価時間) : 922833815 ( 0.923s)
eval_count(生成トークン数) : 924
eval_duration(生成時間) : 240008314021 (240.008s)
real 4m3.654s
user 0m0.035s
sys 0m0.045s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 32% 51C P2 66W / 170W | 11525MiB / 12288MiB | 19% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1186 G /usr/lib/xorg/Xorg 114MiB |
| 0 N/A N/A 1925 G xfwm4 2MiB |
| 0 N/A N/A 2987 G /usr/bin/x-www-browser 257MiB |
| 0 N/A N/A 34447 C /usr/bin/ollama 11138MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 9758284 KB
-------------------------------------------------
【生成結果に関する検証】
日本語検証用 プロンプトに関しては評価対象とはならないレベルの出力
-------------------------------------------------