Last Update 2026/03/20
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト[英語]
Could you please recommend some great places in the US to see beautiful scenery? Around 10 places in all four directions.
検証用プロンプト[日本語]
おすすめの日本の絶景を教えてください。東西南北、10箇所程度、日本語で。
Qwen3-Next
GPU無し[英語]
80b-a3b-instruct-q4_K_M(7.06TPS)
GPU無し[日本語]
80b-a3b-instruct-q4_K_M(7.14TPS)
GPU使用[英語]
80b-a3b-instruct-q4_K_M(7.59TPS)
GPU使用[日本語]
80b-a3b-instruct-q4_K_M(7.18TPS)
・TPS(tokens/s) は eval_count / eval_duration により算出
・モデルロード済みの検証は省略
qwen3-next:80b-a3b-instruct-q4_K_M(GPU無し)[英語]
Model
architecture qwen3next
parameters 79.7B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-26
total_duration(合計時間) : 145844293431 (145.844s)
load_duration(モデルのロード時間) : 10318131689 ( 10.318s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 948736017 ( 0.949s)
eval_count(生成トークン数) : 948
eval_duration(生成時間) : 134360011260 (134.360s)
real 2m25.863s
user 0m0.037s
sys 0m0.023s
メモリ使用量(RSS) : 49198316 KB
qwen3-next:80b-a3b-instruct-q4_K_M(GPU無し)[日本語]
Model
architecture qwen3next
parameters 79.7B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-26
total_duration(合計時間) : 134262279092 (134.262s)
load_duration(モデルのロード時間) : 8294841027 ( 8.295s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 916105796 ( 0.916s)
eval_count(生成トークン数) : 891
eval_duration(生成時間) : 124857094051 (124.857s)
real 2m14.272s
user 0m0.042s
sys 0m0.000s
メモリ使用量(RSS) : 49204472 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮(+ 中央)
・言語混同無し
・名称・地域間違い無し
・解説文・ふりがなの間違い
「沖縄県・西表島（にしおおしま）」
「樹氷（じゅへい）」
「クマやオオワシ、シロクマ（絶滅危惧種のアムールトラも！）が生息」
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------
qwen3-next:80b-a3b-instruct-q4_K_M(GPU使用)[英語]
Model
architecture qwen3next
parameters 79.7B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-26
total_duration(合計時間) : 121492461309 (121.492s)
load_duration(モデルのロード時間) : 2604649405 ( 2.605s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 914571280 ( 0.915s)
eval_count(生成トークン数) : 894
eval_duration(生成時間) : 117786846548 (117.787s)
real 2m1.503s
user 0m0.026s
sys 0m0.015s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 43C P2 46W / 170W | 9924MiB / 12288MiB | 7% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1189 G /usr/lib/xorg/Xorg 116MiB |
| 0 N/A N/A 1923 G xfwm4 2MiB |
| 0 N/A N/A 2447 G /usr/bin/x-www-browser 236MiB |
| 0 N/A N/A 30249 C /usr/bin/ollama 9556MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 49631028 KB
qwen3-next:80b-a3b-instruct-q4_K_M(GPU使用)[日本語]
Model
architecture qwen3next
parameters 79.7B
context length 262144
embedding length 2048
quantization Q4_K_M
2026-02-26
total_duration(合計時間) : 124399701697 (124.400s)
load_duration(モデルのロード時間) : 2347045033 ( 2.347s)
prompt_eval_count(評価されたプロンプトのトークン数) : 33
prompt_eval_duration(プロンプトの評価時間) : 813730673 ( 0.814s)
eval_count(生成トークン数) : 869
eval_duration(生成時間) : 121047188511 (121.047s)
real 2m4.409s
user 0m0.023s
sys 0m0.019s
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.261.03 Driver Version: 535.261.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3060 On | 00000000:01:00.0 On | N/A |
| 0% 50C P2 48W / 170W | 9924MiB / 12288MiB | 9% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 1189 G /usr/lib/xorg/Xorg 116MiB |
| 0 N/A N/A 1923 G xfwm4 2MiB |
| 0 N/A N/A 2447 G /usr/bin/x-www-browser 235MiB |
| 0 N/A N/A 173624 C /usr/bin/ollama 9556MiB |
+---------------------------------------------------------------------------------------+
メモリ使用量(RSS) : 49628316 KB
-------------------------------------------------
【生成結果に関する検証】
・紹介ポイントは10箇所。東西南北も考慮(明記は無し)
・言語混同無し
・名称・地域間違い無し
・文章は違和感を感じないレベル(内容の評価を除く)
-------------------------------------------------