Last Update 2026/04/21
低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
構築環境 : Docker + Ollama (特別な設定などは無い状態)
検証用プロンプト
```
### 依頼内容
- コード生成
### 指示
- C言語
- コード以外の出力は不要
- 中括弧スタイルはオールマン
- テストコードを別途生成
### コード仕様
- コマンドラインから整数2つを取得
- [引数1]から[引数2]までをインクリメントして空白区切りで標準出力に出力するコード
- 文字列はmain()ではなく関数で生成
- 戻り値はEXIT_SUCCESSを使用
```
Devstral 2 [実測結果一覧へ]
GPU無し
123b-instruct-2512-q4_K_M(0.53TPS)
GPU使用
123b-instruct-2512-q4_K_M(0.61TPS)
コード生成結果の概要
・C言語による生成
・コード以外の出力無し
・コードの記述スタイルをオールマンで生成
・文字列生成関数
生成文字列長の算定(エラー判定有)
文字列長に応じたメモリの確保(エラー処理有)
インクリメント+空白区切りで文字列を生成
生成した文字列へのポインタを返す
・main()
引数個数のチェック(エラー処理有)
文字列生成関数の呼び出し(エラー処理有)
生成文字列の標準出力への出力
文字列用メモリの解放
・テストコードを別途生成
main()を伴うテストコード
文字列生成関数を4種類の引数の組み合わせで呼び出してテスト実行
(1) 整数1 < 整数2
(2) 整数1 < 整数2 ただし 整数1が負数
(3) 整数1 == 整数2
(4) 整数1 > 整数2
・関数戻り値は stdlib.h の EXIT_*** を使用
(注) 上記概要は、検証用プロンプトを実測回数分実行した際の結果を使用しています。
LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。
生成コードの実行結果
sample_code_a.c : 実測1回目(GPU無し)に検証用プロンプトにて生成されたコードsample_test_a.c : 実測1回目(GPU無し)に生成されたテストコード
sample_code_b.c : 実測2回目(GPU使用)に検証用プロンプトにて生成されたコード(1回目と同一)
sample_test_b.c : 実測2回目(GPU使用)に生成されたテストコード(1回目と同一)
(注)
テストコードには生成コード内の文字列生成関数を追記
実測1回目と2回目の生成コードが同一のため2回目の結果は省略
$ gcc -Wall -o sample_code_a sample_code_a.c
$ gcc -Wall -o sample_test_a sample_test_a.c
$ ./sample_code_a 1 5
1 2 3 4 5
$ ./sample_code_a -3 3
-3 -2 -1 0 1 2 3
$ ./sample_code_a 1 1
1
$ ./sample_code_a 5 1
$ ./sample_test_a
Test 1 passed
Test 2 passed
Test 3 passed
Test 4 passed
123b-instruct-2512-q4_K_M(GPU無し)
Model
architecture mistral3
parameters 125.0B
context length 262144
embedding length 12288
quantization Q4_K_M
2026-04-18
total duration: 29m16.014623809s
load duration: 95.340657ms
prompt eval count: 647 token(s)
prompt eval duration: 7m13.621871333s
prompt eval rate: 1.49 tokens/s
eval count: 700 token(s)
eval duration: 22m2.018989401s
eval rate: 0.53 tokens/s
123b-instruct-2512-q4_K_M(GPU使用)
Model
architecture mistral3
parameters 125.0B
context length 262144
embedding length 12288
quantization Q4_K_M
2026-04-18
total duration: 19m26.623800772s
load duration: 90.372058ms
prompt eval count: 647 token(s)
prompt eval duration: 14.708947965s
prompt eval rate: 43.99 tokens/s
eval count: 700 token(s)
eval duration: 19m11.55888775s
eval rate: 0.61 tokens/s