ローカルLLMの実測値比較

Last Update 2026/04/21

TOP - 各種テスト - LLM - ローカルLLMの実測値比較 - コーディング - Devstral Small 2

低スペック寄りのPCでローカルLLMを動作させた際の記録です。
LLM以外の仮想マシンなどが起動され、多少負荷がかかった状態で実行しています。
ベンチマークなどでLLMの性能を評価する内容ではありません。

検証用PC

OS	Debian GNU/Linux 12 (bookworm)
CPU	Intel(R) Core(TM) i5-14400F
GPU	GeForce RTX 3060 12GB
メモリ	DDR4 PC4-25600 32GB × 4
SSD	crucial P310 CT1000P310SSD8-JP

構築環境 : Docker + Ollama (特別な設定などは無い状態)

検証用プロンプト

``` ### 依頼内容 - コード生成 ### 指示 - C言語 - コード以外の出力は不要 - 中括弧スタイルはオールマン - テストコードを別途生成 ### コード仕様 - コマンドラインから整数2つを取得 - [引数1]から[引数2]までをインクリメントして空白区切りで標準出力に出力するコード - 文字列はmain()ではなく関数で生成 - 戻り値はEXIT_SUCCESSを使用 ```

Devstral Small 2 [実測結果一覧へ]

GPU無し

24b-instruct-2512-q4_K_M(2.82TPS)

GPU使用

24b-instruct-2512-q4_K_M(7.40TPS)

コード生成結果の概要

・C言語による生成・コード以外の出力無し・コードの記述スタイルのオールマン指定を無視・テストコードの別途生成を無視・文字列生成関数文字列生成ではなく出力・main() 引数個数のチェック(エラー処理有) 関数の呼び出し・関数戻り値は stdlib.h の EXIT_*** を使用・GPU有無の2回のプロンプト実行で異なるコードを生成 - 関数名違い (注) 上記概要は、検証用プロンプトを実測回数分実行した際の結果を使用しています。 LLMの生成結果は毎回一定ではないため、結果によっては上記内容通りではないことが考えられます。

生成コードの実行結果

sample_code_a.c : 実測1回目(GPU無し)に検証用プロンプトにて生成されたコード
sample_code_b.c : 実測2回目(GPU使用)に検証用プロンプトにて生成されたコード
テストコードの出力は無し

$ gcc -Wall -o sample_code_a sample_code_a.c $ gcc -Wall -o sample_code_b sample_code_b.c $ ./sample_code_a 1 5 1 2 3 4 5 $ ./sample_code_a -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code_a 1 1 1 $ ./sample_code_a 5 1 $ ./sample_code_b 1 5 1 2 3 4 5 $ ./sample_code_b -3 3 -3 -2 -1 0 1 2 3 $ ./sample_code_b 1 1 1 $ ./sample_code_b 5 1

24b-instruct-2512-q4_K_M(GPU無し)

Model architecture mistral3 parameters 24.0B context length 393216 embedding length 5120 quantization Q4_K_M 2026-04-18 total duration: 2m11.745721774s load duration: 97.360581ms prompt eval count: 695 token(s) prompt eval duration: 1m22.32841957s prompt eval rate: 8.44 tokens/s eval count: 139 token(s) eval duration: 49.238126753s eval rate: 2.82 tokens/s

24b-instruct-2512-q4_K_M(GPU使用)

Model architecture mistral3 parameters 24.0B context length 393216 embedding length 5120 quantization Q4_K_M 2026-04-18 total duration: 19.711720946s load duration: 107.620046ms prompt eval count: 695 token(s) prompt eval duration: 1.567474469s prompt eval rate: 443.39 tokens/s eval count: 133 token(s) eval duration: 17.962745308s eval rate: 7.40 tokens/s