Last Update 2026/04/21
検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
|
HDD |
WD80EAAZ[8TB SATA600 5640](一部のみ) |
構築環境 : Docker + Ollama (ほぼデフォルト設定)
実測結果一覧(コーディング)
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
備考 |
|
123b |
Q4_K_M |
- |
1756.0 |
433.6 |
1322.0 |
1.49 |
||
|
〇 |
1166.6 |
14.7 |
1151.6 |
43.99 |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
備考 |
|
24b |
Q4_K_M |
- |
131.7 |
82.3 |
49.2 |
8.44 |
||
|
〇 |
19.7 |
1.6 |
18.0 |
443.39 |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
備考 |
|
16x17b |
Q4_K_M |
- |
139.4 |
36.7 |
102.2 |
12.31 |
||
|
〇 |
102.0 |
5.3 |
96.4 |
86.08 |