検証用PC
|
OS |
Debian GNU/Linux 12 (bookworm) |
|
CPU |
Intel(R) Core(TM) i5-14400F |
|
GPU |
GeForce RTX 3060 12GB |
|
メモリ |
DDR4 PC4-25600 32GB × 4 |
|
SSD |
crucial P310 CT1000P310SSD8-JP |
|
HDD |
WD80EAAZ[8TB SATA600 5640](一部のみ) |
実測結果一覧(コーディング)
(注)・「評価」は当サイトが独自に判定したもので、あくまでもその試行回における参考値となります。
・「評価」はコードの生成内容を対象にしています。速度は考慮していません。
・判定に利用した生成・実行結果は、各モデルの個別ページに掲載しています。
・速度の実測を主としているため、GPU有無で各回1回の試行となっています。
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
123b |
Q4_K_M |
- |
1781.3 |
504.2 |
1276.6 |
1.44 |
★★★★⯨ | |
|
〇 |
1052.4 |
16.2 |
1035.8 |
43.89 |
★★★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
24b |
Q4_K_M |
- |
154.6 |
90.3 |
64.2 |
8.40 |
★★★ | |
|
〇 |
32.3 |
1.7 |
30.4 |
449.08 |
★★★ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
16x17b |
Q4_K_M |
- |
159.1 |
42.4 |
116.2 |
12.28 |
★★⯨ | |
|
〇 |
99.2 |
6.1 |
92.8 |
85.58 |
★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
14b |
Q4_K_M |
- |
142.6 |
18.8 |
123.4 |
14.73 |
★★⯨ | |
|
〇 |
15.2 |
0.3 |
14.5 |
902.91 |
★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
120b |
MXFP4 |
- |
296.1 |
9.3 |
285.9 |
30.17 |
★★★⯨ | |
|
〇 |
169.2 |
4.6 |
163.7 |
60.68 |
★★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
80b |
Q4_K_M |
- |
143.1 |
5.0 |
137.7 |
43.75 |
★★★⯨ | |
|
〇 |
101.8 |
1.7 |
99.7 |
131.23 |
★★★★ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
24b |
Q4_K_M |
- |
15.5 |
2.3 |
13.0 |
92.95 |
★★ | |
|
〇 |
18.8 |
0.4 |
18.1 |
519.20 |
★ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
120b |
Q4_K_M |
- |
647.9 |
15.4 |
599.4 |
15.23 |
★★★★★ | |
|
〇 |
451.1 |
7.8 |
442.4 |
30.07 |
★★★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
30b |
Q4_K_M |
- |
276.5 |
4.3 |
270.9 |
54.13 |
★★ | |
|
〇 |
286.8 |
1.2 |
283.6 |
189.76 |
★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
31b |
Q4_K_M |
- |
1614.6 |
28.9 |
1583.8 |
7.07 |
★★★★ | |
|
〇 |
2132.2 |
1.4 |
2136.3 |
148.92 |
★★★★ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
35b |
Q4_K_M |
- |
1319.5 |
7.4 |
1307.9 |
54.19 |
★★★★⯨ | |
|
〇 |
755.0 |
1.8 |
749.6 |
222.78 |
★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
33b |
Q4_K_M |
- |
198.2 |
5.2 |
192.6 |
52.48 |
★★★⯨ | |
|
〇 |
152.5 |
1.1 |
151.0 |
239.95 |
★★⯨ |
|
パラメータ |
量子化 |
GPU |
合計時間 |
評価時間 |
生成時間 |
評価速度 |
生成速度 |
評価(コード) |
|
33b |
Q4_K_M |
- |
362.5 |
4.4 |
356.5 |
53.73 |
★★⯨ | |
|
〇 |
159.3 |
1.4 |
157.0 |
168.71 |
★★★ |