ローカルLLMの実測値比較(文章生成)

OS	Debian GNU/Linux 12 (bookworm)
CPU	Intel(R) Core(TM) i5-14400F
GPU	GeForce RTX 3060 12GB
メモリ	DDR4 PC4-25600 32GB × 4
SSD	crucial P310 CT1000P310SSD8-JP
HDD	WD80EAAZ[8TB SATA600 5640](一部のみ)

構築環境 : Docker + Ollama (ほぼデフォルト設定)

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
270m	Q8_0	-	jp	0.0+0.6	10.416	1097	9.390	117
270m	Q8_0	〇	jp	0.5+0.6	4.786	707	1.894	373
1b	Q4_K_M	-	jp	0.0+1.2	22.526	903	21.084	42.8
1b	Q4_K_M	〇	jp	1.0+0.8	8.740	474	2.341	202
4b	Q4_K_M	-	jp	0.0+4.1	73.799	1019	71.181	14.3
4b	Q4_K_M	〇	jp	3.8+1.1	34.133	802	8.926	89.8
12b	Q4_K_M	-	jp	0.0+9.3	108.106	545	104.293	5.23
12b	Q4_K_M	〇	jp	8.7+1.5	75.655	640	17.837	35.9
27b	Q4_K_M	-	jp	0.0+18.4	351.826	789	344.903	2.29
27b	Q4_K_M	〇	jp	11.0+8.3	288.815	868	167.491	5.18

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
270m	Q8_0	-	jp	0.0+0.6	9.696	1017	8.697	117
		-	en	0.0+0.6	6.237	627	5.407	116
		〇	jp	0.5+0.6	3.049	737	1.971	374
			en	0.5+0.6	1.596	302	0.777	389
			jp	0.5+0.6	3.013	957	2.481	386	ロード済
			en	0.5+0.6	1.229	367	0.977	376	ロード済
1b	Q4_K_M	-	jp	0.0+1.2	25.437	1035	23.670	43.7
		-	en	0.0+1.2	34.119	1388	32.325	42.9
		〇	jp	1.0+0.8	5.754	885	4.457	199
			en	1.0+0.8	5.592	984	4.708	209
			jp	1.0+0.8	3.613	649	3.173	205	ロード済
			en	1.0+0.8	5.802	1080	5.213	207	ロード済
	Q4_0	-	jp	0.0+1.7	23.114	808	21.870	36.9
		-	en	0.0+1.7	33.279	1190	32.133	37.0
		〇	jp	1.2+1.0	6.169	959	4.978	193
			en	1.2+1.0	6.204	930	5.042	184
			jp	1.2+1.0	4.930	855	4.466	191	ロード済
	Q8_0	-	jp	0.0+1.5	22.571	716	21.303	33.6
	Q8_0	〇	jp	1.2+0.8	6.735	857	5.384	159
	F16	-	jp	0.0+2.6	51.349	876	49.641	17.6
	F16	〇	jp	2.2+1.1	7.441	696	5.934	117
4b	Q4_K_M	-	jp	0.0+4.1	61.521	858	58.700	14.6
		-	en	0.0+4.1	93.499	1296	90.087	14.4
		〇	jp	3.7+1.1	9.316	680	7.567	89.9
			en	3.8+1.1	15.542	1271	13.683	92.9
			jp	3.8+1.1	10.863	931	10.269	90.7	ロード済
			en	3.8+1.1	13.041	1162	12.422	93.5	ロード済
	Q4_0	-	jp	0.0+5.4	73.934	851	71.081	12.0
		-	en	0.0+5.4	97.704	1117	95.342	11.7
		〇	jp	4.4+1.9	12.731	917	10.828	84.7
			en	4.4+1.9	13.182	892	11.229	79.4
			jp	4.4+1.9	7.888	631	7.508	84.0	ロード済
	Q8_0	-	jp	0.0+5.7	80.040	715	77.693	9.20
	Q8_0	〇	jp	5.3+1.3	17.446	939	15.255	61.6
	F16	-	jp	0.0+9.7	178.072	875	174.607	5.01
	F16	〇	jp	8.7+1.9	26.478	867	23.898	36.3
12b	Q4_K_M	-	jp	0.0+9.4	163.056	831	158.338	5.25
		-	en	0.0+9.3	261.855	1290	257.043	5.02
		〇	jp	8.7+1.5	20.055	599	16.257	36.8
			en	8.7+1.5	58.033	1921	55.291	34.7
			jp	8.7+1.5	16.533	588	16.044	36.6	ロード済
			en	8.7+1.5	40.499	1392	39.689	35.1	ロード済
	Q4_0	-	jp	0.0+11.2	134.438	621	128.753	4.82
		-	en	0.0+11.2	278.383	1265	273.318	4.63
		〇	jp	9.4+2.6	25.038	808	22.362	36.1
			en	9.4+2.6	33.375	1034	30.556	33.8
			jp	9.4+2.6	25.038	959	27.325	35.1	ロード済
	Q8_0	-	jp	0.0+14.4	228.937	695	224.729	3.09
	Q8_0	〇	jp	11.1+4.2	62.167	693	58.899	11.8
	F16	-	jp	0.0+25.6	390.076	651	383.740	1.70
	F16	〇	jp	10.8+15.6	259.846	711	254.207	2.80
27b	Q4_K_M	-	jp	0.0+18.5	289.249	662	281.016	2.36
		-	en	0.0+18.4	700.762	1569	692.629	2.27
		〇	jp	11.0+8.4	161.080	807	154.522	5.22
			en	11.0+8.4	269.552	1347	264.744	5.09
			jp	11.0+8.4	167.723	859	165.848	5.18	ロード済
			en	11.3+8.1	251.645	1325	250.158	5.30	ロード済
	Q4_0	-	jp	0.0+20.6	731.943	1607	723.332	2.22
		-	en	0.0+20.6	502.000	1091	492.636	2.21
		〇	jp	11.1+10.4	129.983	638	126.192	5.06
			en	11.1+10.4	259.737	1249	255.474	4.89
			jp	11.1+10.4	126.547	637	125.731	5.07	ロード済
	Q8_0	-	jp	0.0+30.1	728.651	984	721.157	1.36
	Q8_0	〇	jp	11.1+19.9	528.413	1060	521.714	2.03
	F16	-	jp	0.0+54.3	1099.854	791	1083.666	0.73
	F16	〇	jp	10.8+45.1	1665.411	1574	1652.956	0.95

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
8b	Q4_K_M	-	jp	0.0+5.2	18.216	122	13.993	8.72
		-	en	0.0+5.2	63.942	496	59.286	8.37
		〇	jp	5.3+0.7	4.295	165	2.734	60.4
		〇	en	5.3+0.7	11.301	473	7.763	60.9
	Q5_K_M	-	jp	0.0+6.0	75.113	517	69.785	7.41
		-	en	0.0+5.9	73.450	493	67.879	7.26
		〇	jp	6.0+0.8	10.988	470	8.997	52.2
		〇	en	6.0+0.8	12.566	507	8.997	56.4
70b	Q4_K_M	-	jp	0.0+41.0	424.249	377	392.764	0.96
		-	en	0.0+41.0	531.645	470	502.771	0.93
		〇	jp	10.4+41.0	383.056	440	376.622	1.17
		〇	en	10.4+41.0	445.857	517	440.080	1.17

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
1b	Q4_K_M	-	jp	0.0+1.0	11.501	466	10.150	45.9
		-	en	0.0+1.0	11.160	446	9.744	45.8
		〇	jp	1.3+0.6	3.106	565	1.856	304
		〇	en	1.3+0.6	3.061	481	1.587	303
	Q5_K_M	-	jp	0.0+1.1	10.940	396	9.567	41.4
		-	en	0.0+1.1	10.392	373	9.024	41.3
		〇	jp	1.4+0.6	3.031	517	1.820	284
		〇	en	1.4+0.6	3.502	608	2.184	278
	Q8_0	-	jp	0.0+1.5	7.658	203	6.534	31.1
		-	en	0.0+1.5	14.223	394	12.997	30.3
		〇	jp	1.8+0.7	3.410	485	2.244	216
		〇	en	1.8+0.7	3.267	440	2.094	210
	F16	-	jp	0.0+2.5	33.328	530	31.590	16.8
		-	en	0.0+2.5	22.077	346	20.523	16.9
		〇	jp	2.9+1.0	5.847	541	4.372	124
		〇	en	2.9+1.0	7.788	754	6.087	124
3b	Q4_K_M	-	jp	0.0+2.4	41.006	712	38.783	18.4
		-	en	0.0+2.4	25.072	432	23.031	18.8
		〇	jp	2.8+0.7	6.626	684	5.322	129
		〇	en	2.8+0.7	4.506	398	3.075	129
	Q5_K_M	-	jp	0.0+2.7	43.281	662	40.881	16.2
		-	en	0.0+2.7	30.084	458	27.742	16.5
		〇	jp	3.0+0.7	5.302	448	3.813	117
		〇	en	3.0+0.7	4.820	396	3.390	117
	Q8_0	-	jp	0.0+3.7	33.119	373	31.083	12.0
		-	en	0.0+3.7	44.374	501	42.198	11.9
		〇	jp	4.1+0.8	2.689	124	1.446	85.8
		〇	en	4.1+0.8	9.131	655	7.539	86.9
	F16	-	jp	0.0+6.5	68.191	430	65.499	6.56
		-	en	0.0+6.5	71.134	448	68.450	6.54
		〇	jp	6.9+1.2	11.776	497	10.054	49.4
		〇	en	6.9+1.2	9.865	404	8.161	49.5

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
70b	Q2_K	-	jp	0.0+26.0	369.511	489	332.193	1.47
		-	en	0.0+25.9	299.728	404	276.785	1.46
		〇	jp	10.9+25.8	71.465	92	43.242	2.13
		〇	en	10.9+25.8	202.598	405	194.767	2.08
	Q4_K_M	-	jp	0.0+41.0	396.867	327	342.900	0.95
		-	en	0.0+41.0	753.254	655	701.179	0.93
		〇	jp	10.4+41.0	377.983	390	332.587	1.17
		〇	en	10.4+41.0	447.424	521	441.955	1.18
	Q5_K_M	-	jp	0.0+47.9	598.448	458	558.083	0.82
		-	en	0.0+47.9	617.502	474	577.434	0.82
		〇	jp	10.1+48.0	425.383	398	409.703	0.97
		〇	en	10.1+48.0	522.678	498	509.906	0.98

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
16x17b	Q4_K_M	-	jp	0.0+63.7	93.503	205	55.081	3.72
		-	en	0.0+63.8	121.652	316	85.122	3.71
		〇	jp	10.7+54.9	140.768	540	127.553	4.23
		〇	en	10.7+54.9	97.627	352	82.781	4.25

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
14b	Q4_K_M	-	jp	0.0+9.3	172.976	748	167.377	4.47
		-	en	0.0+9.3	92.090	397	87.256	4.55
		〇	jp	9.4+0.7	13.651	373	11.592	32.2
		〇	en	9.4+0.7	30.273	900	28.191	31.9
	F16	-	jp	0.0+28.2	653.848	969	644.129	1.50
		-	en	0.0+28.2	306.730	452	298.351	1.51
		〇	jp	11.2+28.3	337.060	716	333.206	2.15
		〇	en	11.2+28.3	236.003	502	232.253	2.16

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
20b	MXFP4	-	jp	0.0+13.2	163.923	1635	158.932	10.3
		-	en	0.0+13.2	118.678	1178	113.749	10.4
		〇	jp	11.2+2.9	66.459	1594	61.135	26.1
		〇	en	10.8+3.4	53.343	1116	46.580	24.0
120b	MXFP4	-	jp	0.0+60.9	173.465	1076	145.037	7.42
		-	en	0.0+61.4	337.763	2325	316.041	7.36
		〇	jp	10.6+51.5	185.651	1425	171.650	8.30
		〇	en	10.6+51.8	189.175	1441	172.722	8.34

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
30b-a3b	Q4_K_M	-	jp	0.0+17.8	68.290	1095	65.146	16.8
		-	en	0.0+17.8	41.479	678	38.380	17.7
		〇	jp	10.9+7.9	42.899	1123	39.691	28.3
		〇	en	10.9+7.8	32.881	850	29.502	28.8

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
80b-a3b	Q4_K_M	-	jp	0.0+46.9	134.262	891	124.857	7.14
		-	en	0.0+46.9	145.844	948	134.360	7.06
		〇	jp	9.3+47.3	124.400	869	121.047	7.18
		〇	en	9.3+47.3	121.492	894	117.787	7.59

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
35b-a3b	Q4_K_M	-	jp	0.0+24.4	1021.484	8061	1013.816	7.95
35b-a3b	Q4_K_M	-	en	0.0+24.3	594.439	4675	584.092	8.00

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
24b	Q4_K_M	-	jp	0.0+15.2	279.971	592	212.404	2.79
		-	en	0.0+15.2	185.675	335	119.360	2.81
		〇	jp	10.8+6.0	91.438	596	86.357	6.90
		〇	en	10.8+6.0	59.969	382	55.041	6.94

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
70b	Q4_K_M	-	jp	0.0+41.0	831.788	749	801.173	0.93
		-	en	0.0+41.0	591.338	514	552.563	0.93
		〇	jp	10.4+41.0	585.951	666	580.020	1.15
		〇	en	10.4+41.0	460.075	524	453.267	1.16

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
30b-a3b	Q4_K_M	-	jp	0.0+24.0	97.492	1336	92.811	14.4
		-	en	0.0+24.0	141.640	1888	131.897	14.3
		〇	jp	10.9+14.5	59.231	1124	55.003	20.4
		〇	en	10.9+14.5	132.489	2573	127.579	20.2

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
24b	Q4_K_M	-	jp	0.0+13.8	25.939	609	23.403	26.0
		-	en	0.0+13.8	18.029	404	15.469	26.1
		〇	jp	11.3+3.4	11.916	528	9.668	54.6
		〇	en	10.9+3.7	16.297	709	13.670	51.9

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
27b	Q4_K_M	-	jp	0.0+18.5	728.777	1634	720.858	2.27
		-	en	0.0+18.4	297.673	673	289.637	2.32
		〇	jp	11.0+8.5	126.653	633	121.609	5.21
		〇	en	11.3+8.3	89.390	461	85.281	5.41

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
24b	Q4_K_M	-	jp	0.0+15.2	262.092	523	188.758	2.77
		-	en	0.0+15.2	189.011	329	118.269	2.78
		〇	jp	11.1+5.8	75.863	521	71.486	7.29
		〇	en	11.1+5.7	53.814	360	49.281	7.31

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
32b	Q4_K_M	-	jp	0.0+19.4	470.247	913	452.028	2.02
		-	en	0.0+19.3	618.350	1218	597.272	2.04
		〇	jp	10.9+9.3	243.635	924	240.008	3.85
		〇	en	10.9+9.3	186.011	707	182.270	3.88

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
120b	Q4_K_M	-	jp	0.0+84.1	292.127	1146	260.647	4.40
		-	en	0.0+83.9	532.049	2207	503.231	4.39
		〇	jp	0.0+76.3	300.831	1290	270.170	4.77
		〇	en	0.0+76.1	504.498	2250	472.117	4.77

パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
30b-a3b	Q4_K_M	-	jp	0.0+24.0	172.104	2358	166.775	14.1
		-	en	0.0+24.0	166.392	2282	161.299	14.1
		〇	jp	10.9+14.5	320.266	6185	314.112	19.7
		〇	en	10.9+14.5	254.194	4913	248.315	19.8

検証用PC

実測結果一覧(文章生成)