ローカルLLMの実測値比較

Last Update 2026/03/10

TOP - 各種テスト - LLM - ローカルLLMの実測値比較実測結果一覧

検証用PC

OS	Debian GNU/Linux 12 (bookworm)
CPU	Intel(R) Core(TM) i5-14400F
GPU	GeForce RTX 3060 12GB
メモリ	DDR4 PC4-25600 32GB × 4
HDD	WD80EAAZ[8TB SATA600 5640](一部のみ)

構築環境 : Docker + Ollama (ほぼデフォルト設定)

実測結果一覧

モデル	パラメータ	量子化	GPU	言語	使用メモリ (GiB)	合計時間 (s)	トークン	生成時間 (s)	生成速度 (TPS)	備考
Gemma 3 (HDD使用) 参考値	270m	Q8_0	-	jp	0.0+0.6	10.416	1097	9.390	117
	270m	Q8_0	〇	jp	0.5+0.6	4.786	707	1.894	373
	1b	Q4_K_M	-	jp	0.0+1.2	22.526	903	21.084	42.8
	1b	Q4_K_M	〇	jp	1.0+0.8	8.740	474	2.341	202
	4b	Q4_K_M	-	jp	0.0+4.1	73.799	1019	71.181	14.3
	4b	Q4_K_M	〇	jp	3.8+1.1	34.133	802	8.926	89.8
	12b	Q4_K_M	-	jp	0.0+9.3	108.106	545	104.293	5.23
	12b	Q4_K_M	〇	jp	8.7+1.5	75.655	640	17.837	35.9
	27b	Q4_K_M	-	jp	0.0+18.4	351.826	789	344.903	2.29
	27b	Q4_K_M	〇	jp	11.0+8.3	288.815	868	167.491	5.18
Gemma 3	270m	Q8_0	-	jp	0.0+0.6	9.696	1017	8.697	117
			-	en	0.0+0.6	6.237	627	5.407	116
			〇	jp	0.5+0.6	3.049	737	1.971	374
			〇	en	0.5+0.6	1.596	302	0.777	389
			〇	jp	0.5+0.6	3.013	957	2.481	386	ロード済
			〇	en	0.5+0.6	1.229	367	0.977	376	ロード済
	1b	Q4_K_M	-	jp	0.0+1.2	25.437	1035	23.670	43.7
			-	en	0.0+1.2	34.119	1388	32.325	42.9
			〇	jp	1.0+0.8	5.754	885	4.457	199
			〇	en	1.0+0.8	5.592	984	4.708	209
			〇	jp	1.0+0.8	3.613	649	3.173	205	ロード済
			〇	en	1.0+0.8	5.802	1080	5.213	207	ロード済
	4b	Q4_K_M	-	jp	0.0+4.1	61.521	858	58.700	14.6
			-	en	0.0+4.1	93.499	1296	90.087	14.4
			〇	jp	3.7+1.1	9.316	680	7.567	89.9
			〇	en	3.8+1.1	15.542	1271	13.683	92.9
			〇	jp	3.8+1.1	10.863	931	10.269	90.7	ロード済
			〇	en	3.8+1.1	13.041	1162	12.422	93.5	ロード済
	12b	Q4_K_M	-	jp	0.0+9.4	163.056	831	158.338	5.25
			-	en	0.0+9.3	261.855	1290	257.043	5.02
			〇	jp	8.7+1.5	20.055	599	16.257	36.8
			〇	en	8.7+1.5	58.033	1921	55.291	34.7
			〇	jp	8.7+1.5	16.533	588	16.044	36.6	ロード済
			〇	en	8.7+1.5	40.499	1392	39.689	35.1	ロード済
	27b	Q4_K_M	-	jp	0.0+18.5	289.249	662	281.016	2.36
			-	en	0.0+18.4	700.762	1569	692.629	2.27
			〇	jp	11.0+8.4	161.080	807	154.522	5.22
			〇	en	11.0+8.4	269.552	1347	264.744	5.09
			〇	jp	11.0+8.4	167.723	859	165.848	5.18	ロード済
			〇	en	11.3+8.1	251.645	1325	250.158	5.30	ロード済